Nhật nghĩa là "mặt trời", Bản nghĩa là "gốc", "nơi bắt đầu". Tên gọi Nhật Bản cũng gợi ít nhiều về đất nước mặt trời mọc vì đây là quốc gia đón nhận ánh nắng mặt trời sớm nhất trên thế giới.
Theo truyền thuyết, nước Nhật Bản(1) thành lập từ năm 660 trước công nguyên (Tr. CN) khi thiên hoàng Jim-mu (Thần Vũ), dòng dõi của nữ thần mặt trời Amateraxu lên ngôi. Tuy nhiên, thực tế thì nhà nước ở Nhật Bản ra đời tương đối muộn. Mãi đến thế kỷ 1 Tr. CN, Nhật Bản mới bắt đầu bước vào thời kỳ đồ đồng và đến khoảng đầu công nguyên, những hình thức sơ khai của nhà nước mới bắt đầu ra đời ở miền Tây Nhật Bản.
Lá cờ Nhật Bản mang biểu tượng mặt trời mọc
Vào thế kỷ 7, Nhật Bản lấy danh hiệu triều đình là Đại Hòa làm tên gọi nhà nước, gọi là Đại Hòa Quốc. Sử cũ chép vào năm 607 (tức năm thứ 3 Tùy Dưỡng Đế Đại Nghiệp ở Trung Quốc, năm thứ 15 Thôi Cổ Thiên Hoàng ở Nhật), phía Nhật Bản đã phái Tiểu Dã Muội Tử (phiên âm Hán Việt) đi sứ và dâng quốc thư lên triều Tùy, quốc thư mở đầu bằng câu: “Thiên tử nơi mặt trời mọc gửi thư cho thiên tử mặt trời lặn”.
Tên gọi Nhật Bản có lẽ đã xuất hiện từ thế kỷ 7 này chăng: năm 607?
Nhật Bản là phiên âm hết sức tinh tế của tiếng Việt từ tiếng Hán giọng Bắc Kinh rìběn 日本. Tiếng Anh Japan cùng với tiếng Pháp Japon dùng để gọi tên nước Nhật Bản cũng phiên âm theo tiếng đó.
Nippon (có lúc cũng dùng Nihon – cả hai từ này được viết giống nhau trong tiếng Nhật) là phiên âm thẳng từ tiếng Nhật; chữ Nhật, viết theo lối Romaji (La Mã tự) cũng là Nippon. Đây là tên mà chính người Nhật dùng để gọi nước mình. Từ Nippon được dùng hầu hết cho các mục đích hành chính như tiền tệ, tem thư và các sự kiện thể thao quốc tế.
Từ Nihon ở Nhật thì lại được dùng không có chủ định. Ví dụ, người Nhật gọi bản thân họ là Nihonjin và ngôn ngữ của họ là Nihongo.
Hiện nay ở Nhật Bản, từ Nihon được phần lớn người dân Nhật sử dụng trong khi từ Nippon được dùng chủ yếu ở các thế hệ trước. Người Mỹ cũng thu nhận địa danh Nippon, do đó mà có tính từ Nipponese rồi danh từ Nipponese, nói tắt là Nip.
Lý do nước Nhật còn được gọi là Phù Tang, vốn xuất xứ như sau: Phù Tang nguyên là tên của một loại cây mà Thuyết Văn Giải Tự(2) của Hứa Thận(3) giải thích là “cây huyền thoại, (là) nơi mặt trời mọc vậy”.
Sách Thập Châu Ký cũng giải thích : “(Cây) Phù tang ở trong biển Biếc (Bích Hải), cây mọc cao đến mấy ngàn trượng, tán xoè ra đến hơn ngàn trượng, hai thân chung một cội, cùng nương tựa nhau, (là) nơi mặt trời mọc vậy”.
Vì tên của nước Nhật Bản có nghĩa là “gốc ở mặt trời” nên thời xưa người ta đã đồng nhất hóa nó với xứ sở của loại cây huyền thoại trên đây mà gọi nó là nước Phù Tang. Trong Hán ngữ hiện đại, người ta còn dùng hai tiếng Phù Tang để chỉ cây dâm bụt (bông bụp).