日本原来并不叫日本。在古代日本神话中，日本人称其为“八大洲”、“八大岛国”等。据《汉书》、《后汉书》记载，我国古代称日本为“倭”或“倭国”。公元五世纪，日本统一后，国名定为大和。因为古代日本人崇尚太阳神，所以将太阳视为本国的图腾。相传在七世纪初，日本的圣德太子在致隋炀帝的国书中写道：“日出处太子致日落处太子”，这就是日本国名的雏形。直到七世纪后半叶，日本遣唐史将其国名改为日本，意为“太阳升起的地方”其后沿用，成为日本的正式国名。《新唐书·日本传》中有记载：咸亨元年（670年），倭国遣使入唐，此时倭国已“稍习夏言，恶倭名，更号日本。使者自言，因近日出，以为名。” 此外，在汉语中，“扶桑”、“东瀛”也是日本国名的别称。
日本依照字面的意思就是“太阳之处”，即是太阳升起的地方。因此日本有时也被称为日之国。
早于日本与中国接触前，日本人称自己所居住的地方为“やまと”和“ひのもと”，意思就是太阳之本。
而在中国的三国时期，中国人使用倭去代表日本。由于“倭”字有“矮”的意思，因此在汉字传入日本以后，日本人于日语中同音（わ）的“和”去代替。并用汉字“大和”去表写日语的やまと，并用“日本”表写ひのもと。后来日语中转用音读去读“日本”，转变成今日日语中常用的にほん（Nihon）和にっぽん（Nippon）。
“日本”一称迟至公元7世纪末才在中国出现。《二十四史》中的《旧唐书》记载日本人由于不喜欢“倭国”的名称，因此将国家的名字改作“日本”。而在公元8世纪的《史记正义》中又有另一说法，指武则天命令日本将国名改作“日本”。
现代日本的正式名字为“日本国”（にほんこく）。在明治维新到第二次世界大战结束期间，日本的正式名字为大日本帝国（だいにっぽんていこく）。而在第二次世界大战后，在新的宪法中，改成现今的名字。
虽然日本国内绝大多数使用日语的情况也是用“日本”去称呼自国，但是近年也有使用由英文“Japan”转写的“ジャパン”，甚至从“Cipangu”转写而成的“ジパング”来代表日本，从而制造外来语的效果，尤其常见于广告及品牌的命名。
除了日本和大和外，古时日本也有其他的日语称号。如：大八州（おおやしま）（由日本神话中由伊邪那美和伊奘诺尊所创的八个岛）、八岛(やしま)、扶桑（ふそう）、瑞穂（みずほ）、敷岛（しきしま）、秋津岛（あきつしま）等。