日本国名的由来与中国汉字有密切关系。
在一千多年以前，世界上还没有“日本”这个称呼，当时的日本被称为“倭国”。我国最早对日本的记载出自《山海经·海内北经》，那时日本是燕国的属国。至于为何称他们是“倭人”，一种可能的解释是日语中最常用的假名是“は”，他们说话的主语也是“は”，所以最初接触他们的人将其音译为“倭人”。《后汉书·东夷列传》记载，汉光武帝赐倭奴国国王汉委奴国王金印，正式称日本为倭奴国，使其成为大汉五十多个藩属国中的一员。
后来，随着日本人对汉字的理解加深，他们认为“倭人”有矮人的意思，为了消除这种歧视，便选用在日语里与“倭”发音相同的“和”来自称，还在“和”字前面加上“大”字，大和民族由此而来。
公元607年（隋大业三年），倭国使者小野妹子向隋朝上表文书，希望中国改称倭国为“日本”，但信的开头是“日出处天子至书日没处天子无恙”，这让认为天下只有自己是唯一天子的隋炀帝大为光火，对倭国的要求不予理睬。根据《宋书》记载，从第一个改称号的倭王——讚死后，又有珍、济、兴、武四个继任者都曾遣使贡奉，要求中国朝廷授予“日本”的封号。
一直到唐代武则天当权时期，她最终同意将“日本”作为国号，恩赐给倭国。“日本”意为“太阳升起的地方”，《隋书·东夷传》中曾记载“日本国，自大唐东去万余里，日出东方，升于扶余，故云日本” ，料想“日本”这两个字的源起便在于此。
日本的全称是“日本国”，日本人则喜欢用日语发音“nippon”或“nihon”来称呼自己的国家，意为“日出之国”“太阳升起的地方”。在古代，日本还有一些其他的称呼，如在古代日本神话中，日本人称其为“八大洲”“八大岛国”，而部分国家则称日本为“东瀛”“扶桑”等。