大约从新石器时代日本岛才开始有居民，最早的日本居民是从北方大陆移来的通古斯人，以后有马来人从南方渡海而来，大约从公元前一千纪后半开始，就不断有中国和朝鲜人移居日本。从新石器时代开始到公元前2世纪的日本，考古学上称为绳纹式文化时代，使用石器、骨器，捕猎、捕鱼，居住在竖穴中，出土有女性土偶（《世界通史》，人民出版社，周一良等主编，1962年）。
现发现最古老的日本人人骨、大约属于2万年前至3万年前的冰河期时代。一般认为绳文人最早于冰河期时代到达日本列岛。
由绳文人人骨中采集遗传因子与世界各地的对象比较，与西伯利亚北部的先住民最为相近（但也有南方基因）。冰河期之前的西伯利亚北部气候温暖，有大型动物、草木生长，进冰河期时代以后则再找不到人类生活的痕迹。西伯利亚特有的石器如楔形石核的遗迹被发现于西伯利亚北部、库页岛、北海道、与日本列岛等地如弧型分布，故一般认为是于冰河期由西伯利亚北部经库页岛、北海道、再进入日本列岛居住。
冰河期时代的北海被冰所覆盖，于库页岛、北海道、日本列岛间进行移动明显是可行的。
另外，由渡过南海而来的南岛语族与越人、西南夷，把中国长江下流域开始的照叶树林文化（烧垦文化）与水稻带来（日本人鸟越宪三郎认为倭人来自云南傣族、彝族、哈尼族、诹访春雄认为倭人是越人一支）。
其后，绳文末期、弥生时代开始，有由中国大陆与朝鲜方面移居日本列岛的新蒙古人种（弥生人）。关西一帯日本人多数是弥生人后人，关东是绳文人（老蒙古人种）后人，他们不断反复混血形成日本人。和人的体质与语言是在公元前400年形成，真正定型是十二世纪后虾夷投降为止。现代日本人是在幕府推翻后才真正出现（之前日本人只认自己是藩的成员）。
