最早的关于日耳曼人的纪录来自于前2和前1世纪的古典作家。从约200年开始日耳曼人开始使用一种自己的文字。此前的历史只有通过考古和语言学（比较语言学）的方法来考证了。
通过对各个日耳曼语言（哥特语、古德语、古英语、古斯堪的纳维亚语）的仔细比较和日耳曼语言与其它印欧语言的比较语言学家可以基本上重建日耳曼语（也称“前日耳曼语”或“泛日耳曼语”）。这些比较最主要的结果是：
●日耳曼语属于印欧语言，在这个语族中它属于其西方的一支。
●在印欧语系中日耳曼语与凯尔特语和古意大利语最接近。这三种语言一起组成古欧洲语言。前3或2千年时，也就是说青铜器时代的早期，古欧洲语言是中欧的语言。但其精确的地点和时间今天已经无从考证，或者争议很大。
●日耳曼语言之间非常近似，这很可能说明它们有很长的共同演化的时间。大多数语言学家将前日耳曼语从凯尔特语和古意大利语分离出来的时间定为前2千年上半叶。
●日耳曼语分离出来后它依然与凯尔特语有接触。一些凯尔特语的词汇被日耳曼语借用。此外日耳曼语对芬兰语也有影响。一些日耳曼语的词汇在芬兰语中出现（比如国王，日耳曼语为kunningaz，芬兰语为kuningas，或者指环，日耳曼语为ringaz，芬兰语为ringas等）。
最早使用“日耳曼人”这个词的是希腊历史学家波希多尼。他在约前80年时第一次使用这个词。也许他在与中欧的某一个今天无法考证的小民族接触时听到了这个词并将它用来称呼所有的日耳曼民族。有可能这样一个小民族的名字后来成为了整个民族群的名字。
“日耳曼”这个词的来源和意义至今无法定论。“日耳”这个词在日耳曼语中无法被考证。日耳曼人自己将自己称为日耳曼人的可能性非常小。
