1900年代，德意志帝国为赶上最后一波的殖民浪潮和阿尔弗雷德·冯·提尔皮茨（Alfred von Tirpitz）对海军扩张的提倡，而与国际列强展开建造无畏舰的军备竞赛，并建立了一支世界上规模数一数二的舰队。第一次世界大战爆发后，德国水面舰队—公海舰队不仅多次与英国皇家海军交战，还以潜艇部队发起无限制潜艇战，击沉多艘协约国船只。然而在日德兰海战后，德国海军虽获得战术上的胜利，却被封锁于港湾中而无法行动。公海舰队司令的莱因哈特·舍尔（Reinhard Scheer）上将无法让舰队出击，取得比潜艇部队更高的战果，而其水兵士气日以降低，最后引发了基尔港水兵叛变的德国革命。1918年11月11日，德国投降。根据停战协定，公海舰队需驶入英国斯卡帕湾扣押，然而舰队却在1919年6月21日被德国海军路德维克·冯·罗伊特（Ludwig von Reuter）中将暗中计划的彩虹行动集体自沉，目的是防止船只被战胜国所瓜分。协约国对此行动极为不满，以德国违反协定为由，将其几近全部有登记的船舶没收、拆走码头设备、各大造船厂机具相继被解体，并在往后的条约和限制中对德国海军更加严格。在彩虹行动和5艘现代化的轻巡洋舰作为战争赔偿后，德国海军仅剩下8艘旧型无畏舰（拿骚级，Nassau class battleship）和赫尔戈兰级、32艘驱逐舰和鱼雷艇，数量少、性能也过时，仅能做海防一用。1921年1月1日，依照《凡尔赛条约》规定，德国成立了新的国家海军，作为魏玛共和国的海军力量。
《凡尔赛条约》严格限制了德国海军的规模与实力，德国只能拥有15,000名的海军人员，规定服役长达25年；船舰仅能保有6艘排水量10,000吨以下的旧式战列舰、6艘巡洋舰、12艘驱逐舰、12艘鱼雷艇以及额外规定禁止拥有军用飞机、航空母舰和潜艇。虽然协约国允许替换舰龄达20年的战列舰与巡洋舰，但限制战列舰吨位不可超过10,000吨、不得装有口径超过11吋的舰炮，使其功能仅近乎重巡洋舰；而巡洋舰的替换则规定排水量6000吨，能配装的最大火炮口径仅有6吋；驱逐舰则为800吨、鱼雷艇为200吨；这样的缩编使得留下的海军人员都是优秀份子，往后也都成了战争海军中重要的领导人物。
德国潜艇曾在一战取得辉煌战绩，然而在《凡尔赛条约》禁止建造潜艇和协约国监管后，各大船厂虽有世界领先的潜艇技术却苦无客户，这时日本与阿根廷联系了德国数个造船厂，希望购买设计图与转授技术以建立本国潜艇部队。这两个规模庞大的生意使得德国串连了各大造船厂和企业，由克虏伯发起，联合成立了一家空壳公司——船舶建设工程局（NV Ingenieurskantoor voor Scheepsbouw），总部设于荷兰海牙，以躲避凡尔赛条约的监督。船舶建设工程局存在目的除了为整合各造船厂技术和资源、联合接订单外，也要和国际潜艇技术接轨，使德国不至于落后。但到了1925年，船舶建设工程局经营不善，在面临倒闭的情况下，德国海军私下与其公司人员联系。德国海军也透过一个名为“结算咨询公司”的空壳企业加入了船舶建设工程局的投资，并在之后注资了100万马克，成为该公司最大股东，还额外许诺每年补贴12万马克，军方要求该公司为德国重建潜艇部队保有新技术和设计，原本为国内造船业解决财政问题的船舶建设工程局因此转为德国海军专门的研究机构。除了船舶建设工程局外，海军还接触了其他民间企业，同时进行水雷、鱼雷磁触发引信和舰载机液压弹射器的研究。
当时海军内部的情况则是，国家海军首任海军总司令——保罗·贝恩克上将打算在严格限制和经费极为有限的情况下重建一支现代化的海军，其目标为保护近海，由于舰只过于老旧，必须大量汰换。他下令组建2支战队：北海舰队和波罗的海舰队，用来控制波罗的海海口，以防法国与波兰联手对付德国。1925年，德国战后建造的第一艘轻巡洋舰——恩登号（German cruiser Emden）下水，该舰完全照条约要求建造，其后又相继建造了新式的海鸥级鱼雷艇和狼级鱼雷艇（Raubtier-Klasse），为战后德国海军赶上国际技术的第一批新舰队。1924年，贝恩克的职位被汉斯·曾克尔上将所取代，曾克尔任内最后一年正值第一批旧式战舰达到合约要求，允许汰换的时候。这时军方内对于以何种军舰来取代旧舰有2种不同的意见，是建造远洋用重巡洋舰还是近海防御的铁甲舰？最后以条约的要求设计了一款新式的舰种——装甲舰，主要特征为战列舰等级的火力、航速快和轻装甲。然而在装甲舰首舰德意志号于1931年下水前，魏玛共和国国会议员注意到了结算咨询公司的存在，反对重新武装的议员使议会下令调查，结果幕后的各研究机关，以及同意资助的海军高层人员一一被揪出，包括曾克尔上将，也因此下台退役，重建海军的工作受到了打击。但新上任的海军总司令埃里希·雷德尔上将很快的控制了混乱的局面，他亲自前去会见政府成员，说服海军重建之必要性，政府态度因而从不满转为支持。雷德尔还将同时期的研究多加了货船改装为伪装巡洋舰和将渔船改装为扫雷艇（Minesweeper）的计划，还规划了一个平民飞行训练计划，为往后要建立的海军航空兵做准备。船舶建设工程局也接连接获土耳其、芬兰、西班牙和苏联的潜艇订单，潜艇部队因而获得大量宝贵的第一手性能和大规模生产技术资料。1933年10月，德国海军秘密在基尔设立一间标明“反潜防御学校”的军校，实际上在训练潜艇舰员。
1933年1月，纳粹党成为德国执政党，希特勒支持雷德尔重组海军舰队，并多次保证会极力避免与英国的战争以争取时间。1935年3月16日，希特勒正式宣布单方面废止《凡尔赛条约》，并将国家海军被改名为战争海军。英国对于德国重整军备的动作颇为担忧，为保持两国较不紧张的关系，于1935年6月18日与德国签订了《英德海军协定》，该协定缓和了英国国内对另一场海军军备竞赛的担忧，但德国受益更多：德国可以装备潜艇，并能建立规模为英国皇家海军35%总吨位的舰队，总吨位约40万吨，其中战斗舰总排水量为18万，这也限制了新建造的4艘战斗舰，每艘排水量皆不能超过45,000吨；而潜艇部队则为英国潜艇的45%。当时英国皇家海军拥有12艘战斗舰、3艘战列巡洋舰、8艘航空母舰、54艘巡洋舰和169艘驱逐舰，认为即使德国违反此协定，也有足够余力对付德国。6月29日，在条约签完仅11天，第一艘新潜艇U-1型潜艇（German submarine U-1，1935）就在基尔军港下水服役。虽然德国潜艇已可正常装备，但希特勒不想暴露其战争野心，未批准大规模的潜艇生产计划，并表示希望一切问题借由外交手段解决，重整军备不过是将德国变回一个“正常”的国家，对英国释出没有要进行军备竞赛的善意与争取国际的同情。
1937年11月5日，希特勒召集军官宣布可能必须动用武力来解决一些领土问题，包括奥地利、捷克斯洛伐克和波兰。继德奥合并和慕尼黑会议后，希特勒于1938年9月开始要求海军作战部拟定对英国的战争，即是后来的“Z计划”，并于1939年1月27日被希特勒所批准执行，并给予优先于其他军备的资源。Z计划是以英国皇家海军为主、法国海军为副假想敌为对象，设计的6年大型水面舰队建造计划。意在英国尚未做好战争准备之前，建立起一支能与其匹敌的舰队，并以大规模的舰队进行战略性的部署作战。此计划规模非常庞大，若如期完成，德国海军将拥有能与皇家海军相搏的实力。
