1954年，毛泽东主席提议编绘一本历史地图。次年春，应著名历史学家吴晗先生的推荐，谭先生应召到北京，负责改编、修订清末杨守敬编绘的《历代舆地图》。由于工程过于浩繁，1957年初谭先生回到复旦大学，组织班子，进行《中国历史地图集》的编纂工作，1959年建立中国历史地理研究室。1966年文革开始，谭先生作为“反动学术权威”关入牛棚，三年以后始恢复工作。1974年《中国历史地图集》始告完成，先出内部本，以后经最后修订公开发行。
这部八巨册的历史地图集，以历史文献资料为主，吸收了迄今已发表的考古研究成果，包括了中国自商周至清代全部可考的县级和县级以上的行政单位，主要的河流、湖泊、山脉、山峰、运河、长城和海岸线、岛屿；除中原王朝，还包括了各兄弟民族在历史上建立的大小边疆政权，完整地体现了中国各历史时期的疆域、政区、城市、重要村镇和自然地理面貌。所有的地图都以今天的地图为底图，分色套印，古今对照，并附有地名索引，便于查找。它集中体现了中国八十年代初的历史地理研究成果，被视为建国以来社会科学最重要的成果之一，数次得奖，复旦大学还以之作为礼物赠送来访的美国总统及其他国家的领导人。
