夏商两朝先后在郑州地区建都，周朝春秋战国时期管国、郑国、韩国也先后建都郑州地区。约公元前2070年至前1600年，夏朝的元老人物禹建都于登封阳城王城岗，以嵩山为中心的伊洛河和颍河上游一带以及山西南部是夏人的活动中心。
商部落从君主契开始至商汤共迁徙8次，公元前1675年，商汤以“吊民伐罪”的名义攻占夏朝国都封丘，灭掉夏桀，创立中国历史上第二个奴隶制王朝，商汤建都亳（今商丘），商朝第十任君主中丁迁于隞（今郑州商城）。现存的郑州商城遗址有内外两重城垣，内城城垣呈长方形，外城城垣呈圆形围绕着内城。其“外圆内方”的城郭布局体现了古人“天圆地方”的宇宙观。它的规模亦超过中东两河流域的巴比伦城和亚述城，以及印度恒河流域的摩亨佐-达罗。
公元前1046年，姬发灭商殷建立西周，周王将其弟管叔封于郑州，称管国。周王在郑州的封国还有郐国、东虢国、祭国和密国等。郑武公将郑国国都建在荥阳，成为郑国第二代国君。郑国随后吞并了郐国、东虢国和胡国。公元前765年，郑武公迁都至原郐国所在地，将都城定名新郑。
公元前375年，韩国灭掉郑国迁都新郑。
公元前230年，秦军灭韩。
新郑做为郑国和韩国国都达500年之久。
秦汉时期，今郑州地域以荥阳为中心，因处交通和运河要道，经济日趋繁荣。秦代，郑州境内始置荥阳县、巩县和京县，属于三川郡；新郑县、苑陵县、阳城县属颍川郡。西汉改三川郡为河南郡，又置密县、成皋等县，并将新郑、苑陵二县划入河南郡。
西汉时期，巩义和荥阳成为国内重要的冶铁基地，荥阳在汉代设有铁官，从古荥汉代冶铁遗址发掘出的大型炼钢高炉炉基和球墨铸铁遗物，反映了汉代已达到最高的黑金属冶铸技术水平。东汉元鼎五年（公元前112年），故市、中牟两个侯国合并为中牟县。隋开皇元年（581年），改荥州为郑州。开皇十六年（596年）从郑州分出管州。唐初武德四年（621年），从郑州分出管城。贞观七年（633年）郑州从武牢移治管城县。天宝元年（742年）改郑州为荥阳郡，仍治管城县。开明元年（619年），太尉王世充废杨侗自立为帝，国号郑。这是中国历史上的第三个郑国。
北宋建都东京开封后，郑州于公元1105年被建为西辅，成为东京四辅州之一，属京西北路。国内各地选山林名声之地建立书院，位于登封峻极峰下的嵩阳书院是当时的四大书院之一。
金代和元代时期，郭守敬和王恂主持在全国设立了27个天文观测台，登封观测台则是全国观测中心之一。
明朝建立后，郑州划归开封府。清末，平汉和陇海两条铁路在郑州交汇，郑州成为中国东西、南北大动脉的纽带，经济地位不断提升。1912年，日本经济学者林重次郎在其著作《河南省郑州商情》中称郑州为：中国的芝加哥。
1913年，郑州被撤销市制改为郑县，但依旧保留市级规模。
1920年，河南省议会通过了在郑县设立商埠的议案。
1923年2月，京汉铁路二七大罢工在郑县发起。
1923年3月，北洋政府正式下文将郑县开辟为商埠，在郑县设立商埠督办公署。
1927年，上海《旅行杂志》把郑州（县）称为华北大都会。
1928年，冯玉祥将郑县改为郑州市。
1931年，蒋介石、阎锡山、冯玉祥大战之后，将郑州撤市复改为郑县。
1933年为河南省第一行政督察专员公署驻地。
1938年6月9日，国民政府为了阻止日军沿陇海铁路西进，选择将花园口黄河南岸的堤防炸毁以造成决堤，史称花园口决堤事件。
1948年10月22日，郑县解放，设置郑州市。
1953年，郑州成为河南省经济中心。
1954年10月30日，河南省会由开封迁往郑州，郑州成为河南省省会。
