平阳是山西开发较早的地区之一，在我国的古文献中就有“尧都平阳”的说法。尧的传说应为原始社会向奴隶社会过渡时期华夏民族文化的产物，到春秋末，儒家又以尧为上古圣王和理想人格的楷模。随着儒家独尊地位的确立，尧的美德和功业更加深入人心，成为中华文化的精神始祖。
目前，尧都区有关尧的古迹除了大家熟知的尧庙外，还有位于郭行乡的古帝尧陵。尧庙南边的伊村传为尧初生时所寄“伊长儒之家”。村西土丘上存有“帝尧茅茨土阶”碑，这是根据古籍记载有关陶的故事镌立的。相传尧当年住在茅草搭建的宫廷中，在宫前的土阶缝隙中，生长着一种草，这种草每月初一开始生长一个豆荚，到月半长出１５个，从十六以后又每天落一个豆荚，到月底落完。如是小月２９天，那么就只剩一个豆荚焦枯而不落。尧就据此发明了月历和纪年。
在尧都区东还有个村庄叫康庄，也叫康衢庄。据《列子》记述，尧治理天下５０年后，有一次微服游于康衢，听见小孩子们在唱《康衢谣》：“立我蒸民，莫匪尔极，不识不知，顺帝之则。”意思是：使我百姓有衣食，莫不是你英明政策，大家不投机、不取巧，顺乎自然法则。尧看到百姓怡然自足，非常高兴，于是“召舜，禅以天下”。
在康庄村边还有“击壤台”遗址。原有大碑刻“击壤处”三大字，另有一碑刻《击壤歌》：“日出而作，日入而息，凿井而饮，耕田而食，帝力于我何有哉！”这是为颂扬尧时天下太平，壤父击壤于道中的历史故事而建的纪念地。
“尧都平阳”的传说和这里丰厚的尧文化资源，成为今天“尧都区”命名的历史渊源。
春秋时期，平阳一带是晋国公族羊舌氏的封地。但随着新兴私家贵族的兴起，代表没落宫室势力的羊舌公族走向衰亡。 西汉仍置平阳县，县治在今尧都区金殿镇。三国魏正始八年（２４７年），置平阳都，郡治在平阳县。晋永嘉三年（３０９年），汉王刘渊特将国都从蒲子县迁至平阳，并重筑陶唐金城，意在以帝尧自我标榜。这年友人在附近的汾河中得到一方玉玺，刘渊认为是河献祥瑞，故改元“河瑞”。３１７年２月，石勒攻破平阳，纵火焚其宫室，刘汉都城顿成灰土。北魏建义元年（５２８年），平阳县治移驻白马城，即今临汾市区。
隋开皇元年（５８１年），改平阳县为平河县；三年，又改为临汾县。“临汾”，又名汾城，原为战国古邑名，旧址在今襄汾县。金代兴定四年（１２２０年），分出临汾县河西地区置平水县。中国文化史上闻名的“平水版”雕版印刷术、平水木版年画及格律诗押韵标准《平水韵》等都产生于这一地区。明代，平水县又并入临汾县。历代与临汾县同城而治的上一级行政机构有：隋代临汾郡、唐代晋州、宋代平阳府、元代晋宁路、明清平阳府。１９１２年３月，山西省军政府裁平阳府，留临汾县。１９４９年以来，临汾县为临汾专区、晋南专区、临汾地区驻地。１９７１年，临汾县改为临汾市（县级）。２０００年，临汾地区撤地设临汾市，原县级临汾市改为尧都区。
