华严寺是根据佛教经典《华严经》而兴建，因此得名华严寺。根据《辽史·地理志》记载：“清宁八年（1062年）建华严寺，奉安诸帝石像、铜像。”辽末兵火波及，寺院局部建筑被毁，金天眷三年（1140年）重修。辽、金两代，平城（今大同）都是当时的别都，该寺受到皇室的重视，数百年间都是云中巨刹。
明初，寺院被没收为官产，明宣德、景泰年间重修，明中叶后分为上下二寺，各开山门，自成格局。
清代时几经修缮，始成今日规模。
1963年上、下两寺连为一体，统称为华严寺，寺院占地面积16600多平方米，上寺以大雄宝殿为中心，分为两院，有山门、过殿、观音阁、地藏阁及两厢廊庑；下寺以薄伽教藏殿为中心，有辽代塑像、石经幢、楼阁式藏经柜和天宫楼阁等。
华严寺始建于辽重熙七年（1038年），依据佛教经典《华严经》取“慈悲之华，必结庄严之果”的大乘教义而命名。寺院坐西向东，山门、普光明殿、大雄宝殿、薄伽教藏殿、华严宝塔等30余座单体建筑分别排列在南北两条主轴线上，布局严谨，规模宏大，占地面积达66000平方米，是我国现存年代较早、保存较完整的一座辽金寺庙建筑群。
华严寺殿宇嵯峨，气势雄伟壮观，是辽金时期我国华严宗重要寺庙之一。始建于辽，辽代佛教华严宗盛行，道宗亦曾亲撰《华严经随品赞》十卷，故云中（即云中郡，今大同雁北一带）特建华严禅寺。因寺内曾奉安诸帝石像、铜像，当时还具有辽皇室祖庙性质。辽保大二年（1122年），寺内部分建筑毁于兵火，后重建，至元代初年仍不失为云中巨刹。明宣德、景泰年间大事重修，补塑佛像，勃然中兴。明中叶以后分上下两寺，各开山门，自成格局。清初寺院复遭摧折，康熙初年曾事修补，但风光难现。2008年，大同市启动名城复兴工程，投巨资对华严寺进行了大规模整修，恢复了辽金时期大华严寺的鼎盛格局。
现上下二寺虽连成为一体，仍各以一主殿为中心。上寺以金建大雄宝殿为主，分为两院，有山门、过殿、观音阁、地藏阁及两厢廊庑，高低错落，井然有序。下寺以辽建薄伽教藏殿为中心，保存有辽代塑像、石经幢、楼阁式藏经柜及天宫楼阁。下寺砖雕二门以东，又有天王殿、南北配殿和山门，别为一院。此寺主要殿宇皆面向东方，这与契丹族信鬼拜日、以东为上的宗教信仰和居住习俗有关。
1961年被国务院公布为第一批全国重点文物保护单位。
2008年，大同市启动名城复兴工程，投巨资对华严寺进行了大规模整修。至2010年，华严寺修建以及环境整治工程，山门、钟楼、会经楼、七间殿、弥陀殿、药师殿、南北腋门、南北展廊、文殊阁、普贤阁、南北回廊、南北五间殿、西回廊、祖师殿、藏珍楼、方形木塔等30多座单体建筑工程基本完成。
2011年10月1日，经过两年多时间打造的华严寺木塔在国庆节期间试开放。该木塔高43.5米，是继应县木塔之后中国第二高的纯木质结构宝塔。塔下近500平方米的千佛地宫，是用约100吨纯铜建造。从2012年1月1日起，华严寺内的华严宝塔和铜造地宫正式开放，开放后的宝塔和地宫不再加收门票。
