目前保留下来的衢州城墙始建于何时，史志均无明确记载，尚难以确定，但比较统一的说法是唐以后衢州才正式建筑了砖石城墙，明嘉靖《衢州府志》云：“唐武德四年（621）置衢州建郡治。” 《唐书·五行志》载：“元和十一年（816）衢州大水毁州廓。”有廓必有城，因为自古以来城廓是相依的。唐崔耿《女楼记》云：“衢之城成于龟山峥嵘岭上”，说得也十分肯定。所以由此推断，作为府治的衢州城，其城墙的初建，当在唐武德四年建郡治之后，其址当以龟峰，峥嵘岭，也即今天的府山为中心。在此以前，作为县级政权政府所在地，应该也有城墙，但是第一，这个城墙的规模不会很大，第二，这个城墙在唐“置衢州建郡治”后因城市扩大而废弃。目前的城墙与唐代所建城墙基本吻合，自唐以后，城墙历经修筑、扩展，并保留至今，可谓是历史悠久的“唐朝遗迹”。 北宋宣和二年（1120）十二月，方腊起义军攻陷衢州，第二年郡守高至临于龟峰修筑旧城。据清康熙《西安县志》记载：“城墙一丈六尺五寸，广一丈一尺，周回四千五十步。为六门，城之上各建楼门。东曰迎和；南曰礼贤……俗又谓通远，今名光远；西曰航远，……俗之谓水亭门，今名朝京，北曰永清，俗谓浮石，今名拱辰；小南（门）曰清将，俗谓前湖，又谓魁星，今名通仙，以路通柯山故名；小西（门）曰和丰，俗谓隶堰，今名通广。”城北、东、南三面竣濠引水，城西临衢江。自此，衢州四周有高墙，墙外有濠，形成了完整的城池。 《宋史·高宗记》载：“绍兴十四年（1144）严、信、建、衢四州水。”大水冲坍城墙，郡守林待聘修复。《宋史·五行志》载：“嘉定三年（1210）五月，严、衢、婺、徽州大雨，水溺死者众，记田庐市郭。”衢州城圮五分之一。郡守孙子直以朝廷赈货之余为资，密院遣殿司将官部濠寨兵参加修城之役。孙子直离任后，郡守綦奎继之，修城垣“五千三十有二尺，楼堞相聚视昔增壮。”嘉定十一年（1215），群守魏豹文又使六门城楼焕燃一新。 过了100多年后，到元至正十五年（1355），伯颜忽都为监郡，他沿着子城旧址筑新城，周回九里三十步，又于迎和、通仙，先远，拱辰四门之外包以月城，并复建层楼于六门之上。 明朝时，也曾经过数次修茸。据康熙《衢州府志》、嘉庆《西安县志》、民国《衢县志》记载：“弘治已末（1499）郡守沈杰修葺城垣，引石室堰水入濠，环城潴水，虽旱干不涸”。嘉靖庚申（1560）郡守杨准增修。万历三十八年至四十三年间（1610-1615），郡守洪纤若重修因火而毁的朝京门城楼。天启二、三年（1622-1623）重建拱辰门城楼。“崇祯庚辰（1640）郡守张文达修城、浚濠，竖谯楼五、建窝棚四十三，造土墙二千四百二十五。”由此，在整个明代，衢州城墙雄立，创立了铁衢州的基础。 自清代顺治五年（1648）至民国5年（1916）的210年内，对衢州的城墙的维修也有20余次。 从某种意义上讲，一部衢州城墙的建设史，也可以说是衢州城市的发展史，折射出政治、经济、文化、民俗等方面非常丰富的内容，城墙的一砖一木都凝聚着历史的厚重。
完整的城墙分为四层，分别为“京城”、“皇城”、“宫城”和“外郭”，而衢州由于不是皇室所在，所以衢州古城墙只有“宫城”和“外郭”两部分，大的城郭有八个城门，中型城郭有六个，而小城只有四个。衢州作为浙西交通要冲，拥有东门、北门、大西门、小西门、大南门、小南门六个城门。 目前，大南门、小南门，大西门、东门经过修缮，保存尚为完善。修缮后的城门仍由青黑色石砖垒成，有些城墙上还被爬山虎一类的草本植物覆盖，基本上保存了城门的本来面目，衢州城门的一些特点还依晰可见。比如小西门瓮城，就是外城墙与内城墙或护城门之间的一块空地，这样守城士兵就可以打开外城门诱敌深入，然后关闭外城门，内外城以及两侧城墙形成一个瓮状结构，此时消灭敌人就如瓮中捉鳖，易如反掌。这一设计充分体现了劳动人民的智慧。也从一个侧面反映了古代军事思想和战争的战略战术。 因为所处的地理位置优越，衢州四省通衢，为浙西门户，由沿海通往闽赣的咽喉，战略地位十分重要，自古是军事重镇和兵家必争之地，位于龟峰和峥嵘岭（即府山）之上的东门，又名“铁衢门。”方蜡起义，黄巢起义，太平天国运动，北伐军进攻孙传芳部等，都曾在这里受挫，久攻不下，故该门又被称为“铁衢门”。特别是太平天国翼王石达开、侍王李世贤等，率军数次围攻衢州，最长的一次达半年之久，但都因城墙高而坚固，易守难攻，而损兵折将，无功而返，“铁衢州”也因此得名。衢州城墙大都高约五米，墙面少滑平整，墙宽约两米，便于车马行走。“峥嵘山突兀，柳宇横烟霞，策杖寻旧戎，苍苔石径斜。”清人王荣俊的这几行诗充分说明了这是屯兵守城的险地。 城墙除了以上特点，还有屯兵、存粮的作用，体现了古代修筑城墙的初衷，一切为战争服务。但由于科学技术的发展和人们观念的改变，时代的进步，城墙的这一功能正在逐步淡化，并失去其原有的价值。
