洪武五年（1372）在独秀峰下营建靖江王府，洪武二十五（1392）年建成。王府按照朝廷对藩王府所作的规定构筑，其主要建筑前为承远门，中为承运殿，后为寝宫，最后是御苑。围绕主体建筑还有4堂、4亭和台、阁、轩、室、所等40多处，占地19.78公顷，规模宏大。从建成到明代覆灭的257年中，这里住过12代14位藩王。据明王士性《广志绎》载宗室二千人，岁食藩司禄米五万两，故藩贮不足供，而靖宗亦多不能自存者。
可见，家族的人口之多，盘剥民脂之钜，地方财政负担之重。即使这样，王子王孙的日子还不大好过。顺治九年（1652）农民军攻克桂林，王府的新主人清将孔有德兵败自尽，纵火焚烧，王府化为灰烬。王府建造前，在独秀峰下，唐有学宫，宋有铁牛寺，元称大圆寺，后改万寿殿。王府被毁后，顺治十四年（1657）建贡院。
1921年，孙中山集师北伐曾驻节于此。民国初年，这里先后为第二师范学校、模范小学、第三高级中学、甲种工业学校校址。民国145年（1925）冬，辟为中山公园。1937年为广西省政府所在地，抗日战争期间被毁，后重建。现为广西师范大学校址。独秀峰巍然矗立，王府旧物，唯余承运殿前的雕栏与云阶玉陛，有道是无情最是此中山，阅尽王孙只等闲。
