广东省立中山图书馆的前身是清末的广雅书局的藏书楼（即现位于文德北路81号的孙中山文献馆），民国元年（1912年）创办，初名为广东省立图书馆。民国16年，旅居美国、加拿大、墨西哥、古巴等地的华侨为纪念孙中山先生，集资兴建了广州市中山图书馆，民国22年落成。1955年，广东省立图书馆和广州市中山图书馆合并，改名为广东省立中山图书馆。1986年，广东省立中山图书馆整体搬迁到文明路213号新馆后，原馆改称为孙中山文献馆。
2006年12月10日，经广东省政府立项，投资了5亿元人民币的中山图书馆扩建工程正式动工兴建，按照计划，工程的一半为中山图书馆目前的位置，另一半为将搬迁至珠江新城新馆的广东省博物馆位置。整个扩建项目将于2007年完成一期工程建设，预计2010年全部完成。改造后的图书馆各馆加起来的总占地面积将达到6.8万平方米，建筑总面积达到103,599万平方米，将成为中国最大的省级公共图书馆。届时，中图的最终藏书量将可达800万册，读者座位将增至4000个，日均接待读者可达1.5万人次。
为配合扩建工程，位于文明路的中图正门从2006年12月起封闭。先只开放了位于德政中路的西门给读者进出。2007年开始，中图贴出告示，暂时关闭了电子阅览室，而且部分阅览室的开放时间亦相应缩短，中间部分时段更出现闭馆的情况。目前原文明路总馆的各项服务全部转移到桂花分馆，其他业务的分布在大学城特藏部阅览室（普通古籍、地方志、丛书、影音古籍）、桂花分馆（中文图书、期刊外文图书、期刊）、文德分馆（广东地方文献、民国平装书、期刊），而文明路总馆则保留提供各种数字资源，包含古籍与解放前报纸缩微资料。文明路总馆预计在2009年10月份完成建设。
持续五年、作为十一五规划重大项目的首期扩建工程于2010年完成，图书馆并于2010年12月31日举行竣工暨开馆仪式，读者可使用羊城通电子卡等电子卡借阅图书。
