中国的儿童图书馆(室)是在20世纪初期发展起来的。1914年在北京建立的京师通俗图书馆儿童阅览室是中国公共图书馆首次创建的儿童阅览室。随后浙江、江西等省也相继设立了儿童阅览室。1917年10月12日直隶省天津社会教育办事处创办了中国最早的儿童图书馆。
20～30年代，吉林、上海、浙江、天津也先后设立了儿童图书馆1940年由应永玉发起创办上海少年儿童图书馆宋庆龄非常关心少年儿童，她从中国福利基金会提出部分资金在上海为儿童设立图书馆,1949年4月在各界人士赞助下，儿童图书馆第一阅览室向儿童免费开放。1942年8月延安中山图书馆(林伯渠任馆长)增设了“少年图书部”。延安市青联还动员社会力量筹建延安市儿童图书馆，以协助党加强对少年儿童的社会教育。
50年代北京图书馆曾设立过儿童阅览室；在北京、上海、兰州、天津、武汉等地建立了几所独立的少年儿童图书馆和成人馆的儿童分馆；半数以上的公共图书馆设有儿童阅览室或阅览园。1958年在上海召开了全国部分地区少年儿童图书馆工作经验交流会，促进了儿童图书馆事业的发展。但在“文化大革命”期间遭到极大的破坏。1980年中央书记处通过的《图书馆工作汇报提纲》要求在中等以上的城市和大城市的区设立专门的少年儿童图书馆；
各级公共图书馆要积极创造条件向少年儿童开放同年5月文化部教育部团中央在北京联合召开全国少年儿童图书馆工作座谈会，会后国务院1981年62号文件转发了关于全国少年儿童图书馆工作座谈会的情况报告。1982年在湖南长沙召开全国少儿图书馆专题学术研讨会，1984年在重庆召开少儿图书馆、藏书建设研讨会，1987年按地区成立了少年儿童图书馆协作委员会。到1989年全国有区、县以上独立建制的少年儿童图书馆75所(数据均未含台湾省)，县以上的少年儿童阅览室1000多个，京、津、沪三市的街道少年儿童图书馆(室)200多所。
除了文化部系统的少年儿童图书馆(室)外，教育系统的学校图书馆(室)、共青团系统的少年宫(家)图书馆(室)、工会系统的儿童图书馆(室)等都为少年儿童服务。
很多国家都比较重视图书馆对少年儿童的服务。英美等国的公共图书馆一般都设有儿童部为少年儿童服务。苏联1989年有独立的儿童图书馆8000多所，成人图书馆中还有1000多个儿童部,全国形成了儿童图书馆网络。发达国家的很多儿童图书馆除了收藏印刷型的书刊资料、图片资料以外,还提供非印刷型知识载体,如唱片、录音磁带、幻灯片、电影片、玩具、游戏器具等，以吸引儿童的读书兴趣，加强图书的直观宣传，传播科学文化知识，促进少年儿童的智力发展。
