1956年4月，国家体育委员会决定在全国建立十所中等体育专业学校，委托所在地的省市委代为筹办。南京市开始筹办南京体育学校。
筹建之初，在学校选址的问题上。由南京市规划局的负责同志建议，将南京体育学校建于中山门内。之后通过实地考察，探明当地已有多所中等专业学校，拟选地址四周均已被城墙和其他单位包围，无发展空间，不适合建校，该提议被搁浅。
此后学校选址于中山陵附近曾举办过民国第五次全国运动会的原中央体育场旧址上，此处当时是军事学院通讯连驻地，解放前曾在此设立过国立体育专科学校，有着良好的先天条件，又因为位于东郊风号区内，发展余地非常大，是一个较好的选址方案。
1956年4月，在建校地址确定以后，筹建办同志立即开始了筹建工作，计划于10月份按时开学。首先是总体的规划设计工作，请市设计院拿出了一个整体设计方案。根据全校学生总数为1200人（原规划办学规模为900名学生，后根据形势发展需要增加）的规模，决定先建设篮球房、体操房、田径房、教职工及学生宿舍等基础设施，总预算资金为30-40万元人民币。
由于建国初期基建材料都十分紧张，学校不得不放弃整体设计方案，依照苏联中学的设计图纸进行了简单的修改，制成学校的建设图纸。学校规划设计的规模较浅，囊括了中央体育场厦其周围的空地，以厦国术馆、篮球房、8片网球场、游泳池、足球场（现体育馆下）、游泳池、棒球场等。
在学校在进行施工同时，也着手开展招生和选调教师的工作。筹建办同志起草了一份学校简介与招生办法，经省教育厅批准后，特此文书在报纸上刊登，同时也启动选调教师的工作。学校一方面向教育厅要求上调比较育能力的中学体育教师，另一方面招收中央体育学院和上海体育学院的第一批毕业生，教师来源比较宽裕。由于学校在招生时需进行体育加试，但当时学校仍处于基建中，因此学校安排第一批考生的借用江苏省体育干部训练班位于山西路老菜市荷兰大使馆的花园内的场地进行体育加试。通过考试，最终录取了近300名学生。
1956年11月18日，学校正式开学。根据当时国家体委颁布的关于中等体育学校的章程，南京体育学校的部门分为教育股、基建股、采购室等。学校归国家体委管理。
1957年，学校下放到地方直接管理。1958年，江苏省委、省人委根据江苏省体育事业发展的需要，决定在南京体育学校的基础上，合并江苏省体育干部训练班和江苏师范学院体育专修科，成立南京体育专科学校。学校添置了400公里的跑道，一片田径场，加盖了一栋宿舍楼，建造一个室内田径场。
1958年，南京体育专科学校升格为南京体育学院。
1975年，南京体育学院撤销。
1980年，南京体育学院复校，学校为江苏省优秀运动队的运动员、教练员接受高等教育开设运动专修科。
1997年，学校开始面向社会举办国家承认的成人高等学历教育。
1998年3月成立南京体育学院成人教育办公室，南京体育学院培训中心与成教办合署办公，隶属于院教务处。
2000年，江苏省体育局和南京体育学院就解决江苏省优秀运动队后备人才培养出路和解决全省各地、市体校毕业生中专学历和文凭升格的问题，报请江苏省政府，成立南京体育学院职业技术学院。
2003年经省政府批准，国家教育部备案，成立南京体育学院职业技术学院，并隶属于南京体育学院（为院内的二级分院）。
2008年，通过了国家教育部本科教学水平评估并获优秀等级。
2010年，学校成立南京体育学院民族体育与表演系，下设民族传统体育和表演二个专业，面向全国招生。
2011年，该校体育学一级学科被江苏省政府批准为“江苏省高校优势学科建设体系一期项目立项学科”。
2011年5月，南京体育学院与江苏华红集团联合举办民办二级学院——南京体育学院奥林匹克学院，学院坐落于南京体育学院仙林校区内。
2011年，南京体育学院奥林匹克学院规划建设的独立校区，独立校区坐落于南京江宁区滨江开发区内。
2012年9月，南京体育学院奥林匹克学院新校区正式投入使用。
