二十世纪中国的音乐教育，萧友梅是最有贡献的人之一；1927年10月1日蔡元培就任南京政府大学院（后改为教育部）院长。在他的奔走下，政府通过了萧友梅提出的创立国立音乐学院的计划。萧作为“音乐院筹备员”，制订了极为详尽的办学计划（包括招生人数、筹建校舍、经费使用等）。10月26日国立音乐学院登报招生，院址设在上海陶尔斐斯路56号。专门学习音乐的院校登报招生，这在当时确属新鲜事。人们囿于封建传统观念，不免对此取观望徘徊态度。即使是在当时善领风气之先的上海，情况也是这样，因此报名人数极少。在“著名教育家蔡元培担任院长”的广告感召下，勉强招了二十余人。11月27日正式开学（后即以这一天为校庆日）。萧友梅任教务主任，后来，因蔡元培公务繁忙，12月3日任命萧友梅为国立音乐学院代院长。
由于他的事业心与责任心极强，淡泊名利，不谋仕途，学校从一开始就建立了严格的管理制度，保证了人才的质量。后来成为著名音乐家的丁善德就是在1928年以自学的一点琵琶知识从昆山前来报考的，萧友梅慧眼识英才，将其招入学校悉心培养，日后果成大器。
1928年冼星海由北平来上海考入国立音乐学院，因家贫无以维系，萧为他安排了文字抄写工作以半工半读。冼星海还会吹单簧管，萧友梅带他去报考工部局乐队，因水平不够而未被录取。其实，早在1926年萧友梅任国立北平艺术专门学校音乐系主任时，就曾为当时在该校就读的贫苦学生冼星海安排抄谱或做图书管理员，得些收入来补助生活。
1929年，南京政府修正大学组织法，规定仅传授一种专门技术的学校都应改为专科学校，并公布了“专科学校组织法”。国立音乐学院也于此时更改为国立音乐专科学校，萧友梅任校长。他将当时在上海甚至全国各地能够找得到的著名中外音乐家，或高薪聘请或苦言相劝，网罗在自己的麾下。就连国文、英文等共同课，他也是请水平最高的人来教。如易韦斋、龙榆生（时为暨南大学国文系主任）曾任这所学校国文课的教师。
1929年，世界著名钢琴家、俄罗斯的查哈罗夫旅居上海。为请其任教于国立音专，萧多次登门拜访，并将月薪提至400元（普通教授为200元）。实践证明，查哈罗夫从那时起直至1942年病逝于上海，对中国钢琴教学水平的提高发挥了重要作用。1930年秋，萧友梅聘请留美回国的著名音乐家黄自任教务主任。此后，二人携手为中国刚刚起步的专业音乐教育作出了巨大的贡献。
萧友梅还致力于编写音乐教材：有1924年的“风琴教科书”、1925年“钢琴教科书”、1927年的“ 小提琴教科书 ”等，著有“ 中西音乐的比较研究”、“古今中西音乐概说 ”和“中国历代音乐概略” 等学术论著，还创作了 “新霓裳羽衣舞”、“哀悼引”等作品。
