研究生正式招生开始于1951年1951年6月11日，中国科学院、教育部联合发出《1951暑期招收研究实习员、研究生办法》，正式开始实行统一招收研究生，标志着中国研究生教育制度的开创。文件规定，中国科学院为培养科学研究人才招收研究实习员，教育部为培养高等学校的师资招收研究生。
1951年6月7日，由教育部与中国科学院、人事部成立招收研究生委员会，由当时教育部副部长曾昭伦任主任委员，中国科学院副院长吴有训、以及人事部丁华局长任副主任委员和各大学代表13人为委员。招收委员会由中国科学院及教育部所属高校53名著名科学家、教授组成的15个（数学、物理、化学、生物、地质、地理、测量机械、航空、电机、土木建筑、化工、采矿冶金、农科、文史、心理、政法、财经）各科审查小组，审查录取招收。
1951年，计划招收500名研究生，实际招收276名，其中中国科学院95名，中国人民大学101名，其他各校共80名。颁布《中国科学院研究生暂行条例》1954年6月12日，中国科学院院务常务会议决定组织研究生条例起草委员会，由副院长竺可桢任主席。7月29日，院务常务会议通过《中国科学院研究生暂行条例》。
1955年8月25日，经国务院全体会议通过。8月31日，由总理周恩来签发命令公布实施。这是新中国第一次有关培养高级科学人才的条例。
1955年5月12日，成立了以吴有训为主任的中国科学院研究生招生委员会，9月15日开始招生报名。根据国家建设和科学发展的需要以及院内各所的条件，招收了第一批研究生，分45个专业，共50名。培养目标为：“具有一定马列主义水平，本门学科方面的坚实的基础，有关国家建设的实际知识，能独立地进行专业的创造性的科学研究工作”。
1955-1965年，中国科学院共招收研究生1518名，是全国研究生招生总人数的11.2%，其中1963年高达全国招生总数的24.7%。
1965年，中国科学院已有招生单位81个，占当时全国招生单位总数的34.6%，在学研究生人数已近千名（943名），占全国研究生总数的20.7%。研究生教育恢复、发展时期1977年10月10日，中国科学院向国务院报送了《关于招收研究生的请示报告》。11月3日，经国务院批准，中国科学院与教育部联合发出《关于一九七七年招收研究生具体办法的通知》，标志着中国研究生教育制度中止了12年之后的恢复。
1977年9月10日，经国务院批准，中国科学院筹建中国第一个研究生院—中国科技大学研究生院，院长是严济慈院士，设有数学、物理、化学、天文、地理、生物学、和无线电技术、计算机工程、空间技术环境科学以及科学组织管理等专业。中国科学院的73个研究所与208所高校及中国社科院、部委所属89个单位，于1978年招收了恢复研究生教育后的第一批研究生。中国科学院招收了1529名，占全国招生总数的14.3%，占全国招收理工科总数的22.8%。1978年10月14日开学。
1980年，五届人大常委会第13次会议通过《中华人民共和国学位条例》，学位条例规定硕士学位、博士学位，由国务院授权的高等学校和科学研究机构授予，以立法的形式确立了中国的研究生教育是由高等学校和科学研究机构共同进行。首任国务院学位委员会主任由时任中国科学院院长的方毅出任。
1982年6月中旬，经国务院学部委员会批准，中国科学院首先进行试点，进行了中国首次博士学位论文答辩。
马中骐（中国科学院高能物理所）、谢民（中国科学院系统工程研究所）、李尚志、赵林成、白志东、冯玉琳（中国科技大学）等6名研究生，分别获得理学、工学博士学位，成为中国历史上自己培养出的首批博士。
1982年，中国首批获得博士学位的研究生共12名，其中中国科学院培养了7名，占全国总数的58%。中国科学院研究生院更名成立中国科学院党组于2000年6月在上海召开了中国科学院教育工作会议，提出了对中国科学院研究生教育体制进行改革的思路，全院上下形成了创办新研究生院的共识。
2000年12月29日，国务院学位委员会、教育部正式批准中国科学院研究生院更名成立。
2001年2月，中国科学院下发文件，明确了研究生院“三统一、四结合”的办学方针，即“统一招生、统一教育管理、统一学位授予”的职能和“院所结合的领导体制，院所结合的师资队伍，院所结合的管理制度，院所结合的培养体系”的组织形式。同年5月22日，新研究生院更名成立的揭牌仪式在北京玉泉路园区举行。中国科学院大学更名成立并招收本科生2012年6月，经教育部、中编办批复，中国科学院研究生院正式更名为中国科学院大学，并确立了“科教融合、育人为本、协同创新、服务国家”的办学方针。
2014年，国科大经教育部批准开始招收本科生，进行拔尖创新人才培养的积极探索。当年，国科大招收首届本科生332名，分布在数学、物理学、化学、生命科学、材料科学与工程、计算机科学与技术6个专业。
2015年，中国科学院大学与浙江通策控股集团有限公司共建成立中国科学院大学存济医学院；北京市怀柔区人民政府与中国科学院大学共建北京怀柔医院；先后成立工学院、公管学院、天文学院；雁栖湖校区1070亩新校园全面启用。
