新中国成立时，全国省级行政单位为49个，其中30个省、12个直辖市、5个行署区、1个自治区、1个地方。此后，省级行政区经历了多次变动：
1949年四川解放后，于1950年撤销四川省，分别成立川东、川南、川西、川北四个行署区（省级）。
1950年10月，撤销旅大行署区，改设旅大直辖市；西康省金沙江以西的昌都地区解放后，1951年1月成立人民政府（省级）。此时，全国省级行政单位达53个。
1952年，撤销平原省，其行政区域划归河南、山东两省；撤销察哈尔省，划归山西、河北两省；皖北、皖南两行署区合并成立安徽省；苏北、苏南两行署区和南京市合并成立江苏省，南京市降格为省辖市；川东、川南、川西、川北四行署区合并，恢复四川省。
1953年8月，哈尔滨、长春由省辖市升格为直辖市。
1954年，撤销绥远省，并入内蒙古自治区；撤销宁夏省，并入甘肃省；撤销松江省，并入黑龙江省；辽东、辽西两省合并为辽宁省；撤销除北京、上海、天津以外的11个直辖市，降为省辖市。
至1954年6月底，全国共有26个省、1个自治区、3个直辖市、1个地方、1个地区，计32个省级行政单位。
1955年，撤销热河省，划归河北、辽宁、内蒙古三省区；撤销西康省，并入四川省；撤销新疆省，成立新疆维吾尔自治区。
1956年4月，成立西藏自治区筹备委员会。
1958年，撤销天津直辖市，降为地级市，划归河北省，并将河北省行政中心由保定迁至天津；将已并入甘肃省的原宁夏省东南部回族聚居地区划出成立宁夏回族自治区，原宁夏省的其余地区由甘肃省划归内蒙古自治区；撤销广西省，成立广西僮族自治区（1965年更名为广西壮族自治区）。
1959年，撤销昌都地区，并入西藏。
1965年9月，西藏自治区正式成立。
1967年1月，天津市恢复为直辖市，河北省行政中心迁至保定，1968年又迁至石家庄。
至此，全国省级行政区共30个，其中22个省、3个直辖市、5个自治区。
1969年，将内蒙古自治区部分行政区域分别划给黑龙江、吉林、辽宁、宁夏、甘肃5个省区，1979年又恢复至划分前的原状。
1988年，撤销广东省海南行政区，建立海南省；1997年，重庆市由省辖市升格为直辖市，将四川省东南部的原重庆、万州、涪陵三市及黔江地区划给重庆市管辖。1997年7月1日和1999年12月20日，随着香港、澳门的回归，分别成立了香港特别行政区和澳门特别行政区。至此，全国共有34个省级行政单位，即23个省、4个直辖市、5个自治区、2个特别行政区。
