尚书台最初在汉代是皇帝在内廷设立的办事机构，其长官称为尚书令，属吏通称为尚书郎，尚书为其中之一。尚书台类似于秘书处，并不是正式的官方机构。但是汉武帝以尚书台抑制丞相，于是尚书令成为实际上的行政官员，权力在以丞相为首的朝廷正式官员之上。
到霍光摄政之后，尚书台成为事实上的内阁，掌握行政与决策权。因此此后一直到魏晋，丞相不加录尚书事等衔参与尚书台议政便成为名誉职衔，不掌握实际权力。
到隋代设三省六部，拆分丞相职权（如前述从西汉到南北朝是由尚书令或给丞相加录尚书事衔行使丞相职权），其中尚书省掌行政权，长官即为尚书令。但因为唐太宗未即位前曾担任尚书令，因此唐太宗之后此职虚置，由副职左右仆射领导尚书台，与门下省长官侍中、中书省长官中书令（起初均为皇帝顾问）并称宰相。
尚书省统辖六部，六部长官即为尚书。六部长官地位不仅低于三省长官，且唐代设政事堂议处国事，掌决策权，为事实上的内阁。由中书省与门下省长官及副手参与组成。故左右仆射未加同中书门下（政事堂后改称中书门下）平章事等衔则无权参与国政决策的讨论与决议，仅负施行督导之责。故未有加衔的尚书仆射也不能称宰相，地位在侍中、中书令之下（但侍中、中书令地位尊崇，不轻授人，渐成荣衔，而以副职门下侍郞、中书侍郎加同中书门下平章事为宰相）。甚至在晚唐成为授予藩镇节度使的荣衔。
到宋代三省制名存实亡，于三省之外设中书门下省，六部隶属其下，长官为宰相，副官为参知政事。元代忽必烈仿汉制设中书省为最高行政机构，下属四部，后增为六部，长官为皇太子，副官为右丞相、左丞相。明代初承元制，设中书省，下隶六部，长官为丞相。胡惟庸案后明太祖废中书省及丞相。以六部直属皇帝，六部尚书始为政府最高长官，并下诏永为定制。
明成祖时，六部事多皇帝不能一一处理（此前由唐至明初，国家政务均由六部呈报政事堂、中书门下、中书省由诸宰相及其副手商议决断，然后交由皇帝批准后正式执行。决策权实由宰相掌握，日常政务由宰相署理，重大事务由政事堂商议后提供几条处理办法，皇帝只能在宰相草拟的处理办法中选择决断），故由大学士组成内阁处理政务，实际上是部分恢复宰相职权。尚书仅是行政各部门长官，始终不曾成为政府最高决策者。
唐代设集贤院、昭文馆等掌图书校勘、收藏与教育等，设大学士为长官，并常以宰相兼领，实为荣衔。宋承唐制，大学士常授予卸任宰相。
明太祖废除丞相后仿宋制设大学士协助处理政务。明成祖时以解缙等大臣入职文渊阁，参与机务，渐掌实权。仁宗以后大学士渐由皇帝顾问成为朝臣长官，处理日常政务。无宰相之名而行宰相之实，故形成内阁制。到后来几乎演变成朝政由内阁决断，皇帝仅为橡皮图章而已。
大学士的名称前要加殿、阁衔，数目为六人，但常为四人。明代大学士共“四殿”、“两阁”。四殿者，“中极殿大学士（原为华盖殿）”，“建极殿大学士（原为谨身殿）”，“文华殿大学士”，“武英殿大学士”。两阁者，“文渊阁大学士”，“东阁大学士”。其中以一人为“首辅”，掌票拟之权即决策权；以一人为“次辅”，其余为“群辅”。另外大学士明太祖初设时为正五品。明成祖之后大学士权重，但历代皇帝不敢擅改祖制，仍为五品，故大学士常兼领六部尚书（尚书为正二品），以在品级上凌驾朝臣。
清初沿袭明制，为“中和殿大学士”、“保和殿大学士”、“文华殿大学士”、“武英殿大学士”、“文渊阁大学士”、“东阁大学士”。乾隆时废“中和殿大学士”，改设“体仁阁大学士”，形成“三殿三阁”的局面，其中以“中和殿大学士”、“保和殿大学士”（中和殿大学士废除后）最尊，不常授予，前者仅授四人，后者仅授一人。另外清代大学士为正一品。
清初有“议政王大臣会议”掌决策权，康熙时改以“南书房”决策机务，雍正时设“军机处”为最高决策机构，后为定制。而内阁不能参与决策但诏书以内阁名义发布，奏章仍呈递内阁。故清代内阁虽有宰相之名，履宰相之责，而无宰相之权。但军机大臣仍多被授予大学士衔以示尊崇。
