隋初，杨坚在确立了三省六部制的中央机构后，又对地方机构进行了改革。南北朝以来，由于郡县设置过繁，形成了“民少官多，十羊九牧”的局面。隋初沿北齐、北周制设州、郡、县三级地方机构，开皇三年，杨坚从河南道行台兵尚书杨尚希的建议，废郡，改为州、县二级制。州设刺史，县设县令。
公元590年隋文帝杨坚诏府兵入州县户籍，兵农合一始此。杨坚对于地方机构也进行了改革。他采纳度支尚书杨尚希提出的“存要去闲、并大去小”的建议，将原来比较混乱的地方官制从州、郡、县精简为州、县两级，撤消境内500多郡。同时，裁汰了大量的冗官，将一些郡县合并。大大节省了政府的开支，提高了行政效率，也减轻了人民的负担。为了更好地行使权力，控制地方，杨坚下令，九品以上的官员一律由中央任免。官吏的任用权一概由吏部掌握，禁止地方官就地录用僚佐。而且每年都要由吏部进行考核，以决定奖惩、升降。后来，又实行三年任期制。杨坚简化了地方行政机构，废九品宫人法，初创科举制。隋文帝命令各州每年推选三个文章华美、有才能的人，到中央受官。后来，隋文帝又下令，京官五品以上，地方官部管刺史，要由有德有才的举人担当。这种选拔政府官员的制度，使各个阶层有才华的人都有机会为政府效力。杨坚开创建立的科举制度，在中国历史上留存长达1300多年，直到清朝末期才废除，但当时的美英等国称奇并借鉴了这种选拔制度作为政府文员的聘用方法。
