后汉书·百官志》在“司空”条下，原注说：“掌水土事。凡营城起邑、浚沟洫、修坟防之事，则议其利，建其功。凡四方水土功课，岁尽则奏其殿最而行赏罚。凡郊祀之事，掌扫除乐器……凡国有大造大疑、谏争，与太尉同。”这虽是东汉的制度，但也可大体了解司空之职掌。春秋战国时各国亦多置之，用以掌管工程。宋国因武公名司空，曾改名为“司城”，西汉成帝绥和元年（前8年）改御史大夫为大司空，性质已与前司空不同。哀帝恢复御史大夫之名，不久又复为大司空。东汉光武帝置大司空，旋去“大”字称司空。献帝建安十三年（公元208年）罢司空，改设御史大夫，其职掌一如司空。
光武帝（刘秀）又废大司马为太尉。南北朝置废不常。陈用作赠官。北朝魏、齐与大将军为“二大”，典武事，亦在三公之上。北周依《周礼》置六官，以为夏官府之长，以卿任其职。隋以后废。明清时用为兵部尚书的别称。
东汉时与司徒、司空并称三公。
《汉书.百官公卿表上》：“太尉......武帝建元二年省。元狩四年初置大司马，以冠将骠骑、车骑之上，以代太尉之职，故恒与太尉迭置，不并列。
《汉书.百官公卿表上》：“相国、丞相，皆秦官......哀帝元寿二年更名大司徒。”《后汉书.百民志一》：“司徒，公一人。本注：掌人民事......世祖即位，为大司徒，建武二七年，去‘大’。”
司空主管建设，相当于后世的工部尚书，后来转变为监察官。
司徒管理民政，相当于宰相
司马负责军事
