汉代基本沿袭秦制，仍然以“尉”作为武官统称，而明确文武官员以其每年的俸禄数量来表示级别。太尉（以后改称大司马）作为最高武官，列“三公”，年俸号为“万石”（实际4200斛）。三公以下的“九卿”，年俸号“中二千石”（实际2160斛），武官列为九卿的有光禄勋（郎中令改称）、卫尉。执金吾（中尉改称）虽然不列为九卿，但也是“中二千石”。这些朝廷最高级武官的主要副手称“丞”，一般有2人，级别为“千石”（实际960斛）。此外武帝时又设置城门、中垒、屯骑、步兵、越骑、长水、胡骑、射声、虎贲“八校尉”，级别略低，号“二千石”（实际1440斛）。地方郡尉级别相比“二千石”的郡守略低，为“比二千石”（实际1200斛）；县尉级别也低于县令（六百石），为“比六百石”（实际600斛）。
还有很多“尉”并不是真正的武官，除了从秦朝沿袭来的廷尉、主爵都尉等以外，汉武帝还设置“奉车都尉”掌管皇帝的车，“驸马都尉”掌管皇帝的马，“水衡都尉”掌管皇帝的园林，级别都为“比二千石”。有的从武官变为文官，比如汉武帝设置”司隶校尉”，原来是武官，负责侦缉、镇压京师地区重大政治犯罪，后来被禁止带兵，改为监督京师附近地区的监察官。
西汉时的“将军”称号仍然具有战地或某一方面军司令官的性质，还不算是武官的正式官称，因此级别并不固定。比如与匈奴作战时卫青作为全军统帅，号“大将军”；有的以战略方向为号，比如“贰师（西域有贰师城）将军”、“度辽将军”；有以所指挥部队为号的，比如“材官将军”、“楼船将军”、“骁骑将军”等等。
将军作为司令官有组织指挥所的权力，可以自行组织“幕府”（因为设置在军营帐篷中而得名），任命“司马”、“长史”等参谋人员。
以后将军长期设置，成为一种正式官职。东汉正式明确“大将军”为朝廷最高级官员，后来一般只用来封赏执掌朝政的外戚（皇后的亲属）。以下有骠骑、车骑、卫将军、伏波、抚军、中军、四征、四镇、龙骧、典军、上军、辅国等等一系列将军称号，如果加上“开府仪同三司”（开府是可以建立正式衙门机构的意思）的名号，也与三公平级。
三国两晋南北朝是将军名号最滥的时期。曹魏在大将军下设“中领军将军”来统帅中央军集群，又将护军都尉改为护军将军，来主持武官的选拔委派。以后这两种级别最高的将军也逐渐增设。其他有左、右卫将军，骁骑将军、游击将军等。实行九品官制后，凡大将军或开府将军都列一品，骠骑、车骑、领军、护军等将军为二品，左、右卫以及前、后、左、右将军为三品，校尉为四品。在将军府担任参谋工作的长史、司马、主簿、参军等武官为五、六品。基本军官则仍然是以“尉”为名，最低的塞尉为九品。到了后来将军越封越多，晋代将军仅名号就有40种，而将军名号与所承担的指挥职务完全无关，甚至习惯上前、后、左、右将军是授予文官的称号，比如东晋时王羲之就是“右军将军”。而南梁的将军名号居然多达240种，在区分品级外又分成44班。北魏有60多号将军，都是用来“褒赏勋庸”，并没有军事指挥职权。
这一时期实际担任战区或方面军指挥职务的官职改称“都督”。起先这是一个全军总指挥职务，如公元216年曹*曾命令夏侯敦以大将军身份“督二十六军”，222年曹真以大将军“都督中外诸军事”。以后越设越滥，一个州、一个郡大小的军区也设都督。晋代制度：以“都督诸军”、“都督中外”为全军指挥，“监诸军”为临时指挥，以下战区都督有“使持节”、“持节”、“假节”3个等级，“使持节”有权杀地方长官以下，“持节”有权杀无官位人，“假节”只能处死违反军令者。这种制度被以后南北朝各代继承，除了指挥朝廷直属军队的一些将军职称外，只有加了都督衔的将军才是真正的武官。北周又另设“行军总管”作为方面军指挥。
隋唐时期朝廷府兵12个卫各设正三品的大将军。以下各卫设将军，从三品；长史，从六品上；录事参军事，正八品上；以下另有参军、司阶、校尉、旅帅、队正、副队等大小军官。地方各府（隋朝称“骠骑”、“鹰扬”等府，唐朝称折冲府）设折冲都尉，按照军府上、中、下等，由正四品上至正五品下；副手为果毅都尉，从五品下至从六品下；下设别将，正七品下至从七品下；长史，正七品下至从七品下；兵曹参军，从八品下至从九品下。下属有校尉、旅帅、队正等低级军官。
这些是平时的武官，战时以亲王担任总指挥的称元帅，在战区内统管文武官员的，称总管。边境军区设置“节度使”，因为“受命之日，赐之旌节（代表皇帝的信物）”，得以有军事指挥的专断权力。下有大使、副使、判官等属官，指挥驻军。原来是由文臣担任的，在唐玄宗统治的后期逐步改为由武将专任。安史之乱后内地也普遍设置节度使，成为一种高级武官的职称。但是实际上并没有正式级别。其级别要看节度使所挂的其他官职，比如早期节度使往往挂有尚书衔，那就是级别最高的官员了。后期的节度使有的挂中央军12卫大将军衔，有的挂太尉、或“中书门下同平章事”的宰相头衔，级别相当混乱。
出于唐末五代军阀割据、武夫专政的历史教训，宋朝统治者有意实行“以文压武”的政策，总的来说武官的实际级别大大降低。另外又实行“官”、“职”分离的制度，使得武官的级别与所任军职并没有必然联系。最高级别的武官仍然是“太尉”，但只有从二品，而且只是个荣誉称号，无论文武都可以封授。同时保留了前朝的种种将军、校尉名号，但只是作为武官的“赠典”，只有荣誉称号的意义，甚至有的号为“大将”，实际上只是个没有品级的官。
武官的级别以“某某使”（北宋后期改为某某大夫）来表示品级，如传统的称号：节度使（从二品）、承宣使（正四品）、观察使（正五品）、以及防御使、团练使、刺史等（均从五品），或者是宋代新创的内客省使（正五品）、四方馆使（正六品）等等，低级军官为“某某副使”。到北宋末将高级武官改为带有“武”字系列的“某某大夫”，低级军官改为“某某郎”。但都是虚衔，仅仅表示俸禄数额。
真正的最高军职为朝廷“三衙”长官，即殿前司、侍卫马军司、侍卫步军司的“都指挥使”，往往只挂有个四、五品的官衔。而且明确文官可以管辖武官，而武官绝不得管辖文官。在品级比自己高的文官面前，武官只好俯首听命。
辽、西夏、金、元几个少数民族皇朝统治时期，一般都在沿用中原皇朝种种武官名号同时，保持本部族的特色。比如女真族建立的金朝，沿用了唐宋以来的都点检、都指挥使、种种将军名号，明确殿前都点检为正三品，都指挥使为从三品，以下的左、右卫将军等等各有品级.在各要害地设置统管军民的总管，正三品；或设军镇，设节度使，从三品。而部族军队则仍然以猛安、谋克来指挥。
元代最高军事统帅机构枢密院大多由武官来担任枢密使、副使，可以称之为最高级别武官，为从一品。指挥朝廷各卫的都指挥使、以及各地的蒙古军“万户”、都指挥使都为正三品，“千户”为正五品，“百户”为正七品。同时也沿袭前代将军、校尉之类的名号，作为武散官给武官加衔。
明朝以武立国，但接受宋代教训，没有采用以文抑武的政策，相反大幅度提高武官级别，而且明太祖朱元璋还明确规定文臣不得封公侯，最高只能封伯爵。设置最高军事机构为中军、左军、右军、前军、后军五都督府，每府左、右都督，都是正一品；副手都督同知，从一品，都督佥事，正二品。朝廷各卫的指挥使都是正三品，各省的军事长官都指挥使为正二品，要高于本省的行政长官布政使（从二品）。地方各卫的指挥使也是三品官，千户所的千户为正五品，百户所的百户为正六品，都远高于知县（正七品）。小说《金瓶梅》中恶霸西门庆后来弄到一个“千户”的军衔，县官见了他也要敬礼。这样明代成为历史上武官级别最高的朝代之一。
不过和历代一样，这套武官系列到了明中期后就运转不灵，朝廷陆续在各地设置“总兵”作为某一部队的总指挥，以下也不再按照原来的序列任命军官，而是另行委派参将、游击、守备等中级军官作为基层部队的指挥官。另行委派千总、把总之类名目的军官来组织指挥小部队。而在这些武官之上具有战区指挥权的却往往是朝廷派出的文官担任的“提督”、“总督”、“经略”。
