在中国，汉语元帅一词最早出现在公元前633年的春秋时期，其名源于《左传·僖公二十七年》（前633年）所载晋文公的“谋元帅”（即考虑中军主帅人选），晋国名将先轸在城濮之战与崤之战中屡立战功，成为了我国历史上第一位有元帅头衔并有着元帅战绩的军事统帅。当时只是表示对“将帅之长”的称呼，还不是官职名称。从南北朝起，元帅逐渐成为战时统军征战的官职名称，如北周宣政元年（公元578年），宣帝宇文邕任命其叔父宇文盛和宇文招为“行军元帅”，率军作战。唐李渊入关后，设有左右元帅。唐代有元帅、副元帅等战时统帅。元帅常以皇子或亲王担任，副元帅常以有威望的大臣担任。唐太宗李世民在继承皇位以前曾担任过“西讨元帅”。宋靖康时以康王赵构为天下兵马大元帅以拒金兵；金侵宋时亦设都元帅、左右副元帅，多由亲王任职，权位极重，非定职。元代外省和边疆常设有都元帅、元帅府或分元帅府及置达鲁花赤、元帅等，为地区军事长官。元末地主武装首领多称元帅。明代在枢密院之下设诸翼元帅府，任命元帅、同知元帅等官职，统军征战。元、明两朝的元帅职权较前减轻，仅为二、三品官职。
作为高级军事统帅，“将军”早在二千多年前就出现了。春秋时代以卿统军，故称卿为将军；一军之帅称将军。见《国语·晋语四》、《左传·昭公二十八年》：“岂将军食之而有不足”。此皆非正式官名。到战国时代始为正式官名，而卿仍称将军。见《史记·廉颇蔺相如列传》；又置前后左右将军。秦因之。汉置大将军、骠骑将军，位次丞相；车骑将军、卫将军、前后左右将军，位次上卿。见《汉书·百官公卿表上》。西汉还有“中将军”，见《汉书·卫青霍去病传》、《史记·卫将军骠骑列传》。这些将军都是朝廷重臣，常加朝中官号，参与朝政。另外有楼船将军、材官将军、将屯将军、伏波将军等杂号将军，地位稍低，统兵征伐时临时设置，因事立名，事讫而罢。魏、晋、南朝、北魏、北齐时期，专职武官将军有领军将军、护军将军，及其所领左卫将军、右卫将军、骁骑将军、前军将军、后军将军、左军将军、右军将军等，典掌禁军，各有职司，其余诸号将军名为朝中大臣和地方长官的加官，虽然也领军兵，但不是专职的军事统帅。其中晋朝有骠骑、车骑、卫将军，有伏波、抚军、都护、镇军、中军、四征、四镇、龙骧、典军、上军、辅国等大将军，开府者位从公，不开府者秩二品。三品将军秩二千石。见《晋书·职官志》。晋诸州刺史多以将军开府，都督军事。南北朝时将军名号极多，权位不一。西魏、北周时期实行府兵制，各级府兵组织的统帅也带将军号，如柱国大将军、大将军、骠骑大将军、车骑大将军等。隋朝十二卫、唐朝十六卫等诸禁卫军都置大将军、将军，分别冠以卫号、军号，统领府兵、禁军。辽朝北面御帐官、皇族帐官、诸帐官、部族官、属国官、军官中皆置将军，参掌本部军队之政令。金朝宫中置宿置将军，领亲军，掌宫城及出行禁卫；大宗正府下设诸宗室将军，分治宗室事务；金章宗发兵攻宋时曾设置平南诸号将军，军还而罢。明朝镇守边防的将领挂将军印。明清两代，有战事出征，置大将军和将军，战争结束则免。明朝领兵出征的总兵官临时挂将军印，事毕纳印。清朝临时派遣的军事统帅授以靖逆将军、扬威将军等，班师撤回时，军队各归原建制，印信缴还。
将军的肩上是金星，元帅的肩上是国徽！各个古朝代不太一样但基本上的相同点是：元帅（或类似的职位）只是战时临时授命，负责节制该战区的全部兵力，这些兵力可能很多，也可能较少。由战斗规模决定。而将军是一种固定官职。
