不同的时期有所不同。
西汉时，刘邦在汉中拜韩信为大将军，位在诸将上总理军事，韩信被处死后即不常置。仅战时临时受封，战毕即除。直到刘彻，才因卫青而复置大将军，作为将军的最高称谓，位在三公上，卿以下皆拜。
东汉的大将军原位在三公下，到汉和帝时窦宪出任大将军，由于权势太大，朝廷震动，联合奏请以大将军位列三公之上。
三国时大都继承了东汉的体制，后来司马师任大将军时由于其叔父司马孚是太尉，曾改大将军在太尉下。
隋代左右武卫、左右武侯等各置大将军，为统率禁军之高级将领。唐代，大将军为十六卫长官之一，位居上将军下。随着府兵制日渐破坏，十六卫实际已经没有军队，诸卫大将军成为虚衔。禁军之左右羽林军、左右龙武军等亦设大将军，往往以宦官任之。
宋代之16卫大将军已属空衔，无统兵实权。唐至元，定大将军为武散官之首阶。明清两代于战争时由皇帝特派大将军统兵，或于大将军上再加称号，皆统兵作战，战后即废。
隋唐以后，太尉已无实际职事，明清以后不设太尉。所以在隋唐以后，大将军比太尉更有实际价值一点（除了北宋末年，徽宗年间重定武官制度后，太尉成为武阶官之首）。
扩展资料：
尉之名最早见于《吕氏春秋》，汉武帝建元二年（公元前139年）后不再设置。西汉早期，设太尉官多半和军事无关，故带有虚位性质，不同于丞相、御史大夫等官职。汉武帝时以贵戚为太尉，一变过去由立武功之臣充任太尉的惯例，而又和丞相同等，这也和西汉早期有所差别。
光武帝建武二十七年（51年），将大司马改为太尉。东汉时期，以太尉、司徒、司空为三公，太尉管军事，司徒管民政，司空管监察，分别开府，置僚佐。
后曹操撤销三公制，自任丞相。魏文帝时期曾短暂恢复，后又撤销。自隋撤销府与僚佐，便渐次演化成优宠宰相、亲王、使相的加官、赠官。元不常置。明废。
汉高祖二年（公元前205年），卢绾为太尉，后废除。十一年，又以周勃为太尉，以后废置无常。惠帝、吕后时周勃仍为太尉，文帝时以灌婴代之，不久即罢去。景帝时周亚夫曾居此职，四年而罢。武帝建元元年（公元前140年）又置，次年罢去，后不再设置。
西汉早期，设太尉官多半和军事有关。汉高祖刘邦为伐陈豨而以周勃为太尉，汉景帝刘启为平吴楚七国之乱，而命周亚夫为太尉。
参考资料：百度百科-太尉
