军衔制是世界各国军队为明确军中指挥关系、激励士气而普遍采用的一种行之有效的军队管理制度。军衔既可以明确军人在军队中的地位、责任和相互关系，也是国家给予军人的荣誉。军衔制度可以追溯到古代国家的武阶体制。近代军衔制度出现于15世纪的西欧。之后，经过二三百年的不断发展与传播，最终形成了现代国际上通行的军衔制度。
中国人民解放军诞生1927年8月1日。在革命战争年代，中国人民解放军曾两次拟议实行军衔制度，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。
新中国成立后，为增强军人的责任心和荣誉感，促进军队正规化建设，加强军队诸军兵种之间指挥、管理和保障的协同，便于进行国际交往，中国人民解放军于1955年9月首次在全军（包括现在武警部队的前身公安部队）实行了军衔制。
这次军衔等级设置是在中国传统军衔等级体系的基础上，参照了前苏联、朝鲜等国的军衔制而设定的。军官军衔设4等14级，即中华人民共和国大元帅、中华人民共和国元帅（大元帅实际未授予）；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。1955年9月27日，全国人大常委会第二十二次会议通过了授予中华人民共和国元帅军衔的决议。同日，中华人民共和国主席毛泽东向朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英10人授予中华人民共和国元帅军衔。国务院总理周恩来发布命令，授予粟裕、黄克诚、谭政、肖劲光、王树声、陈赓、罗瑞卿、许光达、徐海东、张云逸10人中国人民解放军大将军衔，授予55人上将军衔，授予175人中将军衔，授予802人少将军衔。以后，从1956年至1964年间，又陆续晋升了一批将军。到1965年，共授予将官以上军衔1614人。总计有60余万名干部获得了准尉以上军官军衔。
1965年5月22日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制度的决定》，1965年6月1日开始实施。国务院据此公布了关于中国人民解放军新的帽徽、领章和部分军装样式的决定，规定陆、海、空军和公安部队。一律佩带全红五角星帽徽和全红领章。
改革开放以来，为加强我军革命、现代化、正规化建设，恢复军衔制度被提到了议事日程。1980年3月，中央军委主席邓小平提出要搞军衔制。1984年5月31日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。1985年6月，中央军委召开扩大会议，果断地提出割断1965年以前的军衔体制，“实行新的军衔制”。
1988年7月1日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》。
士兵军衔制度同时立法。
同年9月23日，国务院、中央军委又颁布了《中国人民解放军现役士兵服役条例》。由此形成了我军完整的军衔体系。中国人民解放军新军衔制度于1988年10月1日正式实施。
新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设3等11级，即一级上将、上将、中将、少将；大校、上校、中校、少校；上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。中央军委领导邓小平、杨尚昆主动提出自己不受军衔，因此，一级上将空缺。
1993年10月1日起，士官分别佩带共有4个军衔等级的标志。士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。
1994年7月1日，第八届全国人民代表大会常务委员会第七次会议对1988年制定的《中国人民解放军军官军衔条例》作了修改。其中主要改动为：（1）取消一级上将军衔，军官军衔由原来的3等11级改为3等10级。（2）明确规定：中央军委主席不授予军衔；中央军委副主席、中央军委委员、解放军总参谋长、总政治部主任的职务等级编制军衔均为上将。（3）军事、政治、后勤军官从正大军区职至排职的军衔设置，由原来的一职两衔或三衔（其中一个为基准军衔），一律改为一职两衔（其中前一个为主要军衔，后一个为辅助军衔）。
1995年9月10日，八届全国人大常委会通过《中华人民共和国预备役军官法》，规定预备役军官军衔设3等8级，即少将；大校、上校、中校、少校；上尉、中尉、少尉。
1999年6月国务院、中央军事委员会重新修订发布《中国人民解放军现役士兵服役条例》，士兵的军衔按兵役性质分为： 志愿兵役制士兵：六级士官、五级士官、四级士官、三级士官、二级士官、一级士官； 义务兵役制士兵：上等兵、列兵。
军衔等级设置多少，总体上受本国军队的规模和编制体制的制约。欧洲早期的军队最大编制是团，所以当时最高军衔只到上校，将军则是代表君主或元首指挥作战的首领。以后，随着军队组织编制的扩大，将军逐步区分为若干等级，以指挥不同规模的军队。目前，各国军官军衔同军队职务之间有一定的对称关系，通常是少尉对应排长，中尉对应副连长，上尉对应连长，少校对应营长，中校对应副团长，上校对应团长，准将对应旅长，少将对应师长，中将对应军长，上将对应方面军司令官
