《九月九日忆山东兄弟》中的山东是王维迁居于蒲县（今山西永济县），在函谷关与华山以东，所以称山东。
在古代，山东，因居太行山以东而得名，范围很大，先秦时期隶属齐国、鲁国，故而别名齐鲁。山卖肆东境内还有其他许多小一些的诸侯国，仅见于《左传》的就有55国之多，其中疆域及影响较大的有莱、莒、邹、滕、曹等国，他们后来多被齐、鲁两国并吞。进入战国时代，齐国成为七雄之一；而今日山东的大部分地区都由齐、鲁两国拥有。及至公元前221年，齐国成为最后被秦国吞并的诸侯国。
清初设置山东省，“山东”才成为省的专名。中华人民共和国成立后，设立平原省，由中央直接领导，今山东的菏泽、聊城等地区划归平原省管辖。1952年撤销平原省，菏泽、聊城、湖西3专区划归山东省。2018年12月，国务院批复同意山东省调整济南市莱芜市行政区划，羡卜撤销莱芜市，将其所辖区域划归济南市管辖；设立济南市莱芜区，以原莱芜市莱城区的行政区域为莱芜区的行政区域；设立济南市钢城区，以原莱芜市钢城区的行政区域为钢城区的行政区域。
截至2018年12月，山东省辖济南、青岛、淄博、枣庄、中派轿东营、烟台、潍坊、济宁、泰安、威海、日照、临沂、德州、聊城、滨州、菏泽16个地级市，县级单位137个（市辖区55个、县级市26个、县56个），乡镇级行政单位1824个（街道办事处660个、镇1094个〔回族镇4〕、乡70个）。
