上海历史博物馆分为“序厅”、“古代上海”和“近代上海”和“尾厅”四大部分，通过9个单元，综合反映上海社会发展历程和人文历史特征。
底楼序厅，综合介绍上海历史发展脉络和历史地理信息。二楼是“古代上海”展厅，以6000年前的马家浜文化拉开序幕，崧泽文化、福泉山文化、良渚文化一一展现，着重介绍上海地域范围内从远古到清朝中期的社会发展。
三楼、四楼展示“近代上海”，下设7个单元，“上海开埠，国中之国”、“中西交汇，城市转型”、“辛亥革命，上海光复”、“中共创建，开天辟地”、“经济中心，远东都会”、“同心戮力，抗战风云”和“争取民主，都市新生”。
尾厅部分，则通过短片选取1949年上海解放以来社会进步、经济发展、人民幸福生活的70余个精彩瞬间，通过视觉展项表现了上海取得的伟大辉煌成就。
