1984年起，中国形成了中央银行、专业银行的二元银行体制。中国人民银行履行对银行业、证券业、保险业、信托业的综合监管。
2003年，根据第十届全国人民代表大会第一次会议批准的国务院机构改革方案和《国务院关于机构设置的通知》（国发〔2003〕8号），设立中国银行业监督管理委员会，为国务院直属正部级事业单位。
2003年4月25日，中国银行业监督管理委员会成立；2003年4月28日起正式履行职责。
中国银行业监督管理委员会划入中国人民银行对银行业金融机构的监管职责和原中共中央金融工作委员会的相关职责。根据中共中央决定，中国银行业监督管理委员会成立党委，履行中共中央规定的职责。
中国人民银行原来的银行监管一司、二司、非银司、合作司和银行管理司进行了重新整合。整合后的中国银行业监督管理委员会新部门分别是：监管一部负责国有商业银行，监管二部负责股份制商业银行，监管三部负责外资和政策性银行，而非银行金融机构监管部和合作金融机构监管部负责信托公司、租赁公司、资产管理公司等金融机构。
中国银行业监督管理委员会成立之初的主要职责为： 制定有关银行业金融机构监管的规章制度和办法；起草有关法律和行政法规，提出制定和修改的建议。 审批银行业金融机构及其分支机构的设立、变更、终止及其业务范围。 对银行业金融机构实行现场和非现场监管，依法对违法违规行为进行查处。 审查银行业金融机构高级管理人员任职资格。 负责统一编制全国银行业金融机构数据、报表，抄送中国人民银行，并按照国家有关规定予以公布。 会同财政部、中国人民银行等部门提出存款类金融机构紧急风险处置的意见和建议。 负责国有重点银行业金融机构监事会的日常管理工作。 承办国务院交办的其他事项。 其成立之初内设15个职能机构：办公厅（党委办公室）、政策法规部（研究局）、银行监管一部、银行监管二部、银行监管三部、非银行金融机构监管部、合作金融机构监管部、统计部、财务会计部、国际部、监察局（纪委）、人事部（党委组织部）、宣传工作部（党委宣传部)、群众工作部（党委群工部）、监事会工作部。另外，机关党委负责会机关及在京直属单位的党群工作。
其成立之初机关事业编制为450名，包括原中共中央金融工作委员会的120人，原中国人民银行5个司的200人 。其中，局级领导职数56名（含主席助理3名，纪委副书记1名，机关党委副书记1名，机关纪委书记1名）。
截至2003年10月19日，中国银行业监督管理委员会省级派出机构全部成立 。
2015年1月20日，中国银监会宣布实行监管架构改革，对内设机构重新进行职责划分和编制调整，同时清减下放行政权力，强化事中事后监管。此次监管架构改革的一大特点就是强化监管主业，将有限的机构和人员编制向前台监管部门倾斜，调整后内设22个部门中，监管部门由11个增加到17个，占部门总数的77.3%。
