我国明朝末年出现了类似银行的钱庄和票号。鸦片战争后，一些外商银行纷纷进入我国开展金融业务，并凭借其特权攫取了巨额的利润。我国境内第一家银行是1845年英国人设立的丽如银行， 1897年中国通商银行作为中国人自办的第一家银行开始营业。
20世纪30年代，统治旧中国的国民党政权建立了以中央银行、中国银行、交通银行、中国农民银行、中央信托局、邮政储金汇业局、中央合作金库（简称“四行二局一库”）为主体，包括省、市、县银行及官商合办银行在内的金融体系。此外还有一批民族资本家兴办的私营银行及钱庄，其中约三分之一集中在上海，但多半规模不大且投机性强，在经济运行中所起的作用十分有限。
随着中国人民解放战争的节节胜利，1948年12月1日在石家庄成立了中国人民银行，并开始发行人民币。1949年2月，中国人民银行迁入北平。新中国成立前后，根据1948年4月在北平召开的中国人民政治协商会议第一届全体会议通过的《共同纲领》，对官僚资本银行进行了接管，并分不同情况进行停业清理或改组为专业银行;将官商合办的4家银行改组为公私合营银行;对私营银行则进行整顿和改造;还取消了在华外商银行的一切特权，并禁止外国货币在国内流通。
新中国成立后，我国在计划经济体制下形成了由中国人民银行“大一统”的银行体系，即银行不划分专业系统，各个银行都作为中国人民银行内部的一个组成部分，从而使中国人民 银行成为既办理存款、贷款和汇兑业务的商业银行，又担负着国家宏观调控职能的中央银行。“文化大革命”期间，在“左”的思想指导下，银行的独立性日渐消失，1969年9月甚至将中国人民银行并入财政部，成为财政部所属的二级机构，使其基本上沦为政府的“大钱库”和“出纳员”。不少领导人不懂银行工作的重要性，把银行当作一个办理收收付付的‘大钱库'，需要钱的时候才想到银行，有的甚至把财政资金和信贷资金混同起来，靠行政手段办事，做了许多违反经济规律的事。
1976年10月，“文化大革命”十年动乱结束，我国的银行体系也开始恢复和重建。1978年12月召开的中国共产党十一届三中全会，开始全面纠正“文化大革命”及其以前的“左”倾错误，使我国进入了改革开放的新时期。我国的银行业在邓小平理论的指导下，走上了改革开放的道路。从1977年至今，我国商业银行的发展大体上可以分为以下几个阶段。
体系重建阶段（1977—1986年） 尽管在1978年3月中国人民银行总行恢复了其独立的部级单位的地位，但其所担负的商业银行与中央银行的双重职能并未改变。从1979年初开始，在改革开放方针的指引下，相继恢复了主管农村金融业务的中国农业银行，从中国人民银行中分设出了主管外贸信贷和外汇业务的中国银行，从财政部中分设出了主管长期投资和贷款业务的中国人民建设银行，1981 年底又成立了负责接受国际金融机构贷款及其他资金转贷给国内企业的中国投资银行。1983年9月17日，国务院发文明确规定中国人民银行专门行使中央银行的职能，同时决定成立中国工商银行，接办中国人民银行原有的信贷和储蓄等商业银行业务。至此我国基本形成了以中央银行为领导、以四大国家专业银行为骨干所组成的银行体系。
1984年10月，中国共产党十二届三中全会做出了《中共中央关于经济体制改革的决定》。为了发展“有计划的商品经济”，我国银行体系迅速扩张。1985年人民银行出台了专业银行业务可以适当交叉和“银行可以选择企业、企业可以选择银行”的政策措施，鼓励四家专业银行之间开展适度竞争，从而打破了银行资金“统收统支”的“供给制”，四家专业银行还开始将其触角伸向农村，为当时正在蓬勃发展的乡镇企业提供贷款。
扩大发展阶段（1987—1996年） 随着改革开放的进展，为银行业的改革和发展提供了动力。1986年12月，邓小平要求“金融改革的步子要迈大一些。要把银行真正办成银行”。1987年中国人民银行提出要建立以中央银行为领导，各类银行为主体、多种金融机构并存和分工协作的社会主义金融体系。在1987年中共“十三”大和1992年中共“十四”大精神的指引下，我国银行业在改革中不断扩大发展。
尽管在改革开放初期就已经提出国家专业银行要进行企业化改革，实行商业化经营，但由于这些专业银行既从事政策性信贷业务，又从事商业性信贷业务，既难以办成真正的商业银 行，又不利于进行金融宏观调控。1993年11月中共十四届三中全会提出要“建立政策性银行，实行政策性业务与商业性业务分离”之后，在1994年内相继成立了专门办理政策性信贷业务的国家开发银行、中国进出口银行及中国农业发展银行，从而为国家专业银行向国有独资商业银行的转变创造了有利的条件。1995年5月10日，第八届全国人大常委会第13次会议通过了《中华人民共和国商业银行法》，明确了商业银行的性质、地位及与其他金融市场主体之间的关系，并为商业银行自主经营、提高资产质量提供了法律保障。到1996年底，我国四大国有商业银行共有机构153 069个、职工168.68万人。
与此同时，在改革开放的推动之下，其他类型的银行也迅速发展。在交通银行于1986年7月重组成以公有制为主的股份制全国性综合银行之后，相继成立了中信实业银行、招商银 行、深圳发展银行、烟台住房储蓄银行、蚌埠住房储蓄银行、福建兴业银行、广东发展银行、中国光大银行、华夏银行、上海浦东发展银行、海南发展银行、民生银行等12家股份制银 行。到1996年底，这13家股份制银行共有机构3 748个、职工8.55万人。
1986年1月，在国务院主持下，邮电部与中国人民银行分别以投资所有者和业务监管者的身份，联合发布了《关于开办邮政储蓄的协议》，决定在北京、天津等12个城市试办邮政储蓄业务。1986年底通过的《中华人民共和国邮政法》将邮政储蓄业务法定为邮政企业的业务之一，从而使邮政储蓄遍布全国，形成了一个“准银行”系统。1995年，中国人民银行开始在16个城市进行在城市信用社的基础上组建城市合作银行的试点。同年2月，中国第一家城市商业银行———深圳城市商业银行成立，到1996年底共有18家城市合作银行开业。
深化改革阶段（1997—2002年） 改革攻坚阶段（2003年至今）
