经济决定金融，当社会生产力增长达到一定水平后，忽视商品生产、价值规律和市场调节作用的计划经济体制，已越来越不能适应生产力进一步发展的要求，“大一统”的金融体制的弊端日益突出。1979年10月4日，邓小平同志在省、自治区、直辖市第一书记座谈会上提出：“银行应该抓经济，现在只是算账、当会计，没有真正起到银行的作用。银行要成为发展经济革新技术的杠杆，要把银行真正办成银行”。在这一思想的指导下，我国开始了有计划、有步骤的金融体制改革。
20世纪70年代末到 1984 年，为适应改革开放和经济、金融发展需要，我国先后恢复了中国农业银行、中国银行、中国建设银行，设立了一些非银行金融机构，并开始引进外资金融机构。1984年中国人民银行专门行使中央银行职能，同时又分设中国工商银行。至此，中国金融机构组织体系多样化雏形基本确立，计划经济时期的“大一统”的垄断的金融体制被打破，银行业开始走向竞争。
1985年，党中央提出了《中共中央关于制定国民经济和社会发展第七个五年计划的建议》，提出了进一步发展社会主义有计划的商品市场，逐步完善市场体系；进一步增强企业特别是全民所有制大中型企业的活力，使它们真正成为相对独立的自主经营、自负盈亏的社会主义商品生产者和经营者。在此思想指导下，1996 年制定并实施的国民经济“七五”计划提出，建立一个以中央银行为领导，国家银行为主体，保险机构及其他金融机构并存和分工协作的社会主义金融体系。中央银行职能不断强化，各类银行和其他金融机构实行独立经营，自负盈亏，逐步办成真正的企业，做到国家的金融方针政策能贯彻落实，各金融机构又能自主地筹集资金和运用资金，使责任、权力、风险和利益逐步统一，在适当的竞争中增强金融企业内部经营上的动力、活力和内部压力。
1991年3月，全国人民代表大会通过的《中华人民共和国国民经济和社会发展规划和第八个五年计划纲要》中，提出金融组织体系的改革目标是，完善以中央银行为领导，国家银行为主体，多种金融机构并存、分工协作的金融组织体系。按照分业经营的原则，规范各金融机构的业务活动。专业银行要执行国家产业政策，承担经济调控职能。要在经济金融法规的约束下，在金融机构自负盈亏、自我约束的基础上，充分发挥各金融机构自主经营的积极性，进一步搞活金融。
1992年春，邓小平同志南巡讲话发表，结束了关于计划与市场、姓“资”姓“社”的争论，中国经济体制改革明确了社会主义市场经济的方向，金融体制改革也明确了方向。1993年春，中央开始制定财政、金融、税收、投资和外贸配套改革的方案。1993年11月 30 日，国务院发布了《国务院关于金融体制改革的决定》，明确提出金融体系改革的目标是：建立在国务院领导下，独立执行货币政策的中央银行宏观调控体系；建立政策性金融与商业性金融分离体系，以国有商业银行为主体，多种金融机构并存的金融组织体系；建立统一开放、有序竞争、严格管理的金融市场体系。明确中国人民银行各级机构的职责，转换中国人民银行职能，建立政策性银行。把国家专业银行办成真正的国有商业银行。在政策性业务分离出去之后，国家各专业银行（中国工商银行、中国农业银行、中国银行和中国人民建设银行）要尽快转变为国有商业银行，按现代商业银行经营机制运行。积极稳妥地发展合作银行体系。合作银行体系主要包括两部分：城市合作银行和农村合作银行，其主要任务是为中小企业、农业和发展地区经济服务。根据对等互惠的原则，经中国人民银行批准，可有计划、有步骤地引进外资金融机构。外资金融机构要按照中国人民银行批准的业务范围开展经营活动。金融机构经营不善，允许破产，但债权债务要尽可能实现平稳转移。
1995年，我国先后出台了《中华人民共和国中国人民银行法》（以下简称《中国人民银行法》）、《中华人民共和国商业银行法》（以下简称《商业银行法》）、《中华人民共和国保险法》（以下简称《保险法》）、《中华人民共和国票据法》（以下简称《票据法》）四部金融法律，特别是《商业银行法》的颁布实施，对中国商业银行的性质、业务范围、设立条件、业务运作等方面做了法律上的规定，明确了商业银行发展的基本方向。
1996年，在全面深化金融改革的基础上，国务院为了进一步理顺农村金融机构之间的关系，建立合理的管理体制和良好的运行机制，以形成一个能够为农业和农村经济发展提供及时、有效服务的金融体系。《国务院关于农村金融体制改革的决定》提出，建立和完善以合作金融为基础，商业性金融、政策性金融分工协作的农村金融体系。农村金融体制改革的重点是恢复农村信用社的合作性质，进一步增强政策性金融的服务功能，充分发挥国有商业银行的主导作用。农村金融体制改革是现有农村金融体制的自我完善，是坚持稳健过渡，分步实施，保持农村金融整体上的稳定性。
1997年11月，中国召开了建国以来最高规格的全国金融工作会议。会议提出，力争用3年左右的时间大体建立与社会主义市场经济发展相适应的金融机构体系、金融市场体系和金融调控监管体系。建立适应社会主义市场经济的金融体系，首先必须建立规范化的金融机构，这是由于金融机构是金融体系的细胞，只有真正建立自我发展和自我约束的金融机构，才能进一步完善金融市场、改革金融宏观调控和切实加强金融监管。因此必须将金融体制改革的重点，始终放在加快建立自我发展和自我约束的金融机构上。至此，可以说是经过了近20年的探索，关于我国银行业的发展目标基本确定。