为了保存辛亥革命的胜利果实，孙中山一直在开展护法运动，同北洋军阀进行斗争。在第一次护法运动失败后，孙中山并未气馁，而在积极寻求进行第二次护法运动的机会。随着粤桂战争的爆发，孙中山开展第二次护法运动。
1920年孙中山领导的反对北洋军阀的斗争。
第一次护法运动失败后，孙中山避居上海。此时，国际国内都发生了重大的历史性变化，孙中山在新的社会形势和社会力量的推动下，继续探寻着民主共和的出路。他重新检讨了“护法”口号，认识到“护法”不过是“维持现状”的法子，解决不了中国社会的根本问题，而根本解决的办法，应该是南北新旧国会一概不要它，再来一次“重新革命”，以扫除陈腐的官僚系统。为此，他在进行革命宣传的同时，又领导了组织改造工作，把中华革命党改组为中国国民党，废除了旧党章，制定了新规约，规定中国国民党的纲领为“巩固共和，实行三民主义”，并把党从半秘密状态解脱出来，以便使它成为指导革命斗争的政党。1920年6月，国内政治形势发生急剧变化：滇桂矛盾日益激化，西南各省内部战乱纷起，执政者更迭不断。7月，直皖战争爆发，皖系溃败；8月，南方爆发粤桂战争。11月，陈炯明率粤军驱逐桂系出广东。同月下旬，孙中山自沪回到广州，受到广东军民的热烈欢迎。随即，孙中山宣布重新组成军政府，继续执行护法职务；国会议员也相继返粤，准备重开国会非常会议。第二次护法运动由此展开。
为适应战时的集中领导和外交的需要，同时也为了表示推翻北洋政府的决心，孙中山建议国会在广州成立正式政府。孙中山的建议得到了国会议员们的赞同。1921年4月，国会非常会议通过《中华民国政府组织大纲》。国会依据“大纲”有关条款，选举孙中山为非常大总统，原军政府即行撤销。5月5日，孙中山宣誓就职，并在就职《宣言》中表示：中国必须在完成自治主义基础上实现统一。他支持省自治运动，制定省宪，自选省长，中央分权于各省，但必须“各省分权于各县”，使民权具有更为广泛的社会基础；提出“发展实业，保护平民”，使平民免除“生计压迫之痛苦”。不久，孙中山又公开发表《劝徐世昌退位书》，揭露北方“国会”选出的总统徐世昌，只不过是袁世凯时代君主专制政体的走卒，警告徐世昌必须“即日引退，以谢国人”，表示了推翻北洋军阀政府的决心和锐意北伐的战略。
为了北伐，孙中山非常注意刷新政治，巩固后方。广州政府对于北洋政府统治下的广大人民革命斗争，反对帝国主义和反动军阀统治的斗争，给予大力支持。在政府内部，实行裁员减政。孙中山反复告诫革命党人和政府工作人员，要少做官，多做事；官吏应正直供职，不得受贿。在军事方面，桂系军阀的残余势力仍然盘踞广西，企图与北洋政府勾结，恢复在广东的统治。孙中山决定彻底消灭桂系，以靖后方。1921年夏秋之际，孙中山命令驻在广东的粤、赣、黔、滇各军，在李烈钧、陈炯明等率领下，攻人广西，桂系将领刘震寰表示支持广州政府，战场起义，使粤军直捣梧州。3月5日，广州政府军攻入南宁、龙州，13日再克桂林，散在其他地区的桂军逐渐被瓦解。桂系军阀首从领陆荣廷宣告下野，逃出广西，两广遂告统一。
当此之时，北方军阀直奉两派的矛盾也日益激化，双方间的战争不可避免。孙中山决定抓住时机，利用直奉矛盾，联奉反直。11月10日，广州国会非常会议通过北伐案。12月初，孙中山亲抵广西桂林，组成大本营。大本营集中了拥护广州政府的各省护法军3万人，准备出广西全州，取道湖南挥师北上。孙中山委任朱培德为滇军总司令，彭程万为赣军总司令，谷正伦为黔军总司令，李烈钧为参谋长，胡汉民为文官长。此外，尚有许崇智及李福林所部粤军。大本营指派廖仲恺筹划财务，邓铿负责警卫部队，以保证饷械粮秣供应及后方安全。1922年2月，孙中山以大元帅名义，颁布出师令，开始北伐护法战争。北伐军前锋部队迅速推进至湖南境内。身为粤军总司令的陈炯明虽表面上同意北伐，但内心却对北伐统一政策持反对态度，欲图联省自治，做“广东皇帝”，因此对孙中山的北伐军事部署敷衍塞责，甚至暗中进行破坏。他秘密与湖南军阀赵恒惕结成反孙联盟，以阻止和破坏北伐军进入湖南。他控制的广东政府，拒不接济北伐军粮饷器械，甚至指使人在广州火车站枪杀积极支持北伐的邓铿，以断孙中山的臂膀。面对陈炯明的阻挠和经济上的困难，孙中山遂决定改道北伐，准备以广东境内的韶关为大本营，经江西北伐。北伐军遂即从湖南撤军，秘密向广东转移。陈炯明得知北伐军回师广东的消息后乃致电孙中山以辞职相威胁。4月19日，孙下令准其辞去粤军总司令及广东省省长职务，并撤销了粤军总司令部，将粤军直接置于大本营统辖之下，但仍保留了陈的陆军总长职务，任命陈的亲信叶举为粤桂边防督办，以表合作之诚意。陈炯明卸职后，即带部分亲兵退惠州，开始加紧同北洋军阀的勾结活动。1922年5月6日，孙中山于韶关大本营誓师北伐。
此时，北方政局已发生变化，直奉战争中，奉系失败，兵败军粮城，使联奉倒直的北伐军处于不利地位。但孙中山北伐意志不为之动，仍令北伐军入赣作战。6月中旬，北伐军攻克赣州，并继续向江西首府南昌进发。北方直系军阀在直奉战争中取得胜利，巩固了在北方的统治后，便向南方政府发起和平攻势。曹锟、吴佩孚打出了拥护“约法”和恢复旧国会的旗号。直系军阀还通电要求南北两总统同时下野，以动摇南方政府的护法决心。6月1日，旧国会议员150多人在天津开会，宣言从即日起行使职权。6月2日，大总统徐世昌退位，黎元洪准备再次出山。曹、吴关于恢复法统的宣传，在广州也引起了共鸣。6月6日，孙中山发表通电，对北洋政府的阴谋予以揭穿。通电指出：数年来国内战争，乃护法与毁法的战争，绝非南北地域之争。北方武人如真正赞成“约法”，拥护国会，首先应惩办祸国渠魁，保障国会安全，进而裁减武力。通电提出将北洋兵力的一半，改为工农，做为停战的条件，其余一半，留待与全国军队同时依次改编。这个通电又称“兵工计划”宣言。孙中山最后表示，如上述条件不能实现，他将决心继续北伐，使护法运动贯彻到底。然而值此关键时刻，广东实力派陈炯明，在直系军阀和英帝国主义支持下，于6月16日发动叛乱，炮轰总统府，欲置孙中山于死地。孙中山冒死冲出包围，在永丰舰上坚持战斗了近两个月后，离开永丰舰，经香港回到上海，第二次护法运动宣告失败。第二次护法运动失败后，孙中山痛定思痛，总结经验教训，开始了新的探索。