争论结果，中共中央否定了东征讨蒋的意见，决定先进行第二次北伐，打奉系张作霖，同冯玉祥会师，然后再回过头来打蒋介石。这个决定的作出，鲍罗廷与陈独秀起了决定性的作用，其理由是：第一，蒋介石仍在高喊北伐，在部队群众中尚有欺骗作用；第二，东征会与帝国主义过早发生冲突；第三，如果东征讨蒋，张作霖会从后面来打武汉；第四，继续北伐可与冯玉祥会师，打通国际路线。
这种继续北伐的主张，符合了汪精卫希望向蒋介石妥协的心理。4月6日汪精卫离开蒋介石，从上海乘船赴武汉途中，曾给李石曾写信，信中虽充分肯定“民国十三年来改组之国民党，其精神与方策决不可牺牲”，但仍然提到要在南京召开第四次中执委全体会议，以解决一切问题。这说明他内心矛盾，并不想与蒋介石为代表的国民党新右派决裂。武汉政府中的谭延闿、孙科等人，也有希望与蒋介石妥协的心理。因此，最后在汉口南洋大楼举行了国共两党联席会议，国民党出席的有汪精卫、谭延闿、孙科、徐谦、顾孟余五人，共产党方面是鲍罗廷、罗易、陈独秀、张国焘、瞿秋白五人参加会议。会上决定先行北伐。4月19日，武汉政府在武昌南湖再次誓师北伐，北伐的号角再次吹响。
再说蒋介石面对着众人的谴责，迫不及待地在南京召开国民党中政会议，会议推举胡汉民为中央政治会议主席，决定南京国民政府于4月18日开始办公，同时举行定都庆祝典礼。
4月18日这天，一阵冲天炮在空中炸响，南京国民政府挂牌成立。同时，又发表《建都南京宣言》。胡汉民、张静江、伍朝枢、古应芬为国民政府常务委员。南京国民政府的第一号令就是“全面清党”。
首批被通缉的共产党人就有五十多人，他们是：
鲍罗廷、陈独秀、谭平山、林祖涵、吴玉章、杨匏安、恽代英、毛泽东、夏曦、周恩来、邓颖超、董必武、罗亦农、邓中夏、林育南、李汉俊、罗章龙、易礼容、郭亮、刘少奇、张国焘、蔡和森、方志敏、彭述之、汪寿华、沈雁冰、瞿秋白、杨之华、施存统、张太雷、苏兆征、彭湃、阮啸仙、宣中华、熊雄、萧楚女、赵世炎、刘清扬、宋云彬、顾顺章、包惠僧、王若飞、周逸群、张秋人、刘伯承、李立三。
还有：徐谦、彭泽民、陈其瑗、詹大悲、柳亚子、章伯钧、郭沫若、顾孟余。
这就是历史上著名的“宁汉分裂”。
以退为进，首次下野
早在“四一二”政变时，汪精卫还堂而皇之地指责蒋介石反共杀共，现在汪精卫也彻底反共了，蒋介石可谓春风得意。就在蒋得意之时，一场新的矛盾使蒋如临深渊，直接导致了蒋的下野。
且说这个矛盾就是蒋介石和新桂系的矛盾。
新桂系有三大巨头，李宗仁、黄绍闳、白崇禧都是年轻人，个个血气方刚。他们平定广西，参加北伐，屡建奇功。
再说蒋介石羽毛渐丰之后，用阴谋诡计排斥他人，1927年春，他企图逮捕第六军军长程潜，程侥幸逃到武汉，但第六军被蒋的嫡系强行缴械改编。这些都被人们看在眼里，下一个吃掉的目标便是新桂系，李宗仁等早有所防。
蒋介石“四一二”政变后，曾密令何应钦执行剿灭桂系的计划，何应钦没敢执行，因为蒋、桂力量相当，没有取胜的把握，再加上何应钦与桂系白崇禧的私人结交也不错，不想无故翻脸。为此，何应钦曾专程面见蒋介石，说明执行命令的难处：“不是我无能，主要是没有取胜把握。”
“笨蛋！”蒋为此不满，认为何“已被软化”。
何曾向白崇禧诉苦，无意说出这段秘密。李宗仁等得知这一阴谋后，便与同伴商量说：“老蒋不仁，我们何还有义！早晚都要杀，不如我们先下手为强！”于是他们借西讨武汉之名，把桂系第七军部署在南京以西地区，又联络浙江周凤岐的二十六军将部队开到南京周围，对南京形成武力紧密包围之势，这样蒋介石没有了主意。
情急之中，蒋介石急忙调兵遣将，防守南京。结果顾头不顾脚，致使徐州空虚，直鲁军阀趁机反攻，7月24日徐州失守。蒋介石对着何应钦跳脚骂娘：“上次，我让你除了李等祸患，你慢慢腾腾，犹豫不决，看看今天终于成了祸患。今天又失守徐州，你还有何话要说！”
“本人有罪，本人有罪。”何应钦喃喃地道。
8月，蒋介石亲自出马，指挥徐州战役，结果又被孙传芳打败，部队一直撤退到蚌埠。蒋一气之下，不经审判，就枪毙了第十军军长王天培。
蒋枪毙王天培，引起各部将领的恐惧，人人自危。于是一场阴谋反阴谋的斗争在军阀内部悄悄孕育了……
再说王天培是黔军将领，何应钦的同乡，对于他的死，何对此不免有兔死狐悲之感。李宗仁、白崇禧都担心做“王天培第二”。于是，演绎了李、白、何串通一气，逼蒋下野的一幕来。
8月8日，蒋介石从徐州前线回到南京后，即在总司令部召开一次高级军事会议。在会上，蒋一脸怒气，首先发言，检讨此次徐州失败。言下不胜悻悻。
接着白崇禧发言说：“总司令太辛苦了，应当休息休息，让我们试试看吧！”
“健生的意见很好，让我们也尝试尝试。”李宗仁唱起了双簧戏。
何应钦见蒋一脸怒气，默不作声。
会议不欢而散。
会后，蒋问何：“敬之，你对白健生的提议以为如何？”
何说：“在当前形势下，我也只能同意他们的建议。”
蒋凝视着何应钦，道：“你也支持？”
“无能者不仅仅是我一人。”何应钦言毕，返身告辞，蒋深为失望。接着蒋介石听到桂系“逼宫”，以辞职相威胁。然在当时，下野却是上策。
蒋介石在汪精卫、桂系的围攻下，不得不宣布下野。陈布雷在日记中记道：“八月间宁汉分裂之迹更显，蒋公命余先期为准备辞职宣言，愿引退让贤以促成团结。”
对蒋公辞职一事，作家宋平分析说：蒋介石在政治舞台上惨淡经营20年，用尽纵横捭阖之手段，并已登上了国民党最高统治者的宝座。他怎么会在一夜之间，就甘心情愿下野，遁迹乡里？其实，蒋介石下野乃是一策，玩弄的仍是“以退为进”的政治赌博。
当蒋介石开始屠杀共产党人时，国内外的反动派无不为之拍手称快，对蒋介石抱有殷切的希望。但是，仅仅四个月的光景，蒋介石把事情弄得很糟，反共之后取消了军队的政治部，战斗力大为丧失，收罗的军阀旧部队太多，军纪很坏，又加其内部派系矛盾增多，蒋的某些做法也使帝国主义不悦，内、外都反对他。蒋介石看到形势对自己极为不利才断然下野的。
对蒋介石以退为进的政治谋略，李宗仁后来回忆说：
原来蒋在下野前曾派褚民谊赴汉，那时他可能已得到情报，深知汪已失去了控制的能力，他如下野，武汉即失去“东征”借口，则汪便可统驭全局，唐生智也有并吞东南的机会。但是汪氏无兵，必要时仍要请蒋氏出山合作，以对付共同的敌人。待共同敌人除去，则蒋之除汪，实易如反掌了。所以汪、蒋的一离一合，在政治上手腕的运用，实极微妙。唯汪氏究系书生，手腕的运用尚有所为，有所不为；处人对事，也尚有妇人之仁。蒋则不然，生性阴狠，久染上海十里洋场黑社会中的恶习，遇事只顾目的，不择手段。其对汪氏若即若离的态度，呼之使来，挥之使去，玩弄于股掌之上，真使汪氏啼笑皆非而无如之何！蒋氏此次“下野”手法运用之妙，我不与唐生智一席辩论，实在不知其中的三昧。
下野以后的蒋介石，于1927年9月28日去了日本。