蒋介石发动“四·一二反革命政变”后，武汉国民政府和共产党人对蒋介石的大屠杀表示了强烈的反对，并进行了愤怒的声讨。4月12日，国民党左派联名通电痛斥蒋介石的反革命罪行。4月17日，武汉国民党中央和国民政府发布了《免蒋介石本兼各职令》，指出：“蒋中正屠杀民众，摧残党部，甘心反动，罪恶昭彰，已经中央执行委员会议决，开除党籍，免去本兼各职，着全体将士及革命民众团体拿解中央，按反革命罪条例惩治。”
委任冯玉祥接替蒋介石的国民军总司令职务，并任命唐生智为副总司令。武汉国民党中央主张继续北伐，与冯玉祥所部会师，打通同苏联的交通线，然后再进攻蒋介石。当时没有掉转枪口攻击蒋介石，用军事行动严惩蒋介石的叛变行经，是决策的一个重大失误。这个继续北伐的决定给蒋介石以喘息之机。
蒋介石在南京凑集了5个中央执行委员和监察委员，于4月15日召开了一个谈话会。决定8项决议：以南京为国都，取消武汉不合法的中央党部，取消武汉国民政府，取消跨党分子党籍等。这就成立了一个南京政府。4月17日，蒋介石在南京成立了国民党中央。4月18日，南京国民政府举行成立典礼，成立典礼上还举行了阅兵式，并宣布《国民革命之方略》四条，俨然以国民党中央和国民政府正统自居。
从此，革命的武汉国民政府和反革命的南京国民政府形成了对峙局面。
由于蒋介石的反革命叛变，就造成了国民党宁、汉分裂的格局。
1927年4月19日，武汉北伐军在武昌东湖誓师，开始第二次北伐。由唐生智任北伐军总指挥，还任命冯玉祥为第二集团军司令，阎锡山为第三集团军司令。武汉的北伐军在河南境内先打败了吴佩孚的军队，吴佩孚落荒而逃，5月12日，吴佩孚离开巩县向南撤退，又遭到老百姓的包围，苦战两昼夜才得以脱身。
5月21日，张作霖召见了吴佩孚的驻京代表樊鼎，假惺惺地说道：“吴二爷怎么弄到了这样的地步？到南阳还是暂住嵩山？怎么一个字也不给我，也不给我一封信？我很相信他，他却老是不相信我。”奉军认为吴佩孚的军队虽然占了上峰，但打不过武汉北伐军。
这一时期，善于观测风向的阎锡山已经改称国民革命军晋绥联军总司令，宣布服从三民主义，并接受了武汉国民政府任命的第三集团军总司令的职务。因此，奉军的后路受到严重威胁。奉军招架不住，退出河南全境。
5月1日，冯玉祥在西安宣誓就任第二集团军司令职。5月5日，即分兵五路向东进发，迅速进入潼关。5月26日，攻克洛阳。6月1日，冯玉祥的国民军到郑州与武汉的北伐军会师。在山西的阎锡山却违约，放跑了北逃的奉军。此时，武汉北伐军就暂时停止前进了。
与此同时，蒋介石也于5月1日宣布继续北伐。5月31日，蒋介石的北伐军也攻到了江苏省北部的重镇徐州，将其势力范围扩大到陇海线。这对新成立的南京国民政府是极为有利的。他们没有遇到顽强的抵抗，张宗昌和孙传芳在宁沪战场上刚吃了败仗，兵败如山倒。张作霖急忙命令奉鲁军撤至山东，以便保存实力。
此时，武汉政府和南京政府之间展开了激烈复杂的政治军事斗争，无暇他顾。他们都停止了北伐，这使张作霖得到了难得的军事休整的良机。而张作霖鉴于敌我双方实力的对比，自知奉鲁军斗不过北伐军。因此，张作霖根据杨宇霆的建议，提出了“和国反共”“联阎讨冯”的口号，企图以黄河为界，划江而治。
虽然张作霖和蒋介石的秘密勾结没有间断过，但是让张作霖向蒋介石称臣，张作霖是绝对不甘心的。个人野心极大的蒋介石也不会把草莽出身的张作霖放在眼里。他们之间还会兵戎相见的。但是，在南方国民党的两个政府互相争斗之时，张作霖却在北京经营着他的一件大事。
这件大事，就是张作霖想当全国陆海军大元帅。这是他孜孜以求的多年梦想，他感到实现这一美梦的时机成熟了。
1927年6月8日，蒋介石向张作霖提出条件，要求张作霖“信奉三民主义”，将安国军改称为国民革命军，张作霖任东北国民革命军总司令，维持东北自治，以实现“南北议和”。这就是说，让张作霖臣服于蒋介石，张作霖对此嗤之以鼻。张作霖认为，蒋介石是白日做梦，痴心妄想。蒋介石还动员阎锡山派代表到北京，以奉系“易帜”(改挂国民党旗帜)为条件，斡旋组成“奉宁晋三角联盟”，以对抗武汉北伐军，以便实现蒋介石的大一统局面。这是蒋介石打的如意算盘，他想不战而屈人之兵。这也只是他的一厢情愿而已。
两路北伐军既然停止北伐，张作霖就可以乘此机会，实现自己的美梦了。
张作霖愿意召开国民会议解决时局问题，企图与南方保持对等的议和地位。但是，就当前的时局，奉系内部应该统一认识。为此，6月11日，张作霖在北京他的府邸顺承王府召开了一个奉系高层会议。孙传芳、张宗昌特意来到北京参加这个会议。会议是讨论和战问题及组织安国军政府和推选最高统帅问题。会上观点有别，意见出现分歧。元老派张作相、吴俊升反对投降易帜，主张退守关外；张学良、韩麟春等主张南北议和，守住现有地盘；孙传芳失掉了地盘，主张战至最后一人；张宗昌也是主战的，他不愿意放弃山东；褚玉璞同样主战，他不甘心失掉直隶。
6月16日，继续开会时，杨宇霆发言强调北方必须团结起来，才能抵御南方咄咄逼人的攻势。他提出组织安国军政府，这才名正言顺，便于号令全国。同时，各省军队必须统一名称，改用安国军的旗帜，一致服从安国军总司令的命令。孙传芳当即表态：“不仅军事上要服从，政治上也要服从。”
接着，就最高统帅的名称问题展开了争论，有的主张推戴张作霖为临时总统，有的主张仍叫临时执政。张宗昌主张用大元帅的称号，他慷慨激昂地说道：“今后的敌人不是北洋系了。非战不可，不战必亡。与其入棺材待死，不如痛快大干。升格之后，即或情势不佳退出关外，有了大元帅的称号，犹可仿照孙中山在广东的局面，易于号召也。”孙传芳迫不及待地附议：“拥戴张作霖为大元帅，组织安国军政府，以解决对南方的用兵问题。”韩麟春等奉系将领都一致赞同。张作霖听了甚为感动，因此几天来会议中游移不定的最重要的问题，乃在这次会议上完全议定。全体一致通过，仿照孙中山的先例称大元帅。张宗昌说：“既然大家都愿意，那么老将你就坐一帝吧！”
张作霖看了看孙传芳，问道：“馨远还有多少兵？”孙传芳答道：“还有13万人。现在只要接济军饷子弹，继续作战毫无问题。”张作霖立刻答应拨发50万元，子弹则就近向山东领取。接着，张作霖又认真地问张宗昌、褚玉璞：“你们两位守得住山东、直隶吗？”两人胸有成竹地回答：“进取不足，退守有余。”张作霖得到满意的回答，就兴奋地说：“好极了，你们要怎么办，我都依从你们就是。”好像他是为了别人才勉强当这个大元帅的。
张宗昌不失时机地说道：“我们要发一个全国通电，馨远老弟领衔最相宜。”孙传芳当仁不让，承担下来。即日深夜，由孙传芳、张宗昌、吴俊升、张作相、褚玉璞、张学良、韩麟春、汤玉麟联名通电，推戴张作霖为安国军政府陆海军大元帅。
张作霖在同一天发出“讨赤”通电，向世人表明了他顽固反共的立场。这个电报向蒋介石、阎锡山发出明确的信息，就是希望和他们进行反革命的大联合。
会议当即决定，北方镇威军、直鲁联军、五省联军各项名义一律取消，以后统称安国军。以孙传芳、张宗昌、张学良、韩麟春、张作相、吴俊升、褚玉璞为安国军第一至第七军军团长。安国军政府成立后，内阁总理由大元帅任免之。大元帅实际就是大总统。为了加强7个军团长之间的团结，张作霖提议，他与孙传芳等(张学良除外)7人重行互换兰谱，结为异姓兄弟。
内阁总理顾维钧得知决定由潘复组阁，急忙在16日当天亲笔致内阁阁员一信，表明辞职。没有人把顾维钧的辞职当回事儿。有人说，民国以来，内阁最惨的莫过于这一届了。
张作霖原来拟于6月17日就职，因为日象不利，遂改为次日申时举行。张作霖是很迷信的，聘算命瞎子包秀峰为常年顾问，专备占卜修咎。北京警察厅先于17日预令商家悬旗志庆，并令各华文报纸一律出红色报3天，违者禁止发行。但是各报以红色油墨购买不到为由，仅出一天而止。北京市民则似一无感觉。18日，长安街自东至西，到顺承王府止，三步一岗，每岗有奉军宪兵及保安队各一名，持枪危立，异常森严。2时后净街，除安国军之黄牌车外，概禁通行，电车亦暂停止。向来以繁华著称的东西两牌楼，也不许行人通过。4时后张作霖要赴外交部招待各国公使，因自顺承王府到外交部，也禁止通行，只得改道而行。西辕门内宝光门后怀仁堂前，也各架机关枪两挺。张作霖所乘的汽车上，也架设着机关枪。同时，还有两架飞机，在空中盘旋。立体戒备，如临大敌，搞得北京市民怨声载道。
6月18日，张作霖在怀仁堂就任大元帅职。是日下午2时后，总统府侍从武官常荫昌及大礼官黄开文乘礼车赴顺承王府迎接张作霖。2时50分，张作霖和荫昌同车到达怀仁堂。嘉宾看到，张作霖身着大元帅礼服，红光满面，神采飞扬。张作霖环视四周，他的同僚和部属，如张作相、吴俊升、杨宇霆、张学良、韩麟春等都一律军装，头戴高冠，恭候侍立。惟独张宗昌没有头戴高冠，但他的个子比其他人还要高些。孙传芳的打扮特殊，衣黑纱马褂，淡蓝纱袍。新总理潘复着燕尾服，大礼帽。张作霖和这些宾客略事寒暄，静听了孙传芳的高谈阔论。举行仪式的时间到了，3时30分，黄开文赞礼，张作霖入席，南向立，奏国乐闭，张作霖煞有介事地宣读誓词：“作霖忝膺中华民国陆海军大元帅之职，誓当巩固共和，发扬民主，刷新内政，揖睦邦交，谨此誓言。”宣誓后，接受祝贺，3时50分即回顺承王府。
这一天发布两项命令：
第1项是公布《中华民国军政府组织令》。
第2项是特任潘复为国务总理。
潘复为内阁总理是张宗昌邀请孙传芳共同推荐的，张作霖即日发表。
《组织令》表明，张作霖这个大元帅的权力比大总统的还要大。
此外，张作霖又发表了就职宣言和通电。电文表态称：“总之，赤逆一日不清，即作霖与在事诸人之责一日未尽。如其时局敉平，自当敬贤让能，遂我初服。政治改革，听诸国人，此则昕夕盼祷者也。愿共勉之。”这是再一次表示要铲除赤逆，以讨得帝国主义的欢心。但是，外国使节没有承认张作霖的安国军政府。
6月20日，张作霖以大元帅的名义任命潘复组阁。这是北京政府的第32届内阁，也是最后一任内阁。这是一个清一色的奉系内阁。
潘复，字馨航，山东济宁人，1883年生。1927年1月，任交通总长。6月任本届内阁总理兼交通总长。潘复曾在天津寓居多时，终日以声色犬马，联络各派政客，与张宗昌交谊甚深。此次，潘复的国务总理是张宗昌联合孙传芳推荐的。
张作霖的小朝廷苟延残喘，难以为继。
张作霖任命潘复为内阁总理，是希图在财政上得到缓解。潘复安排他的朋友阎泽溥为财政总长，主要是为了解决筹款问题。他们也没有点石成金的本领，只有靠大举裁员节约支出。但也只是杯水车薪，解决不了根本问题。奉系已经病入膏肓，无法疗治了。
张作霖深知处境之艰难，如果同南方交手，凶多吉少。因此，他采取了一个缓兵之计。6月25日，张作霖发出了一个“息争令”，并发出通电说：“本大元帅与中山为多年老友。十一、十三两年之役，均经约定会师武汉。当时在事同志，类能言之……凡属中山同志，一律友视。其有甘心赤化者，本大元帅为老友争荣誉，为国民争人格，为世界争和平，仍当贯彻初旨，问罪兴讨。”张作霖在这个通电中一再表示自己和国民党是一家人，是“老友”，是“同志”。他们的共同敌人是“甘心赤化者”。张作霖想以此拉拢蒋介石和阎锡山，对抗冯玉祥与唐生智，组成蒋、张、阎三角联盟，以应付当前危难之局。
当时蒋介石已经和冯玉祥合作了。他们于6月20日在徐州举行会议，蒋介石允诺每月拨助冯玉祥军费200万元，并预请冯玉祥担任军政部长之职。6月21日，蒋介石和冯玉祥联合宣布：“中正、玉祥”并肩携手。蒋介石用高官厚禄收买了冯玉祥，冯玉祥开始大肆反共。
蒋、冯合作之后，武汉政府的汪精卫感到孤立无援。汪精卫开始叛变革命，公开反共。1927年7月15日，武汉国民党中央举行分共会议，正式宣布同中国共产党决裂。在汪精卫的“宁可错杀千个，不使一人漏网”的口号下，大肆屠杀共产党人和工农群众。他疯狂叫嚣：“本人愿为杀共之刽子手焉。”这就是“七·一五反革命政变”。从此，宁、汉合流了。但是，他们可以合流，却不能合作。蒋介石和汪精卫之间，存在着国民党最高领导权之争。