三·二〇事件后，汪精卫离开，中国共产党没有反击，蒋介石得寸进尺，于1926年5月15日在国民党二届二中全会提出“整理党务案”，规定共产党员不能做国民党中委；共产党员在国民党各高级党部中任执行委员的人数不得超过委员的三分之一；不得任国民党中央部长；加入国民党的共产党员名单须全部交出；共产国际给中国共产党指示信以及共产党发给国民党内部的共产党员的指示，须先经两党联席会议讨论始能发出等。
彭述之和张国焘代表中央局参加了这次会议。会议召开前，他们和陈延年等广东区委的同志召开了党团会议，讨论是否接受“整理党务案”。为避免三·二〇事件重演，鲍罗廷主张对蒋介石让步，以让步来防止广州彻底右倾。他在会上说：“广州有可能发生右派政变，此时应该支持蒋介石的革命独裁。”为了拉住蒋介石不继续右倾，鲍罗廷私下和蒋介石达成三点协议：鲍罗廷同意蒋介石限制共产党在国民党内活动、支持蒋介石北伐，蒋介石同意对国民党右派采取相应措施。
鲍罗廷为自己和蒋介石达成的私下协议沾沾自喜，以为是锦囊妙计，事先不告诉中国同志。他怕早告诉中国同志，不仅不会被中国的同志理解，反而会坏他的大事。
彭述之、张国焘在会上传达了陈独秀意见，他们和鲍罗廷一样，也主张维持巩固联合战线，避免斗争引起破裂。陈延年、毛泽东、周恩来、张太雷等人纷纷发言反对，会议一连开了七天，没有统一思想。最后，主持会议的张国焘提出用签字表态，并带头签名同意。毛泽东没有签字，他对张国焘用签字来统一大家意见的做法不满，和周恩来一样，他认为这不光明磊落。事后，陈延年请张太雷起草区委《对于中国国民党第二次中央全体会议宣言》，提出“革命势力团结起来，打倒反革命的分裂阴谋”。
5月14日下午八点，谭平山和张国焘到蒋介石处，通报了共产党的决定接受“整理党务案”，蒋介石喜出望外。但蒋介石在日记里说：“谭平山、张国焘亦来絮聒，公心盛难熬。因叹曰：‘党国存亡生死之际，其痛苦盖有如此者。’”
第二天，“整理党务案”在国民党二届二中全会上经过激烈争论，被大会通过。讨论“整理党务案”时，毛泽东没有举手，国民党员何香凝、柳亚子也没有举手。
“整理党务案”的通过，对共产党是一个沉重的打击。为了统一同志们的思想，与共产国际和中共中央保持对外一致性，5月23日，陈延年签署了中共广东区委发表的《中国共产党广东区委员会对于中国国民党第二次中央全体会议的宣言》，指出，中国共产党是代表中国工农群众利益的党。为国民革命的成功，共产党加入国民党，促进国民党改组，使国民党有今日之发展，说明共产党员对国民党二届二中全会的态度，是以“全部革命利益为前提的”。
宣言的言外之意，共产党不是没有意见，而是顾全大局。
5月28日，国民党中央执行委会常委会议照准组织部长谭平山、农民部长林祖涵、代理宣传部长毛泽东三同志辞职。毛泽东的代理宣传部长改为顾孟余；谭平山的组织部长由蒋介石自己兼任，此外，吴玉章的秘书长一职改为叶楚伧但任。免去职务后，林伯渠到程潜任军长的国民革命军第六军任党代表兼政治部主任。
蒋介石趁机当上了国民党中央执行委员会常委主席、组织部长和军人部长。国民党中央常委会委员长一职由张静江代理，中央政治会议主席由谭延闿代理，张、谭二人均受蒋介石操纵。至此，以蒋介石为首的新右派垄断了国民党党、政、军、财大权。
会后，蒋介石象征性地兑现对鲍罗廷的允诺：逮捕吴铁城入狱，建议孙科去俄国，答应内务秘书古应芬保留原职到李济深的两个师离开这里时为止。鲍罗廷天真地认为，这次会议缩小了共产党的权力，吸收中派参加工作，沉重打击了黄浦以外的右派。他兴奋地给加拉罕写信说：“对右派打击已成事实。”“大多数左派不知道5月30日对右派做了什么准备，自然抵制对中派的一切任命。我不想对他们作出详细说明，怕他们泄露天机。”
根据布哈林在《真理报》上批评自己的文章和维经斯基来信精神，6月4日，陈独秀起草了《中国共产党致中国国民党书》，说：
贵党“整理党务案”原本关系贵党内部问题，无论如何决定，他党均无权赞否，凡为贵党党员者，当然有遵守之义务，而于贵党党外之团体，则殊无所关涉……而事实上从建立黄埔军校，直到3月20日，都找不出蒋有一件反革命的行动，如此而欲倒蒋……这是何等反革命！介石先生！如果中国共产党是这样一个反革命的党，你就应该起来打倒它，为世界革命去掉一个反革命的团体；如果共产党同志中那一个人有这样反革命的阴谋，你就应该枪毙他，丝毫用不着客气。
“整理党务案”通过后，革命的危机加深了。共青团书记任弼时十分生气地说：“这样下去，会出事的！”针对广大党员对蒋氏的愤怒情绪，陈独秀提出了“办而不包，退而不出”八字政策。
按“整理党务案”规定，需要将该黄埔军校参加国民党的共产党员名单交给校方，这实际上是公布黄埔军校内共产党的花名册。黄埔军校共产党团核心组织成员饶竞群问陈延年和周恩来：“军校的共产党员如何处置？”陈延年坚决地说：“一个都不要向所在国民党党部表态，尤其是一向没有暴露共产党员身份的人，更应保持常态，不理睬国民党右派的无理要求。”“我同意延年的意见，不要理睬他们。”周恩来说。饶来杰等黄埔军校的党组织的同志将陈延年、周恩来的意见转达各支部，结果大家都不理会蒋介石的命令。
8月12日，在远东局委员会与中共广东区委工作人员会议上，陈延年在会议上批评了国民党左派：
在3月20日到5月15日期间，共产党人成了为国民党效劳的走狗。这是最困难的时期。那时国民党的左派说，共产党人是靠蒋介石养活的姘头，他们不敢反对蒋介石。而左派自己提不出任何建议。5月15日，左派征求我们的意见。我们的党员以为，国民党左派会在中央全会上反对蒋介石的提案，但他们却投票赞成这些提案。我们曾帮助左派，告诉他们应该怎样做，由谁来担任部的领导等等。左派接受了国民党中央全会的决议，希望自己来工作。我们曾在各方面帮助他们：考虑到他们的愿望，我们退出了他们的机构或者回到原来的地方。
陈延年在留苏时对列宁的辩证法思想有深入的研究，加上他从小闯天下，又经历了无政府主义的世界观转变，锤炼了他的组织能力，这些使他比一般人更具有独立的思想。毛泽东对陈延年的能力十分赞赏，曾说：“在中国，本来各种人才都很缺乏，特别是C。P党内，因为C。P的历史根本没有几年，所以人才就更缺乏。像延年，的确是不可多得的人才，在许多地方，我看出了他的天才。”
维经斯基在会上批评了陈延年等广东区委的同志，说：“他们的方针是错误的，例如他们不愿意也不善于同国民党的左派共事。”