外公知道事情的真相后，对王明等人蓄意捏造和陷害不同意见的人的恶劣做法极其愤慨。他还从米夫和王明的一系列言行中，觉察到了他们篡党夺权的企图，但在米夫和王明的把持下，中共代表团却无权过问这所培养中国学生的学校的事情。
中共代表团在中大事件上开始一致，后来张国涛投降了米夫和王明。余飞回国后被捕叛变。
1929年底，苏联发动了全国的大清党，中山大学也起了更大的风波。王明等人对中大学生搞了个大阴谋，即“十天大会”，要瞿秋白参加，目的是在会上斗争瞿秋白。瞿秋白没有去，派张国涛去了。会上学生对学校提了意见，大家恨王明，对支部局的意见特别多。六百多学生，只有二十九个人赞成支部局，这就是“二十八个半百分之百的布尔什维克”。（其中一人因为年纪小，不到十六岁，所以是半个；又因为他是王明的亲属，所以是“百分之百的布尔什维克”。）
“十天大会”完毕，中山大学就开始清党，停课搞运动。王明集团在学生中搞“残酷斗争，无情打击”，对有意见的学生加上“反对支部局”的帽子，有的开除党籍、团籍，有的流放，送到西伯利亚做苦工，大多数人都受了处分。中大清党委员会完全站在米夫、王明一边，反对中共代表团，说米夫与中大支部局是正确的，中共代表团是错误的。不仅如此，他们还诬陷瞿秋白，说他是中国托派的支持者；王明也曾造谣说陆定一与托派有联系，等等。
可见，王明集团打击中国学生中拥护中共代表团的人，在学生中搞“残酷斗争，无情打击”，矛头也是指向中共代表团的，最终目的是为了篡党夺权。正所谓“项庄舞剑，意在沛公”。
就在这场风波中，外公认识了在中山大学学习的外婆唐义贞，并与她结成伉俪。
就在他俩婚后不久，中大支部局做出决定，开除唐义贞的团籍和学籍，“罪名”是“反对支部局”，“反对支部局”就是“反党”。王明集团这一决定，不仅是打击唐义贞，显然矛头也是对着外公和中共代表团的。
1930年3、4月间，中大清党结束后，共产国际对中共代表团的一种特殊形式的“清党”开始了。首先是共产国际秘书长柏金斯基把瞿秋白等中共代表团成员叫到他的办公室，指责瞿秋白支持刘仁静去土耳其会见托洛斯基等，谈话陷入僵局。几天后，米夫把瞿秋白等叫到他的办公室，米夫扳起面孔，以极其傲慢的神态宣读了共产国际谴责中共代表团的秘密决议：《共产国际政治委员会因中大派别斗争关于中共代表团的决议案》。《决议案》指责中共代表团不去帮助消灭派别，反而实际上帮助了中大学生中间的派别斗争，妨碍了中大党组织的正常进行工作，是一种恶劣的分裂活动。决议要求中共中央以必要限度刷新代表团的成份。
于是，瞿秋白、邓中夏、余飞和外公等被解除了中共驻共产国际代表团的工作。
外公于1930年7、8月间回国。
回国途中，外公与邓中夏、余飞夫妇同行。他们乘火车到海参崴，然后下车。站在边界的高地上，可以看到中国的绥芬河车站。他们因为没有护照，被安排在中苏边界苏方这边的一座小房子里。一直等到对面的火车开车半小时前，他们才走出小房子，分成两组过境。外公与邓中夏一组，余飞夫妇一组。边界上没遇上哨兵，他们安然过境，到绥芬河车站立即买票上车，经哈尔滨、长春到达大连。在大连，两组人又会合在一个旅馆里。他们打听往上海的船，没有客船，于是上了一条货船，货船中一个大舱，只有他们四人乘坐，就这样回到了上海。
外公在莫斯科度过了一年半光景，用他自己的话来说，是“一事无成，白白浪费时间”。
第二次受打击：被撤销团中央宣传部长职务
外公一回到上海，团中央书记温裕成就告诉他，现在成立行动委员会，要暴动。
原来此时正是李立三左倾冒动主义达到高峰之时。
中共六届一中全会，在共产国际提倡提拔工人干部的思想指导下，码头工人出身的向忠发被推选为中央政治局主席兼中央常委主席。向忠发水平底，在中央掌握实权的是李立三。向忠发的一句口头禅是“立三的意见就是我的意见。”李立三在六大后任政治局常务委员兼党中央秘书长，随后又兼任党中央宣传部部长。1929年资本主义世界爆发了空前的经济危机，国内各派军阀之间的矛盾日趋尖锐，党中央内部以李立三为代表的“左”倾思想也随之有了发展。李立三认为，中国新的革命高潮已经到来，中国革命总爆发的条件已经成熟。在革命道路问题上，否认农村革命根据地的主要作用，把农村包围城市的道路说成“是一种错误的观点”，把“中心城市的武装暴动”看成是中国革命“决定胜负的力量”。据此，制定了组织全国中心城市武装起义和集中全国红军攻打中心城市的计划。
8月1日，中央政治局决定把党、团、工会的领导机构合并成为“中央行动委员会”（简称“总行委”），为全国暴动和总同盟罢工的最高领导机关。3日，决定举行武汉暴动、南京暴动与上海总同盟罢工。6日，“总行委”正式成立，委员开始有十四人，19日又扩充为二十一人。外公也被列为“总行委”的委员之一。“总行委”下设军事委员会、组织部、青年秘书处。
外公经过初步了解，便知道暴动和总同盟罢工的条件并不成熟，工人没有组织起来，就上海来说，赤色工会只有六百会员。他想找李立三当面说出自己的看法。总行委的办公地点设在上海外滩的一家大银行，这家银行底下的一层两边的房子用来出租，总行委租用了一边的房子。一次，外公在总行委遇见了李立三，便拦住他问：你搞行动委员会，组织暴动和罢工，可是上海赤色工会会员只有六百人，怎么搞得起来呢？李立三很忙的样子，只说了几句：有很多士兵都组织起来了，还有南京的兵运工作……哦，这还是个秘密，以后再跟你谈吧。他便匆忙走了。但在“总行委”成立后的两三个月中，直到三中全会，李立三都没有找他谈过。
共产国际于7月23日作出《关于中国问题的决议案》，派瞿秋白、周恩来回国纠正李立三的错误。9月24至28日，党中央召开六届三中全会，会议通过了《关于政治状况和党的总任务决议案》，批评和纠正了李立三对革命形势的“左”的估计，停止了组织全国总暴动和集中红军攻打中心城市的冒险计划，恢复了党、团、工会的独立组织和正常工作，从而结束了李立三的冒险主义。
共青团组织恢复以后，外公回到了团中央工作，仍然担任他出国前的职务——团中央宣传部部长。团中央机关除外公外，还有李久水（外公去苏联期间由他代理宣传部长）和宣传干事白莽（殷夫）。白莽是位青年作家。这期间，李久水和白莽参加了左翼作家联盟。外公认为，在当时秘密工作条件下，按照秘密工作的纪律，作为团中央的工作人员，是不能这样做的。但外公并不知道他们参加左联的事，他们也没有向他汇报过。1931年1月17日，张昆弟召集一些人在上海东方饭店开会，李久水和白莽也去了，不幸被捕。同时被捕的还有柔石、胡也频、冯铿。他们五人又同时被国民党反动派所杀害。后来鲁迅先生写了《为了忘却的纪念》一文，便是悼念他们的。这次破坏是怎样发生的，原因不详。在外公看来，这样的破坏本是可以避免的。
李久水和白莽遇难后，宣传部只有外公一个人了——他成了“光杆司令”。
党的六届三中全会，制止了“左”倾冒动主义，使李立三的错误问题基本得到解决。
但是，1930年10月，共产国际执委会又发来《给中共中央关于立三路线问题的信》，信中指出，李立三的错误是路线问题，并批评三中全会犯了调和错误。
王明一伙得悉共产国际十月指示信的消息后，便认为篡党夺权的时机已到，便打出“反对立三路线”、“反对调和主义”、“拥护国际路线”的旗号，进行宗派活动。11月下旬，王明抛出一本《两条路线》的小册子（1932年2月再版的时候改名为《为中共更加布尔什维克化而斗争》），把自己打扮成反对立三路线的英雄，提出要“以能积极拥护执行国际路线的斗争干部”，“来改造党的各级领导机关”。要求召开中央紧急会议，以解决“立三路线”和三中全会的“调和路线”。
为了达到王明集团篡夺党中央的目的，米夫于1930年12月秘密来到中国，逼迫党中央于1931年1月7日在上海召开了六届四中全会。一些并非中央委员，但是“支持国际路线”的人，也参加了这次中央全会。
会上，王明作了长篇发言，米夫作了报告和结论。会议通过了米夫起草的《中共四中全会决议案》。决议认为，“立三路线”是在“左”倾的掩盖之下的机会主义和对于实际上真正革命的去组织群众的机会主义的消极，强调“右倾依然是党内目前主要危险”。
会议撤销了瞿秋白的政治委员的职务，理由是他犯有“调和主义”的错误。而王明一跃成为中央委员（不久又为政治局常委），从而使“左”倾教条主义占据了中央领导地位。
为了使对瞿秋白的打击的“理由”更加充分，他们又算起了旧帐，于2月20日召开的中央政治局会议上通过《关于一九二九——一九三〇年中共中央驻国际代表团行动问题的决议案》，决议认为：“国际政治委员会去年因中大派别斗争关于代表团行动问题的决议案，完全是正确的。”决议进一步把代表团的“错误”和中大的“派别斗争”同“立三路线”联系起来，证明“‘立三路线’之非布尔什维克的斗争方法又已经影响到在莫的中国同志中去。”并认为“现在更加必要向党公布国际这一决议。中央政治局并号召全党同志要站在国际指示下，坚决反对过去中共代表团多数的派别行为与过去政治局的派别观点。”
王明集团在党内打击瞿秋白为首的所谓“调和主义”的人，在共青团内部也进行了反对“调和主义”的斗争。并对团中央局进行“改组”。外公由于在中共代表团期间与瞿秋白站在一起，反对王明集团的宗派主义，因而成为王明集团打击和排挤的对象。在“改组”时，被撤销了团中央宣传部部长和中央委员的职务，所谓的“错误”也是“调和主义”。
《四中全会的决议案》以“反对调和主义”为名，指责青年团的三中全会“接受了党的三中全会的调和主义的路线，并且反映到他自己的决议案里面去，而青年团的中央局直到最近期间还表现过纠正自己以前的立三路线的不坚决，实际没有执行少共国际的路线到实际工作上去。四中全会认为已经执行的改变青年团中央局的成分是完全对的，青年团中央在改组以后确实已完全站到国际路线上去工作。”
改组后的团中央局，由在四中全会一跃而为党中央政治局委员的博古担任了宣传部长。3月，温裕成被撤职，博古又兼任青年团中央总书记。组织部长顾作霖倒到博古一边。向忠发被捕叛变后，博古又代理党中央总书记。
王明集团篡党篡团大功告成。
外公没有职务和工作了，但组织关系还在团中央。没有事做，他便到工人中去，并协助共青团江苏省委召集青工代表会。
但他此时的处境较险恶。从莫斯科中山大学回来的学员中，有些人投靠了国民党。因外公在莫斯科住了一年半，且是中共代表团的成员，这些人当中有人认识他，他就不一定认识他们，所以发生了被人跟踪的情形。
有一天，他到上海湖东区区委参加区委召开的一个会议后，回住地途中，经南京路换车。他下车，一个男人也跟着下来了。他走到另一个站等车，那人也跟过来。这引起外公的警惕，怀疑这人是在跟踪自己。电车来了，外公故意不急着上车，只见那人也不上车。等其他人都上完了车，在要关门的一刹那，外公迅速地跳上车去，谁知那人也立即上了车。这样，就证实了外公的怀疑。电车到了近同孚路住地一站，外公等下车的人都下完了，快关门时才下车，想甩开那“尾巴”，但那人也紧跟着下了车。外公显然不能把“尾巴”引向住地，便朝住地相反的方向走，尽走小胡同，但那家伙的皮鞋声始终响在身后。出了一个胡同口，外公跳上了一辆黄包车，吩咐车夫快跑。那家伙也上了一辆黄包车追来。但这时候的距离已拉开了上百米。到了一个电车站，外公叫停车，付了车钱，跳上一辆即将开动的电车。那家伙追来后也停住了，付钱给车夫，可能车夫认为钱给少了，拉住他争执了一番，费了些时间，电车开动了，他未能上得车来。但是电车开得很慢，他便一路追着电车跑，紧跟不舍。外公急中生智，脱去外衣和帽子，在电车到一个站停住的时候，混在人群中悄悄下了车。这回那家伙没有看见，以为他还在电车上，继续追了前去。这样，外公才脱了险，然后坐黄包车转了几个大圈，确认没有人跟踪了，才回到住地。
因有人跟踪，处境危险，加上被撤职无事可做，外公要求到苏区去。团中央同意了，让他以团中央巡视员的身份去闽西苏区。
1931年3月，外公离开上海，前往闽西。
他先从上海到香港，然后由交通带领从香港到汕头，再乘小火轮到大埔。一路上装成哑巴，以免暴露自己是外地人。上岸后步行，经过座大山，上山四十里，下山四十里，山名是“茫荡洋”，到了永定的虎岗。这里是闽西苏维埃政府和闽西特委的所在地。