1928年底，语罕的两个孩子在上海因共产党的关系被捕，关在漕河径的监里。丽立每月要亲自去探视他们一次，送点罐头食品和必需的零用钱。陈独秀听说后，总是骂语罕家庭观念太重。
出党后的陈独秀、彭述之、郑超麟、尹宽、何资深与语罕、李季、王独清等人，在上海成立一个“无产者社”，出了一个刊物《无产者》，上面登载的大部分是托洛茨基的论著。
语罕、陈独秀、彭述之、郑超麟、尹宽、李季、王独清、杜畏之、吴继严等也都发表过文章。他们自己认为要左右开弓，即左打斯大林，右打蒋介石，主要目的是打倒国民党，建立无产阶级专政。【注释1】
俄国1905年革命失败后，在革命集团中，曾产生“取消派”。他们认为在革命低潮中，应该取消一切秘密工作，通过国民议会等合法手段斗争。而其他人则认为取消秘密工作，即是取消革命，故以“取消派”称呼他们。当时，社会上对陈独秀等人也以“取消派”来称呼。【注释2】
1931年5月，陈独秀出席中国各“托派”小组织的统一大会，被推选为中国“托派”组织的中央书记。7月，中共中央宣传部负责人罗绮园被叛徒告密，累及杨匏安等16人被捕。8月，杨匏安遇害于上海龙华伪警备司令部，年仅35岁。罗绮园虽折节自首，后来也被国民党弃如敝屣，同样遭到秘密枪杀。
1932年10月，陈独秀在上海被国民党政府逮捕，判刑后囚禁于南京。次年1月7日，陈独秀致信王灵均（语罕当时的化名）说，传讯毕，“许多青年军人纷纷持笔墨和数寸长的小纸条”，四面围着陈独秀向他“索书纪念”。【注释3】
此时，语罕寓居静安寺路青海路口，因“取消派”马玉夫至南京自新，遂迁居四马路神州旅社。马玉夫与侦探回沪后恰住神州旅社，语罕遂又搬迁到中州旅馆，随后迁至基斯菲尔路兆丰花园对面之大来饭店。
这时语罕因为整天躲在亭子间里写文章，也学着吸纸烟，并且是讲究的三五牌，后来是加里克，有时也吸土耳其的纸烟。
不过丽立很不赞成，劝他少吸几支。语罕采纳了她的意见，减到每天六支：三餐后各一支，其他三支则作为写文时，调剂思想之用，绝不多吸。
当时，语罕每日的时间大致分成三部分：一部分写文章；一部分读书；一部分便是和丽立谈天。
有时丽立从外面买一些鸡翅膀、鸡爪子、鸡杂、鸡肝，陪着语罕一面慢慢地咀嚼，一面谈心。丽立说，这里离她的医院又远，房子又小，生活又枯燥，不如换一个地方住。
语罕同意，于是去租了一处前楼面，又到“人市”雇了一个五十多岁的老实本分的老妈妈做饭。
一次，丽立下午出去，到了晚间还不回来。语罕等得不耐烦，便睡了，不料睡到半夜里约11时光景，郑肖琴拿着丽立的钥匙摸到家里来，告诉他说：“高太太要你马上离开此地，到刘伯垂先生那里住一夜再说。”
语罕随后搬到北四川路附近一个弄堂去住。第二天果然有人到丽立的亲戚家去问，因晓得她亲戚是在北京政府时代做官的，也就不再追究了。
语罕一直住到农历除夕，才搬回家。他对房东说自己姓程，化名程始仁。语罕后来又搬家，和刘伯垂夫妇住一楼一底的房子，丽立和刘夫人发生口角，不久又分开了。
语罕记起上次从澳门回上海时，轮船的一个买办是匏安的幼年同学，曾同语罕说起，有位老兄在日本神户荷兰银行当买办。他当时随便问了一句，将来到日本去可以招待吧？那位朋友说：“这个自然。”
等到那个买办的船从香港开到上海，语罕便去找他商议，先打电报到神户，只说：“有个朋友戈云汉先生拟同夫人到神户养病，请代租适当房屋一所，并乞电复。”
不久，对方回电说一切都已办好，只告诉行期及船名便于接站即可。船到长崎，有警察来搜语罕的身，又来翻他的箱子，里面有《资本论》等七十余卷书，那些警官都盯着他说：“这是无疑的了！”
语罕带着抗辩的口吻道：“在您的贵国，这些书是不禁止的啊！”警察笑笑，搜了一阵，还很客气，把语罕们的箱子又复了原，走了。
不过床铺旁边加了两个新客人，夫妇两个，年纪很轻，明显是负着监视使命的。到了神户，形势更严峻了。日本警察第一个要求是不准登岸；第二个是把夫妇两个分开讯问。这时那个买办朋友来了，赶紧托人把语罕夫妇接走。
语罕非常满意，因为几十年前，在东京“高田村”住“贷家”时一切生活的愉快，现在又可重享了。不过那时是只身作客异乡，生活上未免单调；现在有丽立陪着，而且在政治的大浪潮中翻了筋斗以后，读书一定会多得益处。
但是日本警察却盯得紧紧的，不时来盘查，语罕没法，只得同丽立商议再回上海。临行前，语罕把两箱书托买办朋友代送给神户大学。【注释4】
回到上海，语罕夫妇先是分住在两位朋友家里，过了短时期之后，就在提篮桥汇山路之间，租了一个统楼面。丽立在大马路南洋大药房挂牌子行医，语罕即终日在家。丽立告诉房东，语罕以前是做官的，现在不做了。房东就把她的儿子寄在语罕名下做“干儿子”。
环境相当安逸，语罕便埋头撰述，自1928年到1936年共出版作品20部：
（1）《牺牲者》，署名戈鲁阳，亚东图书馆出版。淮南子书里有“鲁阳挥戈”的典故，隐语罕的故乡寿州。这是一部短篇小说集，因它的头一篇的名字而得名。
（2）《死后》，佚名，上海某书店出版。叙述八一三事变及以后的一些故事，也是一部短篇小说集，以它的第一篇而得名。
（3）《理论与实践：从辩证法唯物论的立场出发（书信体）》，署名张其柯，上海亚东图书馆出版。
（4）《唯物论史》，署名王若水，上海泰东书局出版。这是普列汉诺夫的著作，语罕由德译本并参照日译本重译出来。
（5）《语体文作法》，署名高语罕，现代书局出版。这是从《国文作法》蜕变而出的。
（6）《国文评选》，署名王灵皋，上海亚东图书馆出版。
（7）《青年书信》，署名张其柯，现代书局出版。这是受《白话书信》、《白话书信》二集的读者之鼓励而写的。
（8）《青年女子书信》，署名张其柯，上海亚东图书馆出版。
（9）黑格尔：《历史哲学纲要》，译者署名王灵皋，上海神州国光社出版。
（10）费希特：《知识学》，译者署名程始仁，上海商务印书馆出版。
（11）《读者顾问集》二册，署名王灵均，上海《申报》出版。这是语罕在上海《申报》上答复读者质疑问学的文章汇集。
（12）马相伯：《一日一谈》，编者署名王瑞霖，上海新城出版社出版。记述与九七老人马相伯先生的谈话。
（13）《三朝野记》，署名王灵皋，上海神州国光社出版。这是语罕和李季、程演生、王独清合编的《中国内乱外患历史丛书》之一。
（14）《崇祯长编》，署名王灵皋，上海神州国光社出版。这是语罕和李季、程演生、王独清合编的《中国内乱外患历史丛书》之一。
（15）马克思、恩格斯：《辩证法经典》，日人节编，译者署名程始仁，上海亚东图书馆出版。
（16）戴博林：《康德的辩证法》，译者署名程始仁，上海亚东图书馆出版。
（17）《百花亭畔》，署名高语罕，上海亚东图书馆出版。
（18）《现代情书》三集，署名张其柯，上海亚东图书馆出版。
（19）《中国思想界的奥伏赫变》，署名王灵皋，上海亚东图书馆出版。
（20）《作文与人生》，署名王灵皋，上海亚东图书馆出版。
此外，还有一本《现代名人书信》，署名高语罕，上海光华书局出版。“此书本为一位青年朋友所编，当时曾就商于我，我颇与以鼓励，不料竟以我的名义出版，未敢掠美，特识于此。”【注释5】
语罕这时的读书和写作生活，差不多天天在恐怖中，天天在准备搬家，平均三个月搬一次家。他已出版多部宣传马克思主义的著作，因此社会上一些反动势力都称他为“马克思主义的老妖精”【注释6】。
以上各种译著，除《历史哲学纲要》、《知识学》、《青年书信》、《语体文作法》、《唯物论史》、《一日一谈》、《三朝野记》、《崇祯长编》出让版权外，其他各书的著作权皆为语罕所有。
当时语罕拟了一个遗嘱：“予若因党争或其它变故及疾病而死，所有予之著作权，皆赠与丽立。予之墓旁应留一棺之地作丽立他年归结，藉践同分之约。”【注释7】
【注释1】参见王凡西：《双山回忆录》和郑超麟：《郑超麟回忆录》，东方出版社2004年版。
【注释2】尼司：《陈独秀与所谓托派问题》，新中国出版社1938年版，第6—7页。
【注释3】陈独秀：《致王灵均》，转引自汪原放：《亚东六十年》，未刊。
【注释4】高语罕：《九死一生记》第84—102期，载成都《新民报》日刊1945年11月7—25日第4版“雄辩”专栏。
【注释5】高语罕：《中学作文法》，第67页。
【注释6】荣祖：《现代史料：高语罕之荣枯得失》，载《社会新闻》1933年第2卷第21期。
【注释7】高语罕：《九死一生记》第104期，载成都《新民报》日刊1945年11月27日第4版“雄辩”专栏。