1925年12月20日，语罕赶到广州，参加国民党中央执、监委员谈话会，负责国民党二大的会务准备工作。有消息说，要由语罕负责起草开幕词。
当时正是国共合作时期，中共广东区委书记陈延年向中共中央要人，中共中央遂派语罕趁参加国民党二大之机到广东工作。语罕同陈延年早就熟识，1914年，语罕曾和程演生、陈延年等人在上海愚园组织安徽旅沪同学会，各大中学的学生踊跃参加。
12月25日，国民党第一届中央执行委员会举行第129次中常会。语罕报告了安徽省党务状况并提出派员组织皖省党部案，会议经讨论，决议如下：
安徽党务亟应组织一临时机关以资统率，即派高语罕同志所提出之光鉴、沈子修、朱蕴山、周范文、周松圃、常藩侯、史恕卿、黄梦飞、薛卓汉为该省党部筹备员，正式省党部未成立以前，即由该委员等代行省党部职权。
1926年1月6日，中国国民党全国代表大会决定：
（一）汪兆铭（精卫）报告政治及廖（仲恺）案；（二）蒋中正报告军事；（三）致谢俄顾问鲍罗廷，推汪兆铭、邵力子、高语罕起草宣言。【注释1】
1月7日，语罕同张国焘、许卓然在大会上讲述国民党、共产党合作的必要性。在大会讨论中国国民党党务报告关于容纳共产党员加入国民党的问题时，黄埔军校代表袁同畴发言说：“本席考虑，以为几件事是要望共产党党员同志做到的：（一）共产党员加入中国国民党时，声明自己是共产党员。（二）共产党员，要将在国民党内的活动公开。（三）中国国民党党员加入共产党时，要得到该地党部之许可。”
毛泽东发言表示反对：“共产党员绝不怕声明自己是共产主义者，但是共产党在未取得法律地位的条件下，是不能不秘密的，如果公开，就马上要被人解散消灭，对于国民革命前途是不利的；关于国民党党员加入共产党要得到该地党部许可问题，无论何党，党员出党入党应有绝对自由，实不必有任何限制。”
经过语罕及毛泽东、张国焘、范鸿劫等共产党员的坚决斗争，袁同畴收回自己的意见。语罕与张国焘、毛泽东、于树德在大会中并称“四金刚”，其后又加了恽代英，称为“五虎将”。
语罕在大会上非常活跃，频频发言，并发表了《中国国民党第二次代表大会的意义》，抨击国民党右派的政治主张：“若是本党真正有纪律，还不应该查办么？一直到了叶楚伧伙同本党的叛徒在北京召集非法的西山会议，背叛本党，阴与北方军阀勾结犹面然大声曰‘拼杀头颅在军阀压迫之下的北京开会。’”
一个革命党员就是一个战士，他的行动完全要受党的指挥，尤其是参加政治的同志，如加入议会，加入内阁等等，要绝对的服从党的命令，否则即应以叛党论，立予除名，这才是真正有纪律的革命党。
至于谈到训练更是伤心，大家天天大闹着‘共产’‘反共产’有许多同志一方面口里喊着，打倒帝国主义和军阀，一方面又怀着鬼胎说，‘俄国人操纵’，去反对先总理容许中国共产党加入国民党的遗教和大会的决议案，这便是本党对同志没训练的一个特征。
照上面分析，本党还没有达到真正坚强的革命党的地位，若要真正的担负国民革命，完成先总理孙中山先生遗教所赋予我们的使命，还要我们全国各党部的代表在本届大会中详细讨论一个继往开来的具体方案，如‘如何森严纪律？’‘如何严密组织？’‘如何改良宣传方法？’‘如何划一党军的教育？’‘如何专重党代表的职权？’‘如何使军队中长官诚心与党代表合作？’‘如何使军队长官诚心接受政治部的宣传不致过于阻挠？’‘如何应付时局？’‘如何规定保障工农利益的政策和纪律？’‘如何消释党中摇惑分子之疑虑’等等，皆为本党现在及将来的生死问题。【注释2】
但是，中共中央实行妥协退让政策，反对增加中共党员在国民党中央委员会中的名额，甚至连汪精卫提出的全部保留一届中委中的共产党员的主张也未采纳，致使陈延年、周恩来等在会前提出的新选中委中共产党员应占三分之一的主张落空。
即使如此，会议仍选举了共产党人林伯渠、谭平山、李大钊、于树德、吴玉章、杨匏安、恽代英7人为中委；毛泽东、董必武、夏曦、韩麟符、邓颖超、许甦魂6人为候补中委；语罕与江浩、谢晋等3人为监委或候补监委。
在随后的国民党二届一中全会上，林伯渠、谭平山、杨匏安又被选为中央常委。在国民党中央秘书处、各部部长与秘书的人选当中，共产党员也占有很大的比重。如中央秘书谭平山、林伯渠，秘书处书记长刘伯垂；组织部部长谭平山，秘书杨匏安；农民部部长林伯渠，秘书罗绮园；宣传部秘书沈雁冰（不久，宣传部部长由毛泽东代理）；工人部秘书冯菊坡；青年部秘书黄日葵；妇女部秘书邓颖超；海外部秘书许甦魂。此外，谭平山、林伯渠还是政治委员会的成员，恽代英是党务审查委员会成员，语罕和谢晋是党籍审查委员会的成员。
语罕和吴稚晖、张静江、蔡元培、古应芬、王宠惠、李石曾、柳亚子、邵力子、陈果夫、陈璧君、邓泽如12人被选为中央监察委员。其中，语罕和张静江、邓泽如、古应芬、陈璧君5人为中央监察委员会常委。
作为国民党中央监察委员会常委，语罕直爽、恪尽职守。有一次开会，蒋介石吩咐在桌上摆了许多精美点心。语罕走近细看，原来盛点心的盘子都是用草编的，上面有红花、绿花，中间五彩的花朵不是染的，却是用有颜色的草编的，手艺十分精巧。他脸色一板，放开喉咙冲着蒋介石说，开会又不是请客，何必如此浪费。蒋介石本想借此笼络在黄埔军校工作的共产党员，可是语罕竟当面批评他奢侈浪费，不像革命党人的作风，气得他两颊红一块紫一块，一甩门走开了。【注释3】
【注释1】郭廷以：《中华民国史事日志》，第1576页。
【注释2】高语罕：《中国国民党第二次代表大会的意义》，载《中国国民党第二次全国代表大会日刊》1926年第4期。
【注释3】尹家民：《蒋介石与“黄埔四凶”》，第128—129页。