8月3日，根据中共中央的预定计划，起义先头部队立即南下，准备占领广东，取得海口，以求得国际援助，重建广东革命根据地，再举行第三次北伐。
参加起义的部队约3万人，整编为3个军：第9军副军长朱德，第11军军长叶挺，第20军军长贺龙。还有若干警卫部队，蔡廷锴师也从九江赶了过来。
蔡廷锴手下有位参谋参加过庐山会议，中午请语罕单独吃饭。他在馆子里说：“老蔡靠不住，他在庐山会议时说了一些话，简直坏透了。现在对你们又是另一番话。你得告诉希夷（叶挺）和恩来，要防着他。”【注释1】语罕立即把这个参谋的话告诉周恩来和叶挺。
8月5日，语罕他们从南昌开拔，军队分为三路：叶挺任中路，贺龙任右翼，蔡廷锴任左翼。一位黄埔第3期学生当了团长，知道语罕走路不便，把他缴来的马送了语罕一匹，并拨了一名马夫照料语罕。
“八一以后，革命委员会任命我为秘书厅的秘书，我跟着走了几天，摸不着头脑，经理无人，饭吃不到嘴，我觉得没有用处，遂请于革命委员会，许可我到十一军去。”【注释2】
语罕随着叶挺的军部一起走，又有马骑，又有马夫，还备了一个勤务兵。
军中谭平山、林伯渠、方维夏、徐特立、高语罕、廖乾吾、姜济寰和彭泽民八人年岁较大，人们称为“八仙”。
8月的天空，连一片云彩也没有，部队每天七八十华里行程，真是又热又累。在第一天行军中，77团就中暑死了十几个同志。战士每人背了两支步枪、两百多发子弹，加上背包、军毯、水壶、饭匣、洋镐、铁铲，有60斤重。另外，每班还抬一个大帐篷，每人还要照管一个挑着枪支的民夫。
行军不到一日，叶挺便得到情报，蔡廷锴把他的一个师带跑了，贺龙一个营的炮兵也开小差走了。沿途群众对过境大军不明真相，害怕拉夫。再加上国民党的反动宣传，说起义军实行公妻共产，沿途农民闻风而逃。宜黄县城原有2万人口，等军队到时，全城仅留有48个60岁左右的老人。【注释3】
行军最苦的有三件事：几万人的队伍每晚安营扎寨实在伤脑筋；饮水非常困难；中国农村没有厕所，官兵遍地大小便。
“食物与饮料全买不到，甚至终日难得一粥。渴则饮田沟污水，以故兵士病死极多，沿途倒毙者络绎不绝。宣传工作极坏，兵士全不明此次暴动的意义，因此军心大为动摇，逃走极多，仅行军三日，实力损失已在三分之一以上。遗弃子弹将近半数，迫击炮完全丢尽，大炮亦丢了几尊，逃跑及病死的兵士将近四千（二十军最坏，军队纪律亦极坏，放枪拉夫等事随时都有）。”【注释4】
语罕一路上生病，叶挺军部伙食又极差，后来语罕就转到贺龙20军军部里去了。他申请到20军，还有一个原因是不愿同郭沫若在一起。他俩是在武汉认识的，但是关系却在见面以前就有了。
原来语罕在黄埔军校任教时，有一天蒋光赤（蒋光慈）来电，称中共中央要语罕向中山大学校长陈公博推荐郭沫若任文学院院长，语罕把这意思用自己的口气向陈公博说，陈公博答应了。
语罕同郭沫若的性行大不相同，因他受过极严肃的母教，又曾受过两年多的军事训练，颇有自制力量。郭沫若则以天才的文人身份，豪情奔放，不能自制，也不屑自制。原来同语罕一起的彭漪兰，现在转同郭沫若在一起行路了。
这是一次长途行军，从南昌出发，经抚州、宜黄、广昌、石城、瑞金、会昌、长汀、上杭、大埔，直到9月23日、24日占领潮州、汕头，整整走了一个多月才停脚，而先头部队则已进入海陆丰地区。
9月30日晨，炮声由远而近，潮州城郊响起激烈枪声，语罕等仓促间奉命撤离。仓库中许多物资、饷银和武器弹药，无法携带，绝大部分被抛弃了。
到了汕头，整日无所事事，语罕觉得自己简直是四边不靠，好像一个浮萍一样，各处飘荡，行踪无定，丝毫工作也没有。在离开汕头的这一天，党才下达挂红旗的决定。
周恩来派人找到语罕，说有事商量：“现在有一件事，要请你到香港跑一趟，与张发奎、黄琪翔接洽联络。你马上收拾行李。”
语罕苦笑着说，行李全丢光了，原有法兰绒洋服一套，一直随身携周恩来说：“好罢。你多带几个钱去，在香港随便买一些用罢。”“还有江先生同你一起去。他香港情形很熟悉。”【注释5】
语罕乘坐的船开的时候，岸上已经响起了枪声。潮汕兵败的消息没等语罕的船靠岸，就已经先传到香港了。
【注释1】高语罕：《九死一生记》第31期，载成都《新民报》日刊1945年9月15日第4版“雄辩”专栏。
【注释2】高语罕：《给中共中央的报告》，载中共江西省委党史研究室编：《亲历南昌起义》，第82页。
【注释3】粟裕：《南昌起义前后片段》，载中共江西省委党史研究室编：《亲历南昌起义》，第127页。
【注释4】李立三：《李立三报告——八一革命之经过与教训》，载《中央通讯》1927年第7期。带，舍不得丢，这时也不知哪里去了。
【注释5】高语罕：《九死一生记》，第47期，载成都《新民报》日刊1945年10月1日第4版“雄辩”专栏。江先生是江董琴，少时家境贫寒，靠自己卖豆腐攒取学费。受孙中山革命思想影响积极从事革命，与于右任、胡汉民、汪精卫、戴季陶、邵力子等结为战友。曾任汉口公安厅厅长，原第四军政治部主任，后与邓演达联手创建中华革命党。