到香港后，语罕才知道张发奎已离开香港赴广州，后来张发奎虽派了代表来谈，也毫无结果。睡了一夜，语罕所有在路上得的毛病——泻肚和发热——都好了。
第二天早饭后，中央委员、中共广东省委组织部长阮啸先就来找语罕：“军委要你到我们的机关去住。此地不妥当。”【注释1】
语罕他们离开南京旅社不到一刻钟，主持广东军政的李济深的侦探长就去旅社找语罕。原来，南昌起义兵败，香港当局为防贺龙叶挺余军到港，侦缉极严。
在国民党二大时，语罕与李济深见面的机会很多，有一次经汪精卫介绍与李济深深谈。四一二政变之后，李济深在广州负责清党，语罕的儿子高保玖在黄埔读书，被逮捕下狱，受刑太甚。直到陈铭枢作广东省主席，才把高保玖放出来。【注释2】
语罕住到军委招待所，可巧碰见黄平。黄平原是北京苏俄大使馆的一个工人，俄语说得很好，加入共产党后，在工人运动中很活跃。语罕在广州时，黄平曾请语罕对广州工会作了一次讲演，并自任粤语翻译。黄平请语罕到德辅道尽头一家叫“紫罗兰”的小馆子吃了个饱。
这时，身患疟疾、高烧不退的周恩来在叶挺、聂荣臻的护送下，也从陆丰转移到香港养病。养了半个多月的病，周恩来随后在香港召开一连串的会议，还与广东省委书记张太雷等一起研究起义计划。
语罕在香港无事，常常一个人在马路上逛来逛去。有时到闹市里，有时也去浏览百货，但是荷包里空空如也。面对漠漠的大海，语罕叹息：“香港虽然是南国的风味，却已是深秋的时候了！天气也渐渐地凉上来了！早晚已觉得枕边席上不够温暖了！我现在成了世界上的孤零之人了！在这茫茫的人海里：谁知我的心情而加以体贴呢？谁能给我以安慰呢？我的老母亲在大淮之滨，我的丽立也远在黄埔滩头，看海鸥冲烟破浪飞来飞去多自由，念人生：何事劳劳，海波万里使人愁。”【注释3】
走到一个书店，腰里还有一二十块钱，语罕便买了一部曾国藩的案牍带回去读。这部书是他在前清末年小的时候就读过了的，现在再读时，更觉有趣。
读完书，语罕想，最好找一个僻静的地方去读书，就是庙里也好。关起门来，再读十年书。但是军委招待所人很多，不容他沉静地去思索，只有跑到马路上去，一个人且踱且想。一天他偶然碰见了张太雷的夫人、上海平民女校的学生王一知。
王一知把语罕带到她家里去，又会见许多熟人，男的女的都有。这些女子当中，大半都是上海大学和上海平民女校的学生。有一个学生知道语罕同史叔隐很好，告诉他：“叔隐现在任广州市卫生局长，你写封信，我给转过去，一定会寄钱过来。”
语罕任第四军秘书长时，史叔隐已回国，适在武昌中山大学任教授，语罕遂推荐他任第四军司令部军医处长。史叔隐一直随第四军到广州，改任广州市卫生局长。这时史叔隐本应迅速脱身，但妄想混下去，因此自然不敢和语罕通信，更不敢寄钱。但是不久，史叔隐便被第11军军长兼广州市市长朱晖日枪毙了。
一天，语罕正在街上闲逛的时候，一个人猛地和他打招呼，面貌很熟。
那人怕语罕记不得了，遂自己介绍：“我和匏安是弟兄！我们在广州中央党部时常见面，你记不得了吧？”
原来杨匏安住在澳门海边，很僻静，风景又好。语罕思忖了半天：是即回上海，还是先到澳门住一住？到上海去住，经济上或许容易想办法。但此时正在浪头上，尤其是从香港到上海，很危险。恐怕一到上海，就有被捕的可能。
想来想去，最后语罕还是决定到澳门暂住，遂把自己的意思告诉了军委。征得军委同意后，语罕即写信通知杨匏安。
第二天军委给了一百元川资，语罕即托军委的“交通”帮助购置了毛毯、换洗的衣服和几本书。第三天早上大约七点钟，“交通”就领着语罕坐黄包车到了轮船码头，买了一张头等舱票，坐船到了澳门。
杨匏安家是珠海南屏乡，邻近伶仃洋，与澳门一衣带水，与孙中山的家乡翠亭村相距几十里。1921年春，杨匏安由谭平山介绍加入广东共产党发起组，在中共五大上当选中央监察委员，八七会议后接受党的指示离开武汉回到香港，奔走于广州、香港、澳门之间，协助广东党组织接应八一起义南下部队和向张发奎部做统战工作。
这时罗绮园也在杨匏安家住着。罗绮园，广东番禺人，曾接替瞿秋白出任中共中央宣传部部长，后来参加广州起义并任农军总指挥。
杨匏安年轻时在日本留学，结识了康有为才貌双全的侄女康若愚。但是母亲已经在家乡为他物色了媳妇，以病重为由骗杨匏安回国完婚。后来康若愚回到国内，杨匏安的母亲深明大义，认她做干女儿。
到澳门后，语罕即写两封信给上海。一封信给丽立，告诉她自己还在人间。一封信给亚东图书馆汪孟邹，请他寄几个钱过来，并把德文书中小部头的寄几本来读。
一天，语罕忽然收到丽立自上海寄来的信：“你的信真是从半空中掉下来的！我先要谢谢老天，你平安地到了A埠。六月间，你寄给我的六十块钱，都收到了。当时行李一切都准备好，就要去买船票，有人说上游轮船不通，恐怕路途多阻，我只得怅惘地作罢。”【注释4】
原来，这几个月，丽立天天到亚东图书馆去打探语罕的消息，汪孟邹他们也不知道语罕的下落。丽立终日悬念，心中焦虑，竟然患起肺病，越来越重，此刻还躺在医院里。语罕知道自己正遭到通缉，没法回上海，马上写信安慰丽立安然渡过难关，并附小诗一首：
亲爱的人吆，
什么时候才能有重聚的你我！
什么时候我再能饮着温醇的绿酒，
你也和我饮着，且给我斟着！
我相信我们这一段的精神不磨，
假使这世界有改变的一日，
这一点一滴的泪痕吆，
终会在那灯前枕上，
指示给你以斑斑驳驳！
“我平常见你虽然好像孤冷，好像冰雪一般的孤冷，但是这冰雪般的冷里面，却包藏着春天的温暖，万物的生意和地底的无尽藏的火焰在那暗中燃烧着！所以我去年冬季送你那副对联道：”
敢将色相污神女，
愿借梅花护宝刀！
现在我只祝你的病好，我的境遇改进。把我们以前的种种，都让你的病魔，我的旧命运带了去。以后种种，我要靠着你，你要信赖我，创造一个新的生命，两个合流在一条的幸福之渊的生命！你要尽量地开放那傲霜雪、参天地的梅花，我要把这宝刀的光焰，蕴蓄在你的花房中！【注释5】
【注释1】高语罕：《九死一生记》第48期，载成都《新民报》日刊1945年10月2日第4版“雄辩”专栏。
【注释2】据李宗邺：《回忆高语罕》，高保玖在狱中已经疯了，后来死在家乡正阳关。另据黄埔六期入伍生杨南祁：《黄埔师生在南石头监狱》，高语罕的另一个儿子高贵玖和熊雄一起被杀害了。
【注释3】高语罕：《九死一生记》第61期，载成都《新民报》日刊1945年10月15日第4版“雄辩”专栏。
【注释4】张其柯：《现代情书第三集》，亚东图书馆1932年版，第104页。
【注释5】张其柯：《现代情书第三集》，第109—118页。