第二天一大早，黄蓉决定还是先回桃花岛再说，毕竟现在这支队伍太过蠃弱，瞎的瞎，伤的伤，病的病，还有两个孩子在身边。黄蓉把她的计划跟郭靖说了，郭靖自然满口答应。对这个女诸葛，郭靖一向言听计从。杨过耳力很好，虽然离得远远的，也听了个大概，心想现在反正无事，跟他们再去桃花岛去看看也不错。那时他饱受大小武欺负，如果这次大小武再次同去，那他一定要让他们成为他的小跟班！一想到这儿，他露出微微的笑容。
郭芙眼尖，问他笑什么，杨过也不答她的话。郭芙嘟着嘴说道，“你笑起来跟我爹一样傻！”说完之后，她才意识说错了，闹了个大红脸。她气嘟嘟地跑开了，弄得杨过一阵郁闷，郭芙的大小姐脾气也太大了吧，他笑一下，居然也成了傻笑，还连累到了未来的岳父大人郭靖。杨过故意唱道，“小小姑娘，清早起床，提着裤子上茅房；茅房人满，没有办法，只好拉在裤子上……”郭芙听了粉脸通红，追着杨过一阵猛打…………
上午，黄蓉让店小二去联系了一下大船，小二说要下午才有船。五人只好在店中又耽搁了半天。郭芙跟杨过渐渐地混熟了，开始亲热地叫他杨哥哥，只是黄蓉见杨过古怪的样子，对他暗自戒备，并暗中吩咐郭芙不要离杨过太近。郭芙听了只当耳边风，两小在店内又笑又闹，让店小二也很是头疼，见他们离开小店，这才松了一口气。
上了小舟，一路东行，郭芙不时地指着岸边的青山问这个问那。杨过凡是不知道的，都是信口开河，黄蓉听了，暗暗皱眉；郭靖听了，却呵呵地傻笑，黄蓉见郭芙兴高采烈的样子，也不忍心破了童趣，任由他俩嬉闹谈笑，杨过又好象回到了少年时代，那种久违的童趣又回到了身边。
小船行了半天，天色也渐渐黑了下来。船只靠了岸，停了下来，船家开始淘米做饭。郭芙使起小性子，让杨过骑着她玩。杨过已经被她当马骑过一次，这次说什么也不肯。郭芙就说，“这次不骑马，我骑羊还不行吗？”说完，又要拉着他蹲下。
这话让杨过大大郁闷了一回。虽然他姓杨，却不是牛羊的羊，郭芙口没遮拦，杨过更是不肯。两人一闹僵，郭芙就不理杨过。她倚在船窗东张西望，忽闻柳荫下两个小孩子在哀声痛哭，正是先前认识的武敦儒与武修文两兄弟。杨过也瞧见了两人，心想还真是有缘，如果刚才不是跟郭芙闹僵，郭芙也断然不会看到武氏兄弟，看来这一切都是天意。虽然他只要两粒小小的石子就可以让这两个讨厌的小孩丧命，但他还是忍住了，他再坏再邪，也不至于到达草菅人命的地步。人不犯我，我不犯人，人若犯我，我必犯人，才是他的真实写照。
郭芙见杨过也在望着那两个小孩，心中暗暗生气，她却偏偏不跟杨过说话。她对两个小孩高声问道，“喂，你们在干什么？”
武修文回头见是郭芙，内心大喜，可是脸上却挂着泪珠，露出古怪的表情哭道，“我们在哭，你没看到吗？”
郭芙见两兄弟可怜兮兮，惹人同情，又故意要气气杨过，于是又问道，“你们好可怜，是不是你妈打你们啦？”武修文又哭道，“我娘被人打死啦！”说完，失声又痛哭起来，一想到父离母丧，举目无亲，这次哭得更厉害。杨过见他俩可怜的样子，也暗暗叹气。虽然他的身世也很可怜，但武氏兄弟此时母亲死了，父亲却又疯疯癫癫，真要在各地流浪的话，世间又多了两个小乞丐。
黄蓉听到他们的对话，吃了一惊，跃上岸去。只见两个孩子抚着母亲的尸身哀哀痛哭。武三娘满脸漆黑，早已死去多时。黄蓉再问武三通的下落，武敦儒哭道：“爹爹不知到那里去啦。”武修文道：“娘给爹爹的伤口吸毒，吸了好多黑血出来。爹爹好了，娘却死了。爹见娘死了，心里忽然又胡涂啦。我们叫他，理也不理就走了。”说着两兄弟又哭了起来。黄蓉心想：“武三娘舍生救夫，实是个义烈女子。”问道：“你们饿了吧？”两兄弟不住点头，此时两人嘴唇干裂，脸上泪痕交错，也不知哭了多久。
黄蓉叹了口气，望着两个孤儿，犹豫了一下，也不知道该不该带他们回岛。他一时又想起父亲黄药师来，一生当中也收了好几个弟子。武氏兄弟与桃花岛毕竟也有渊源，此时不妨带他们先回去，如果找到了他们的父亲武三通，就把兄弟俩人交回去。如果武三通真疯了，那就收为门下弟子。她老是觉得杨过古古怪怪，现在有了武氏兄弟，也可以命令他俩对他进行暗中观察。这样一想，黄蓉立刻定下了主意。她命船夫带他们上船吃饭，到镇上买了一具棺木，将武三娘收殓了。当晚不及安葬，次晨才买了一块地皮，将棺木葬了。武氏兄弟在坟前伏地又大哭了一阵。
郭靖道：“蓉儿，这两个孩儿没了爹娘，咱们便带到桃花岛上，以后要多费你心照顾啦。”黄蓉点头答应，当下劝住了武氏兄弟，收留了二人。驶到海边，另雇大船，东行往桃花岛出发。郭芙见杨过居然还不肯向她道歉认错，越发故意亲近武氏兄弟。武氏兄弟受宠若惊，一时也忘记了丧母之痛，对郭芙百依百顺，只差做牛做马。郭芙却并不让两兄弟靠近她，两兄弟即使想做牛做马让她骑，郭芙还不愿意。
黄蓉见郭芙胡闹的样子，一时又想起从前，他跟众师兄师姐妹的事来，不由叹了一口气。郭芙远不及自己聪明。她能够控制得了杨过吗？恐怕到时她反成了杨过碗中的菜。她见杨过好象小大人似的站立船头，迎风而立，颇有风流倜傥之意，心中怦然一动。这样一想，她又暗叫该死。俊逸少年谁都喜欢，只是她现在已经有夫有女，哪还能像怀春少女一般？
她再看武氏兄弟，虽然与杨过只相差了一两岁，但看起来分明就是诸事不懂的小孩，母亲死了还不到两天，已经开心地又笑又跳。黄蓉凭这一点，就知道武氏兄弟将来的成就不可能及得上杨过。再想到郭靖以前想把年幼的女儿郭芙许给杨过，她委实难以断决，只能走一步，看一步。如果杨过像杨康般无耻，子承父业，那说什么也不能把郭芙的幸福葬送。
另外一点黄蓉又暗暗奇怪，郭芙这小女孩儿看起来心机蛮重，她屡次变着法子让杨过生气，引他注意，难道她小小年纪已经喜欢上了他？她心中‘咯噔’了一下，决定不要让他俩走得太近。这样一来，她闲着无聊，就开始琢磨计策，对杨过更是暗中戒备。