文天祥退入汀州的时候，元军正在追逼小朝廷。陈宜中、张世杰拥着端宗皇帝避往浅湾，唆都得知以后，立刻率领水师突袭浅湾。张世杰措手不及，又带着小皇帝退往秀山，刚到秀山，又觉得离元兵太近了，不好防守，所以又迁往井澳。
就在乘船驶向井澳的途中，忽然遇到了大风浪，海涛汹涌不息，张世杰带领的一队船只，被吹得东零西散。
第二天早上，海面已经恢复平静。可是年幼的小皇帝经过这两年的惊恐、奔逃以及昨夜可怕的风浪，已经被吓出了病，他不停地哭闹，不肯坐船，吵着要回岸上。
当张世杰把吹散的船只找来时，陈宜中觉得大势已去，没什么希望了，但又不好直接跟张世杰开口，于是把皇帝搬出来做借口说：“我看皇帝这个病，是不能再待在海上了。此处离占城不远，我先到那边安排一下，如果你们这边有办法，那我就在那里筹饷接济你们，万一这边无法立足，我那边就算是个退路。”张世杰也拦不住他，陈宜中便驾着海船，离开了流亡中的小朝廷。文天祥为了寻找皇帝的落脚处，便把惠州城交给他的大弟文璧坚守，自己则带着军队进入海丰县，一面在惠州、潮州之间展开活动，一面派人往岭东沿海寻访朝廷的下落。后来知道皇帝已经搬到富阳。
十二月十五日，一艘元军的海船在海上遇到风浪，漂到潮州，被文天祥部队俘获。审讯俘获的元兵时，文天祥才知道，元世祖忽必烈视南宋的海上行朝为心头之患，认为只有先将其除之，才能平定各地的起义。所以这次，忽必烈派张弘范为“蒙古汉军都元帅”，不惜重兵进攻南宋行朝。
到了扬州以后，张弘范请李恒做副元帅，率领水陆军两万多人，负责江西一路军事，并命自己的弟弟张弘正为先锋，由浙东直趋福建。当张弘范由台州驱兵南下时，先锋部队张弘正已逼近岭东了。
驻在富阳的小皇帝只好又迁到硇洲，他的病是越来越严重了，到了硇洲没多久他便死了。
这么一来，皇室的根基就只剩下更年幼的卫王赵昺。文武官员都非常灰心，甚至有人步陈宜中的后尘溜掉了。
在这种情况之下，陆秀夫和张世杰挺身而出，拥护卫王即位，改“祥兴”为他的年号。小皇帝登位以后，陆秀夫升为左丞相兼枢密使，加张世杰为少傅，文天祥为右丞相。
朝廷一切还没有安排妥当，那边忽报雷州失守，张世杰觉得硇洲也受到威胁，于是他又开始寻找另一个避难的地方。找来找去，终于在广东新会县八十多里的海上，选择了海中小岛崖山。这个地方与奇石山相对立，就像是两扇大门，可说是天然的险要之地，可以防守。
于是，这年六月，宋帝赵昺的小朝廷迁到崖山。张世杰派人入山伐木，造行宫及军屋千余间，当时尚有官、民、兵二十余万，多居住在船中，资粮则从广东沿海州郡征集。
崖山朝廷站稳脚跟以后，派人往占城请陈宜中回朝，陈宜中却一口回绝了使者。于是崖山大大小小的事，变成张世杰治外，陆秀夫治内。
朝廷对外发出号召，请各地响应崖山政府而起兵。