就在这时，战事也出现了一些转机。
忽必烈一路在进军鄂州途中，得到蒙哥的死讯。原来蒙哥在作战中负伤，回营后死在军中。
此时，蒙古诸王在漠北策划拥立阿里不哥为汗。忽必烈心急如焚，急于赶回去争夺汗位。
在鄂州前线督战的宋丞相贾似道，畏敌惧死，不敢应战，竟私自遣使到忽必烈军营求和，擅自开出如下条件：宋朝向蒙古称臣，降为藩属；两国以长江为界，南宋全部割让江北土地；南宋每年向蒙古进贡银币20万两，绢20万匹。忽必烈也乐得顺水推舟，因此接受了贾似道的条件，随即率军北还。
蒙古军撤退后，贾似道不但隐瞒了私自求和的事实，还截杀殿后的蒙古士卒，用他们的人头谎报抗蒙得胜。
宋理宗不辨是非，认为贾似道立了大功，特下诏褒扬，加封太子太师、魏国公。
贾似道回到临安时，宋理宗下令群臣到郊外迎接“功臣”贾似道，庆祝来之不易的“胜利”。
如此一来，大家又可以安心在湖光山色的杭州醉生梦死了。
董宋臣依然是我行我素，无恶不作。文天祥激于义愤，再度上书给皇帝，请斩董宋臣。理宗还是庇护小人，并不理会文天祥的忠谏。
景定元年（1260年），文天祥被任命为签书镇南军（今江西南昌）节度判官厅公事，但是他不愿赴任，景定四年（1263年），文天祥被外调为江西瑞州的太守。
瑞州曾遭蒙古兵蹂躪，城垣屋宇被毀，文物古迹被洗劫一空。文天祥看到这番光景，十分怜悯这里的百姓，于是准备大刀阔斧，好好整顿一番。
为了先使地方安定下来，必须要整肃郡兵。瑞州有几个凶恶狡黠的人，以土霸王的姿态，到处行暴。文天祥先把这几个人处刑以后，骄蛮之风才逐渐地被镇压下去。
文天祥还实行宽惠政策，尽力安抚百姓，筹集资金建立“便民库”，供借贷和救济之用，使地方秩序重新恢复过来。他还修复了一些古迹，如“碧落堂”“三贤堂”等，新建“野人庐”“松风亭”等，以发扬先贤的民族正气，鼓舞人民的爱国精神。瑞州在文天祥治理下，百废俱兴。
一年后，他的政绩受到了理宗的赏识，于是理宗又召他回京，派为礼部郎官。
文天祥做礼部郎官还没有满一个月，理宗驾崩，度宗即位，贾似道本来就是太子太师，此时更是权倾一时。他以曾经当过度宗皇帝的老师和策划立储有功而骄横跋扈，甚至托故辞职，要挟皇帝授予他高官厚禄。
文天祥代皇帝草拟诏书，对他严加责罚。文天祥的做法自然触怒了这个最显赫的当朝权贵，并因此受到弹劾而罢官。
他这次免官返里，不过30岁，就过着隐居的生活。
文山山麓的富田村是他的老家，小小的村庄，左右两边都有小溪，风景如画，文天祥就在这一幅纯妙的图画中，寻芳揽胜，抒发心里的郁闷。
他还每天登高山、临深渊、饮酒、吟诗、跟朋友下棋或是钓鱼，陪同老母亲以及妻子儿女，享受天伦之乐。
这段时间，文天祥写下了大量的诗文，有效仿古人吟风弄月的，如：“两两渔舟摇下，双双紫燕飞回。流水白云芳草，清风明月苍苔。”“去年尚忆桃红处，好景重逢橘绿时。”“鹤外竹声簌簌，座边松影疏疏。”
一年以后，度宗又召他出来任左郎官。
度宗还在做太子的时候，曾听过天祥讲解经书，所以在他回到朝廷的一个月里，又派他兼任学士院权直、国史院编修官、实录院检讨官等职务。
无奈文天祥不懂得巴结权贵，还是一本初衷，为人耿直。
然而在这个貌似太平的日子里，谁喜欢听他谈当前急务。因此，做官做了一年，就在次年冬天，他又被免了所有的官职。
文天祥再次退到老家，一直到江万里任左丞相，才把他请出来。
江万里是吉州白鹭洲书院的创办人，也可以说是文天祥的老师。所以江万里一上任，就任他知宁国府。