隐居文山的文天祥心念社稷，而朝廷也没忘记他。咸淳三年（1267）九月，他又被任命为吏部尚书左司郎官。于十二月赴京供职，但一个月后就被台臣黄镛奏免。
这是文天祥第二次被罢官。
这是怎么回事？找不到原因。其实没有原因就是原因。诰命说：与文天祥同科的进士，“今其存者，无不登进。独尔以陈情之表，读礼之文，淹恤在外，尚迟向用”。又说：“夫风之积不厚，则其负大翼无力；若尔之植立不凡，非特以高科也，而又益培厥栽，则其滋长也孰御？”是说不忍舍弃文天祥这个状元的卓越才华吗？看来不是，看来更像是要激激他，调教调教他，给他个位子试一试，看看他听不听使唤。结果仍然让当权者失望，也就是说让贾似道失望了。那对不起，还是回你的老家去吧。
文天祥未必没预料到这个结果，接诏时就曾辞免，但未获准。要说贾似道捉弄人也损到了家，他在怂恿黄镛弹劾前，又接连下诏给文天祥安了一串兼学士院权直兼国史院编修官、实录院检讨官的头衔，然后一把撸了个精光。
这年冬至，朝廷又任命文天祥为福建提刑。这次更惨，还未及赴任，就被台臣陈懋钦奏免了。此为第三次被罢官。授职是虚拟的，打击却是实在的。
反复把文天祥吊起来又扔下去，贾似道算是对文天祥格外关照。同时，贾似道也可借此立威，让朝野的士大夫知道官应该怎么做，搞什么公道直道，不听使唤，就是状元又能怎样。
遭此带有污辱性的戏弄打击，文天祥内心的憋屈和郁闷可想而知。
此时他往往会想起祢衡、孔融，想起嵇康、阮籍，想起李白、杜甫，想起苏轼和苏辙。想到他们才华出众、性情刚直，想到他们蔑视权贵、追求自由，想到他们仕途坎坷、命运多舛的遭遇，就觉得自己与他们站在一起，并不孤单。尤其是想起祢衡不肯为曹操所用，曹操羞辱他封他为鼓手，反被他裸身击鼓辱弄的故事，便不觉发笑，心里不由得生出些许慰藉。
罢官后，回到家乡庐陵，回到内心的文山，在那里与大自然对酒当歌，携友畅游山水，赋诗唱和，倒也应合了他热爱自然、亲近自然的文人情趣。
此时的文山经过两年多的开辟规划，已堪称精神的栖息地了。你看，“自文山门而入，道万松下，至‘天图画’，一江横其前。行数百步，尽一岭，为‘松江亭’。亭接堤二千尺，尽处为‘障东桥’。桥外数十步，为‘道体堂’。自堂之右循岭而登，为‘银湾’，临江再高处也。银湾之上有亭，曰‘白石青崖’，曰‘六月雪’；有桥曰‘两峰之间’。而止焉，天图画居其西，两峰之间居其东，东西相望二三里。此文山滨江一直之大概也”。从文天祥对各个景点富含寓意的题名，便可看出他对自己这个杰作的神交与钟爱。
咸淳四年（1268）五月，文山突发洪水，文天祥不错时机，邀上友人杜伯扬、肖敬夫、孙子安前往观看。他们听到洪水奔腾之声如疾风暴雷震天动地，看到直冲而下的大水犹如千万丈之瀑布汹涌澎湃，石林被冲毁，道路被阻断，江中之洲露出的顶端上的数十株老松被冲得七倒八歪。直感到酣畅淋漓，真是酣畅淋漓！
登上临江最高处，俯视着气势磅礴的巨涛狂澜，文天祥豪情大发，即兴赋诗曰：“风雨移三峡，雷霆擘两山。”杜伯扬也咏道：“雷霆真自地中出，河汉莫从天上翻。”肖敬夫也出句：“八风卷地翻雪穴，万甲从天骤雪鬃。”对句皆阳刚、豪迈。众人捋须大笑，豪放的笑声随着大水浩荡而去。
观大水归来，意犹未尽，文天祥又写《文山观大水记》一文。这篇散文结构严谨、想象奇特、文笔生动，恢宏的气势飞扬着他追求的浩然正气，堪称他的散文代表作。
其第二节写道：
未至“天图画”，其声如疾风暴雷，轰豗震荡而不可御，临岸侧目，不得往视。而隔江之秧畦菜陇，悉为洪流矣。及“松江亭”，亭之对为洲，洲故垤然隆起。及是，仅有洲顶，而首尾俱失。老松数十本，及水者争相跛曳，有偃蹇不伏之状。至“障东桥”，坐而面上游，水从“六月雪”而下，如建瓴千万丈，汹涌澎湃，直送乎吾前，异哉！至“道体堂”，堂前石林立，旧浮出水，而如有力者，一夜负去。酒数行，使人候六月雪可进与否，围棋以待之。复命曰：水断道。遂止。如银湾山势回曲，水至此而旋。前是立亭以据委折之会，乃不知一览东西二三里，而水之情状，无一可逃遁。故自今而言，则银湾遂为观澜之绝奇矣。
好一幅生动而有气势的画面！画中无论是滔滔而下的大水，还是在水中抗争的老松、首尾俱失却固守在水中的洲顶，抑或围棋者的从容，都透出他刚正不阿、不甘山居，为追求真理而不息奋斗和抗争的心性和性格。
文中最后一节，引用友人之口评价《兰亭序》，说王羲之感物兴怀，悲欢情随事迁，实在不够旷放达观。
友人是这样说的，他说富贵贫贱，屈伸得丧，都足以快乐。欢乐发自于心，与环境无关。欣于今天而忘掉过去，欣于将来则忘记今天，前者并非有余，后者并非不足。所以君子无处不能自乐，哪能因过去欢乐，今天悲伤，而自沉于俯仰之间呢？
听了友人的话，文天祥沉吟了好一会儿。
文中接着说：“自予得此山，予之所欣，日新而月异，不知其几矣。人生适意尔，如今日所遇，霄壤间万物，无以易此。前之所欣，所过者化，已不可追纪。予意夫后之所欣者至，则今日之所欣者，又忽焉忘之。”
文天祥对友人的议论当然持赞同的态度。
屡遭挫折、隐居文山的文天祥以旷放达观的姿态，等待或者说是期待着“后之所欣者至”。
好消息终于来了。
咸淳五年（1269）三月，江万里出任左丞相，马廷鸾出任右丞相兼枢密使。江万里自不待说，文天祥曾在他创办的白鹭洲书院读书，自认是他的再传弟子，也是忘年交，还请他为父亲文仪写过墓志铭。景定三年（1262）文天祥入朝做官时，江万里受排挤出宫，失之交臂。马廷鸾也是一位忠诚耿直之士，其字翔仲，淳祐七年（1247）登进士第，在策试时，主张强君德、重相权、收直臣、防近习等，文天祥在殿试时提出的策对与之颇为相投。
由他们来掌握枢要，可以想见文天祥有多兴奋。他无法遏制内心的冲动，立即写信向江万里祝贺。信中称他拜相是“大老造朝，元台正席”；说他“文章巨丽，器量崇深，有报国之大节”；由他当左相，将相天地、理阴阳、安国家、定社稷，是深得民心的大好事。同时，他也写信向马廷鸾致贺，称他任右相是朝廷复得良臣，“知庙廊之有人，为国家而增气”。这不是奉迎巴结，文天祥犯不着这样，而且他素恨奉迎拍马。这只能是他的由衷之言。
江万里和马廷鸾当然也需要文天祥这样的直臣。他们上任的第二个月，朝廷就下诏任文天祥知宁国府。
按时间算，他们举荐文天祥时应该还没有看到他给他们的贺信。文天祥肯定因他们上位而重燃走出文山、报效国家的希望。但出人意料的是，文天祥接到诏书后，却上呈了一篇《辞免知宁国府状》，请求辞免，改为奉禄。他真的是无意从政？他浑身的热血真的冷却了吗？其实，只要看看辞免状的内容，就不奇怪了。文天祥说自己“实无他肠，粗有远志”，“昔年忧国，冒当事任之难”，想做一番事业，却事与愿违。而今经过数年闭门思过，觉得还是不出山为好。而且两次被弹劾罢官，“虽公论至久而愈明，而丹书未谓之无过”，朝廷至今没有为自己澄清是非。因此现在还不便出山，希望朝廷收回成命，以待时机报效国家。
文天祥写辞免状，是要朝廷给自己一个说法，还原自己的本来面目。同时也是一种试探。要知道贾似道在咸淳元年（1265）被特授为太师、封魏国公，咸淳三年（1267）又被授平章军国重事，而今位在丞相之上，把持着一切军政处决大权。前几次被罢官，都是他授意而为，现在把球踢给他，看他怎么处置。
写辞免状，就是为了清清白白、堂堂正正、实实在在地出来做事！
朝廷没有同意文天祥的请辞。可以想见这背后少不了明里暗里的一番周折。十月十五日，距任命足有半年，文天祥才离家赴任。
他仍是走老路，由赣江乘船经鄱阳湖，再入长江去宁国府。途经隆兴府（江西南昌）又登岸游览了“西江第一楼”滕王阁。他即兴赋诗一首：
五云窗户瞰沧浪，犹带唐人翰墨香。
日月四时黄道阔，江山一片画图长。
回风何处抟双雁，冻雨谁人驾独航？
回首十年此漂泊，阁前新柳已成行。
回望十年前陪着弟弟文璧到临安参加殿试时，曾登滕王阁，当年的新柳树现已绿荫成行，真是日月四时运行不息，天地常新、江山如画呀！他的心情是愉快的，但愉快中也夹杂着苦涩的忧虑：谁能振翅驭航，把大好河山带出衰颓的国势呢？
十一月二十五日，文天祥到达宁国府治所宣州。咸淳六年（1270）正月初一，即新任军器监兼右司，辞免未获批准。
知宁国府只短短的一个月，文天祥就办了件深得民心的事。他离任后，百姓敬他为贤达，以致捐钱为他建立了生祠。
咸淳六年（1270）四月，文天祥到军器监供职。四月初九，朝廷旋又命兼崇政殿说书，兼学士院权直，兼玉牒所检讨官。崇政殿说书，是给皇帝讲说书史，解释经义的官。
此时度宗即位已是第六个年头。度宗是个什么样的皇帝呢？
度宗也像理宗一样，非出自正宗。理宗曾生二子，都早早地死了，后来再未生子，四十二岁时不得不将胞弟赵与芮的儿子定为继承人。赵与芮妻妾成群，只得一子也夭折，而其中一妾李氏的陪嫁女黄氏生的一子却活下来，这也是赵与芮唯一的儿子。这个皇侄出生后手足无力，到了七岁才能说话，是个有生理缺陷的孩子。淳祐四年（1244），就在他刚能开口说话的这一年，理宗给他赐名孟启，开始悉心培养他。宝祐元年（1253），理宗年近五十，眼看生子无望，不得不下诏把他立为皇太子，改名禥。为了弥补其先天不足，理宗管教极严，要他鸡叫头遍问安，鸡叫二遍回宫，鸡叫三遍与群臣一起参决庶事，然后在老师督导下整日攻习经史。怎奈他是个扶不起的阿斗，虽然讲官使出浑身解数，仍懵懵懂懂不知所云，理宗亲自检查他的功课时，常被惹得发怒。
理宗死后，度宗当皇帝的时候是二十五岁，就他这么一块料，能主什么大政？有人提议谢太后（理宗皇后）垂帘听政，遭到否决。结果就等于把大权拱手交给贾似道独揽。度宗没在理宗严格调教下掌握治理朝政的本事，却耳濡目染理宗的腐朽生活学得了沉溺享乐，做太子时，就以好色出名，当皇帝之初，更是“一日谢恩者三十余人”，一个晚上要玩三十余嫔女，荒淫程度比理宗有过之而无不及。
文天祥当宫廷讲官遇上这么个皇帝，会是个什么样的心态可想而知。从社稷考虑，他还是要尽自己所能，哪怕是对牛弹琴，这琴也得弹。他讲《周易》和《诗》，总是触及时政，进行讽谏。如讲《周易·贲卦》，企图用董仲舒的那一套天人感应学说，让度宗知道天文是“人君一镜”，“可以察善否”；人君“侧身修行”，就可以消弭灾变。讲《诗·定之方中》篇，他借题发挥，劝戒度宗在国家处于危难时期，不要大兴土木营造宫室。他上了一篇《轮对札子》，引句“民可近，不可下”，劝度宗要顺从民意，以免亡国。文中批评了唐玄宗日日在昭阳殿、华清宫和杨贵妃欣赏“霓裳羽衣”，以致招来渔阳之祸（安禄山之变）；苦口婆心地劝他不要像汉朝皇帝那样，为获取天马、甲帐、翠被这类奇珍“异物”，弄得天下不安。
是啊，内外交困已经到何等田地了，你一国之君却还懵然无知，还在那儿沉溺酒色，极尽享乐！
就说宁国府吧，去年年底文天祥到宁国府上任时，昔日人丁兴旺的富庶之乡已然是府治残破、田野荒芜、民生凋敝，到了不可收拾的地步。何以至此？经走访调查，对诸多问题爬梳分析，他认为症结在于对百姓的残酷压迫和剥削，连年征收税赋，沉重的负担最终都压到老百姓头上。于是他上奏度宗，免除了宁国府的税赋，缓解了当地百姓的困苦。这也就是他知宁国府短短一个月内干的那件深得民心的事。但问题是他只缓解了宁国府百姓的困苦，而全国各地莫不如此，又如何解决？
造成这种状况，与贾似道推行公田法有关。所谓公田法，就是将私田大户的一部分农田强购为公田，再转租收取租金，以缓解朝廷的财政危机。殊不知公田法却是个坑农法，一方面有权势的官僚和地主隐瞒田产，把压力转嫁到无权势的农户头上，致使大量农户破产；另一方面主事官吏为了邀功，多报、高报回买的田数和等级，而实际经营时的账面缺额，又转嫁到承佃的农户头上，承佃户因承受不了盘剥压榨，造成不少官田抛荒弃耕。同时，朝廷为买公田滥发会子，造成物价飞涨，临安的米价已升至汴京沦陷时的两倍，两浙、江东、江西等地都出现了饿死人的现象。
内忧深重，而外患也如霹雷悬顶。度宗初年，忽必烈镇压了内敌，稳住局势后，又重启扩张灭宋的宏伟战略。咸淳四年（1268）后，蒙古征南都元帅阿术与南宋降将刘整又率军将襄樊包围，在要害处修筑城堡，屡败南宋守将张世杰、夏贵和范文虎的部队。咸淳五年（1269）十二月，京湖战区最高军事统帅吕文德病死，南宋失去了这位临边四十年的将领。此时蒙军围兵已增至十万以上，大有不破不甘之势。