文天祥继续北上，从建康经扬州、高邮、淮安、徐州、新济州（今山东济宁）、河间，十月初一晚上到达大都。
文丞相踏进这北国的边城，驻马在会同馆的门前。
馆主出来问他：“你是来投降的吗？”
“不是！”
馆主很不客气地说：“我们会同馆只招待宋朝的降官，你既然还未投降，别站在这儿啦！”
于是他们便另找了小店，让文天祥住下。那店家主人，看他是个囚犯，便也不怎么理睬。
到了第二天晚上，这店主的态度突然大变，对文天祥毕恭毕敬，满脸堆着笑，一会儿送点心，一会儿送被褥，像是招待贵宾一般。追问之下，原来他是奉了博罗丞相的命令，知道这个囚犯不是普通人，搞不好将来还是元朝大丞相呢！
文天祥听了这些话一语不发，独自坐在冰凉的土坑上，直到天亮，也没动店家送来的被褥和酒菜。
元朝权倾朝野的平章政事阿合马亲自来劝降。阿合马高踞堂上，要文天祥下跪。文天祥昂首挺立，义正词严地说：“南朝宰相见北朝宰相，怎么能跪？”
阿合马讥讽地说：“你既是南朝宰相，怎么会来到这里呢？”
文天祥正言厉色答说：“南朝如果早用我做宰相，北人就到不了南方，南人也不会来北方了。”
阿合马无言答对，环顾左右说：“这个人生死由我……”
文天祥立即打断他的话道：“亡国之人，要杀便杀，说什么由不由你！”
阿合马毫无办法，只好把文天祥押到兵马司衙门囚禁起来！
文天祥身着南方衣冠，端端正正地坐在牢狱里，不说话，也不吃饭。这样坐了十天，身体不支，病倒了。这时，有一个叫张毅甫的人来看文天祥，他是文天祥的同乡。从前文天祥好几次保奏他出来做官，张毅甫都没有答应。当文天祥被囚北上，他还来船上与文天祥会面。现在文天祥到了燕京，此人又出现了。
他对文天祥说：“您当年声名显赫，许多人愿意追随您，自然用不着我再去凑热闹，现在，我希望能陪伴着您。我现在就住在兵马司的附近……”
文天祥本来都不肯吃东西，即使在病中，也不肯吃药。所以张毅甫在兵马司附近租了一间小屋子，专门替文天祥烧饭弄菜。
张毅甫说：“丞相不吃元朝的饭，这我是知道的，不过这些菜都是我自己的钱买的，您可以放心地吃。”
在朋友的照顾下，文天祥渐渐恢复了健康。
十一月初五，博罗丞相召文天祥到枢密院，再一次劝降。
文天祥被引到枢密院的大堂上，看到博罗宰相坐在堂上，其他大小官员分排两边，翻译官也站在一旁，于是长揖不拜，稳立在堂中。
翻译官从旁叫道：“跪下！”
“我们南朝的揖，就等于是北朝的跪。我是南朝的人，自然要行南朝的礼。”文天祥昂然不屈。
博罗看不惯这样高傲的态度，立时拍着公案，大声咆哮：“拉倒他！”
一群人闻声而上，拉的拉，按的按，有的还用膝盖抵着他的背脊，文天祥动弹不得，硬被压在地下。
“你还有什么话说？”翻译官问。
“我尽忠于宋朝，宋亡，现在只求速死。”文天祥直不起身，依旧朗声回答。博罗忍住气，换了一个话题：“自古以来，可有那为人臣的，把国家土地全送给别人，自己却逃走了？”
“从前我出使北营，要和伯颜谈和，你们竟然把我软禁起来，这才导致贼臣卖国求荣。”
“投降的恭帝，是不是你的皇帝？”
“当然是。”
“你们丢掉君王，另立二王，算什么忠臣？”
“恭帝不幸失国，此时此刻，社稷为重，所以另立君王。”
文天祥振振有词，而且有理有据，博罗说不出话来。
博罗身边的一个官员插嘴道：“二王是逃走的人，立得不正，算是篡位。”
文天祥知道他们是在给自己找台阶下，于是又说：“端宗皇帝是度宗的长子，恭帝的亲兄，怎能说是不正？且是在恭宗去位之后才登基，这叫什么篡位？何况，当初是奉太皇太后的懿旨拥二王出宫，怎能说是立得不正？”
左右都答不上来，大家你看我一眼，我看你一眼，都说不出话来。
博罗知道是自己的人失礼，于是避开刚才的话题，他问道：“好！那么你后来拥立了二王，又有什么大功大劳？”
“做一天臣子尽一天责，谈何功绩！”
“既然已经知道国家没救了，又何必救呢？”
“你心里一定比我还要清楚，人臣事君，如子事父。倘若父母不幸患了重病，做儿女的能说，反正要死了，干脆不找大夫不吃药了，对一个孝子来说，他能这样做吗？”
博罗本来要驳倒他，反而被他上了一堂课，心中实在气不过。
文天祥继续说道：“明知不可为而为之，这才是一个臣子尽忠尽孝的表现。我现在只求一死，你们不必再说什么！”
此时，博罗咆哮起来：“你要死，没那么简单，我偏不叫你死，我要把你关起来，看你受得了吗？”
一场激烈的舌战就这样结束了，文丞相又回到囚牢里。
忽必烈派降元的原南宋左丞相留梦炎对文天祥现身说法，进行劝降。文天祥一见留梦炎便怒不可遏，破口大骂，留梦炎只好悻悻而去。元世祖只好又让降元的宋恭帝赵来劝降。文天祥北跪于地，痛哭流涕，长跪不起，一直对赵说：“圣驾请回！”
元主看最后的一张王牌都赢不了他的心，其他的降臣还有谁敢到文天祥的跟前说话呢？既然软攻无效，所以才授权给两位丞相，逼他就范。
博罗想杀了文天祥，可是元主忽必烈以及许多大臣均不赞成，尤其是张弘范，他非常佩服文天祥，他说：“文天祥忠于所事，若能说服他，对大元皇朝镇压南方有很大的帮助。”
于是，他们决定用长期的监禁，来消磨文天祥的心志，以达到他们预期的目的。
长期的折磨并没有使文天祥屈服，也没有使他得病死去。他认为，一个人只要有了正气，就可战胜各种邪气，所谓“以一气敌七气”。这种正气，就是孟子所说的天地间的“浩然之气”，就是对祖国、对民族忠贞不渝的骨气，就是宁折不弯的志气。胸存正气，面对挫折而不变节，经受苦难而志更坚。于是，文天祥在狱中写下了那首气壮山河的《正气歌》。
余囚北庭，坐一土室。室广八尺，深可四寻。单扉低小，白间短窄，污下而幽暗。当此夏日，诸气萃然：雨潦四集，浮动床几，时则为水气；涂泥半朝，蒸沤历澜，时则为土气；乍晴暴热，风道四塞，时则为日气；檐阴薪爨，助长炎虐，时则为火气；仓腐寄顿，陈陈逼人，时则为米气；骈肩杂遝，腥臊汗垢，时则为人气；或圊溷、或毁尸、或腐鼠，恶气杂出，时则为秽气。叠是数气，当之者鲜不为厉。而予以孱弱，俯仰其间，於兹二年矣，幸而无恙，是殆有养致然尔。然亦安知所养何哉？孟子曰：“吾善养吾浩然之气。”彼气有七，吾气有一，以一敌七，吾何患焉！况浩然者，乃天地之正气也，作正气歌一首。
天地有正气，杂然赋流形。下则为河岳，上则为日星。于人曰浩然，沛乎塞苍冥。皇路当清夷，含和吐明庭。时穷节乃见，一一垂丹青。
在齐太史简，在晋董狐笔。在秦张良椎，在汉苏武节。为严将军头，为嵇侍中血。为张睢阳齿，为颜常山舌；或为辽东帽，清操厉冰雪；或为出师表，鬼神泣壮烈；或为渡江楫，慷慨吞胡羯；或为击贼笏，逆竖头破裂。
是气所磅礴，凛烈万古存。当其贯日月，生死安足论。地维赖以立，天柱赖以尊。三纲实系命，道义为之根。
嗟予遘阳九，隶也实不力。楚囚缨其冠，传车送穷北。鼎镬甘如饴，求之不可得。阴房阒鬼火，春院闭天黑。牛骥同一皂，鸡栖凤凰食。一朝蒙雾露，分作沟中瘠。如此再寒暑，百疠自辟易。哀哉沮洳场，为我安乐国。岂有他缪巧，阴阳不能贼。顾此耿耿在，仰视浮云白。悠悠我心悲，苍天曷有极。哲人日已远，典刑在夙昔。风檐展书读，古道照颜色。
就这样，三年过去了，文天祥在狱中以读书、写字、作诗为乐，土室中只有两部书：《杜甫诗》和《春秋》而已。于是，他除了自己作诗外，更用心力集杜甫各诗，成为一篇一篇的绝句，大约有两百首，里头多将忠奸并比，或是对贾似道、陈宜中、陆秀夫等人的评论。
此外，他整理被俘以来所作的诗歌，编为《指南后录》，与被俘之前的《指南前录》精神气魄是一致的，只是后者更加悲壮。另外他又写了百余首诗，集为《吟啸集》，里面多是哭他的亲人。
文天祥这时候还不到46岁，而愁苦已经夺去他的风采，他的眼角眉梢是皱纹，头发全白了，老态龙钟得像是70岁的人。无论在物质上或精神上，他都已经解脱了，但是却抛不开对亲人的牵挂和对故国的思念。
王积翁知道文天祥最牵挂的就是自己的家人，于是他想借着骨肉亲情来软化他。
在狱中，文天祥曾收到女儿柳娘的来信，得知妻子欧阳夫人和两个女儿都在宫中为奴，过着囚徒般的生活。他们是文天祥仅存的骨肉。文天祥深知，女儿来信是元廷的暗示：只要投降，家人即可团聚。尽管心如刀割，文天祥却不愿因妻子和女儿而丧失气节。他没有给女儿回信，只在写给妹妹的信中说：“收柳女信，痛割肠胃。人谁无妻儿骨肉之情？但今日事已如此，于义当死，乃是命也。奈何！奈何！”又写诗道：“痴儿莫问今生计，还种来生未了因。”
至元十八年（1281年）夏天，文天祥的大妹懿孙获释，与文璧一起准备返回故乡。文天祥知道后，剪下一束头发寄给家人，以示永诀。文天祥自幼通道术，生前曾看好过一块墓地，他给自己的幼弟文璋写了一封信，交代后事，信中写道：“潭庐的西坑有一块地，可以买下来，把我安葬在那里。如果如果他们不准把我的尸骨运回老家，也要招我的魂灵，葬在那里。陞儿已经过继到我名下，我死而无憾了。只是可怜夫人、女儿等人流落到此……我这次北上，从广州到建康一段，都是和邓光荐在一起，他知我最深，盼望请他为我写一篇墓铭……”