天刚蒙蒙亮，杰斐逊被一个人叫醒了。据他说，当时他正在酒店喝酒，但是突然听到有人谈论一支英国骑兵正打算夺下议会，并计划活捉杰斐逊。于是，他赶紧连夜骑马穿过森林警告杰斐逊。杰斐逊听了之后，一边派人把妻女和朋友转移到了安全的地方，一边毫不紧张地吃着早饭，还时不时地用望远镜观察前方敌情。等到杰斐逊看到那支英国骑兵开始爬登蒙特沙罗的时候，他才悠闲地骑着马穿过了树林，朝着卡特山逃命了。杰斐逊处理这件事情很沉着，而且可以说是勇敢，只是因为他逃往了卡特山，就被之后的政敌嘲讽为在军事上软弱胆怯。其实，杰斐逊在将要离开他迷恋的蒙特沙罗时，心中很是痛楚。他心想，当他再回到此地，一定是所有都化成灰烬了。让人没有想到的是，带领这支骑兵的首领不知道是什么原因，命令手下的士兵对所有房屋和内部的设施甚至包括里面的奴隶，都不能有丝毫的伤害。
虽然当时的大元帅华盛顿很宽容地原谅并且允许杰斐逊退隐，但是他在弗吉尼亚议会里的政敌仍旧不肯放过他，在抨击和质疑杰斐逊之后，还在1781年6月12日通过了议会，去调查杰斐逊在总督期内的那些不力的作为。杰斐逊只好心力交瘁地带着一家人，隐居在白杨林的农场。这个地方距离蒙特沙罗有90英里，而且不会受到英军的攻击。
即使是这样，大陆议会觉得杰斐逊退辞总督的职位是应当情有可原，并且抓住了这个机会，在1781年6月14日，推选他与约翰·亚当斯、约翰·杰伊、约翰·罗伦斯，以及本杰明·富兰克林等人为全权大使，让他们设法争取俄国女皇的战争调停旨意，以谋求和平。
杰斐逊向往欧洲已经很多年了，他早就希望亲自去看看那里的科学、艺术、文化进步的情况。他再三考虑了四个星期，但最后还是婉言拒绝了，因为他的妻子身体一直不是很好。他写信给他的亲戚埃德蒙·伦道夫说自己计划从此退出政坛，过归隐生活，从此打算和家人、书本为伴。
但是，杰斐逊这次退出政坛和计划归隐的决定，并没有给他带来解脱的愉悦，反而给他留下了深深的忏悔。
开始奋笔疾书
从1781年6月杰斐逊逃难到卡特山到这一年的9月底，这四个月的时间里，杰斐逊已经着手著作一本书，书名为《弗吉尼亚纪事》。1955年，威廉·皮登把这本书加以注解出版了，并评价这本书可能是1785年以前一本最重要的科学和政治方面的书籍，是美国最早的不朽著作与智慧结晶的里程碑之一。
在这四个月里，妻子玛莎再度怀孕了，所以杰斐逊在整整九个月的时间内，除了到里士满的弗吉尼亚议会为自己的名誉辩护而离开妻子两星期之外，其他时间都一步不离地陪伴着她。
在白杨林的前几个星期之中，杰斐逊开始回答法朗沙·得·巴贝·马巴有关弗吉尼亚情形的21个问题。就为了这个，他在1780年的11月就开始收集资料。这些回答后来形成了一篇篇的短文，所写的细枝末节又扩展成为章节，到最后他所写的东西变成了一本书，它不再仅是《弗吉尼亚纪事》了，它同时也是《托马斯·杰斐逊纪事》。杰斐逊在这本书中记述的有彊界、河流、海港、人口、矿产、蔬菜以及动物等，并且他还进一步讨论了教士的专横、公众教育的必要、黑人的本质、印第安人的源起，以及他们复杂的语言结构，甚至包括了弗吉尼亚的建筑等主题。他认为弗吉尼亚与美国息息相关，它的社会和政治期望就是全美国的社会、政治期望，更重要的是杰斐逊此刻已经把自己和弗吉尼亚合为一体，并与它荣辱与共了。
杰斐逊在写这部书的时候，尽可能让它变得精确万分，尽可能表现出自己的学识渊博与深谋远虑，但是此书中也包括很多自己的怨叹和愤怒，个人主见十分鲜明而突出，所以杰斐逊当初并没有打算出版。
1781年12月20日，杰斐逊送给了朋友一本，并形容这部书一点也不完美，除了证明对朋友的尊重之外，一无是处。但1785年在巴黎时，由于朋友一再鼓励，杰斐逊终于答应出书，但是这本经过了修正、补充的书，也只不过出了两百本而已，杰斐逊还拒绝在书上印上自己的名字，怕因为此书而引起议会和其他领导人物甚至国人的不愉快，他只是从巴黎秘密地给在美国的朋友寄过几本，其余的都烧掉了。一个人要烧毁自己的著作，一定是对它的内容感到十分矛盾和犹疑。杰斐逊不只是对自己所写的东西的价值不确定，他同时也害怕他所论述的关于宗教和奴隶的问题会引起强烈的反应。1785年，为了防止法国出版商的盗印，他同意翻译成法文出版，并只许在书上印上自己名字的缩写。等到印刷完毕之后，他越来越觉得如果《纪事》一旦在法国出版，难免会被翻译回英文在英国和美国出版，那倒不如以原来的面目示人。因此，他与伦敦的约翰·史多得订下和约，让他在英国出书，并且首次把名字印在书上。
杰斐逊的这本《纪事》，类似于旅行指南类型的书籍，但是其中可以看出作者的心思缜密，深谋远虑。这部书刚开始，像测量家那样平静地勘定自己那一州的界线，可是，不久他就冲出了弗吉尼亚的界线范畴之外，描述的范围逐步扩大，扩大到西边，后来到圣塔菲。该书在记叙河流的时候，杰斐逊的心情貌似显得十分兴奋与欢快……《纪事》这部书里面所写的许多事情都是有着辩证性质的，频频出现大小的对比。摊开这本书的时候，很多人会发现他不只写的是弗吉尼亚的过去，而且也写下了它必然的将来。
杰斐逊在《纪事》里有一些思想是很矛盾的。他在该书中对购养黑奴的陋习和黑人的天性以及他们遭受白人虐待的情况等所发表的意见，是人们争论最多的地方。因为不管作家们的政治立场怎样，对种族的态度又是如何，应该都有一个统一的观点。但是在这部书中，可以找到他赞同解放黑奴的字句，也可以找到他所不赞同完全解放黑奴的语言。
杰斐逊虽然是大力倡议解放黑奴，但是他的实际行动少之又少，不像宾夕法尼亚州勇敢地成为通过解放立法的第一个州。杰斐逊凭着自己的聪明睿智，当然已经觉察出自己生活中理论与行动的相互矛盾。因此，他确信上帝一定是站在黑奴这一边的。杰斐逊激动地说：“当我想到上帝是公正的时候，就不禁为我的国家战栗不止，因为他的公正是永远不会沉睡不醒的……彼此情况的互换，是很可能的事，它可能由于超自然力的干预而变成真实！”
1781年11月，弗吉尼亚议会开会，选举杰斐逊为大陆议会的代表，由于他的政敌派帕特里克·亨利的怂恿，对杰斐逊担任总督时期所作所为的调查不可小视，因此议会对这事特别举行了听证。杰斐逊顿时觉得在精神上受到了极大打击。同一年12月17日，议会选出约克镇战役的四位英雄：华盛顿、罗尚博、德格拉斯和拉法耶特，议会向他们忠心地表示感激。
杰斐逊政界的好友们觉得这次调查，一定是杰斐逊的政敌故意借理由整治他，因此特别又在12月19日的时候设法让议会增选他为英雄人物，也对他表示感激信任之意。但是后来议决又经过议会很长时间的争论，而且也没有得出结果。杰斐逊知道消息之后，立即辞去了议会的职务，而且婉拒出任大陆议会代表，并表示将永远离开政坛。
于是，杰斐逊又过上了归隐蒙特沙罗的生活，他在《农事录》里面也愉快地记下了许多事情。有一段时候，杰斐逊还让守寡并且带着六个孩子的姐姐玛莎到家里来住，其中两个外甥女已经到了适婚年龄，花费是很大的。他同时还收养了她的长子彼得·卡尔。彼得是个英俊、有前途的青年，杰斐逊亲自督导他的教育，并将他视为己出。
但是，时间一长，离开了政坛的杰斐逊，又感到孤独且寂寞。后来，有一位少将在1782年4月里到蒙特沙罗来拜访杰斐逊，杰斐逊殷勤地招待了他，并邀请他住上几天再走。
妻子逝世的悲痛
1782年5月8日，玛莎再生下一个女儿，仍旧给她取名露西·伊丽莎白。5月20日杰斐逊发现妻子的病况还是跟以前一样，随时都有去世的可能。但是拥护杰斐逊的人们还有他的政坛朋友们，没有顾上杰斐逊将要来临的不幸，在玛莎生产的那一周没有经过杰斐逊的同意，就再度把他选入了弗吉尼亚的议会。当时议会有一条法规规定，议会代表如果不到里士满去出席，又没有获得正式的批准离开，警官可以用武力强行对其逮捕，并拖往会场。杰斐逊在5月6日已经正式写信表示拒绝参加议会，但心里还是难免担心会受到威胁，而这时爱妻正在死亡的边缘挣扎。杰斐逊再度陷入了左右为难的境界。在马上要遭遇家庭剧变的时候，还要承受外来的压力，这让杰斐逊一下子又心力交瘁了。
杰斐逊在妻子生命的最后四个月里，一直都是一呼即到，即使杰斐逊不在她床边的时候，他也会在距离很近的正对着妻子床头的一个小房间里写东西。
1782年春天，杰斐逊又开始记载花园里众花开始绽放的事情。到了6月25日，他的妻子已经濒临死亡的边缘，杰斐逊就再也没有任何心情记下去了。
夏天马上要结束了，农田里也要获得丰收了，玛莎的生命也接近了尾声。一天，妻子打开杰斐逊心爱的一本书，她开始抄录上面的一些字句。这些凄美的字句，每读一回就会令人感到撕心裂肺。玛莎只选出这些来抄，而省略了与她情况不合的，正可以看出她的聪颖与敏慧，她借着别人的语句来发抒自己非宣泄不可的情感。杰斐逊把这张为自己抄录的纸小心翼翼地收藏了起来，日后还加上了一束爱妻的秀发。
玛莎马上就要去世了。杰斐逊安静而悲痛地坐在她的身旁，聆听着心爱的妻子临走之前想要做的事情和其他的吩咐。当玛莎说到孩子们的时候，哽咽了很长时间，最后她举起手来，伸出四根手指头，告诉杰斐逊说，她一想到这四个孩子要有后娘进门，她实在无法死得安心。
杰斐逊把玛莎的手握在自己的手里，很严肃地向她保证，他绝对不再结婚。后来，杰斐逊果然没有再结婚。当时杰斐逊还很年轻，而且又英俊潇洒，他可以再好好地结婚的，只是杰斐逊一直都信守着自己的诺言。其实，玛莎去世时只有三个孩子，而不是四个。那第四根手指很可能是表示第四个夭折的孩子。
那么，又怎么看待临终的诺言呢？这样的要求当然是有些极端而且自私了，但更可能是在无限伤心之下，对爱情永恒的一种寄望。玛莎和杰斐逊结婚的时候，本身就是个死了丈夫的人，如果她真要求丈夫保证绝不续娶，那么就表示，她不仅在活着的时候占有着他，就是死后，她也仍然希望占有他，她对丈夫未来的妻子心怀醋意，就如同妒忌丈夫的政治热诚一般。如果真是这样的话，那么杰斐逊似乎一辈子都摆脱不了。不过，这也可能只是她在不得不放弃生命与丈夫时，一种万般无奈而哀伤的表示而已。
在妻子玛莎结束生命的那一刻，杰斐逊很长一段时间内几乎已经毫无知觉了，后来被杰斐逊的妹妹带离了那个房间。杰斐逊的妹妹花了很大力气好不容易把杰斐逊扶进了藏书室，到了那里他刚醒来又再度昏了过去，很久都没有知觉。
1782年9月6日，杰斐逊在自己的账册里记下：“我亲爱的妻子在早上11点45分过世了。”
杰斐逊失去了自己最心爱的妻子，心情自然是悲痛欲绝。每天晚上，杰斐逊都是情绪起伏很大，而且总是无比的忧伤。整整三个星期他都待在自己的房间里。不论黑夜白天，他几乎都在不停地踱来踱去，只偶尔在筋疲力尽时，才在一张小床上躺下。杰斐逊的姐姐和妹妹们一直陪了他好几个星期。最后杰斐逊终于走出了房间，他一出房间，就骑着马在山区里漫步，走向人迹罕至的地方，并且时常穿越到森林深处。他哀伤万分地走在山径之上，总会时不时激动难抑，哀不自胜！
按说，妻子玛莎长久卧病，杰斐逊应该早有心理准备，而且心中也早已经悲伤了很久，到她真正去世时，应该不会这么悲痛才对。但是，杰斐逊不是上帝，他也只是个凡人，而他也没有那么坚强。他妻子许多的病症大部分都是因为怀孕而派生出来的，也就间接因为他而生病，杰斐逊难免为此自责。而且，不管是谁，越是爱得深，自责也越是厉害。由于爱妻去世这种情况发生，杰斐逊开始是完全失去知觉，后来是失眠，最后完全不能工作了。
1782年6月25日以后，《园艺簿》里便什么记载也没有。然而9月11日，也就是玛莎死后的第五天，杰斐逊竟然记下了关于小鸟尸体保存的方法。杰斐逊想到妻子的身体会腐坏，转而留意如何用科学方法来保存一只漂亮的死鸟。也许，这就是感触特别深刻的杰斐逊不能像其他人一样处理自己的忧伤，而是对遭遇不幸的一种抗拒。即使是这样，杰斐逊也是悲痛欲绝，他曾经说如果不是为了女儿们，都想一死以求解脱。
那么，玛莎三个小女儿的情况怎样呢？她们三个人在母亲死后，成为了杰斐逊的影子，代替了母亲，每时每刻都陪伴在杰斐逊的身边，这使得杰斐逊宽慰了不少，减少了他不少的哀伤。