园艺是一个持续时间更长一些的爱好。他的女儿叶勒娜是一位超级园艺爱好者，她带给他一本名为《工业溶液配置》的书，赫鲁晓夫对这本书进行了仔细的研究，书上满是他画的着重说明标记，在空白处还做了笔记。后来他准备了一种混合营养土，修了几个木槽，将它们放置在露天的阳台上。他在台阶两边的水泥槽里也放上了混合营养土。他还将用过的水管弯曲成形，刷上油漆，插进地里，上面蒙上聚乙烯塑料，搭建了一个简易的暖房。结果溶液培植的收成并不理想，于是他就将精力集中在了老式的园艺项目上，用他铺设的水管进行灌溉，种植了莳萝、萝卜、土豆、南瓜、向日葵，当然还有玉米。这些活把他累得筋疲力尽，于是他开始从亲戚、客人，甚至年轻的警卫人员中寻找帮手，后来警卫人员被禁止帮助他干这些活。每周，赫鲁晓夫都要计划下一周的安排，当大家来到这里，他会批评那些没有正当理由而缺席或是干活不称职（不管是否出于故意，将黄瓜秧拔掉了，而把杂草留下了）的人。10岁的孙子尼基塔是他最忠实的追随者，他特别渴望帮助爷爷干这种农活，尽管不是手忙脚乱，就是帮了倒忙。这位从前的钳工特别喜欢以他更多的见识“指挥”他的帮手。“让我教你这应该怎么做。”他会在用一套工具和麻絮将管件接在一起时说，“你们还自称工程师呢，可是你们却连一根管子都对付不了。”
赫鲁晓夫喜欢的消遣是在野外升起一堆篝火。“不管什么天气，即使是下雨，”谢尔盖记得，赫鲁晓夫都会披上一件浅褐色的斗篷，那是他1960年在法国访问时一位资本家送给他的礼物，收集一堆树枝，升起一堆火，然后就“几个小时盯着燃烧的火堆发呆”。在一周的工作时间里，他仅有的陪伴者就是一条名叫“阿巴特”的德国牧羊犬，后来“阿巴特”死后，赫鲁晓夫又养了一条名叫“贝尔卡”的杂交犬。（“这条杂种狗更加聪明，更为忠实，不会反复无常，”赫鲁晓夫说：“那我还要一条纯种的笨蛋有什么用呢？”）周末，他会召集家人和朋友们生起篝火，然后听他讲述他一家在顿巴斯的故事，以及他想成为一个能自己制造“灵敏”机械的工程师的事情。“当篝火熄灭时，他的故事也就结束了。”谢尔盖说。赫鲁晓夫一年四季都会生篝火，但他还是最喜欢春天。“他不喜欢秋天。事实上，他憎恶秋天。灰暗的天空和怒吼的寒风让他感到压抑，褪去绿色、在寒风中忧郁摇摆的松树会让他想到死亡。”
赫鲁晓夫并非第一个在突然被赶下台后陷入抑郁之中的领导人，例如，理查德·尼克松也是如此。两人的情绪低落都反映出政治生命对于他们意味着什么，他们是如何将自我形象与掌握和控制权力联系在一起的。然而，从另一种意义上说，赫鲁晓夫的下台为他带来了某种安慰。虽然世人并不知道这一点，因为他看起来对自己是如此的肯定，但他却是自己所犯罪过的严厉批判者。在被雄心驱使了一辈子后，直至现在他才能自由地坦承自己的过错，并做出部分的补偿。他对没有为布哈林平反昭雪以及1962年和1963年对知识分子的恫吓表示遗憾。他对1966年逮捕并囚禁两位持不同政见的作家，安德烈·西雅夫斯基（Sinyavsky）和尤里·丹尼尔（Daniel），表示了谴责；提醒人们不能为斯大林平反，并对1968年入侵捷克斯洛伐克进行了批评。在谈到闭关锁国的苏联工人阶级的天堂时，他是如此说的：“天堂是人们向往的归属，而不是生之所在！然而，这个国家的大门被关闭了，被锁链捆绑住了。这是一种什么样的社会主义？当你不得不将人民用锁链捆绑起来时，那是一种什么样的社会？什么样的社会秩序？有些人指责我几次打开了大门。如果上帝让我有继续执政的机会，我会将大门和窗户都大大地打开。”
他对孩子们也变得“更为温和、更加诚挚而关注”。在此以前，他几乎从来没有和尤莉娅谈起她死去的父亲列昂尼德和她的母亲柳芭。此时，他在一次散步时突然说：“你可以为你的父亲感到自豪，他是一位勇敢的飞行员。你的母亲也没有什么罪过。”过去，赫鲁晓夫对他的孙子们总是十分溺爱，但是现在他有了更充裕的时间来表达他的爱意。在拍摄的一次颇为感人的家族录像里，年幼的尼基塔突然放下了在院子里拔草的活，不自觉地扑到了他祖父的怀里，赫鲁晓夫轻轻地吻了他一下，把他拥入怀中。
不过，除此外，赫鲁晓夫全身心地投入到准备回忆录当中，这一巨大的努力变成了他晚年生活的中心内容。家人从1966年就开始催促他撰写回忆录，当时他终于从胰腺病中恢复了过来，周末来访的客人也无一例外地会问起他是否正在撰写回忆录。他起初表示拒绝，他曾经否决了克格勃阻止朱可夫元帅撰写回忆录的建议，他知道自己的回忆录会产生多大的反响。不过，雄心与负罪感最后还是再次占了上风。还有什么办法会比讲述自己的故事更能证明自己的一生和政治业绩的呢？！然而，如果提供一个完全诚实的回忆录，他又如何能证明自己一生的伟业呢？
1966年8月，他做好了撰写回忆录的准备。甚至在此之前，他已向家人和客人们回顾了一些往事，特别是战争期间以及斯大林最后岁月里的故事，但是他避开了那些与他的接班人相关的事情，特别是他们正在扭转他改革计划的方式。在他儿子看来，正是这些逆转，特别是斯大林有可能最终会被平反，才最终让赫鲁晓夫下定了决心。此外，还有对他是“唯意志论者”与“主观主义者”的指责，说得通俗一点，就是说他无能，这也促使其痛下决心。
1966年8月一个温暖的早上，其孙女尤莉娅的丈夫，记者列夫·彼得罗夫，在花园里坐在他的对面，打开了录音机，赫鲁晓夫开始口述他的回忆录。刚开始，他复述了对来访者讲过的事情。在彼得罗夫的建议下，他第一天讲述了古巴导弹危机。但是不久他就开始每天口述数个小时了，在早饭和午饭后，不管是否有人向他提出问题，或是倾听他的回答。
开始时，他会从一个话题跳到另一个话题。后来在他儿子的帮助下，他事先拟出提纲，在讲之前仔细考虑想说些什么。有一次，赫鲁晓夫和其儿子根据轻重顺序拟出了一个想要讲述的主题目录，然后准备按照该“计划”实施，但在讲述过程中，赫鲁晓夫还是漏掉了一些他们已经讨论过的话题，并增加了一些临时想起的事情。谢尔盖可能已经为他收集了发表过的讲话和其他一些材料，但是赫鲁晓夫习惯与人打交道，而不是与纸张，他宁愿相信他还算不错的记忆力。当然，他也不可能接触到被克格勃锁在档案柜深处的那些正式记录和文件。
列夫·彼得罗夫试图对这些磁带进行转录和整理，但是赫鲁晓夫并不希望这样：里面有太多彼得罗夫的声音，而赫鲁晓夫自己的声音太少。后来由尼娜·彼得罗夫娜从事打字和整理工作，但是赫鲁晓夫抱怨说，她太慢，而且不专业，只能用四个手指打字。谢尔盖敦促他向中央委员会提出要求，要求派一名秘书和打字员，但是赫鲁晓夫立即表示拒绝：“我不想求他们任何事。如果他们主动提出帮助，我也不会拒绝。但是他们不会提供这样的帮助，他们是不会需要我的回忆录的，我的回忆录只会让他们感觉不舒服。”
谢尔盖在他的火箭设计局里找到了一名打字员，她同意在家里将磁带里的内容打出来。谢尔盖自己则开始对样稿进行整理。要做好这两项工作都很不容易，因为赫鲁晓夫的话并不是十分清楚，有时将某些音节省略掉了，有时又将某个音节拖得很长，有时前后的顺序被搞错了。最终，赫鲁晓夫的回忆录总共录制了250小时的磁带，打印手稿为3500页。
赫鲁晓夫告诉谢尔盖说，首先“我想谈谈关于斯大林的事情，他的错误和他的罪行，特别是因为他们想洗刷掉他身上所沾满的血腥，重新将他扶到神坛上来”。他说，其次，“我想说出战争时期的真相。他们在广播和电视上向人民灌输的那些垃圾让我感到恶心。我必须说出真相”。于是他一开始就集中讲述了他30年代在莫斯科和乌克兰的经历，直至战争时期。在此之后，他讲述了战后时期的事情，直到斯大林去世和贝利亚下台，但是后来他就停下来了。他说，他想省去他执政的这段时期，以避免触怒他的接班人，因为很多事情他们都直接参与过，但是谢尔盖怀疑，还有一个原因可能是他父亲“认为详述他的成就会让人觉得他不够谦虚谨慎”。
赫鲁晓夫最后还是设法克服谨小慎微的心理，并最终讲出了数百页关于他在国内外事务中所取得的成就，但其他方面的情况谈论得很少，除了他的童年和家事外，还有他与艺术界充满风波的关系。与艺术界的关系是他口述的最后一部分内容，后来他还想将这部分内容删去。
尽管努力避免挑衅他的接班人，然而1967年夏天，麻烦还是出现了。当时一位美国电影制片人露西·雅维斯，也许是在赫鲁晓夫家人的帮助下，拍摄了一部关于他的纪录片，并最终在NBC电视台中播出了。虽然主要是取材于过去的电影画面，但这部纪录片中还是拍摄了一些赫鲁晓夫退休生活的镜头，他穿着法国斗篷，坐在篝火边的情景。播出时，他的声音被翻译盖过了，但还是可以听见他谈论了一些关于古巴导弹危机的事情。当局盛怒之下撤换了对赫鲁晓夫太过友好的警卫负责人梅尔尼科夫，接替他的人让赫鲁晓夫的生活变得艰难起来。
赫鲁晓夫对此并没有太在意，他加紧了回忆录的口述工作。不管是否像谢尔盖·赫鲁晓夫所坚持认为的那样，勃列日涅夫个人对赫鲁晓夫感到嫉妒和憎恨，还是出于体制上自我保护的一般理由，克里姆林宫将赫鲁晓夫召了过去，原来的三位同事狠狠地将他训斥了一通。政治局委员安德烈·基里钦科是赫鲁晓夫在乌克兰时的下属，在中央委员会俄罗斯联邦局中是他的副手。阿维德·帕尔谢（Arvid Pelshe）是党控委员会主席，负责对犯错误的党员做出纪律处分。德米契夫原来是赫鲁晓夫在莫斯科的助手，现在是莫斯科党委书记。
没有一句问候的话，基里钦科上来就说：“中央委员会已经得到消息说，你很长时间以来一直在写回忆录，回忆录中包括了很多关于党和国家历史的事件。”而对党和国家的历史作出解释是“中央委员会的事情，不是哪个个人私下里的事，更不用说是领取养老金的人了。政治局要求你停止撰写回忆录，并立即将已经口述的内容上交中央委员会。”
赫鲁晓夫平静地回答说：“基里钦科同志，我不明白你和那些向你通报消息的人想干什么。这个世界上很多人都在写回忆录，我们国家也是一样。写回忆录没有什么错。回忆录不是历史，回忆录只是一个人对他所经历的生活的看法。”
不久，他的嗓门就高了起来：“我认为你的要求是对一个苏联公民的强制行为，是违反宪法的，因此我拒绝听从你的要求。你可以把我关进监狱，或者强行从我那里抢走这些材料。如果愿意，你今天就可以把这些事情都做了，但是我肯定会表示抗议的。”
基里钦科还试图坚持，但此时赫鲁晓夫已经开始大声叫嚷，他说现在受到的待遇就像塔拉斯·谢甫琴科一样。谢甫琴科是乌克兰作家和艺术家，沙皇尼古拉斯一世曾经将他流放，强制其服了25年兵役。赫鲁晓夫说：“你们可以剥夺我的一切：养老金、别墅、公寓。这些你们都有权力做到，如果你这么做，我也不会感到奇怪。即使如此，我还是可以设法谋生的。我可以去做钳工，我还记得如何与金属打交道。如果那不行，我可以背上包袱去乞讨。人民会给我需要的东西。但是没有人会给你一片面包。你会饿死的。”
帕尔谢提醒赫鲁晓夫说，政治局的决定对所有党员都是有约束力的，“敌对势力”可能会通过盗取他的回忆录来搅乱苏联的局势。赫鲁晓夫回击说，如果党为他提供一名速记员和打字员，将材料的副本保存在中央委员会里，就可以很容易防止“美国间谍”。
此时他开始冷静下来了，但后来他又记起了另一件让人痛苦的事：他们不是帮助他完成计划，“而是再次违反宪法，在我的别墅里到处安装窃听器。甚至连浴室里也不放过，你们是在浪费人民的金钱来监听我放屁”。
经过更加激烈的长篇演讲后（“我想我写的东西会对苏联人民，对我们苏联的领导人，对我们国家有所裨益。我所经历过的事件应该作为未来的经验教训”），这次令人厌烦的交锋结束了，赫鲁晓夫离开了。基里钦科和他的同事们的企图没有得逞，不过赫鲁晓夫也十分震怒。
“他非常生气，马上沿着河边走了下去。”他妻子后来回忆说。她跟在他后面，但是很长时间他没有说一句话。第二天，当谢尔盖来到他的别墅时，赫鲁晓夫“显得很疲惫，他的脸色更加灰暗，显得更苍老了”。谢尔盖看到他坐在树林边晒太阳。尼娜·彼得罗夫娜已经提醒过他，所以他没有问起在中央委员会里的事情，不过他也不用问。