赫鲁晓夫下台的消息在既成事实后的两天才向世界宣布。几乎就在同时，谣言开始流传起来，媒体上有关他的消息也在一夜之间消失了。正式的消息刊登在10月16日的《真理报》上，第二天又发表了一篇社论，《苏联共产党不可动摇的列宁主义总路线》，这篇社论没有提及赫鲁晓夫的名字，但谴责了“共产主义建设事业中的主观主义及其观点，轻率做出计划，决定考虑不周，匆忙做出与现实不符的决定与行动，大肆吹捧，虚张声势，热衷于个人发号施令，以及不愿意遵从科学与已经证明过行之有效的操作经验”。
到15日早晨，新的安全措施已经取代了多年来为赫鲁晓夫工作的警卫人员。他在列宁山住处的多部电话线仍然连通着，其中包括几条与市政府机构的电话线以及政府的特别专线，只有一条地方线，此外还有连接警卫室的电话。那天清晨，一辆大型的黑色“柴卡”（Chaika）轿车驶进了赫鲁晓夫的住处，取代了体积更为庞大的黑色“伊尔”轿车，苏联全国只有三人可以享受使用“伊尔”轿车的待遇：党的总书记、总理和最高苏维埃主席团主席。当天晚些时候，这辆“柴卡”轿车也开走了，换成了一辆普通的黑色“伏尔加”，这样就将赫鲁晓夫的待遇降到中级职能部门人员的水平，当赫鲁晓夫削减他们所享受的待遇时，这些中级干部对他是恨之入骨的。
赫鲁晓夫的习惯是上午九点准时坐在他的克里姆林宫或是中央委员会办公大楼的办公室里。10月15日，他九点左右才下来吃早饭。头天晚上，他服用了他的保健医生弗拉基米尔·贝左比克（Bezzubik）开的镇静药，但还是几乎没有睡着。“他的脸好像瘦削了许多，面色更加灰暗，”谢尔盖·赫鲁晓夫记得：“而且行动也迟缓了许多。”
对面前的食物几乎没有动一下，赫鲁晓夫之后来到了院子里，在房子周围慢慢地散步。当他走近大门时，新的安全负责人谢尔盖·梅尔尼科夫（Melnikov）问他是否想乘车到别墅去。
“你得到了一份十分单调乏味的工作，”这位前总理回答说：“现在我已经是个赋闲在家的人。我不知道如何打发时光，你会和我一起在沉闷中耗费生命的。不过，你也许会处理得很好。为什么还坐在这儿？我们走吧。”
当赫鲁晓夫、他儿子还有梅尔尼科夫到达时，他的别墅也换上了新的警卫人员。在大门口犹豫了一阵是否进去后，赫鲁晓夫沿着山边的小溪走了下去，过了一座小桥，来到附近的一个国营农场。这里的玉米在夏天经过了特别精心的培养，为的是给农场附近的重要人物留下好的印象，现在这里的田地除了中间的几个玉米秸秆堆外已是光秃秃的一片。当三人在庄稼地边的小路上转悠时，赫鲁晓夫开始滔滔不绝地说出一大堆数字以及他钟爱的振兴农业的秘方，好像是在给当地党的领导人作报告似的。梅尔尼科夫礼貌地提了一些问题，在谈话中间赫鲁晓夫突然停了下来。
“现在没有人再需要我了，”他声音低沉地说：“没有了工作，我该做些什么呢？我将如何生活下去？”
1964年10月14日，尼娜·彼得罗夫娜·赫鲁晓娃在勃列日涅夫的妻子维克托利娅的陪同下在捷克斯洛伐克的卡罗维发利度假。下台后，赫鲁晓夫立即焦急地询问将以何种方式告知他的妻子。当天早些时候，要按照以往，他会拿起政府公用电话，叫接线员帮他接通。作为权力的象征，现在政府专线已经掐断了，家里没有人知道如何才能用普通电话线找到她。赫鲁晓夫的警卫员最后终于接通了她，说尼基塔·赫鲁晓夫叫她立即回来，但是没有解释为什么。她是从苏联驻捷克斯洛伐克大使米哈伊尔·齐默雅宁（Zimyanin）那里得到赫鲁晓夫下台的消息的，齐默雅宁一直对她极尽奉承讨好之能事，（在想跟勃列日涅夫夫人说话时）他错误地叫住了尼娜·彼得罗夫娜，并大讲赫鲁晓夫如何被赶下了台，他在刚刚结束的中央委员会全体会议上如何谴责赫鲁晓夫，以及“亲爱的列昂尼德·伊里奇”作为党的领导人是如何的好。尼娜·彼得罗夫娜站在那里一言不发，这时齐默雅宁才意识到自己的错误，尴尬地僵在那里。
赫鲁晓夫担心没有人会在机场迎接尼娜·彼得罗夫娜，但是梅尔尼科夫设法作了安排。当她乘坐的汽车终于在15日晚上回到列宁山住处时，她的手上还拿着在布拉格机场上人们送给她的鲜花。她没有大呼小叫，而是很快担当起了作为家庭主妇的角色，就像在30年代时那样的平静，当时半夜的敲门声也许就意味着生命的终结，还有50年代，她作为苏联第一夫人时也显得很平静。就像谢尔盖·赫鲁晓夫所回忆的那样，他母亲“留意家里每个人都吃了饭，让父亲穿上了像往常一样干净整洁的白衬衣，把家里收拾得利利落落。……她的表现就好像中央委员会只是做出了又一个决定而已，只不过这次是解除了她丈夫的职务，她接受了这一现实，就像在她的生活中接受很多其他事情一样。毕竟，她并不仅仅是他的妻子，而且还是一名党员，妻子对丈夫的从属关系已经变成第二位的了”。
如果不是由于下台明显地让赫鲁晓夫感到十分痛苦的话，尼娜·彼得罗夫娜也许会对此很释然。在赫鲁晓夫去世后，尼娜回顾了她在丈夫下台后“痛苦的经历”以及“噩梦中的呓语”。“她经受的折磨丝毫不比我们少，”谢尔盖写道：“但是她将这一切很好地隐藏在她平静的外表之下。”
在后来的几个月里，几乎直到夏天，统治了苏联十年的赫鲁晓夫精神十分沮丧。他的家人想尽了一切办法让他振作起来，但是他对此既没有感到舒心，也没有接受家人的安慰。在位时，赫鲁晓夫每天都会仔细地阅读报纸，现在他只是心不在焉地扫上一眼。以前，他忙得没有时间读书，现在“他会机械地翻着书页，把书放到一边，站起来漫无目的地散步”。为了分散他的注意力，赫鲁晓夫的孩子们在别墅的大房间里给他放电影。“但是他从来没有看进去。”谢尔盖回忆说。甚至《主席》这部影片也几乎没有引起他的丝毫反应，这是新近拍摄的一部赞颂赫鲁晓夫风格的集体农庄主席的影片。“这部电影不错。”这就是赫鲁晓夫的所有评价。
现在的来访者很少，他们的到来也没有让赫鲁晓夫心情好起来。以前的同事与下属没有来看他的理由，他们也不想来。其他人则担心会招来不良后果，他们是很可能有这种感觉的，因为赫鲁晓夫的警卫人员对所有来访的客人都是亦步亦趋地跟着。除了这些以外，赫鲁晓夫的脑子里肯定产生过一个更让他感到困惑的问题：他事实上有朋友吗？回想起来，在平等的基础上与他成为朋友的还是在20年代的顿巴斯。在他退休期间，还是有一些老朋友来看过他的，只是不是在刚开始。
刚开始，来的客人分别是赫鲁晓夫孩子们的朋友，根据谢尔盖的说法，邀请他们来“是为了分散父亲的注意力，排解他内心的抑郁情绪”。起初，这种方法还真的起到了作用，特别是当他们一起来到别墅新建的水栽培花房里时，赫鲁晓夫会大讲水溶液栽培的好处，好像他的听众们是国家元首似的。但是“当他说到高兴处时”，谢尔盖回忆说：“尼基塔·谢尔盖耶维奇会突然停住，变得一言不发，兴奋的光芒从他的眼睛里褪去。‘这不再是我管的事了，而你们对这个又不是很懂。’”
秋天，赫鲁晓夫被下令腾出他在列宁山的房子和别墅。他的新别墅位于莫斯科市另一边的彼得罗夫-达尔尼耶。他在城里的新公寓（他实际上一天也没有在那里呆过）位于斯塔罗康尤谢尼（Starokonyushenny）巷19号，一座20世纪30年代为中央委员会工作人员建造的房子。有五个房间、一个厨房，还有一个宽敞的门厅，按照苏联的标准这已经是相当不错的了，但与他先前的住处相比就相差太远了。不过，他还是马上同意搬过去。他“对于在哪儿生活、如何生活已经没有什么兴趣了”，谢尔盖回忆说：“对于所有的事情，他都会表示同意。”
在充足的空余时间里，赫鲁晓夫大多数情况下是在散步，在别墅内的空地上来回踱步，有时是和谢尔盖与安全负责人梅尔尼科夫一起，但很多时候是他独自一人，散步时他几乎总是一言不发。“沉默让我们感到很压抑，”谢尔盖写道：“我们试图找到一个话题，说说莫斯科方面的那些对他而言不算好也不算坏的消息，但是他不会作出回应。有时他自己会打破沉默，心情沉重地重复说他的生命已经结束了，只有人民需要他，生命才有意义，但是现在没有人需要他了，生命也就毫无意义了。有时他的眼睛里会满含泪水。我们当然很担心，但是弗拉基米尔·格里高里耶维奇告诉我们说不用担心。‘这是受到打击的一种反应。’他向我们解释说。同时，父亲继续着没有尽头的散步，性情变得越来越孤僻。”
赫鲁晓夫的私人医生，弗拉基米尔·格里高里耶维奇·贝左比克，没有抛弃他的病人。除了一次数小时地和他坐在一起聊天外，他还给赫鲁晓夫开了些安眠药与镇定药。家人不担心他会自杀，几年之后也是这样。但是当赫鲁晓夫的一个孙子在学校里被校长问起他祖父在退休期间干些什么时，回答是“我祖父在家里哭”。多年后在被问及同样的问题时，赫鲁晓夫的家庭厨师的回答也差不多：“他坐在家里哭，坐在家里哭。”
1965年的新年前夜，赫鲁晓夫一家仍住在他们原来的别墅里，但是搬到彼得罗夫-达尔尼耶已是近在眼前的事了。别墅的家具都是政府配发的，不会和他们一起搬走，因此他们一大家人12月31日聚集的大餐厅还与以前一样：中间是可以坐三四十人的长餐桌，靠墙壁摆放着并不舒适的黑色皮椅，大厅的尽头是一个已经不能使用的灰色大理石壁炉。多年来头一次，赫鲁晓夫没有在新年前夜被成千上万人簇拥着，即使他的一大家子人也没有坐满餐桌的所有座位。与过去相比的反差让他们所有人都感到压抑，但是除了赫鲁晓夫外，其他人都尽量装出高兴快活的样子。“父亲静静地坐在那里，没有参与我们的欢宴，他只是坐在那里看着。”谢尔盖后来写道。
还是有一些人设法打来了电话，但大多数都是找赫鲁晓夫的孩子们的。有几个电话是来自顿巴斯的同志，或是尼娜·彼得罗夫娜30年代工作的莫斯科灯泡厂的老同事，但是没有人要求与赫鲁晓夫通话。最后，终于有一位勇敢的来电者要求与赫鲁晓夫通话。在犹豫了一阵子后，赫鲁晓夫慢慢地从桌子前站了起来，踱步来到了隔壁房间的电话机旁。对方是米高扬。突然之间，赫鲁晓夫听得很专注，大声回答说：“谢谢你，阿纳斯塔斯。也祝你新年快乐。请给你的家人带去我最美好的祝愿。谢谢你。我会努力保持精神愉悦。我现在的工作就是退休在家。我会学会如何放松心情的。”
当重新回到餐厅时，赫鲁晓夫看起来恢复了活力。谢尔盖回忆说，当他在餐桌前坐下来时，“他眼中的活力就消失了”。
米高扬打来电话是需要勇气的，由于仍处于领导岗位上，他这么做是会失去很多的。在此次通话后不久，他儿子后来得知此次通话被报告到了克里姆林宫新的领导班子那里，米高扬的速记员兼秘书就开始不断地重复关于米高扬的“蠢事”，并声称是赫鲁晓夫告诉他的司机的。这些报告是经过层层演绎的，这位速记员几乎肯定是为克格勃工作的，但是米高扬对这些传言却深信不疑。他一直以来就确信赫鲁晓夫嫉妒他，赫鲁晓夫“经常不同意我的意见，那是因为他不想承认我是对的”。米高扬相信，赫鲁晓夫现在肯定会指责他没有发觉将他赶下台的阴谋，并设法阻止——谢尔哥·米高扬说，换句话说，赫鲁晓夫会指责他父亲没有做他自己不能或是不会做的事情。由于他们两人之间的这种相互猜忌，米高扬再也没有给赫鲁晓夫打电话也就不足为奇了。奇怪的是他还是打来了这最后一次电话。
离群索居，精神压抑，现在的赫鲁晓夫不会对任何人构成威胁了。但是他以前的同事们并不想冒任何的风险，特别是经过10月23日发生的事情后。那天，苏联宇航员又取得了成功，对于以前成功的航天试验，赫鲁晓夫曾从皮聪大通过电话表示祝贺，并在莫斯科为航天英雄举行过欢迎仪式。此次的欢庆活动从早上在伏努科沃机场的仪式开始，从那里欢庆的车队沿着列宁斯基大街来到了红场，接着是盛大的招待会。赫鲁晓夫一家在列宁山住处观看了机场降落的电视现场直播。几分钟后，赫鲁晓夫站了起来，嘴里嘟囔着说他不看了，走了出去。
他还是不能平静下来，于是叫来警卫队长，要他开车送他去别墅。问题是他们的车队一开始是往红场方向去的。勃列日涅夫及其一帮人听说他就要来到红场时几乎吓呆了，但是在他们还未能想出用什么办法阻止他时，赫鲁晓夫的汽车已经转向西，到他的别墅里去了。当天晚上，梅尔尼科夫接到新的命令：赫鲁晓夫第二天早上就必须搬到他的别墅里去，没有进一步的通知，就一直呆在那儿。他的家人暂时还可以继续使用他们的列宁山住处。第二天，他们一家就搬到了别墅里，在那里他们一直呆到1965年初彼得罗夫-达尔尼耶的公寓准备停当。[1]