经历了几十年的宦海沉浮、风云跌宕，一朝罢官，奕訢心情反而倍感轻松，真可谓“无官一身轻”啦！尤其对已过知天命年龄且体弱多病的奕訢来讲。当天收拾好军机处内自己常用的笔墨纸砚等物件回到家中的时候，家人已经准备好了一桌丰盛的饭菜正等着他呢。多年来为国事奔波，也很少有闲暇顾及家人，奕訢内心多的是对家人的愧疚之情。望着爱妻和儿女们，他心中透着浓浓的暖意。
远离了宫廷的喧嚣，他决定开始过一般黎民百姓简单清静的小日子。吃罢饭，奕訢即命人将作为王府标志的杏红色堂帘子绳全部撤下，换成蓝色绳，显示恭王府与寻常百姓人家没什么区别；他自己则以平头百姓自居，戴起了蓝色小帽；并拾起了多年来因忙碌而弃置一旁的兴趣爱好，游山玩水、吟诗作词、结交友朋，开始过起世外桃源般的生活。
自打小的时候，奕訢就被唐诗所散发的那样一种无穷的魅力深深地吸引着。对其中很多优秀的诗篇，他都能熟读成诵。他自己也进行创作，抒发情志。年轻的时候，几十年繁重的公务缠身，以致几乎不知吟诗为何物了。今日重新拾起旧日的纸和笔，他感到万分的快意，确实都有些生疏了，然而浓厚的兴趣仍在。跨过时空的界限，他想到了北宋时的著名改革家王安石，他因变法遭到封建大地主和官僚层的反对后被迫辞官，晚年多以集唐诗消闲。时过八百余年后，奕訢的境遇与他是如此的相同，历史的场景常常这样戏剧般巧合地上演着。与王安石有着相似境遇和心情的奕訢，逐步放弃年轻时致力于自创的诗路，也开始取唐诗于案头，信手拈吟，消磨日月。
对于诗歌，奕訢有自己独到的看法。他认为诗歌是人的心志的自然流露，如果刻意雕琢、矫饰和约束，则不能达到自由地抒发情感的效果，因而他反对严格地遵守格律，而主张“情动于中，言行于外”。他的集句闲吟，也就如同他追求自由的个性一般，兴致所至之时，为了书写真情实感，他也会情不自禁地“狂吟”几句。鉴于自身的身份、地位，尤其是慈禧对他的余恨犹在，他倾诉的对象是有所考虑的。几十年朝夕与共的挚友中，文祥已逝，现惟有宝鋆是他可以无话不对其说的老友，因而他给宝鋆的诗多为情感的真实流露。《朗润园感怀》一诗，表达了奕訢对一生远大抱负破灭和凄凉人生的慨叹，他写道：
实事渐消虚事在，他生未卜此生休。
赋闲十余年，经常与他一起唱和诗词的还有七弟奕譞，历事道咸同光四朝以76岁高龄退休的董恂，侍读志锐，编修志钧及当时重臣李鸿章等。与朋友间的这种唱和生活，奕訢颇感快意。他在叙述这种生活时称：“一年到头闲居无事，仅以集句自娱，经常与佩蘅相国和朴庵弟往来唱和，几乎没有暇日。每次都遥想古人有文战、笔战、酒战、茗战、棋战等名类，现在我们是以诗战为命题。只取兴到笔随，不重勾心斗角。”佩蘅和朴庵分别为宝鋆的号和奕譞的字，这两人是奕訢的主要诗友。
说起宝鋆的名和号，多年前奕訢和宝鋆之间开玩笑时的爽朗笑声依然还在耳边。据宝鋆弟子何德刚回忆，他们两人经常开玩笑。一日将散值时，宝鋆出军机值房小解，奕訢等了一会儿，宝鋆才回来，奕訢笑问道：“往何处撇宝去了？”撇宝是北京人称解手的玩笑话，含一个“宝”字，宝鋆忙回应道：“哪里，是出恭。”出恭也指解手，含一个“恭”字。你来我往，针锋相对，两人不禁互指对方，哈哈大笑。还有一次，奕訢从太庙出来，指着太庙中驮石碑的赑屃，对宝鋆说：“你看这个宝贝。”宝鋆，号佩蘅，贝、佩，音很相近。赑屃即龟，俗称王八。宝鋆立即听出，是恭王又在开他的玩笑了，他反应很快，马上回答道：“这也是龙生九子之一。”传说中龙生有九子，赑屃就是九子之一；恰好道光帝有九个皇子，奕訢是其中之一，那么宝鋆的意思就是这赑屃也是奕訢你了。两人的智慧和非同寻常的亲密关系在谈笑间得到了充分的显现。
为避疑忌，奕訢的交游面并不广；也因是遭西太后罢黜之人，很多人慑于太后势力为求自保，也暗避之，当然这些人也不是奕訢想真正交往的。光绪十二年（1886年）春节，又逢立春，两“春”相叠，本为吉日。往年车水马龙的恭王府今年春节却是“门前冷落车马稀”，来拜贺的客人没有几个。鉴于体制的关系，自己是恭王，奕訢也不便先去拜访别人。坐在家中，读书习画，也别有一番滋味！几十年来他第一次真正感受到了自由的可贵，这也是他这次人生挫折的一大真切收获。于是做《丙戌年元旦立春》诗一首，表达此时的心境，其中有这样的句子：
富贵祝来何所遂，世间难得自由身。
光绪十四年正月（1888年2月），他再次撰文称赞这种冷清生活的美妙。每日坐于书斋之中，集成一诗，按月编排次序。诗句虽集自于唐，但用典并不拘泥于古今，犹如画家所用烘托之法。素擅诗词的宝鋆对奕訢的诗词给予了很高的赞誉，称奕訢的诗是“月满无亏，花生有笔，文章假我，天地皆春”。
除唱和赋诗之外，恭府也偶有些小规模的热闹，如奕訢在朗润园中为宝鋆和董恂庆贺八十大寿，人活八十古来稀，值得庆贺。他还为志锐、志钧题《同听秋声图》，为李鸿章写《赠李少荃相国十二韵》。在清流派皆谩骂李鸿章无才无能只懂求和的情形下，他始终认为李鸿章是以多才而任将相，为国家立下了汗马功劳。
在赋闲养疾的这十年中，奕訢的家庭也经历了一些变故。在经历了连续的丧妻、丧子和丧友的苦痛之后，奕訢更加感悟到了人生的无限悲凉。
光绪十一年（1885年），爱子载潢不幸夭折，奕訢郁结于怀，旧病复发，长久医治都不见功效。医生和家人都建议他出去散散心。奕訢接受大家的建议，带上家人和侍卫，乘小车，随身携带数卷唐诗，由昆明湖泛舟到玉泉山，又由文昌阁过绣绮桥到万寿寺、龙泉庵、香界寺、宝珠洞等地，然后来到普觉寺，共游历了40余日。
行游至普觉寺时，30余年前的一幕又清晰地浮现在眼前，恍如昨日。咸丰二年（1852年），他曾与咸丰帝一同来此寺中，今日旧地重游，可奈已物是人非，他不禁感叹吟道：
寥落悲前事，回头总是情；
僻居人不到，今夜月分明。
地古烟尘暗，身微俗虑并。
水深鱼极乐，照胆玉泉清。
奕訢边走边吟，写下了很多诗篇。在“松竹清幽”禅房与慈云方丈的一席“净话”之谈，将他的一切烦虑骤然荡涤。行至药王殿时，他向药王祈求保佑家人皆身体健康，凡事平安。之后他又游了极乐峰、太古观音洞，或对雨吟诗，或春晚散步，或远眺群山，心中郁结渐渐化解。游至退居庵时，他又向86岁高龄的瑞云禅师请教健身方法，之后才踏上回家的路途。
这次散心游玩，丧子之痛犹存，然而心情与起初相比是平静多了，身体也大大恢复了。奕訢决定将一年多来集的诗编辑成册，这年五月，《萃锦吟》卷一整理编定。集子中的诗集中反映了奕訢这一段时期的思想和经历。
幼子载潢夭折后不到六个月，这年夏季，奕訢长子载瀓病死，时年28岁。刚刚康复的奕訢接二连三地遭受失去亲人的打击，再次病倒了，他悲愤交集，写下《秋夜咏怀》诗一首，抒解心中的悲痛。这一年奕訢已经54岁，近年来连续丧亡四妻，三子女，使他的精神濒于崩溃的边缘。在亲友劝告下，他再度游西山，但心情难与上次一样得到平复。他感叹上天为什么如此地对待他，无论家事政途，都是如此不顺，多年来一直否定天象、天命说的他开始信命了！这一时期，他写下了悼亡组诗，以寄托对逝去的妻子儿女的无限的哀思。在以下这一首悼妻词中，凄凄惨惨心境尽现：
眼应穿，人不见，花残菊破丛，洒思临风乱。无言独上西楼，愁却等闲分散。黄昏微雨画帘垂，话别情多声欲战。
在另一首悼儿词中，他的感伤不禁催人泪下：
花淡薄，雨菲菲，伤心小儿女，相见也依依，绿倒红飘欲尽，晚窗斜界残晖，无由并写春风恨，不觉汍澜又湿衣。
接连的伤痛无情地折磨着本已体弱心疲的奕訢，他遵照旧制，开始在昌平县翠华山，一个雾气缭绕的犹如人间仙境的地方为自己营造陵墓。墓旁的茔庐横匾取“乐道堂”三字，这是道光帝生前留给他的为其一生所珍视的墨宝，奕訢用它命名他的归宿之地。
为置身凡尘俗世之外，平息伤痛，消磨时光，他离开京城，到十里外的戒台寺长期居住。整日与僧人为伍，每天以经卷为伴。在这期间，又发生了一些变故。对奕訢心绪影响较大的，是七弟奕譞和老友宝鋆的逝去。
七弟奕譞执掌军机处后，在对慈禧的态度上与奕訢截然不同，他极力迎合、满足慈禧的享乐欲望和权力欲望。中法战争刚刚结束的那年六月，大权独揽的慈禧即发布懿旨修因同治帝的死而未开工的三海工程，次年，又决定修颐和园。这两项工程耗资巨大，已千疮百孔的清帝国难以承受，慈禧决定挪用海军军费，同时授意李鸿章以海军衙门筹款以备急需的名义，向两江总督曾国荃和两广总督张之洞分别勒捐二百六十万两白银。晚清官场黑暗腐败，卖官鬻爵，贪污贿赂自此渐成风气。
为了讨好慈禧，奕譞费尽心思。光绪十二年（1886年），光绪帝16岁，已到亲政年龄，按祖制，慈禧应该归政了。奕譞知道嗜权如命的慈禧极不愿意归政。为迎合慈禧揽权不放的心理，他以光绪帝生父的身份，开始积极策划请慈禧继续“训政”的假归政。他带头上奏“吁恳皇太后训政”，在奏折中极力美化慈禧垂帘听政以来的“文治武功”；为了壮大声势，他还指使世铎等人也异口同声地请慈禧再行训政数年，且拟定详细的《训政细则》，以保证训政的顺利进行。
两年之后，光绪帝要大婚了，慈禧再不归政就不成体统了，于是宣布在光绪帝大婚后的二月三日（1889年3月4日）正式归政。这时，奕譞又“主动”指使军机处拟折，提出“亲政后，皇上每日披阅的奏折，仍须交由太后慈览；对各级官吏的任命，由军机大臣拟定后，皇上奏明皇太后，次日再降谕旨”等等。他又同世铎“面商”，准备像《训政细则》一样，拟定一“条目”，确保提议中太后权力的行使。由于奕譞的“努力”，大婚后的光绪帝仍是只有亲政之名，而无其实，一切用人行政大权皆掌控于西太后慈禧手中，直至光绪帝生命结束，都始终没能走出慈禧的阴影。
然而，奕譞所作的一切并没有换来慈禧绝对的信任。尤其是归政后形成的皇帝生父奕譞执政的局面，更加深了慈禧对奕譞的怀疑，她生怕有朝一日奕譞以皇帝生父的身份把持朝政，于是在言语和行动中均透露了对奕譞夫妇的高度的戒备心理。她曾拿当时以旁支入继大统的朝鲜国王李熙的父亲策划“壬午兵变”作比，警示奕譞，并由此严格限制光绪帝与其生父母见面的机会。奕譞感觉到这一点时，心里万分惊悸。自光绪十三年（1887年）就一直患病的他旧疾复发，不到一年多就病死了。
对奕譞，奕訢感叹道：他是看人挑担不知累，自己挑上吃不消呀！奕譞患病，奕訢多次到府上看望，他这种虚怀若谷、不计前嫌的大方之态尤令奕譞感动。光绪十四年（1888年）时，奕訢还到奕譞府上贺年，品茗和谈诗，这对奕譞来说都是莫大的安慰。自此兄弟俩的感情愈见融洽，对慈禧的心性两人在感情上产生了某种共鸣，只是心照不宣罢了。光绪亲政后的当年花朝日，奕譞邀请六兄奕訢、十弟心泉和宝鋆到自家邸园赏梅，并书《排闷一律》致奕訢，同时赠春笋。奕訢答诗安慰七弟奕譞道：
扰扰人间是与非，醉乡不去欲何归。
漫夸列鼎鸣钟贵，还得山家药笋肥。
在慈禧的专制之下，兄弟俩有很多话不便明说，一首小诗却拉近了彼此的距离。之后兄弟间过往更加亲密，尽管如此，奕訢也还是绝口不提时政。他给七弟奕譞的诗也均为韬光养晦之笔。
就在奕譞病逝的当年，与奕訢共事几十年的宝鋆也永远地离他而去了。奕訢万分悲痛，在宝鋆的神主入祠典礼的那一日，他亲自去祠内看视祭器祭品，一丝不苟，直至确信一切均已安排妥当后，才离开祠堂，让人举行典礼。按礼制，亲王和皇子不能对臣子行跪拜礼，所以他不能与大家一起参加祭典，但典礼前来仔细看视典礼安排情况的做法，表达了奕訢对这份友谊的格外重视之情。
家人、友人一个个地离去，只剩下了奕訢。坐在宽敞的庭院中，他愈感孤独了。奕譞、宝鋆去世的这年秋天，他又大病一场，往来唱和之人已逝，他也无心再吟《萃锦吟》了。数月之后，奕訢的溺血症又发作，人也明显地衰老，胡须渐渐斑白。
光绪十七年（1891年）十一月，奕訢在自己的宅邸中庆贺六十寿诞。以往恭王生日，均请来京城名角儿来府中戏楼唱戏三天，今年照例。所不同的是，昔日声名显赫时贺客盈门的恭王府今天于正日之时，除家人外，仅有李鸿藻、荣禄、崇礼、敬信、翁同龢等六位贺客。久在名利场中的他再一次深深体悟到了世态炎凉的失落感。
世事在变，而奕訢那颗关心时政的心却没有变。
在戒台寺隐居期间，他表面上是游山玩水，颐养天年。但内心却时刻关注政局的变化，对国事充满了忧虑。他曾给一棵松树题名“卧龙松”，自认为是蛟龙卧浅滩，在抒发内心的郁闷同时也企盼卧龙再度腾飞。光绪十三年（1887年）末，他病情好转，精神愉悦之时，曾在赠宝鋆的一首诗中述怀道：
平生志气今犹在，四载安居复有群。
在与友人的往来中，他也直接听闻了朝中发生的事情。对近年来的国事，他甚感不满。建立海军，修建铁路的钱，为慈禧太后挪用作为建设颐和园的资费。日本屡次挑衅以来，年轻的光绪帝好胜心切，在多年军备废弛、武器落后的情况下，却一味地主战。
身为皇室子孙，他放心不下这些关乎皇朝命运的事情！然而他只能静坐家中，把心中的那份忧虑深深地埋藏起来。他深深知道慈禧对他的戒备仍在、仇恨未消！光绪十年十月（1884年11月），慈禧五十大寿，七弟奕譞曾为奕訢代请随班贺寿，这合乎情理的事竟然遭到慈禧太后的传旨申饬。光绪十八年（1892年）末，慈禧按例分赏王公大臣“福寿”字时，竟命令撤而不赏与奕訢“福”字，公开地羞辱奕訢。光绪二十年（1884年），慈禧六十大寿时，奕劻替奕訢吁请参加十月举行的太后寿典，慈禧再次断然拒绝了。
看来，奕訢就只能在这样的不如意中打发赋闲的时光，直到生命的终点。但时势却再一次对他发出了呼唤。当他再度被起用时，众人皆惊异地发现，他已是须发皆白的老人了。