那年岁，不论是从监狱里回来的，牛棚里回来的，还是从干校回来的人，都不免有点灰溜溜的感觉，而杨宪益却不是这样，虽然也谈不上衣锦还乡、荣归故里，但与一般人相比，就是不一样。
首先，一位向他宣布释放的官员，与他谈了一席话，内容完全不是通常的训诫或警告，而是看似善意的劝导；语气也完全不是居高临下、盛气凌人的，而几乎可以用语重心长来形容。谈完了，还竟与他握了握手！握手意味着杨宪益还不失为他们的同志，一个虽然有缺点、错误但“毕竟……”的同志。
其次，外文局的党支部书记亲自到监狱门口来接他，而且开着小车来接他。这不是为了方便他回家的一种物质上的礼遇，而是一种政治待遇。
杨宪益在书记的陪同下，回到了他久违了的百万庄的家里。酒喝到一半听到敲门声……在办公室里戴手铐像是玩魔术……趿着拖鞋踢踢踏踏夹在一帮人中间下楼……路灯昏黄的光线透过军用吉普的小窗一闪一闪……四年前的情景，一幕一幕涌上脑海，噩梦的结束与噩梦的开始一样倏忽，非同寻常的经历通常不是为寻常的脑筋准备的，因此要使自己相信确曾经历过那些往事，有时还需要些力气。
走到家门口，书记亲自揭下了封条，推开了房门。壁炉台上种在死人头盖骨里的一株仙人掌，已经长得有一米高了，他下意识地用手去碰了碰四年来都无人照料的可怜的植物，不料它却无声地一下坍塌涂地，化为齑粉了！
当时天光已经暗下来了，杨宪益打算先出去找个地方吃晚饭，书记给了他一些钱。第二天，单位还派了年轻人来帮杨宪益搬动家具，扔掉垃圾。甚至于细致到让他去买鲜花和巧克力迎接妻子。
杨宪益出狱后，马上去见被派扫了几年大马路的老母亲。当时他的大妹妹也在，杨宪益转过头去问她什么地方可以买到插花的花瓶，杨敏如听了不禁大叫起来：
“你怎么还没改造好？怎么还要买花？！还有资产阶级的坏毛病！你不知道毛主席不让养花吗？”
杨宪益喃喃道：“不是我要买，是上面领导叫买的，叫我把家里什么都顺好，就去接乃迭回家。”
这样的误解与错怪，杨宪益不仅受之于妹妹，也受之于妻子。在他出狱后，隔了一个星期日，是个星期二，他迎回了妻子。戴乃迭在桌上看到一瓶白兰地，于是说：
“这么长时间不见，没想到你还没有改变过去的颓废毛病。”
杨宪益不得不又一次作解释，道：
“是支部书记指示这样做的。”
滑稽的对话产生于荒唐的年代，颇有黑色幽默的味道。
家里虽经杨宪益打扫收拾了几天，但戴乃迭仍然觉得脏乱得不行，两人又忙了几天，才觉得勉强可以住人了。周五，杨宪益提笔给他在南京的小妹及妹夫写了封信，报告他与妻子出狱的喜讯：
报告你们一个好消息，我和乃迭经过四年的详细审查，问题已经完全弄清楚，属于人民内部矛盾。经过总理批准，现在已经回到外文局工作……
……在那几年里，我们情况倒还好，整天就是学习和交代问题，家里的孩子和姆妈，以及敏如和沛霖受到一些连累，吃了一些苦，这也是很自然的，总之，大家经受了考验，结果都还好……
外文局的运动这几年搞得相当激烈复杂，有些坏人，包括旧领导人，是“五一六”分子，他们在整队期间，故意制造事件，搞谋杀，死了一些人……我因被公安局抓起来，反而受到政府保护，幸免于祸，这又是不幸中的大幸……
坏事可以变成好事，我在解放前一段历史，主要是与一些英美帝国主义分子的关系，不够清楚，解放后党对我始终不甚放心，过去我在精神上也有些包袱，不大愉快，有时情绪很坏。经过这四年审查，我的历史已经完全弄清楚……公安局负责人员告诉我，这次对我的历史审查，政府花费了很大力气，我感到十分感激。现在我的历史包袱也放下了，精神很好……乃迭进步也不少，回来后情绪很好。今后应该加紧改造自己的资产阶级世界观，好好学习主席著作，作好工作，来报答党的恩情。
夫妻俩整整坐了四年大牢，照理时间不短，遭遇也不是小不幸，可从信中看不出一点他心潮起伏的剧烈。出狱才几天，他与妻子大难之后久别重逢才几天，他就似乎已经平静下来了，完全平静下来了，过早地平静下来了。
看他的信，仿佛他不是去坐了四年牢，而只是被十天半个月地拘留了一下，去接受了一点调查，去协助了一下调查，而后就简单地放了出来，一点没有受伤，既没有皮外伤，也没有内伤，从肉体到精神，似乎都没有受伤。
实际的情况当然并非如此。杨宪益出狱没几天，就有一位老朋友得到消息，到他家去探望。杨宪益出来开门，在露面的一刹那，令老友吃惊的，除了杨宪益在牢里剃的光头、营养不良造成的菜色的脸与粗糙的皮肤，还有就是那长年生活在恶劣环境下所特有的眼神，过去眼睛里的那种散淡、安逸、温和、灵动、机智的光与气都不见了。当然，在与昔日老友的交谈中，杨宪益以往的神采很快恢复。
杨宪益很爱他的妻子，平常很在乎妻子的感受。这次牢狱之灾，他与妻子同时同样患难，即便他不在乎自己的伤痛，也会在乎妻子的伤痛。当年中央大学不肯续聘妻子，他就很生气。而且他写这封信的时候，他儿子的危机他还不知道，他更未料到，“大家经受了考验”，唯独杨烨没有经受住考验，而且“结果”竟是那样不好。
杨宪益能够几乎是在人离开监狱的同时，心也摆脱了坐监的阴影，当然最主要的还是他是一个处事豁达的人，不太喜欢把自己伤口翻给别人看，他不是那种需要通过向旁人倾诉而获得心理安慰的人，也是在骨子里有某种傲岸与清高，可以蔑视他所经历的苦难以及把苦难强加给他的人。
正因为此，所以他后来向人叙述起四年的铁窗风味，那语气，听来就像是在谈论自己的一桩趣事，或是别人的经历。
杨宪益在夫妻双双出狱返家时，当然不可能知道，这牢狱之灾并不是他家庭不幸的最后结束，后面还有更大的灾难在等待着他们，他们将会有锥心刻骨之痛，而那伤痛将终身不能平复。