杨宪益也不曾料到，在他与她的婚姻生活历程中，真正考验与折磨他们爱情的，真正骚扰他们生活的，不是来自于物质方面，而是来自于政治方面。
在蒋介石统治时期，在国民党与共产党激烈斗争的社会环境下，人们不免神经过敏，许多本来与国共无关的事情，也都在政治眼镜的打量下，而沾有嫌疑了。若是一些稍许有逾寻常的事情，就更易被人偏执地认定为有政治因素。像戴乃迭这样一个英国小姐，放弃祖国优裕的生活，到中国来，并且伴在一个普通的中国知识分子身边，与他一同过中国人都难以忍受的生活，若说是没有什么特别的缘故，有谁肯相信呢？
于是有了中央大学的不肯续聘，也有了旅店的午夜惊魂。杨宪益在自传里写道：“结婚后不久，我们受到国民党政府教育部副部长杭立武的宴请。”杭立武1944年12月才被委任为教育部常务次长（副部长），如果宴请杨宪益夫妇是在他们新婚不久，当时杭立武的职务为国民参政会参政员、蒋介石对英国联络人等，虽然还谈不上是杨宪益所说的“国民党高官”，但显然也是通天人物。
那天参加杭立武晚宴的，除了杨宪益与戴乃迭，全是达官贵人，有财政部长孔祥熙与夫人宋霭龄、国防部长何应钦、美国驻华大使以及美国大使馆的一等秘书等人。杨宪益夫妇得以与会，是因为杭立武身兼庚款委员会理事，而戴乐仁也是庚款委员会理事，两人有交谊。
杭立武夫妇得知杨宪益他们住在城外，路远交通不便，便请他们在他家住一夜。杨宪益借口还要在城区其他几个地方转一转，就离开了杭府，来到一个中档旅店住下。半夜里，杨宪益被猛烈的敲门声吵醒。因门未落锁，他便叫外面的人进去。原来是两个全副武装的警察要查夜。当他们看到睡在一旁的“外国女人”后，对杨宪益的身份起了很大的疑心，几乎要把两人当场带到警察局去。杨宪益不得不说出杭立武，以及当晚参加晚宴的其他几位高官的名字，这才使警察变倨为恭，从而化险为夷。
有意味的是，戴乃迭解放前曾被当作间谍，解放后又一度被当作特务，为此还有了牢狱之灾。而她实际上，却始终是一个不关心政治的人。可是政治，就像是一个单相思的人，你对他没兴趣，他却对你有兴趣，而且兴趣来得个大，不缠夹死你不罢休。长期处于这样的社会环境下，再和谐的琴瑟也不免偶尔跑调走音，加上家庭出现独子惨死这样的变故，杨宪益的这场人人称羡的跨国之恋，却也总归不能称为圆满了。