杨宪益一定是喜欢动物、至少是喜欢仔细观察动物的人，所以他对动物的一些形态特征的印象十分深刻，而一写到某个人的特点，他就会自然地想起某个动物来。这样的习惯令他笔下的人物十分传神，令读者不禁莞尔。罗家伦、张沅长、朱延丰都分别被他与某个动物划了等号，杭立武也未能逃得了这样的命运，他成了杨宪益笔下的兔子。
在自传中，杨宪益对杭立武的印象是英语口语不错、很有教养、穿着得体，同时也说杭立武向人自夸是拉斯基的门生，并对杭立武的博士学位表示怀疑。
1990年6月，台湾中央研究院近代史研究所出版了一本杭立武的口述自传《杭立武先生访问纪录》，那时杨宪益正在应意大利人之约写自传，不知他看到杭立武的自传没有。
拉斯基是英国著名理论家、政治活动家，社会民主主义和政治多元主义思想的重要代表，1926年起在伦敦大学政治经济学院教授政治学。杭立武1925年进入该学院，攻读了两三年政治学，可见是有机会拜拉斯基为师的。至于杭立武在自传里说，他1927年赴美国威斯康辛大学担任名誉研究员，是受了拉斯基的鼓励，这算不算一种自我“夸耀”？杨宪益所指，是杭立武在自传里的这一自我“夸耀”，还是杭立武一贯如此，早在当年就喜欢对人作此自夸呢？杨宪益并没有明说。
相比之下，杨宪益对杭立武博士学位的质疑更实在一些。杭立武在自传中谈及留学生涯，也只提到自己获得威斯康星大学的硕士学位，并未提到博士二字。但是在自传正文之后所附编者所辑《年表》中，却又写有：“民国十七年，获颁威斯康星大学荣誉硕士学位，旋即返英。民国十八年，获伦敦大学颁授博士学位，完成学业返国。”常情下，口述自传成文后，不会不经口述者过目，正文与年表出现差异，令人疑惑，也令人玩味，很可能杭立武是喜欢旁人称他为博士的。
杭立武在自传中，称他在英国驻华大使蓝浦森的支持下，创办了“中国第一个国际性文化友好组织”——中英文化协会。时为1933年10月。
从资料上看，中英文化协会发起人有王世杰、王星拱、李四光、李圣五、周鲠生、杭立武、陶孟和、陈源、徐新六、梅乐和、张道藩、傅斯年、罗文干等五十多人；前三届会长都是王世杰与一位英国人，总干事是石瑛，杭立武第一届时为干事之一，后两届为常务干事之一。当然这多半表明当时杭立武因为年轻，协会需要“望重”的人撑起门面，并不能证明协会就不是杭立武最初起意并且操办创立事宜的。
杨宪益在自传里写到杭立武，杭立武在自传里也说到杨宪益（误写为杨宪宜）。杨宪益写道，抗战胜利他们回到南京后，时任教育部次长的杭立武来找他了，“他跑来问我，能不能兼职担任中英文化协会的秘书长。他现在在担任协会秘书长一职，但部里的工作实在太忙了，他想让我——和他一样的英国留学生——代替他当秘书长。”
即使不论副部长的身份，算是老熟人，年龄也大过杨宪益十岁，都不大可能“跑来问”，不过透露出杨宪益对杭立武的轻视。在这一点上，杭立武与杨宪益的态度一致，“胜利后由渝回京，……记得当时聘用一位留英同学杨宪益教授任管理员。后来发现他受中共渗透利用，可是并没有做错事，我只有另找一位助理监视他。”在杭立武的叙事中，“贵”为秘书长的杨宪益被“降”为管理员了。而这管理员似乎并非一般印象中无足轻重的角色，因为居然还有助理。态度使原本简单的事实变得怪诞。
杨宪益说他之所以接受杭立武的邀请，是因为他当时在南京，无安家之地，栖身之所成了一个大难题，而中英文化协会“有一座很好的大楼，楼后有花园”，他想将家安在那里面。
中英文化协会在成立后的第三年（1935）年初，在南京新住宅区北平路六十九号（现北京西路四十一号）购下四亩二分地，用来建造协会会所，确定建筑图案后，招标选定由仁昌营造厂包工承造，会所约于1936年建成。占地面积近三百五十平方米，建筑面积超过七百五十平方米，有西式楼房与新式平房各一幢，前者高三层，共十四间；后者有四间，另有厨房三间。房子虽好，房间虽多，可是杭立武不同意杨宪益在里面居住，杨宪益只好另觅他处。
中英文化协会1949年迁往台湾，杨宪益为它工作即到此为止。据杨宪益回忆，协会里的工作人员连他只有四人：一名兼管财务的行政秘书，一名年轻的会计，一名负责收拾房子及其他杂务的园丁——不知这三人中，哪一位是被杭立武派来暗中监视杨宪益的。
其宗旨是“促进中英文化关系及中英两国人士友谊”。工作内容为：聘请英国学者来华讲学及介绍中国学者赴英国讲学；举行有关中英文化讲演，出版相关刊物；指导国内人士赴英留学、考察游历事宜，招待来华留学、考察游历的英国人士；设立图书馆，交换中英书籍；定期举行各种集会、游艺活动。
协会实行会员制，“凡我国人与旅华之英人士，对于两国文化有相当研究而感兴趣者，均可依照本会会章参加为本会会员”。协会经费来源，一是会员交纳的会费，二是热心中英文化事业的人的捐助，三是两国政府及两国文化机关团体的补助。事实上经费来源除会员所缴会费外，多由教育部、外交部按期补助。
杨宪益的具体工作他自己认为很简单，就是差不多每个月为中国教授和会讲英语的中国官员以及外国朋友们（主要是外国使馆人员）组织一次报告会或鸡尾酒会，他还组织过一次古玩字画拍卖会。
解放临近，国民政府忙着大逃亡、大迁徙，社会一片混乱，经济也面临崩溃，许多有工作的人拿不到薪水，没工作的无人救济，大家都在挨饿。杨宪益所在的国立编译馆情况好些，编译馆的上级主管部门是教育部，工资由教育部直接下拨。但职工们仍不免担心，哪一天会突然拿不到工资了。赵馆长已经不辞而别了，教育部会不会也拂袖而去呢？众人推举杨宪益为馆长，其缘由固然是杨宪益自己认为的“人缘好”，也是“人好”，大家才予以信任，但也不排除是人们知道他与杭立武的关系——杭立武在国民政府大陆倒台前“临危受命”，刚于1949年3月由教育部政务次长（1946年10月起任）升任为教育部长——寄希望于杨宪益能在教育部“后时代”为大家提供生活保障。也果然，当编译馆的同事听说杭立武将赴台湾的消息后，便请杨宪益去找杭立武，请部长给编译馆“留些钱”。
杨宪益去了，到了杭立武的办公室，向他说明编译馆职工的生活窘困，请予照顾。杨宪益笔下的杭立武非常爽快，马上开了一张支票给杨宪益，而且数额不小，足够支付全馆人员三个月的薪金。接着，杭立武又热切相邀，说他第二天就要乘飞机去台湾，请杨宪益一家与他一同走，杨宪益婉言谢绝了。
实际上，第二天飞台湾的，可能只是杭立武的家属；那天杭立武起飞，也许并不是飞台湾，而只是飞离南京。之后他在西南忙着文物迁台工作，直到1949年12月，才由成都飞去台湾。南京解放是在1949年4月下旬，杭立武走后没几天。
杨宪益的自传里，写有那天杭立武劝他去台的一段对话，颇有意思。
杭立武说：“你是不是准备赶快离开南京？”
杨宪益回答说，他不准备离开，也许会待一段时间，看一看共产党来了以后情况会怎样。
杭立武说：“不过你应该知道，共产党是不会容忍知识分子的。我们已经获悉，就在几天以前，他们在北京大学开了专门针对知识分子的斗争会。”
杨宪益没有争辩，只是微笑着说，他不是国民党党员，共产党也许不会把他当成阶级敌人。何况夫人是英国人，所以她也不致有什么麻烦。
杨宪益在晚年，还清楚记得四十年前他与杭立武的这段对话。回首往事，他会觉得自己早年的一些判断是错的，也因此使妻子遭受了苦难，这是他对妻子深感歉疚的。但人生倘若可以重来，他仍然会决定不跟杭立武走。
当他在历经磨难之后，不时有人问他相关问题，即是否后悔当初的人生选择。他的回答从来都很明确：一、他是中国人，理应生活在中国，理应同祖国一同赴难，所以他从国外回来了；二、国民党在当时，已经非常腐败了，所以他唾弃它。