但是，居住在河边这栋舒适房子的居民并不如此热心。当爱因斯坦夫人提出想要看看这栋房子时，并未受到房子主人的欢迎。他们告诉她说，当柏林市政府买下他们居所四周的那处小公园时，曾向他们保证，他们可以继续住他们的老房子，想住多久就住多久。他们表示可能要住很久，因为他们根本不想搬出去，即使是为了取悦伟大的爱因斯坦博士，他们也不打算这样做。
赠送给的爱因斯坦的产业竟然不包括房子在内，市政府为此感到十分难为情，于是有人提议说，市政府所拥有的这一处公园面积很大，可以建好几栋房子。再说了，这地方位于哈维尔河流经的湖泊旁边，风景十分宜人，最适合喜爱驾驶游艇的人。可是不久后市议员们又说，由于他们并未打算在此盖一栋新房子，目前只能把土地送给他，爱因斯坦必须自己盖栋房子。
爱因斯坦一家表示不满，但原来那栋房子的主人——他的房子现在被称为“爱因斯坦之屋”——却宣称，市政府曾答应过他，不在他的房子附近搭建任何新房子。他似乎担心，其他房子可能挡住他的视野，使他不能尽情观赏湖边的美丽景色。
当市政府准备选定第三处地点时，市民们纷纷嘲笑市政府的可笑行为，堂堂的柏林市政府竟然没有合法权力处理他们所赠送的财产。
这一次，市政府的一名代表告诉爱因斯坦：“为了确定我们赠送给你的土地真正属于我们，你可以选择一块你自己喜欢的，而且确实准备出售的土地，然后我们可以买下来送给你。”
爱因斯坦不曾做过生意，现在他却忍不住开始怀疑，为什么一向以高效率著称的市政府，现在却一错再错？他无奈地告诉妻子，要她选一块她所喜欢的土地，爱因斯坦强调新住址一定要靠近水边，说完又回书房研究去了。艾尔莎·爱因斯坦选定了距柏林不远的卡普斯村内的一处地点。市政府立刻同意了，并认为她的选择合乎各方面的要求。
但这件事并未就此结束。市议会有一名民族主义党的代表，因为爱因斯坦一向反对他们的党派，所以这位代表公开发表了一篇声明，他声称爱因斯坦教授并不配拥有如此贵重的礼物。但市议会中有一些人是爱因斯坦的追随者，他们并不同意这种说法，结果竟然引发了一场政治争论，并在所有的报纸上争执不休。市政府不敢贸然作决定，准备在市议会下一次会议时再提出讨论。
这时候，即使是阿尔伯特·爱因斯坦本人也忍不住发起脾气来。他终于明白，虽然柏林许多最具影响力的人都站在他这一边，但他在议会里的敌人肯定从一开始就反对赠送他这份礼物。他把桌上的文件推开，开始写下这封信：“亲爱的市长先生，人的生命极为短暂，而政府的办事效率却相当的低。如果按照你们的方法去做，由于我的生命可能太过短暂，我可能无法享受你们的馈赠，我再次谢谢你们的盛情。现在我的生日已经过去，你们的美意我心领了，请不必再提礼物的事了！”
为了不使自己成为任何政治争论的中心，也为了冻结这件不愉快的事，爱因斯坦自己买下了他妻子所选择的那块土地，自己花钱建了一幢简单的房子。报纸上登了一幅有关这次事件的漫画，跟大多数柏林人一样，他觉得那幅漫画相当有趣，那上面画的是他自己、“礼物房子”以及“痛苦的市政府”——由于市政府做事拖泥带水，才赢得这个不雅的称号。
卡普斯村的房子是一处纯家庭式的建筑，艾尔莎·爱因斯坦将它布置得简单而舒适。和优雅的柏林公寓正好相反，教授选了楼下的一个房间做卧室、书房和工作间。四周墙壁摆满了书。他的书桌就放在一扇大窗子前，只要抬起头来，就可以看到窗外的美丽景色。
步行几分钟就可以走到码头，而他那艘作为礼物的游艇就停在港内。但是当他出海航行时，常有其他船上的陌生人驶近拍摄他的照片，这件事令他感到不大愉快。但村民们并没有索要他的照片或签名，这令他感到十分高兴。村民们很快就习惯了这位神情愉快、衣着随便的城里人。每当他走进村民当中时，他的银发随风飘动，并且从不忘记回应村民们的招呼。他会很愉快地说“你好！”并且经常停下来和小孩子说话，拍拍他们的头。
爱因斯坦博士和他的夫人深爱着四周宁静自然的美景。艾尔莎告诉一位朋友说：“我们花掉了大部分积蓄，现在我们虽然没有钱，但有了自己的土地和财产，这使我们获得更大的安全感。”她比自己的丈夫更有信心。
爱因斯坦很少谈到他对德国及整个世界的恐惧。各国虽然已经签署了《凡尔赛条约》，但一直未能达成真正的和平。从东方旅行回来之后，他才知道在马赛街头说德语非常危险，这件事使他很难过。如今法国人与德国人已经开始互相攻击，德国城市中的不安形势也越来越严重，在这种情况下，一个人怎能奢求安全？
在那次漫长而愉快的旅程中，他一直思考着这场即将来临的风暴，现在他转过头对艾尔莎说：“这一切都像是一场梦！在我们清醒之前，且先享受眼前的一切吧。”
拜访美国
1930年，爱因斯坦博士接受邀请，前往美国加利福尼亚州理工学院讲学。爱因斯坦很高兴要在这里见到爱伯特·米契尔森博士，博士现年已经七十八岁了，仍深深热爱科学研究，孜孜不倦地从事研究工作。许多年前，他的有关光波的实验曾对爱因斯坦产生过极大的启示。因此，中年的爱因斯坦仍然把这位美国物理学家奉为自己的老师。
爱因斯坦和他的妻子登上开往美国的轮船时，忍不住大吃一惊，因为船东已经把船上最豪华的套房分给他们使用。他看着那些豪华的家具、闪亮的酒杯、巨大的水果盘，以及高高的花瓶，忍不住转过头，愤怒地对妻子说：“艾尔莎，这是不对的，让我跟那些劳苦工作的工人坐在一起旅行，我反倒会高兴一点。而跟这些昂贵又没用的家具待在一起，我会觉得很难过。我们去告诉船长，让他替我们换一间小的、简单的房间。”
跟往常一样，艾尔莎劝说他不要冲动。她对爱因斯坦说：“船东这样做，是因为他们想要向你表示敬意，你是他们的贵宾。如果你坚持要换间小套房，他们一定会觉得没有面子。你一向体谅别人，当然不会让他们伤心的，是不是？”
确实如此，他一向不愿伤害任何人的情感。不管对方是轮船公司的百万富翁船东，还是餐厅的侍者。爱因斯坦有些不安地告诉妻子，希望他不曾冒犯了这些可爱的美国人，因为在他搭船之前，曾发表了一篇声明，声明中说，在他停留在纽约的这段时间内，将拒绝接受一切邀宴。他说，他到美国是来休养与做研究的，而不是去参加酒宴和接待会的。他以罕见的坚定口气说，他绝不接受任何访问。
在这艘大邮轮向西航行的途中，爱因斯坦接受劝导，向美国民众发表了一篇广播声明，他说：“十年后的今天，当我再次踏上美国的土地时，我脑海中想的是：经过这么多年的辛苦努力，贵国已在世界上获得极为重要的地位。……贵国今日的政治与经济情况，已足以使你们清除军事暴力的整个恐怖传统了……这也是贵国眼前的重大任务。”
爱因斯坦认为，这篇声明应该可以满足大家了，报纸也将因此不会再要求他接受恼人的访问了。没想到，他还未下船，立即被一群兴奋的摄影师及记者团团围住。爱因斯坦形容“他们是一群狼，每个人都企图咬我一口”。这位赴美访问的贵宾本人也很有看头……他的满头银发四处飞扬，两眼炯炯有神，时而愉快地眨眨眼睛，时而陷于专注的沉思中，高高的额头上布满智慧的皱纹。他脸上的神情相当怪异，混合了睿智与天真。
爱因斯坦夫人花了一番心血，把她的丈夫打扮得颇为体面，他的衣服经过特意的搭配，黑西装，白衬衫，老式的褶纹、类似于艺术家形式的外套，以及黑色宽边帽。这群“野狼”望着爱因斯坦，爱因斯坦则皱着眉头回望着这群“野狼”。
即使是一向聪明伶俐的艾尔莎·爱因斯坦也无法把这些人赶走。教授终于承认失败，他面带微笑，表示愿意接受十五分钟的访问。记者们迅速而激烈地提出了问题。
“能否请你用一句话为你的‘相对论’下定义？”提问的那位记者停下笔等待爱因斯坦的回答。
爱因斯坦笑着回答：“即使花上三天的时间，恐怕我也无法替你下一个简短的定义。”
“你为什么没带着你的小提琴来？”
“我们要经过巴拿马运河前往加州，我担心那儿潮湿的热带气候可能会伤害我的琴。”
记者们还提出了其他许多问题，有的是很琐碎的小事情，有的则是合理的问题。
“你在美国会过得快乐吗？”一位新闻记者问道。
“如果你们各位能给我点空间让我看看它，我将会很高兴。”爱因斯坦笑着告诉他们，“但是由于你们一直挤在我身旁，我只能从你们的头顶望出去，捕捉一点儿天空的景色。”
“十五分钟已经到了。”爱因斯坦夫人看看手表，提出警告说。
“再问个问题，”一位记者抢着问，“你是否认为，美国妇女……”
“我不再回答问题了，”爱因斯坦宣布说，“即使是一头乳牛，也只能挤出这么多的牛奶，你们已把我榨干了！”他试着从热烈的人群中挤出去。记者们开始把笔记本收起来，但摄影师却拿起了他们的照相机，挤到爱因斯坦和他的译员身旁。他们用不着说：“请露出愉快的神情。”尽管爱因斯坦已感到很不耐烦了，他仍然耐着性子露出微笑，照相机咔嚓作响。一位摄影记者把爱因斯坦上次访问美国时所拍摄的一张照片拿给他看。“你们冲洗照片可真快！”爱因斯坦开玩笑说。然后，他哈哈大笑地突然以橄榄球选手的速度突出重围，冲入他在船上的房间。
一位记者紧跟在他后面，并轻轻敲着房门。爱因斯坦把门打开，像是对一个顽皮捣蛋的小孩子说话一般地轻声说道：“走开吧！拜托，请马上走开吧。”
“很抱歉打扰您！”这位年轻人喃喃说道，“但我今天来晚了一步，刚才没有能够采访到您，如果明天纽约每家报纸都登出了访问谈话，而只有我没有，我可不愿被炒鱿鱼。”
“你虽然烦人，但我不希望你为我而惹上麻烦。”爱因斯坦博士回答说，“进来吧，我会回答你那些愚蠢的问题。”
他还没来得及把房门关上，又有另外一位年轻人溜进舱房来。在爱因斯坦发表谈话时，这位不请自来的客人匆匆为他画了幅素描。画完之后，画家把画像拿给他看，并请求他在画上签名。爱因斯坦犹疑了一会儿，他相当生气，因为他特别痛恨这种素描。但他却喜欢写写打油诗，这时也忍不住手痒。
这位“相对论”的作者向记者借了一支笔，然后在画纸上迅速写下一小段评论，大意是说：
你所看到的这头肥胖的猪，
大概就是爱因斯坦教授本人。
这两个年轻人欢天喜地离去了。爱因斯坦转过身子看着他的妻子，扮了一个鬼脸。
“我还说过不接受访问呢，”他叹了一口气说，“我恐怕没法在纽约过个宁静的假期了！”
果然，这个“假期”被证明是最累人的一次。最开始是在市政厅举行的一次正式欢迎会。参加这次专门为爱因斯坦举行的聚会的人，有市长华克、德国领事、洛克菲勒、哥伦比亚大学校长巴特勒博士等。
巴特勒在致欢迎词时，形容这位来访的科学家为世界树立了一座“智慧的灯塔”。爱因斯坦很高兴巴特勒在演说中强调的国际主义。巴特勒说：“他（爱因斯坦）所统治的领域并不受高山大海的限制……他的声名远播之处，以及他的权威所行之处，既没有飘扬任何一面国旗，也没有通行哪一种特定语言。这是一个至高的理想，每个民族的男男女女，不管尊贵或卑贱，在他的国度里，都一视同仁。
“人类一向急于寻求光明及领导人，以便能更为妥善地处理人类所面临的严重问题及困境。在现在这一时刻，我们聪明而坚决地举手向这位影响力超乎一切的人致敬。这位来访的思想君王和这些神秘的思想、关系及方式有直接关系，也唯有天才人物，才能清楚了解及完全遵循。”
巴特勒校长向大众说，爱因斯坦已经拒绝了在哥伦比亚大学任教的邀请，因为他思乡心切。那位德国领事听到这话，禁不住露出骄傲的笑容。当乐队演奏起德国国歌时，爱因斯坦突然怀念起故乡来。他十分反对德国日益抬头的军国主义，但在那一刻，他觉得德国将永远是他的祖国。
爱因斯坦原以为，在纽约这种大城市里，他应该不会受到注意。可事实却是，不管走到哪儿，都会有人认出他来，照相机也一直不断跟着他咔嚓作响。他去参观大都会艺术博物馆时，大批群众紧跟着他从一个房间走到另一个房间，他根本无法欣赏博物馆内的艺术品。他被安排去参观唐人街时，也是同样的情形。他去剧院看歌剧，引起观众注意的也是爱因斯坦，而不是剧中的女主角。在表演途中，全体观众站起来鼓掌欢呼，逼得爱因斯坦也只好从他的包厢中站起来，挥手向观众致意。
爱因斯坦博士和他的妻子很高兴地发现，他们在帕萨迪纳可以获得宁静与休息。他们都很喜欢加州，跟柏林阴冷的冬天正好形成强烈的对比，加州的天气温暖湿润，美丽的海岸景色及山坡更是令人心旷神怡。爱因斯坦很高兴地发现，即使是在好客的美国，他也可以在这里安静工作，不必离开书房去参加烦人的酒会和观光旅行。
附近一些有名望的人却无法了解教授渴望独居的心情。幸而爱因斯坦博士懂得如何用英文及其他多种语言说“不”。
有位社交界的名媛想在晚宴上款待爱因斯坦，以增加她个人的荣耀。