有时候，他的声誉也为他带来困扰。当玛戈尔出嫁时，她坚持爱因斯坦博士应代表她已死去的父亲，在婚姻注册局的仪式中，把新娘交给新郎。教授虽然抱怨这将占去他部分研究时间，但他仍然答应了。
"但是，你可别想要我戴上高高的大礼帽，或是穿上大礼服，"他向玛戈尔警告说，"我还是穿平常所穿的那套舒适的便装。你放心，这并没有什么关系。在婚礼上，大家只会注意新娘，谁也不会注意我的。"不料报社的记者却都涌进注册局，成为一群不请自来的吵闹客人。爱因斯坦说没有人会注意新娘的父亲，他的预测错了。穿着漂亮结婚礼服的玛戈尔被人忽略，报社记者们围在穿着舒适、宽松便服的爱因斯坦教授身旁，并坚持要访问他。他被迫浪费了宝贵的时间，真是觉得厌烦无比，最后好不容易设法溜了回家。
"为什么大家对我的私生活如此有兴趣？"他喃喃说道。
没有人能够解释，为什么大众永远不厌倦于在报纸或杂志上看到爱因斯坦的照片，或是阅读有关他日常生活的琐碎报道，历史上很少有人能够完全吸引全世界的注意力。"每个人都知道爱因斯坦有惊人的成就，"罗素评论说，"但很少有人知道，他究竟有些什么成就。"也许这位英国哲学家兼科学家已经解答了爱因斯坦如此广受欢迎的谜底：街上的人们对他的成就知道得少，甚至一无所知。但他却像魔术师那般引人注意，他神秘的成就更使人对他本人发生兴趣。
爱尔莎继续站在她丈夫和大众之间担任保护墙般的工作。"要当这个人的妻子，"她在一次访问谈话中说，"还真不容易。他很固执，却又像个小孩子，必须要好好管住他，但又绝对不能让他知道我在管着他。"
因此，爱因斯坦夫人不得不继续从许多访客中挑选出他可能愿意接见的客人。当他的胃病又发作时，她亲手替他调制他可以吃的食物。她督促教授获得充足的睡眠并适当运动。她跟海伦·杜卡斯（她担任教授的秘书许多年）处理他的许多来信，把应该由他自己拆阅的信件放在一边，来自其他国家需要翻译的，则另放一处。这项工作要占去整天的时间，为了做好这项工作，她被迫放弃自己的嗜好--阅读、音乐及社会工作。
"他比较重要，"她在一次访问谈话中下结论说，"跟一个像他这样的科学家住在一起，虽有许多困扰，但也有很多趣事。"
也许，爱因斯坦夫人对她丈夫最大的服务，就是她能够以很巧妙的方法，使他不要在书房内专心研究太长的时间。每当他坐上那张最心爱且已磨损不堪的椅子后，他也许忘记究竟坐了多久的时间。有位天文学家告诉爱因斯坦，他有时候每天工作八到十小时，爱因斯坦说："我无法工作那么久。"他相信自己每天工作的时间并不超过五个小时。但他有个习惯，在离开书房后，脑海里往往仍继续思索一个问题。
他经常专注于计算工作，以至无法回答一项最普通的问题。当他正在思索与他的研究工作有关的事情时，如果有人打扰他，他往往会大吃一惊。
他经常在妻子的催促下出去散步，而走得忘了回家。天气如何变化，对他似乎没有任何影响，他乐于一面散步，一面让雨点打在脸上。很多次，当他回到家之后，立即冲进书房，因为他在刚才散步时解决了一个复杂的问题，现在正急于把它写在纸上。
玛戈尔现在是一位职业雕刻家，她的作品曾在柏林、巴黎及伦敦展出，受到普遍赞扬。爱因斯坦本人也是一位艺术爱好者，因此也陪着继女参观许多柏林艺廊。参观展览及观赏戏剧，是他的主要消遣。
在平时，音乐是他最大的乐趣。在旅行途中，他最怀念的是钢琴。当他从东方旅行归来之后，身上穿着外衣，戴着帽子，就立即在客厅里坐下来，演奏起莫扎特的音乐，而由爱尔莎去处理行李。
有一次，他应邀在一处德国小镇举行的慈善会中独奏小提琴，当地报纸的一名记者问，这位来访的音乐家究竟是谁？被问的这人感到十分惊讶，德国竟然还有人认不出这位诺贝尔奖得主，他说："你不认识他吗？他就是伟大的爱因斯坦。"
这位新闻记者自认已经获得了足够的资料，于是在其第二天刊出的报道中写到：这位伟大的音乐家爱因斯坦所表现的演奏技巧"是举世无双的"。又发表狂言说，"另外一些所谓的小提琴天才，如果昨晚也在场聆听这位最杰出的大师演奏的话，他们也将被吓得脸色苍白。"
爱因斯坦读到这篇特殊的音乐评论之后，不禁哈哈大笑。虽然他从来不曾炫耀他所获得的荣誉与学位，但这次他却拿了剪报给每个人看。他说："目前流行的一则笑话，也许是有点儿道理的：世界上最伟大的小提琴家--海菲兹，打算放弃音乐改习"相对论"，因为爱因斯坦似乎已打算放弃物理学改学音乐了。"
爱因斯坦在慕尼黑求学时，就不喜欢游戏或其他方式的运动。但当他年岁渐大后，却对航海产生了很大的兴趣。他在驾驶他的仰慕者在他五十岁生日时送给他的游艇出海航行时，获得了最大的乐趣。这艘游艇是根据爱因斯坦精心的设计所制造的。他穿着皮质运动夹克（这副打扮经常出现在照片上），在海上度过了许多愉快的航行时刻。有时候与少数几位最要好的客人在一起，有时候则是单独一人出海。
在他五十岁生日的那一天，爱因斯坦博士获得了来自世界各地的贺电。他很高兴，爱尔莎已经同意，由于他的健康状况不佳，所以不打算举行公开的庆祝会。在过去几年内，爱因斯坦从事太多的工作，不免体力透支。他到过瑞士，向一所疗养院中的年轻人发表一连串的演说。院内的这些年轻病人因患病与外界隔绝，现在他为他们枯燥的生活，带来了新的乐趣。
但是，瑞士疗养院的行程为他带来了一次严重的心脏病，爱因斯坦因此在床上躺了四个月之久。要他放弃全部的讲学，以及他为国际和平所作的努力，是相当困难的。不过，这段时间过得并不慢，因为他仍然可以靠在垫高的枕头上，研究他的磁能场问题。他以典型的科学性好奇心，向他的医生提出许多有关医疗的问题，逼得那位好心的医生只好随便说些好玩的事来哄他，而不必费神去思索合理的答案。
到了1929年3月14日，爱因斯坦一家人决定享受一些小小的家庭乐趣。"我们简直没有一点私人生活！"爱尔莎抱怨说，"我们不能上餐馆、旅社或剧院。走到哪里，别人都会朝着我们看，令人不自在。"她向一位朋友请求协助，因为这位朋友在柏林附近的哈维尔河拥有一片很大的产业。这位朋友欣然答应把园丁的小屋让他用，因为那座小屋相当隐蔽。附近还有一个小湖泊。爱因斯坦计划的庆祝节目是：驾驶游艇，在安详宁静的气氛中休息，弹奏风琴。
连续好几天，卡片和电报不断地涌到柏林公寓，向这位"国家英雄"致敬。送来生日卡的包括：德国总理本人、政府官员、各国的学者与科学家以及受他援助的各个团体的领袖，当然，还有爱因斯坦各界的朋友。然而，最令他感到高兴的祝福，却是来自那些谦卑的无名仰慕者--学生、缝衣女工样的普通劳工。有一张便条还附上一小包烟丝，便条主人写道，他现在失业，但存了几分钱，买了这个礼物。他写道，他的礼物"相对"较小，但这些烟丝却来自很好的"场"（field，也可作田地讲）。
"好极了！至少他知道我是干什么的。"爱因斯坦博士欣慰而感叹地说。他还没有向皇室及世界各地科学界领袖们的祝贺信表示谢意之前，就首先提笔向他众多礼物中最简单的一个表示感谢。
还有一封信也令他十分高兴，那是美国寄来的。当地的一群犹太复国主义者募集了一些钱，但不是为了购买礼物送给爱因斯坦，而是要在巴勒斯坦种植一些小树丛，并以爱因斯坦的姓名为这些树丛命名。玛戈尔为他做了一个蜡像，也很令他喜爱。另外一项珍贵的礼物是一架显微镜，爱因斯坦像小孩子般兴奋而性急，他刺破手指，好奇地透过显微镜，凝视着神奇的血滴。看完血滴，他又转过头去欢迎唯一的一位访客--一个住在附近的小男孩，他高兴地把一束摘自花园的鲜花呈献给爱因斯坦。
爱尔莎把这束鲜花插在餐桌上的一个花瓶里，她为丈夫准备了他最喜爱的汤、鱼和馅饼，她觉得很抱歉，但又不得不禁止他在愉快的生日里喝咖啡和酒。她甚至想到那几瓶送到他们柏林公寓的珍贵的葡萄酒。但由于爱因斯坦最近刚刚生病，他无法享受这些美酒。
玛戈尔和伊尔丝跟她们的丈夫一起前来参加这个生日聚会。大家欢笑、说故事，并愉快地举杯祝贺这位"过生日的小孩子"。
爱因斯坦喃喃地说："德国的每个人都对我实在太好了！"
不仅只是个别的德国人，甚至连整个德意志共和国都在庆祝爱因斯坦五十岁生日，并向他致以最高的敬意。在柏林郊区波茨坦的一处小山上，耸立着一座现代化的高塔建筑，是用来观测星星的，这座天文台即以爱因斯坦的姓名为名。为了对他表示尊敬，现在他们又在那儿举行一项盛大的仪式，在仪式中安置了爱因斯坦的一尊半身铜像。
但是，柏林市所赠送的一项正式礼物，为这位教授所带来的苦恼却多于快乐。由于大家都知道他喜欢驾驶游艇，因此柏林市送给他一处靠近哈维尔河的小产业，距柏林不远。这处产业包括一栋漂亮的房子，在此度暑假似乎最理想不过了。爱因斯坦一家人都很高兴，柏林市民羡慕地看着刊登在报上的那栋房子的照片，也觉得这是送给这位为他们大家带来如此荣耀的科学家的最佳礼物。
但是，原来居住在河边这栋舒适房子的居民却并不如此热心。当爱因斯坦夫人去看这栋房子时，并未受到房子主人的欢迎。他们告诉她说，当柏林市政府买下他们居所四周的小公园时，市政府曾向他们保证，他们可以继续住他们的老房子，要住多久就住多久。他们表示可能要住很久，因为他们根本无意搬出去。即使是为了取悦伟大的爱因斯坦博士，他们也无意这样做。
市政府对于他们所赠送的产业竟然不包括房子在内，感到十分难为情，于是提议说，市政府所拥有的这一处公园面积很大，可以建造好几栋房子。那地方位于哈维尔河流过的湖泊旁边，风景最为宜人，最适合于喜爱驾驶游艇的人。市议员们又说，由于他们并未打算兴建一栋新房子，目前只能把土地送给他，爱因斯坦必须自己盖栋房子。
爱因斯坦一家表示同意，但原来那栋房子的主人（他的房子现在被称之为"爱因斯坦之屋"）却宣称，市政府曾答应过他，不在他的房子附近搭建任何新房子。他似乎担心，其他房子可能破坏了他观赏湖边的景色。
市政府准备另外选定一个地点。当市民们获悉市政府竟然没有合法权力处理他们所赠送的财产时，都对市政府发出嘲笑。
这一次，市政府的一名代表告诉爱因斯坦："为了要确定我们所将赠送给你的土地真正属于我们，你是否可以自己选择一块适合你自己而又确实决定出售的土地？然后，我们可以买下来送给你。"
爱因斯坦从不曾做过生意，他忍不住开始怀疑，为什么一向以高效处理市政闻名的市政府，现在却如此拖泥带水？他无奈地告诉他的妻子，要她选一块她所喜欢的土地，"但一定要靠近水边！"然后又回书房研究去了。爱尔莎选定了距柏林不远的卡普斯村内的一处地点，市政府立即同意，并认为她的选择合乎各方面的要求。
但这件事并未就此结束。市议会中的一名代表（是民族主义党的代表，而爱因斯坦一向反对他们的党派）公开发表一篇声明，他大胆地说，爱因斯坦教授并不值得接受如此贵重的礼物。但市议会中爱因斯坦仰慕者并不同意这种说法。结果竟然引发了政治争论，并在所有的报纸上争执不休。市政府不敢匆忙作决定，准备在市议会下一次会议时再提出讨论。
这时候，即使是爱因斯坦本人也忍不住发起脾气来。他终于明白，虽然柏林许多有影响力的人士都站在他这一边，但他在议会中的敌人一定从一开始就反对赠送他这份礼物。他把桌上的文件推开，开始写下这封信："亲爱的市长先生，人的生命极为短暂，而政府办事却相当缓慢。我觉得如果遵照你们的方法，由于我的生命可能太过短暂，可能无法享受。我谨谢谢你们的盛情，现在我的生日已经过去，我心领你们的美意，请不必再提礼物的事了！"
为了不使自己成为任何政治争论的中心，而且也为了结束这件不愉快的事，爱因斯坦自己买下了他妻子所选择的那块土地，自己花钱建了一幢简单的房子。跟大多数柏林人一样，他认为报纸上有关这次事件的漫画觉得相当有趣，画的是他自己、"礼物房子"，以及"痛苦的市政府"--由于它做事拖泥带水，而赢得这项不雅的称呼。
卡普斯村的房子是一处纯家庭式的建筑，爱尔莎将它布置得简单而舒适，正好与优雅的柏林公寓相反。教授选了楼下的一个房间作卧室、书房和工作间，四周墙壁摆满了书。他的书桌就放在一扇大窗子前，只要抬起头来，就可看到窗外美丽的景色。只要几分钟的时间，就可走到码头，而他那艘"礼物游艇"就停在港内。当他航海时，只有一件事令他感到不愉快--其他船上的陌生人经常驶近拍摄他的照片。但村民们并没有索取他的照片或签名，这令他感到十分高兴。村民们很快就习惯了这位神情愉快、衣着随便的城里人。每当他走进村民当中时，他的银发随风飘动，会很愉快地说声："你好！"并经常停下来和小孩子说话，拍拍他们的头。
爱因斯坦博士和他的夫人深爱着这四周宁静的自然美景。爱尔莎告诉一位朋友说："我们把大部分积蓄都花掉了，现在我们没有钱，但有自己的土地和财产，这使我们有更大的安全感。"
她比自己的丈夫更有信心，爱因斯坦很少谈到他对德国共和国或整个世界的恐惧。世界各国虽然已经签署了《凡尔赛条约》，但一直未能实现真正的和平。当他从东方旅行回来之后才知道在马赛街头说德语非常危险，这件事使他很难过。如今法国人与德国人已经开始互相攻击，同时德国城市中的不安情绪也越来越严重，在这种情况下，一个人怎能企求安全？
在那次漫长而愉快的旅程中，他一直惦念着这场即将来临的风暴，但现在他转过头对爱尔莎说："这一切都像是一场梦！在我们清醒之前，且先享受目前的一切吧。"
五、再次访问美国