爱因斯坦从来到柏林的第一天起就强烈地感到，黄皮肤、黑头发的犹太人，在金发碧眼的日耳曼人眼里，不仅是贱民，连末等公民都算不上。读大学、找工作，处处都受到歧视，连在大街上行走，都会遇到鄙夷的目光，听到从牙齿缝里挤出的咒骂：“犹太狗杂种！肮脏的猪！”
尽管许多有才干的犹太人，在学术界、艺术界和金融界取得了很高的地位。但是作为一个民族，犹太人又是十分不幸的。同胞的不幸就是自己的不幸，爱因斯坦越来越感到，自己是不幸的犹太民族中的一员。
是的，爱因斯坦就出生在一个犹太人的家庭，而且是一个德国巴伐利亚州的犹太人家庭。当时的德国是一个教权很重的天主教国家，宗教气氛十分浓厚。巴伐利亚州的法律规定：所有学龄儿童都必须接受宗教教育。因此当时的许多学校都是由教会来开办的。德国既然是个天主教国家，当然绝大多数的学校都是由天主教教会开办的，由犹太教教会开办的学校只有极少的几所。
爱因斯坦到了上学的年龄，按理说他应当和当地绝大多数的犹太人家庭的孩子一样，被送到当地的犹太教教会开办的学校去念书。
然而，他父母的思想却比较开通自由。他们不是那种老式家庭出身的犹太人，他们都受过比较现代的科学与艺术教育，接受过西方人文主义思想的熏陶，并不是那种真正意义上的犹太教教徒，并不真正信仰犹太教。他们平时从来不去犹太教堂做礼拜，也不遵守那些世代相传的犹太教教规。在父亲的眼里，孩子信仰犹太教还是天主教，或者干脆什么宗教也不信仰，都没有什么关系。他想的是孩子今后如何在这个社会上更好地生存？他已经认识到：他们所生活的这个国家是一个天主教国家，犹太教在这里被看成是异教，犹太教教徒被看成是异教徒，处处都会受到社会的歧视和排斥。那么，为什么非要孩子去接受他自己也不明白的犹太教教义和教规，硬把他培养成一个与主流社会格格不入的合格的异教徒，从而使他的一生都离不开受歧视的命运呢？他认为应该把小阿尔伯特送到周围所有的德国孩子都去的天主教教会办的小学念书，让他从小就和周围的小伙伴们接受同样的教育。通过这条途径，使孩子逐渐消除自己与日尔曼种族之间的隔阂，最终完全融合到主流社会中去。
父亲这样做，还有一个比较现实的考虑：慕尼黑的犹太教学校开办在市内，而他一家住在慕尼黑郊外，离学校相当远，送孩子去上学也确实极不方便。再说，犹太教学校收费比较昂贵，而天主教学校收费则比较低廉，这对家庭经济状况并不十分富裕的赫尔曼先生来讲，也有着一定的吸引力。
爱因斯坦应该感谢自己有这样一对开明的父母，他们的决定使他免除了从小就陷入其他许多犹太孩子难以逃避的宗教的狂热与偏执中去。到天主教小学去念书，使他不可能像其他犹太孩子那样被训练成一个虔诚的正统的犹太教徒；而天主教学校也同样笼罩着另外一种狂热的迷信与偏执，他的犹太人出身又使他不可能成为一个虔诚的天主教徒。这样，就使他一下子同时免除了成为任何一种宗教迷信与偏执的牺牲品。
然而做出这样的选择，无论对于父母，还是对于爱因斯坦本人，都需要有足够的勇气。因为毕竟他将要去的是一所天主教学校，对于他这样一个犹太孩子，尤其是学校中惟一的一个犹太孩子，将要承受很大的压力。不管是有意还是无意，那种宗教与宗教之间存在了近2000年的根深蒂固的歧视和成见，几乎随时随地都会反映出来。
在一次教义课课堂上，一位教义老师手拿一枚锈迹斑斑的大铁钉走进教室，脸上显出一副痛苦的神情，手举那枚大铁钉对孩子们说：
“孩子们，你们看到这是什么吗？一枚生锈的大铁钉！”
“犹太人自称是上帝的选民。可正是他们，为了十二个金币，就把上帝的儿子耶稣出卖给了罗马人，就是用这样大的铁钉子，把耶稣钉死在十字架上！”
热爱耶稣，他也为救世主所遭受的非人的折磨而心碎，为犹太人中出现了犹大这样的叛徒而惭愧。
然而，全班所有同学的眼光还是一下子都转向了他，那一道道眼光中充满仇恨和蔑视。爱因斯坦想向全班同学喊：
“犹太人中间出了个犹大！可这并不说明每一个犹太人都想这样干！”爱因斯坦永远也不能忘记那一天，他第一次感觉到了作为一个犹太人的屈辱地位，也是第一次清楚地意识到了自己的犹太人出身。从那时起，在他心中就种下了终生反对种族歧视，反对社会上一切不公正的种子。
19世纪下半叶的德意志，是一个神权与皇权双重统治的国家。天主教的势力渗透进这个国家的每一个角落，每一个家庭；而威廉皇帝则不但把他的权威凌驾在他的每一个臣民头上，更梦想借助普鲁士军团的神威，将双头鹰战旗的阴影君临在整个欧洲的上空。当时，全德意志都沉浸在一片穷兵黩武的叫嚣声中。铁血宰相俾斯麦的上台，更将这种疯狂推向了极致。
在学校里，宗教的歧视与成见，爱因斯坦有时觉得还可以忍受，因为这毕竟是他这个民族1000多年来一直在承受的东西。而令他无法容忍的是这种弥漫在他四周的、无处不有的君权神授，德意志高于一切的专制空气。学校的教育也是为了这个最高的目的服务的，要把每一个德国孩子，培养成一个为这具巨大的专制机器服务的士兵。
记得有一天，他正在学校的操场上玩，忽然，从校园外传来了一阵整齐威武的军号声。原来是一支德国皇帝陛下的军队，正列着整齐的方阵，通过慕尼黑的街道，去接受皇帝的检阅。他看到临街楼房平时总是紧紧关闭着的窗子，这时都打开了，数不清的人头挤到窗前，大声为街道上通过的军队举起右手，大声地呼喊着：
“为了皇帝，为了德意志，前进！”
小爱因斯坦被眼前的景象惊呆了。
他有生以来第一次领悟到：人可以被训练得像机器一样，简直太可怕了！人怎么可能变成完全没有个人意志的动物？他开始清楚地意识到学校里对他们进行的全部教育，也正是要把他们每一个学生都训练成眼前这样的机器人。
爱因斯坦在成年后还对当时这种普鲁士的教育制度进行了批评。他写道：“有时，人们把学校简单地看做是一种工具，靠它来把大量的知识灌输给成长中的一代。但这种看法是不正确的。知识是死的，而学校却要为活人服务。它应当发展青年人中那些有益于公共福利的品质和才能。但这并不是意味着个性应该消灭，而个人只变成像一只蜜蜂或蚂蚁那样，仅仅是社会的一种工具。因为一个没有个人独创性和个人意愿的整齐划一的社会，将是一个没有发展的不幸的社会。相反，学校的目标应当是培养能独立行动和独立思考的个人，不过他们要把为社会服务看做是自己人生的最高目的。”这一天爱因斯坦在慕尼黑大街上看到的一幕，永远铭刻在他的记忆中。人怎么能被剥夺走他的自由意志？他自由的天性对这种丑陋的专制政体产生了一种天然的憎恶，从而也导致了他对他自己生活的这个国家——德意志帝国的憎恶。从这以后，每当大人们聚在一起闲聊时，只要话题偶然触及了战争，触及了德意志帝国的复兴，小阿尔伯特就会很快地站起身来，逃跑似地离开房间，避开所有的人。
也正是从那个时候开始，他幼小的心灵中，已经种下了赶紧逃离这个可怕的国家的想法。
柏林的犹太人分为两派：一派主张犹太人和德国人同化，一派主张犹太人回到自己祖先居住过的巴勒斯坦，重建犹太国。同化派和复国派内又有许多小派系。爱因斯坦对于这些派系之争从来不感兴趣。
然而，第一次世界大战后，犹太复国主义者的主张胜利了。当时，犹太复国运动在柏林和伦敦的官场里有坚强的后盾。复国运动的领袖都是精明的人，他们把态度不明朗的、有威望的犹太人列出名单，一个个登门拜访，进行说服、争取和拉拢。1919年2月的一天，一位说客来到哈贝兰大街5号。来客先说了一通犹太人在欧洲各地如何受歧视、受迫害，爱因斯坦天真地问：“可是这和犹太复国有什么关系呢？”
“我们犹太人，”来客振振有词地说，“是世界上最不幸的民族。我们漂泊异乡，无家可归。我们的兄弟遍布欧美各国。但是如果有一天，欧洲、美洲的各国政府都排挤我们，我们怎么办？我们建立起一个自己的国家，就能够恢复民族的传统和尊严。在他们排斥我们的时候，好有退路。我们要给犹太人民一种内心的自由和安全感。”
给遭受歧视的同胞带来一种内心的自由和安全感，这个思想打动了爱因斯坦的心，他的谈话活跃起来了。说客看出，爱因斯坦坚定地站在受苦人一边；同时，也看出他对于政治上的权术和计谋是一窍不通的。
经过几次谈话争取之后，爱因斯坦表态了：
“我反对民族主义，但我赞成犹太复国运动。一个人，如果有两条手臂，他还总是叫嚷说没有右臂，还要去找一条，那他就是沙文主义者。但是，一个人如果真的没有右臂，那他就应当想办法去弥补这条失去的右臂。作为人类的一员，我反对民族主义。作为一个犹太人，从今天起，我支持犹太复国运动。”
犹太复国运动的领袖们，得到爱因斯坦的支持，心里非常高兴。但是他们知道，爱因斯坦并不是要不择手段地去建立犹太国家。他支持被压迫民族的正义事业，对于别的被压迫民族，他也是同情支持的。因此，这些领袖懂得怎样因人制宜。爱因斯坦愿意做的事，尽力争取；他不愿意的事，则不必强求。1921年春天，犹太复国运动的领袖魏茨曼教授要到美国旅行，动员美国的犹太大老板掏腰包，资助耶路撒冷的希伯来大学。他邀请爱因斯坦同行。爱因斯坦本不想去美国，但为了带头支持在耶路撒冷建立希伯来大学的计划得以实现，他还是接受了邀请。正如他给索洛文的信中所述：
“我根本不想去美国，这次去只是为了犹太复国主义者，他们为建立耶路撒冷大学不得不到处乞讨，而我也只好当一个化缘和尚和媒婆去跑跑。”
爱因斯坦不辱使命，帮助魏茨曼圆满地完成了任务。他头一次看到犹太群众。他自己也很满意，宣称这次为旅行所付出的牺牲是值得的。
1924年，爱因斯坦成了“柏林犹太教全体以色列人大会”的缴纳会费的会员。尽管爱因斯坦没有加入犹太复国主义的组织，但他认为犹太复国主义是为个人的尊严而斗争的重要形式。
从此，爱因斯坦对犹太人命运的关注则是他善良正直心灵一直牵挂的主要问题。
1930年10月下旬，伦敦犹太人组织了一次晚会，英国文豪肖伯纳与威尔斯应邀出席。爱因斯坦在晚会上做了长篇演讲，题为“犹太共同体”。爱因斯坦在此对犹太人的过去与未来、希望与痛苦、现实与理想进行了广泛的论述，这也是爱因斯坦犹太民族感情的一次充分展露。