于是，在父亲来到后的第一个星期一，欧仁和维克多，同他们的母亲一起，乘坐马斯拉诺亲王的马车，来到马德里中学——一所贵族学校，父亲的西班牙伯爵的封号使他们有权进入这个学校。
这所学校，在兄弟俩看来，就像一座监狱。周围的人都是冷冰冰的陌生人，校舍就像阴沉的兵营，整日不见阳光。低年级的宿舍，150张床，只有10来张床上有人睡，每个人的床头上都挂着一个刻有耶稣受难像的十字架。离开母亲，走进这座监狱，兄弟俩一肚子凄凉。等母亲一走，他们被告知课业从明天开始，今天可以玩一天时，兄弟俩止不住心头的苦痛，相对哭了起来。
第二天早晨5点钟，他们被床头木架上发出的啪啪三声惊醒了。睁开眼睛一看，只见一个驼子站在面前，身穿红毛衣、长绒毛蓝裤子，脚着黄袜，脚下是俄国牛皮鞋，脸色绯红，头发乱得一绺绺的，——一个地地道道的宫廷小丑。孩子们不由得哈哈笑起来，心中顿觉宽慰了许多。这个“活闹钟”常是孩子们欺负的对象，他们都管他叫“驼背”。
老师是两个教士，一个是50来岁的唐·巴杰尔，身材瘦削，面色苍白，脸和身体常常没有一丝动作，活像一具僵尸；另一个是唐·马虞尔，这位教士则胖胖的，满脸堆笑，活泼有趣。
学生们在校必须轮流着做弥撒。这一点遭到索菲的坚决反对。索菲始终是个伏尔泰的信徒。她认为她的孩子们应该有他们自己的宗教——生活和思想所启示给他们的宗教。当教士声称，凡是信天主教的学生必须绝对服从这项规定时，雨果夫人为避免争端，干脆说她儿子是清教徒。
教士们对雨果兄弟已掌握的惊人的拉丁文知识感到吃惊，竟不知该把他们放进哪部分学生中好。最后商定暂时放在低年级。
在班里，上课的内容他们早已学过了。别人的作业还没开始做，他们的已经完成了；余下来的时间里，就一直闲坐着。这使全班的同学都失去了竞争的勇气，校方不得不让他们升级。于是，兄弟俩升了一级又一级，最后升到最高班。班上的学生大都在15岁以上，均为西班牙贵族子弟。他们对这两个新来的孩子拉丁文这么好且又是法国人，还可以不跟大伙儿去做礼拜非常气恼，可又不得不表示佩服。
在西班牙，生活变得越来越困难。西班牙人的反抗日趋激烈，而对于占领者法国人来说也更加危险了。
在1811—1812年间严寒的冬季里，马德里发生了饥荒。学生们的口粮一天天减少，大家都在饿肚子。冰天雪地，学校也不生炭火，听凭学生天天挨冻。欧仁冻得手脚龟裂，维克多两耳红肿，疼痛难忍。那个胖教士教孩子们在肚子上画十字，说这样子肚子就不饿了。孩子们奇怪地发现，虽然胖教士跟他们吃一样多的饭，却并不见瘦，反而更胖，疑心他在偷吃。雨果兄弟也发现，这个表面和善的教士，暗地里常向唐·巴杰尔告学生的状。
这期间，在他们的父母之间，关系也越来越紧张。约瑟夫国王从巴黎回到马德里，发现索菲送来了大量状纸，遂垂听了她的控诉。此后，他立刻下令将雨果将军召至马德里，令他同意在马德里任职、同意住进马斯拉诺宫、同意将儿子们接出贵族中学、同意立即付给妻子3000法郎，不得违抗。
但重修旧好的日子并未持续多久，妻子私藏拉奥里的事情又被人提了起来。结果将军大发雷霆，借机搬出了马斯拉诺宫，将情妇安置在马德里一所迷人的住宅里，并提出离婚。
既然如此，索菲遂决定带欧仁和维克多回国。阿贝尔仍旧留在国王侍卫队。由约瑟夫国王从中调停，将军作为王室总管获得的1．2万法郎的年薪，以后直接寄给将军夫人，从此不准再谈及离婚的事儿。
孩子们渴望重新见到可爱的斐扬丁纳。归途中，雨果兄弟不像一年前来马德里时那样高兴。他们长大了，懂得了战争是怎么一回事。在布尔戈斯城，来时，他们曾在这里遇到下雨天，跑遍全城，竟无一人知道雨伞是什么东西。后来，他们在一家商店的货仓里买着一把大大的雨伞，母亲说像是当年诺亚抵御洪水留下来的。同样的地方，他们这次却碰到了绞架绞死人的事件。广场中竖起一个三脚木架，架上插着一支木杆，人们告诉他们这是绞刑架，就要绞死一个人。一队忏悔修士，手执柱杖，杖头挂着一盏灯笼。大氅低低地罩在头上，在眼睛处开了两个洞，从那里射出两道阴冷的目光。教士队里有一头驴，驴背上绑着的那个人，已陷入极度恐惧之中。教士们擎起一个十字架，送到他面前，他就在十字架上吻一下。见了这光景，欧仁和维克多吓得连忙逃走。
他们归心似箭，一路兼程，终于回到了斐扬丁纳。
拉里维埃尔太太提前接到了索菲归来的信，把花园打扫得干干净净，房子收拾得整整齐齐，迎接他们的归来。拉里维埃尔又开始到斐扬丁纳给他的两个学生上课，教授拉丁文。欧仁和维克多可以不再去学校。索菲很喜欢读书，她是老鲁艾奥尔租书铺的长期订户。不过，她只喜欢读那些有趣的书。她相信孩子们的眼力，所以经常让他们去为她挑书。他们拚命地看，把书铺里的书一本本地借来读，爱看什么就拿什么，其中有莫里哀、卢梭、伏尔泰、狄德罗、司各特的作品，有戏剧、小说、诗歌、游记和历险记。不久，书铺底层的书都看完了。老板鲁艾奥尔是个有趣的老头儿，他允许了孩子们到楼上去的请求，那里藏的是哲学、法律、历史方面的书。他们可以趴在书堆上，读它几个钟头也没人管。鲁艾奥尔很尊重索菲，因为她是最勤奋、最有学问的女读者之一。但他对她让孩子们读那些不适合他们年龄的书感到奇怪。
“夫人，您不觉得这样不加选择地读书对男孩子是危险的吗？”他小心地问道。
“读书从来不会有什么害处，”她对鲁艾奥尔说，“让他们去读吧。”
在日常生活中，索菲对孩子不像在教育和宗教方面那样放任，而是一个近乎严厉的母亲。孩子们对她必须尊敬服从。从西班牙旅居回来，再见到花园，兄弟俩就不免觉得它不如从前那样可爱了。母亲命令他们芟除、清理和灌溉，也不问他们愿意与否。花园的清理种植总是非做不可的。在长期的独立生活中，索菲·雨果养成了一种近乎男性的权威。
这期间，巴黎发生了一次重大事件。拉奥里被捕后被关押了很长时间。在狱中，通过索菲的联络，他与修道院院长里封和马莱将军（一个浅薄的共和主义者）建立了联系，参与了马莱等人反对拿破仑的活动。当时，拿破仑正在俄国。1812年10月23日早晨，马莱全副武装，向监狱看守宣布了皇帝驾崩的消息，轻信的看守便释放了拉奥里。尔后，他们便一起来到警察总部，逮捕了警察总监萨瓦里。但是，皇帝驾崩的谎言很快被揭穿，谋反仅仅几个小时便被城防司令于雷镇压住了，起事者无一漏网地被逮住投进了监牢。索菲虽然想方设法为拉奥里开脱，甚至跑到军法会议恳求检察员窦隆设法救他，但都无济于事。1812年10月29日，拉奥里和他的同谋被判处死刑，并于当日执行。
索菲从朋友那里打听到运送死者尸体的路线，便去封锁了的道边等着。灵车一到，她就像一位女英雄，勇敢地陪伴在情人的身边，将他一直伴送到公墓。
这期间，雨果将军的情形也大为不妙。在打发走了妻儿之后，他在西班牙也没停留很久。在威灵顿率领的八万英西联军的进攻下，法军溃败，节节后退。1813年的维多利亚大战，成为约瑟夫的“滑铁卢”。继约瑟夫·波拿巴失败之后，雨果将军也被迫回到法国。他带着阿贝尔、托马斯姑娘一同移住波城。拿破仑并不承认在西班牙约瑟夫赏给雨果的将军官阶，于是将军又成了上校，并被任命为提翁维尔城防司令。
上校当年答应给妻子的生活费并没有兑现。而斐扬丁纳的花园又被巴黎市政当局征用。因此，索菲决定搬家。1813年12月31日，她和她的三个儿子（阿贝尔脱下了那身漂亮的侍卫军服，暂时回到了母亲的身边），迁到了寻南路2号，就在军法会议大楼的对面，与皮埃尔·富歇家比邻而居。富歇先生已从书记员荣升为军政部募兵科科长。他们夫妇仍是索菲·雨果忠实的朋友，他们的女儿阿黛儿——雨果兄弟儿时的小伙伴，也已长成一位漂亮的少女了。