至于朱丽叶，则在每两天一封的信中哀叹道：“啊，仁慈的上帝为什么要使你成为一个法兰西学士院院士、贵族院议员，却使我成为你的情妇呢？为什么他总让你有过多的黑发和青春——这对上了年纪的人毫无用处，却给我这满头的花发？”
这件事情刚刚平息，接着，雨果和比阿尔夫人之间的通奸丑闻又被揭露出来。
7月5日清晨，旺多姆区警察分局局长应奥古斯特·比阿尔的要求，依法令人打开了他在圣洛克的一所秘密公寓的门。出其不意地抓住了正在进行“罪恶幽会”的维克多·雨果和他的情妇、比阿尔的妻子莱奥妮·多奈。私通当场就受到了严惩，根据比阿尔先生的意见，莱奥妮·多奈被捕并被押往圣拉扎尔监狱拘留。维克多·雨果则行使了贵族院议员不受侵犯的特权，那位警察局长犹豫了片刻，便放走了雨果，可比阿尔却不依不饶，立即向大法官巴斯基耶控告了他。第二天，《祖国报》、《国民报》和《日报》都报道了这一丑闻，并扬言贵族院将不得不将其一个成员判为奸夫。一时间，整个巴黎闹得沸沸扬扬，人们——无论是朋友还是敌人，都在议论讥笑这一桃色事件。最后，事情竟闹到由国王亲自出马斡旋的地步。他召来比阿尔，强迫画家撤回诉状。人们纷纷传说是凡尔赛宫订购的那些壁画迫使画家忘记了妻子的放荡行为。
国王劝雨果暂时离开巴黎躲避一下风头。但是雨果更乐意藏在朱丽叶那里，以便创作。朱丽叶每天足不出户，对这桩丑闻竟一无所知，倒是她的姐姐高易夫人关心妹妹，向她报了警，询问她报上登的那些文章“意味着什么？”朱丽叶予以否认。而雨果的夫人，宽容的阿黛儿，在倾听了“罪犯”的坦白后不仅原谅了丈夫，甚至还跑到监狱看望了比阿尔夫人。
这桩丑闻对维克多·雨果的前程并没有多大影响，而莱奥妮·比阿尔却成了唯一的受害者。她被押在圣拉扎尔监狱，和那些妓女、犯私通罪的女人关在一起。
阿姆林夫人是个热心肠，实在不忍心看到自己的朋友遭此劫难。她亲自出面劝说比阿尔先生，希望他想法让受害者获释或至少转到修道院。她开玩笑地对他说：“亲爱的邻居，只有国王和戴绿帽子的人才有权赦免偷汉子的人，你可要利用这一难得的机会呀！”比阿尔听了哈哈大笑，随后便中断了判决的实行。于是，美丽的莱奥妮被转到一个女修道院里关了几个月。1845年8月14日，这对夫妻离婚了。
这段时间，雨果收入微薄，因为他基本没有发表什么作品。因此，很多人在说：“作家雨果马上就会销声匿迹，他的才华已经干涸。”说作家江郎才尽未必真，但女儿之死给了他沉重的打击，学士院院士的活动、贵族院议员的职责等又占用了他的时间和精力。这一切都使雨果难以静下心来搞创作。自那场丑闻掀起轩然大波之后，雨果采取了沉默政策。有一段时间雨果没有在议院、沙龙等公开场合露面，他翻出他的老计划，开始继续写他的长篇小说《悲惨世界》。
雨果早就打算写一部叙述穷人的贫困生活的长篇小说，几年来他已积累了一大堆札记、速写、事例和观察笔记。这将是一部描写社会的巨著，一部描述法国人民的生活和作家青年时代的小说。
小说的提纲是在1840年订下来的。分成四个部分：一个圣徒的故事。
一个男人的故事。
一个女人的故事。
一个小女孩的故事。
奥古斯特·瓦凯利曾读过这部史诗的开头部分，钦佩得说不出话来。这很容易理解，维克多·雨果在这部小说中反映了他对那些被社会抛弃的人们的深切同情和他自己对不合理的社会制度的仇恨。
当时的法国文坛上，一种全新的社会小说正在兴起，对此贡献最大的是巴尔扎克，他对社会进行了大胆的分析和揭露。在《人间喜剧》中，他紧紧抓住社会问题，撕下了这个社会的温情面纱，进而研究它的缺陷。雨果对此十分赞赏；40年代初，女作家乔治·桑的社会小说也接连问世，如《木工小史》、《安吉堡的磨工》《康素爱萝》等，这些作品对社会的批判越来越严厉。雨果对她颇感亲切，因为她始终同情被压迫者，笔下主人公全都思想高尚、感情真挚，对未来充满信心。雨果同这位女作家成了至交，常去拜访她；另一位社会小说家欧仁·苏的长篇小说《巴黎的秘密》，在1842年至1843年也曾多次发行再版，轰动一时。
因此，当雨果开始创作他的社会小说时，完全可以借鉴同代人的经验，但他却不想模仿任何人，他要写出有自己特色的社会小说。
小说楔子部分的几章已经写好。动笔抄写《让·特莱让》的朱丽叶被强烈地震动了。1845年9月23日，她在信中对雨果说：“请再给我几章抄写。我急不可耐地想知道狄涅城仁慈的主教大人下面的故事。”
1848年2月3日，朱丽叶在信中再次写道：
“我好像身临其境，目睹了书中的一切。我感受到了这个可怜的让·特莱让所经历的一切难以忍受的痛苦，我情不自禁地为那些可怜的、备受折磨的人的命运流泪，因为我从未见过比那可怜的芳汀更令人悲伤的事情。……你把他们的性格刻画得多么鲜明啊！”
朱丽叶这位可怜的女子，在莱奥妮·多奈被监禁的那段日子里，由于她的情夫、主人的频频光临，感到了一种从未有过的快乐和幸福。1846年，一场意外悲剧的发生，也使朱丽叶和雨果相处得更加亲密。
朱丽叶的女儿克莱尔·普拉迪埃已被雨果收为养女，诗人供给她膳宿费，并常送给她许多礼物，他十分喜欢这个已长得楚楚动人但又多愁善感的姑娘。但是，她的生父普拉迪埃先生在结了婚并有了自己合法的女儿后，便禁止克莱尔再用普拉迪埃这个姓。可怜的克莱尔这才知道了自己不幸的身世，她非常绝望，甚至想自寻短见。她给维克多·雨果写信作别：“永别了，多多先生，请您悉心照料我亲爱的妈妈，她是那么善良，那么令人喜爱。而且请您相信，您的克莱尔会因此衷心地感谢您。”在做过轻生的尝试后，可怜的姑娘害了一场重病。普拉迪埃安排她住进一家小客店里的一间又脏又乱的房间里。雨果曾多次放下手中的写作，专程去看望她。日夜守候在女儿身边的朱丽叶对此感激不尽，仿佛这是一位天神俯就临终的凡人似的。
不久，克莱尔这个不幸的姑娘就离开了人世。在送葬的队伍中，雨果同死者的父亲——在女儿临终前几天，普拉迪埃对她也变得亲切了许多——一起，走在殡仪队伍的前面。在丑闻刚刚过去不久，维克多·雨果又以这种暧昧不清的身份出现在大庭广众之下，再次冒着被人攻击嘲讽的风险，为的是向死者及死者的母亲表达他的绵绵情思和爱意。
朱丽叶久久沉浸在失去女儿的悲伤之中，因为克莱尔活了20岁，几乎没有在母亲身边呆过。起初普拉迪埃把她交给奶妈照看，尔后又把她送到寄宿学校，从那里毕业后，克莱尔又留校当上了女学监。在朱丽叶的悲伤中，交织着一种难以言表的悔恨。她觉得自己失去的东西远比她拥有的多得多，在反复回想自己不幸的一生后，朱丽叶对雨果说：“如果你不爱我，我便连两个小时也活不了。”
自从与莱奥妮·多奈的“丑闻”发生之后，雨果感到自己在贵族院处于一种被敌视的气氛中。那些高傲的老头子们似乎对他满怀怨恨，因为他给他们脸上抹了黑。而事实上，在这些议员中，不忠实的丈夫比比皆是，只不过他们没有被逮住而已。但无论如何，当人们发觉自己被别人视为惹是生非的人物时，最好还是掩盖锋芒，做一个不引人注目的人。因此，雨果在事发后的两次演讲显得比较谨慎。第一次演讲的题目是商标与绘画；第二次，他介入了波兰问题的讨论。他主张声援波兰，号召法国这个革命之乡为在克拉科夫举行起义的波兰爱国主义者仗义执言。结果，他的发言受到了人们的冷遇。雨果坐在贵族院的席位上，耳边听着议员们的争执；这些争执同现实生活相隔万里，毫无意义，他觉得无聊，像在法兰西学士院一样，诗人带着嘲讽的目光观察着身边这些故作正经的人物。在自己的笔记中，雨果用幽默的口吻谈到了他的这些同事。对法布维埃将军，他这样写道：“我以为站在我面前的是一头雄狮，却不料是个老朽的懦夫。”谈到布阿西侯爵时，他写道：“他坚定、冷静，口惹悬河，具备了一个大演说家的所有次要条件，就是缺少才华。”
1847年6月14日，雨果又在贵族院作了一次演讲，是为了支持热罗姆·拿破仑·波拿巴要求准其家庭回国的申请。雨果先是滔滔不绝地讲述了拿破仑的盖世功勋，然后，他质问道：“拿破仑到底犯了什么罪，该株连满族？要说有罪，那就是：恢复宗教；制订了民法典；扩大了法国疆土，甚至使之超出了自然的国界线；征服了马朗哥、耶拿、瓦格朗、奥斯特里茨。这些都是一个伟人永远赠给一个伟大民族的最慷慨的、力量与光荣的礼物！”
站在讲坛旁边的一个议院警官、曾在拿破仑手下作过营长，听到这番演说后，竟趴在讲坛下号啕大哭起来。旁听的两个狂热的波拿巴主义分子阿姆林夫人和莱奥妮·多奈也欢呼了起来。
雨果继续他的演讲，“现在的危险不是来自这些亲王，……你们是否想知道当今真正的危险何在？请你们不要老是盯着那些亲王，要看到群众，看到人数众多的劳动阶级。……我要向政府敲起警钟：不能让人民受苦受难！不能让人民挨饿！这是一个严重问题，危险就在这里。”
这一次，雨果的演讲获得了成功。
从1841年到1848年这段时间里，维克多·雨果将主要精力投入到了政治活动中。成为法兰西学士院院士、子爵和贵族院议员后，他开始常常出席部长、大使家的晚宴；也常去杜伊勒利宫观看演出，亲王们都把他当作朋友；现在，他们的友好态度已不再使他受宠若惊。在文学上，荣誉和死亡已将他推到了文学泰斗的位子上，没有谁能够超过他。10年间，他出版了从《秋叶集》到《光与影集》四部法国诗歌中最优秀的诗集，正在创作中的《悲惨世界》可望与《巴黎圣母院》媲美。因此，可以说维克多·雨果已实现了他的雄心壮志。然而，他不但没有感到幸福，相反，却感到空虚。从埋葬克莱尔的公墓回来后，他开始深深思考尘世的空幻和人生的无常：用演说来刺激沉闷的集会；
把崇高的理想与得到的成就相比：
就能明白理想之伟大，现实之渺小，
只不过是人海中的浪花、大洋中的亡灵；
体验过生活中的一切——欢乐与愁怅，
愤怒的斗争，热爱坚实的大地……
到头来，归宿还不是沉默和死亡！
雨果知道，一个不幸的人从窗户里望着幸福的人们在翩翩起舞时是何等心情；他同样知道，人民要求的不单单是面包，还有自由平等。“当贫苦的人们凝视着富人的时候，激起他们的不单是沉思——而是未来事变的先兆。”
雨果痛苦地思索着，思考的结果使他悟出一个道理：为了冲出生活的浊流，要么得有内在的刚毅决心，要么须靠外在的革命。雨果在创作《悲惨世界》时，这两方面都考虑到了。他觉得自己是个罪人，立意要为自己赎罪，哪怕需要付出被流放的代价也在所不惜！他渴望受苦受难，但也渴望名声远扬；他想把苦行和功名结合起来。
陷于迷惘中的雨果，试图在堕落中忘却自己，摆脱苦恼。这位浪漫的情人，一时像个花花公子，闹出很多的风流韵事。他给文学界的交际花、他的朋友埃米尔·德·吉拉尔丹的情妇爱斯菲尔·海蒙写下了这样一张轻浮的便条：“到底什么时候共度天堂之夜？你希望在星期一？星期二行吗？星期三呢？你不会害怕星期五吧？我等不及了！维·雨。”另外，雨果还成功地从蒂奥菲尔·戈蒂埃和儿子查理的手中夺到巴黎最美丽的女子艾丽丝·奥齐。
1847年，艾丽丝·奥齐这位漂亮而轻浮的女子同刚刚21岁的查理拉上了关系。她渴望查理的父亲——伟大的诗人能在她的纪念册上亲笔题几句诗。雨果来到她的房间，看到她房间里的那张花梨木卧榻，遂为她题了这样四句诗：当落日逐渐昏暗的时刻，
金色的雾霭笼罩着大地；
柏拉图等着浪花中的维纳斯，
而我正等着旭日般的艾丽丝入眠。
这位艾丽丝装作不满诗句之放肆，要求雨果为她另写了一首四行诗：有时幻想者也会委屈自己的幻想……
但是我今天要惊奇地询问：
怎么能为了柏拉图，
让维纳斯的希望受委屈？
接下来，该发生的事情便发生了。父亲战胜了儿子，从大儿子查理手中抢走了他的情人。查理虽然很痛苦，但他还保持着对“统治者”（雨果的孩子们私下这样称呼他）的尊重，只好屈从。查理·雨果在给艾丽丝·奥齐的信中写道：
“你为什么要给我父亲写那封信？一边是心灵纯洁、爱情深挚、无限忠诚的儿子；另一边是光荣的父亲。你选择的是父亲和光荣。我并不因此责备你，也许女人都会像你这样做。只是请你明白，我过于软弱，无法忍受与人分享你的爱情给我带来的巨大痛苦。”
但是，雨果心里非常清楚：放纵情欲“使生命变得麻木”，这绝不是充分享受生之快乐。他渴望摆脱诱惑，哪怕是需要付出痛苦的代价也在所不惜！自从莱奥波尔迪娜和克莱尔惨死之后，雨果便产生了一种总有一天会见到亡灵的欲望。“温柔的天使啊，难道不能掀起墓石，和你倾心交谈一会儿吗？”他要为自己创造一种宗教的哲学，为此，他甚至开始研究通灵者们的理论，因为他们说在阳间也可以和亡灵交往。
当然，雨果并没有一味沉溺于此，不能自拔。他还关注着现实。1848年2月19日，雨果坐在自己的贵族席上，沉思中写下了这样一句话：“贫困迫使人民起来革命，革命又重使人民贫困。”