咸丰二年，在罗泽南的多次说项下，曾国藩之子曾纪泽与贺长龄之女喜结良缘。早在道光二十四年（1844），罗泽南就到贺家教书，前后达四、五年之久。贺长龄，系曾国藩次子纪泽之岳丈。字耦耕（又作庚），号西崖（又作涯）、雪霁，晚自号耐庵。前清时代善化（今长沙县）人。清乾隆五十年（1785）生。嘉庆十一年（1806）入岳麓书院，从罗典受业。罗是岳麓书院著名山长之一，其人品和学问对贺长龄产生极大的影响，他不仅学术上师承罗典，而且在人品上也以罗典为师。罗典专攻《易经》，贺长龄也以为学；罗典品行上当时有“廉峻正直”、“诚朴”、“性严正，不可干以私”的评价，贺长龄秉承师志，立志“平生取与，一准与义，陋规多所屏却，其余朝中权贵亦无所馈献”。
嘉庆十三年（1808），贺长龄中进士，选庶吉士，授编修，又典试广西，提举山西学政。道光五年（1825），先以南昌知府升江西布政使，继任直隶布政使。旋为贵州巡抚，再升云贵总督。为官达40年，勤于职守，有惠政。在直隶任上，所属山东等地多水患，贺长龄倡导开沟兴水利，收获倍增。在贵州任上，他以兴教作为政治活动的重要内容。贵州本地处边陲，又为少数民族聚居的地方，经济、文化都很落后，民风、社俗也不好。贺长龄对此极为感慨。他说：“黔地贫瘠，文教未兴，或连数厅县，无一义塾。”视此情形，他一反过去旧吏习规，以兴学为第一要义。首先凭借自己有利的地位，拨出官帑修得省城书院，并参照湖南岳麓书院及其它书院的办法，在管理方面进行整顿。不仅如此，他还以普通教师身份亲往书院督察和主讲。在他的影响和督促下，府县官员纷纷效仿，只几年工夫，各厅县皆建书院、义学。在贵州，贺长龄还力主查禁私种罂粟和吸食鸦片，并整饬吏治，操练营伍，储粮备荒，恤孤抚幼，劝课桑棉，教以纺织，深受士民称赞。道光二十五年（1845），贺长龄任云贵总督兼署云南巡抚。次年，大理、永昌回民起义，贺任用流戍军犯进行镇压。道光二十七年（1847），大理回民再度起义，他被追究责任而革职，后隐居家中。
贺长龄与曾国藩是在道光二十年前相识的。那时贺长龄正由南昌知府升直隶按察使；曾国藩则在京朝考一等二名，改庶吉士，入翰林院深造。后经唐鉴的引荐，曾国藩拜贺长龄为师。曾国藩说：“夫读书之道，博学评说，经世之才，遍采广询。”可见，当时的贺长龄对曾国藩已产生了影响。曾国藩在道光二十二年（1842）十一月三十日《日记》中载：“耦耕先生来信，浪得虚誉，愧极，丑极”，贺对曾的器重亦可见一斑。道光二十五年（1845）唐鉴告病，所著《国朝学案》，由曾国藩代为发刻，其刻价全由贺所出。贺长龄曾延魏源替他辑《皇朝经世文编》，亦得到过曾国藩的支持。二十七年（1847）贺长龄革职后，与曾国藩的书信来往更为密切。曾国藩曾对诸弟说：“耦耕先生革职，同乡莫不嗟叹，而渠屡次来信，绝不怪我，尤为可感可敬！”。
贺长龄不仅器重曾国藩，见其子曾纪泽“幼作史论，略成章句”，亦十分赏识。道光三十年（1850），在他临终前，对亲属没有任何嘱咐，仅只提及若能与曾国藩结成亲家就是最大的心愿。咸丰元年（1851），在长沙城南书院授业的罗泽南根据旧友贺长龄的这一遗愿给曾国藩写信道：“纪泽未定婚，欲为贺耦耕先生之女作伐”。曾纪泽于道光十九年（1839）生，时年13岁，贺长龄之女道光二十年（1840）生，时年12岁，曾国藩嫌其小一岁（明清时代早婚，习惯女大男小），且贺长龄系长辈，从前左宗棠与陶文毅为婚，曾国藩曾讥笑过其辈行不伦，如果自己“仍蹈其辙”，又怕人家讥笑，故“拟敬为辞谢”。曾国藩托诸弟在长沙见到罗泽南时，“可将余两层意思先道破，余它日仍当回书告知一切”。但经罗泽南多次书信相劝，曾国藩终于“颇思成就”。认为“一则以耦翁罢官，予亦内有愧心，思借此联为一家，以赎予隐微之衍；二则耦翁家教向好，贤而无子，或者其女子必贤”。可是，当曾国藩接到家中已定明年正月“订盟”的来信后，其夫人欧阳氏在京亲至贺长龄之妻舅徐伯符家打听，方知贺女系庶出，即甚不愿婚。曾国藩于十月十二日写信给家中诸弟：
纪泽聘贺家姻事，观闰八月父亲及澄弟信，已定于十月订盟；观九月十四澄弟一信，则又改于正月订盟。而此间却有一点挂碍，不得不详告家中者。京师女流之辈，凡儿女定亲，最讲究嫡出庶出之分。内人闻贺家姻事，即托打听是否庶出，余以其无从细询，亦遂置之。昨初十日接家中正月订盟之音，十一日即内人亲至徐家打听，知贺女实庶出，内人即甚不愿。余比晓以大义，以为嫡出庶出何必区别，且父亲大人业已喜而应允，岂可有他议？内人之意，以为为夫者先有嫌妻庶出之意，则为妻者更有局跟难安之情，日后曲折事情亦不可不早为虑及。求诸弟婉禀父母，尚须斟酌，暂缓订盟为要。
经过一番曲折，最后还是由罗泽南促成了曾国藩与贺家这门亲事。曾国藩知“贺女庶出之说系一时谬误，自知悔过”。他“求诸弟为我敬告父亲大人，仍求作主，决意对成，以谐佳偶”。他对弟言：“细思贺家簪缨门弟，恐闻有前一说，惧其女将来过门受气，或因此不愿对亦未可知。果尔，则澄弟设法往省城，坚托罗罗山、刘霞仙二君将内人性情细告贺家，务祈成此亲事，不致陷我于不孝之咎。”贺家因能实现贺长龄的遗愿，也非常高兴。曾国藩打算在咸丰二年（1852）成亲，后因母丧，至咸丰三年才办了这桩婚事。
贺家与曾家成亲后，因贺长龄不在世，其家运一直不好。咸丰七年（1857）六月，年仅18岁的贺女士死于曾家，八年（1858）冬，贺长龄之胞弟丹麓（桂龄）与年未30岁的儿子少庚又相继病逝。曾国藩对亲家一家连遭不幸十分同情。他接贺家讣，为贺丹麓、贺少庚分别寄银30两、40两，并信嘱纪泽：“少庚早逝，贺家气象凋耗，尔当常常寄信与尔岳母，以慰其意。每年至长沙走一二次，以解其忧。耦耕先生学问文章，卓绝辈流，居官亦恺恻慈祥，而家运若此，是不可解。”
曾纪泽遵其父训，在贺氏妻去世后，为对岳母尽孝敬之意，把她接到了黄金堂来住。但不到一年，贺母亦病逝于曾家。至此，曾国藩的亲家就再无后续之人了。