谢乃实在任睢宁一方地方官时，当时睢宁隶属徐州，此地处淮河和沂沐河、京杭大运河，还有骆马湖、洪泽湖等水系之间，又是历史上黄河夺淮废黄河故道。这里水利多年失修，河道淤塞，水旱灾害频繁，十年九灾，经济长年落后。谢乃实针对苛捐杂税，整顿税收，革处或减免，为百姓在经济上松绑。同时，他又清正廉明，善于断案，审案皆以法律为准，拒收贿赂，严抑强梁豪族。百姓为他树碑，镌刻“铁面冰心”四字，以颂其公正廉明。谢乃实还疏通河道，大兴水利，扶济贫困，按当时旧例每年需派河工1200余人，谢乃实则减去一半，省去民工费用6000余两，而且不耽误农时，使许多背井离乡的人又回到睢宁安居乐业。后迁任湖南兴宁知县，移风易俗，严禁鬻妻和溺杀女婴的陋习；首倡文教，建学宫，设书院，奖励优秀诸生；厘剔弊规，清洗冤狱，深得民心，离任时，百姓泣挽如失父母。
谢乃实辞官回乡后，每日潜心研究学问，以做诗文为乐。其著作《峆山人文集》、《峆山人诗集》共二十余卷，后乾隆三十七年（1772）开馆纂修《四库全书》，将他的文集编入其目。
他有三个儿子，长子谢光纶，举人，官河南宜阳知县。二子谢光纪，康熙五十七年（1718）进士，官广西富川知县。三子谢光组，雍正四年（1726）举人，官刑部主事。
谢乃果，字春函。康熙二十七年（1688）进士，授官知县，官至礼部文选司主事。
谢乃果，“为人和平乐易，与物无竞”。在任河南宜阳知县时，从不向民间派取丝毫费用。他为人严谨，断案公允，俗有“白面包公”之称。宜阳县士民勒石祀奉，称他“贤吏”。在任二为县宰八年，“卓著循声”，贤名远播。后擢吏部文选司主事。晚年以诗文自娱，手不释卷，著有《玉森堂集》。
谢光组的独生子谢隆漠即谢牧之的祖父，岁贡生，候选训导。谢牧之的父亲谢宜庄，乾隆年间监生。
谢牧之，王懿荣外祖父，字准父。嘉庆十八年（1813）举人，道光制科孝廉方正（临时特设的考试项目）。任广东新兴县和顺德县知县，政绩卓异，颇负声望。道光十九年（1839）任乙亥科乡试同考官，中式者以本房的成绩最佳。迁署澳门同知，补虎门屯防同知。虎门地属繁盛之地，商贾辐凑，加以风俗犷悍，素以难治著称。谢牧之理烦治剧，镇定自若处理各种棘手的事务，百姓皆小康安居。上司也非常赏识他的才能。
王懿荣的母亲乃谢牧之女儿，生得端庄贤淑，知书达理，深明大义。对王懿荣言传身教十分严格。在王懿荣牙牙学语时就教王懿荣背《千字文》、《百家姓》、《唐诗三百首》，王懿荣在母亲的教育下，口若悬河，出口成章，有过目不忘之能，时誉“神童”。王懿荣在父母亲和塾师的严格督促下发奋读书，他以超常的记忆力，仅用一年多功夫，就读完了《四书》、《五经》，还系统阅读了《幼学琼林》、《三千字文》，并能书写文章、吟诗作对联。《福山县志稿》记载他有“过目不忘”之誉。
就在王懿荣学业有进的时候，家中突遭变故，祖父王兆琛在山西巡抚任上，获罪遣戌新疆，家产被抄，家道从此中落。5岁的王懿荣已经记事了。他亲眼目睹了这次重大的家庭突变，在他幼小的心灵上打下了深深烙印。世态炎凉，人情薄如纸的情景给以后王懿荣成长及性格造成直接影响。据李宝嘉《南亭笔记》载：“王廉生祭酒，官翰林二十年，喜金石书画，一贫如洗，典衣绝粮不顾也。书法雄健、尽脱楷气。性耿介，好诙谐，动谐玩世，使酒骂座，同官均侧目，有‘东怪’之称。”有关王懿荣个性《清稗类钞》也有记载：“光绪初，在京各衙门派员恭送玉牒至盛京（今沈阳），盛伯熙（昱）、王文敏（懿荣）、端忠愍（方）皆在其列。一夕，宿某站，盛与文敏纵谈碑版，忠愍询之，文敏曰：‘尔知挟优饮酒耳，何足语此。’”特别成年后，对科举入仕，官场虚伪产生了厌恶情绪。应该说，他这种耿介怪癖的个性，无不与他童年的家庭遭遇有着密切关系。成年后的王懿荣变得少语寡语，极爱用文字表达内心世界。
王懿荣祖父王兆琛被发配新疆，刚刚离京踏上西去的艰难路程，一队如狼似虎的官兵来到了福山王家太史第，他们抄走了金银细软，封闭了房屋，一个高官厚禄的大宅院，霎时变成了败落的贫困户。这个打击对王懿荣一家人来说实在是太沉重了。王懿荣的祖母在惊吓之后，一病不起，于道光三十年（1850）腊月二十病故。基于当时的家庭情况，葬礼一切从简，使这个封疆大吏家庭无法想象。就全家人悲哭，远远超出对老太夫人的哀悼。更不用说顾及即将来临的过年了。
王懿荣祖母于太夫人出身文登县望族之一。她的五世叔族是于可托，字阿辅，顺治十二年（1655）进士，初授江西抚州推官，后任工科给事中、都给事中。曾屡次上疏奏言滥派驿马、预征钱粮等加重人民负担的弊端；揭发江西漕粮的开仓、修仓、领运、押运中的各种漏洞和弊病。顺治十七年（1660）上奏疏揭发江西巡抚张朝璘题奏大盗劫杀一案，大半是提标率兵丁所为，深可骇异。请严饬提镇，实为约束。皇帝准奏，下旨照办。康熙年间，历官顺天府丞、太仆寺卿、宗人府府丞、左副都御史迁户部右侍郎等职。其事迹载入《满汉名臣传》，超群绝伦。
于太夫人的祖父于业，岁贡生，官江苏江防同知。父亲于颖发，乾隆五十四年（1789）拔贡，授官江苏江防同知。叔父于颐发，官江苏知府、署淮阳兵备道。于太夫人还有两个弟弟，大弟于昌运，道光十八年（1828）举人，拣选知县。二弟于昌迪，官高邮州州同。
俗话说，“瘦死的骆驼比马大”，“在哪跌倒要在哪爬起来”。王家虽然败落了，但还是与寻常的百姓家不能同日而语。首先，家族中有官府所无法抄没的无形财富：一是他们家有着千缕万丝的世家社会关系网。二是抄不走王家家学渊源的文化财富和精神信仰。全家人都暗暗鼓着劲，把希望寄托在儿子和孙子身上。王懿荣就是他们最寄予希望的一个。
王懿荣第一位启蒙老师是他的外叔祖谢之先生。谢之，字菴生，谢牧之胞弟，庠生。虽说没有取得功名，但在福山也是名满福邑。
自科举制度创立以来，教育与科举逐渐合而为一，科举成了做官的敲门砖。到了宋代，中华文化教育昌盛，科举也可谓发达。原因很多，朝廷重视、倡导、鼓励是重要原因之一。宋真宗赵恒亲自作《劝学文》，文曰：“富家不用买良田，书中自有千钟粟。安居不用架高堂，书中自有黄金屋。出门莫恨无人随，书中车马多如簇。娶妻莫恨无良缘，书中有女颜如玉。男儿欲遂平生志，六经勤向窗前读。”（《真宗皇帝劝学文》，《古文真宝》前集卷首）。
到了明朝，《劝学文》不只六句，流传下来，脍炙人口，传之众口，此后又流变成了通俗易懂、朗朗上口的五言绝句：
朝为田舍郎，
暮登天子堂。
将相本无种，
男儿当自强。
天子重英豪，
文章教尔曹。
万般皆下品，
唯有读书高。
学成文武艺，
货与帝王家。
科举教育、启蒙教育就是先背这几句家喻户晓、妇孺皆知的劝学箴言，和《三字经》、《千字文》、《弟子规》、《幼学琼林》等，他们成了幼儿的启蒙教材。望子成龙的长辈从此开始了“人之初”的文化熏陶，在童稚单纯的心田里，播下了读书应举的种子，也播下了父辈殷切的希望和寄托。
顺治九年（1652），御制学宫卧碑文宣布：“朝廷建立学校，选取生员（庠生），免其丁粮，厚以廪膳，设学院、学道、学官以教之。各衙官以礼相待，全要养成贤才，以贡朝廷之使用。”（《礼部·学校》，《训士规条》，《钦定大清全典事例》卷三三七，光绪二十五年（1899）刻本）。
以上皇帝说得很明白，就是一中秀才，既能得到国家待遇：一是在校免费膳食；二是免去官税和官徭；三是地方官以礼相待。所谓以礼相待，就是秀才犯法，地方官不得直接处理，须先报告本省学政革除其秀才资格后，方可依法治罪。至于平常纠纷，应交学校教育，不得当作普通百姓直接捕治责罚。
可见，一成秀才，就跻身士林，预备做官，成为统治阶层的成员。秀才毕竟是科举入仕的第一个台阶。
咸丰三年（1853），9岁的王懿荣又受业于母舅谢琴南（字焕韶，庠生）、另一个舅舅谢价人（字应劭，庠生）两先生。据传，王懿荣9岁时，他到登州府参加“童子试”，他的母亲怕他路上饥饿，给他带了两个圆火烧充饥。不料，被府学官看见了，便脱口说道：“怀中藏太极”。王懿荣低头略想了想，抬头朗声笑答道：“腹中乃乾坤”。主考官闻之大喜，又问起《四书》《五经》来问他，没承想，考官提上句，他知下句，真是提头就知尾声呀！学官又命众考官来提问，结果王懿荣越答越精神，倒是把大伙累得口干舌燥。众人齐夸他是一个聪明绝顶的孩子，主考官破格录取了他，还高兴地为他题了幅对联：“目下十行字，胸藏万卷书”。就这样，王懿荣成了当时县里年岁最小的庠生。
王懿荣年少得志，在福山科举史上极为罕见。有多少读书人年届不惑，还在为取得生员资格焚膏继晷；又有多少人，两鬓斑白还是个老童生。而王懿荣年仅9岁，便顺利完成了考秀才的伏案苦旅！一时间，这个“太史第”大宅门里走出的少年，成了登州府瞩目的人物。然而，此后20年里，神童王懿荣在通往乡试路途中却连遭失利，科考道路十分坎坷。
咸丰六年（1856），王懿荣12岁了。这一年他的父亲到北京任兵部主事，王懿荣侍奉母亲谢太夫人留居家乡。依靠外祖父家，就读于城里台子街同理王氏家塾，受业于母舅谢应起先生。谢应起，字虞臣，道光乙酉科拔贡。后任河南宜阳县知县。
少年王懿荣负重致远，手不辍卷，昼耕夜诵，欲遂平生之志。