清道光二十五年农历六月初八寅时（1845年7月12日），一个男孩在山东省福山县，磁山和牟子国故城及凤凰山脚下，古现村“太史第”高大房屋里诞生了。因为这个婴儿生得天庭饱满，地阔方圆，又是父母的长子，备受家人的钟爱，按排名曰贻榘，祖父给他起了另一个名字叫懿荣，懿荣二字，取自《东京赋》曰：“东京之懿未罄”；“令彰于邦国，每钦忠懿”。《魏书·南安王桢传》曰：“懿范也”。陶渊明曰：“草荣识节和”；“木欣欣而向荣也，先义而后利者荣，先利而后义者辱”。字廉（莲）生，还有一字正孺。按太史第亲堂叔中排行十三，是王氏家族第十六世孙。
据传，在王懿荣出生的那天破晓，从福山西北角磁山群峰中，飞过一片红色祥云。当祥云驰进浩瀚大海上空时，天上突然响起了三声炸雷，这时，人们看到远处两千多年的牟子国故城上空，时隐时现有一个身着白袍的将军，骑着白马，在旌旗丛中，指挥着千军万马向北面大海中杀去……在一道红光闪电雷鸣声中，伴随着一阵阵婴儿啼哭声。这个婴儿就是王懿荣。这种蜃吐雾生的海市奇观的传奇故事，至今还在流传。
王氏家族不但世代为官，而且是诗书传家的著书立说的世家。王懿荣的先辈们，熟读经史，学问博渊，皆有著述行世。
七世祖王久任研究《易经》很有成就，“善程朱传义”。曾设教于村西磁山涧阴主庙旁之别墅，四方来拜师学习《易经》的人很多。“一时习《易》者宗之”，名气颇大，影响深远。立教馆以传《易》为事，直至终老。
九世祖王隲，天资聪颖。应童子试，府、县皆擢为第一。为官后，博览群书，究心于经世致用之学。长于古文，明于公牍，内外奏疏为一时之冠。辑成《大司农奏议》一卷。行世著述有《养素堂文集》八卷。“养素”两字，乃康熙皇帝于二十八年（1689）南巡时，赐给王隲的御笔匾额。此集是他五世孙王善宝（乾隆四十二年（1777），丁酉科乡试第二名举人）所刊行。前四卷为书牍，第五卷为公案，后三卷是杂文。“其文晓畅缜密，皆有作者模范。”集前选刻《王大司农年谱》一卷，是扬州周清源所编。另外尚有《诗集》六卷、《义圃传家集》八卷。同邑萧程俨（康熙三十八年（1699）举人）评论王隲的著述曰：“奏议剀切似陆敬舆，诗歌奥折似韩退之，杂著古则得于《左传》、《战国策》，此公之文章也。” 王隲还与同邑鹿兆甲（恩贡生，官平凉通判）等人合纂[康熙]《福山县志》十二卷。后入选《中国地方志联合目录》著录。
王懿荣嫡九世祖王，幼年聪颖，尤酷爱书法，而且多才多艺，善骑射，能文章，工诗赋，其书法名噪一时。“为文务铨实理，言至本性。”生平吟诵诗篇不少，可惜多未收集保存，每脱稿则佚去，他的书法“笔意雄秀，法类晋人”。领军士林二十余年。中年随居长兄王隲官衙，足迹遍及大江南北。所到之处，屋中图书纷陈，又博访名流学者，书法学问大进。
嫡十世祖王，酷爱图书，“每弃产购书，丹黄隲”，且善诗、古文词。“诗古体宗萧选，近体宗盛唐，古文词简严有义法。”著述有《王太常集》两卷，是后人为其所广摭诗文集，“工八法，为世人所称。”
十一世祖王柔，幼从同邑进士刘元声学习经史，深得其中奥旨。“行文有奇气”，深为学政陈恂所激赏。著有《东牟奏议》八卷。其子王显绪（乾隆元年（1736）进士，官安徽布政使）著有《王布政集》。
王懿荣嫡十一世祖王从绳以文生考取武举人。原以文史受知于学使，读书能通奥旨，特别喜读《吕氏春秋》和戚继光的兵书，有儒将之风。
从绳二弟王检，“生有异质，颖悟绝伦”。酷爱读书，经传洽熟。工诗善文，“诗法宗杜牧，兼好李义山。文章出庐陵，晚年尤喜陆贽”。平时所作诗文，没有很好收集，脱稿佚失很多。但仍留有《西园集》及他的奏议汇集《西园奏》。他的两个儿子也都有著作行世，长子王燕绪（乾隆二十五年（1760）进士，官翰林侍讲）有《积翠堂集》，二子王启绪（乾隆十六年（1751）进士，官开封兵备道）著有《棣华书屋集》。王燕绪还和他的儿子王庆长（乾隆三十六年（1771）辛卯科举人，王辰会试中正榜，官福建按察使）都曾是四库馆臣，为编修《四库全书》做出过贡献。
王懿荣直系十一世祖，王从绳的三弟王杲，字方旭，号积庭。由太学生河工效力，授山东东昌府上河通判。官至太常少卿，参加千叟宴。平生好诗，兼顾词赋。著有《王太常集》及《奏疏存稿》。
王从绳四弟王椷，字有容，号凝斋，嘉庆元年（1796）举人，官湖北当阳、天门知县。长于文笔，所著《秋灯夜话》十八卷，汇录记载了许多轶闻趣事。“论者方之唐宋人词话”。受到礼部尚书、《四库全书》总纂官、大学士纪昀（晓岚）、副总裁胡高望特别称赞。此书有乾隆四十五年（1780）积翠山房刊本，嘉庆十七年（1812）刊本，道光八年（1828）补刊等几种版本。
王懿荣直系十二世祖王衍绪二弟王景绪，通经术、擅诗赋。著有《周易遗筌》及《曜圃诗集》。其子王允长也工诗，著有诗歌集《滇南诗集》。
祖父王兆琛是经魁、进士、翰林，精于经史，尤长于文字音韵学。在公务之余，致力于著书立说。他传世的著作甚丰。
父亲王祖源以“孝友笃厚，道德文章”而著称。
所以说，王懿荣家学渊源，他后来从事古文字及金石文物的研究，都是从小受家庭、家族的影响，特别是跟他祖父及父亲的教育和影响是分不开的。
在王氏家庭中，还有一位著名女学者，她就是王懿荣从祖姑王照圆。王照圆（1763-1851）字瑞玉，号倇佺。她的丈夫是清代著名 学者郝懿行。郝懿行（1757-1825），字恂九，号兰皋，山东栖霞人，清嘉庆四年（1799）进士。郝懿行一生治学，著述甚丰，已刊与未刊著述有六十余种，如《尔雅文疏》、《春秋说略》、《宋琐语》、《宝训》、《蜂衙小记》、《燕子春秋》、《海错》等。
王照圆的著作有《列女传补注》、《列仙传校注》、《梦书》、《闺中文存》等。郝著有不少见解出自王照圆。当时曾留传把她比成历史上的李清照，有“高邮王父子（王念孙与王引之）”，“栖霞郝夫妇”之说。在王懿荣7岁时，咸丰元年（1851），王照圆仙逝，享年89岁。王懿荣长大后，十分怀念他的这位从祖姑，经常在文章或言谈中提及她。
王懿荣还有许多的望族世家亲戚。同邑的外祖父家，就是其中之一。
道光三十年（1850），5岁的王懿荣开始接受正规的家教，在本族长房房舍名曰“有棣堂”读书（王启绪书斋号）。“有棣堂”取之《诗经·小雅·常棣》，“常棣之华，鄂不韡韡，凡今之人，莫如兄弟。”“有棣堂”又名“遗书楼”，是王氏家族藏书教书之场所。王氏家族中优秀子弟才有资格在此读书。王懿荣启蒙先生是外叔祖谢之（庠生），后又拜母舅谢焕韶（庠生）先生为师。
谢氏也是当时福山县的望族，原籍安徽宣城，始祖谢魁在登州卫任小旗官，明洪武年间，调防登州福山备御中前所，在福山安家落户，遂隶福山籍。明天启元年（1621），传至九世祖谢琰，家族振兴，弃武从文。
谢琰（1621-1696），字连城。其父在蓟州坚守长城边防。谢琰只得在家侍奉老母颐养天年。谢琰读书刻苦，长于文史，性情敦厚善良，曾在雪天救活溺水妇女及婴儿，步行雪中以所乘骑送他们回家，得到乡里称颂。康熙三十五年（1696），公举入县乡贤祠奉祀。
谢琰教子有方，他的两个儿子谢乃实、谢乃果于康熙二十七年（1688）同科一榜考中进士。
谢乃实（1652-1715），字华函，别号峆山人。康熙二十年（1681），参加乡试中四十六名举人。康熙二十七年（1688），戊辰科，殿试三甲第六十九名考取进士，授江苏睢宁县知县。