魏氏家族，自魏万一后，到清代中叶，已“四百馀载，子孙数千计”。
魏源出生的这一年——乾隆五十九年（1794），他的曾祖父魏大公已经去世。魏大公（1663-1747），字席儒，号岩栖（一作严栖），地主兼商人。家中钱多了，便于康熙年间捐了个国子监生，后来是否入国子监就读，史无记载；至少，他连个秀才的头衔也没有。据族谱中《严栖公传》（魏显达撰）记载，此人慷慨乐施，康熙三十九年（1700），湖南大旱，“都里粮未完，催征甚急，乃尽完一都饷粮，邑侯卢大经[名宪]赐‘邵邑醇良’额旌之”。关于魏大公代缴田赋事，有三种说法。如上，《族谱》作代“一都”交纳。
李瑚《魏源传》云：“在一次饥荒中，由于代全县农民交纳钱粮，以致家道中落。”这是说的代“一县”交纳。又，道光二十九年修纂的《宝庆府志·魏大公传》作代“一郡”交纳。清制，郡相当于府，辖几个县；代“一郡”交纳，显系夸张不实之词。即使代“一县”交纳，也不切实。湖南的县，比较大，辖地较广，一个县的田赋，由一个人交纳，即使家产田连阡陌，也是无能为力的。只有代缴“一都”的田赋，勉强说得过去，但也明显不准确。清制，湖南各县以下的行政区域叫“都”，都的大小大约相当于今天的区或几个乡。一都的粮饷，也是相当大的数目，在几千石万石以上，魏源：《邵阳金滩魏氏二修族谱序》，《魏源全集》第12册。
魏大公有如此大的财力吗？如果他真的把“一都”的田赋全代缴了，必是拥有万亩以上土地的大地主了。魏大公究竟拥有多少土地，史无记载。旧时代的某些家谱、某些地方志，为了表明某家某地多有贤良，常常夸饰虚美，缺乏实录精神，缺乏中国传统史学由《史记》开创的“其文直，其事核，不虚美，不隐恶”的史学原则和史学品格。所谓代缴“一都”、“一县”、“一郡”田赋，便是一例。不过，魏大公也确实代人缴纳了部分田赋，不然，邵阳县令也不会送给他“邵邑醇良”的匾了。
至于祖父魏志顺，魏源出生时，还健在。志顺（1732-1804）字孝立，号樟园，为魏大公第七子。他继承父业，仍然收租经商，并且捐了个布政使司理问，理问是掌握勘核刑名的官，但他一天也没有当过。他在龙溪冲的李家坳修建了一座据说可储谷万石的仓库，故人称“万石君”。
所谓“万石”，也显然是夸张之辞。按湘中地区的约定俗成的风习，一担谷约相当于一百二十市斤。万担，约为一百二十万市斤。首先，根据19世纪中叶的建筑和储藏水平，私人要建筑偌大的仓库，是很难的。其次，当时没有双季稻，每亩产量不过三四百斤，有的只两百来斤。地主收租一般收产量的五六成，当然也有收七八成的。如果按五成，即两百斤收租，那么，收一百二十万斤租谷，需田六万亩。魏志顺是这样的大地主吗？至少没有史料可资考证。也可以有另一种说法：万石谷是历年租谷的逐年积存，当然就不需那么多田土了。然而，不管是每年有租谷万石裴骃：《史记集解序》。
也好，是逐年积存到万石也好，都说明魏志顺是个大地主。
他不是官僚，只是个“土地主”。后来，魏志顺“家道中落”了。原因呢？据魏源的儿子魏耆的说法是：“值大饥，有司责赋急，合县惊骚，几致变。孝立公慨然赴县，毁产代输，邑众以安，家亦中落。”据《邵阳金潭魏氏二修族谱》和《宝庆府志》，为里人代纳田赋的，是魏大公，而魏耆却说是魏志顺。是父子两代都曾代纳过田赋？还是有一处误记？令人有惑不解。至于魏耆说的因“毁产代输”而“家道中落”，也令人有惑不解。而有些魏源传的传记作者，却对旧资料不加分析，照样搬来以成文，更是令人有惑不解。
其实，魏大公只传了一代，到他儿子魏志顺时，即“家亦中落”，是别有原因的，族谱也好，家传也好，府志也好，都隐忍未发。如果没有其他原因，按当时正常的消费水平，正可从反面证明，中落的魏志顺当时并不是名副其实的“万石君”。魏家家道中落的真正原因，手中没有资料，不可妄测乱断。但，从外人看来，至少人口的大量增加，是原因之一。魏志顺有四个妻子，十个儿子，将家产一分为十，或一分为十四，自然各份所得便不多了。
魏源的父亲魏邦鲁（1768-1831），字钟毓，号春煦，监生。所得遗产不多，虽然仍然可以过着温饱的小地主生活，但因已有妻室儿子，和一个需要供养的生母匡氏，也就不得不于嘉庆九年（1799）循例捐了个江苏的巡检小官，当时魏源才六岁。巡检负责地方的治安，约相当于今天的警察。
是当时县下的行政单位。魏邦鲁先后在华亭县金山司、嘉定县诸翟司、上海县黄浦司和吴淞司、太仓州甘草司、震泽县平望司、荆溪县江渚司（一作“张渚”）、海州惠泽司担任过巡检。后经长州知县俞德渊的推荐，任过苏州钱局协理五年。
到道光八年（1828），升任太仓州宝山县主簿，管理水利工作。这时，魏源已三十五岁，在京城任内阁中书。
《宝庆府志》和《荆溪县志》都载有魏邦鲁的事迹，说他好读书，“《通鉴纲目》，岁必数过”；在任巡检期间，常为人调解纠纷，又督课生童学习，颇得百姓信任；在苏州钱局工作时，知府额腾伊称他“管局一年，实能弊绝风情。且破除旧习，不受陋规，洵佐杂中难得之员”；在海州工作时，管理粥厂，日夜在岗，数月不倦，灾民称许，离任之日，灾民夹道欢送；他懂得些奇门六甲占筮之术，又懂得些医术，常为人治病。他积极参与了陶澍改漕粮河运为海运的工作，后来陶澍向朝廷请奖的有功人员名单中就有他。他逝世后，“贫不克归，遗命留窆。初无所择于何地也”。后魏源追述说：“越十年，而源卜地于阳羡山中，则江渚之民来言曰：昔魏公分司吾镇，有惠政，吾等已上其事于邑，载入《荆溪名宦志》矣。今闻魏公葬地未卜，曷仿朱邑啬夫葬桐乡故事乎？于是举其大贤山之吉地以赠以葬，是故见吴民之厚，而先考所以去乡之故。”江渚大贤山，属荆溪县。葬归故土，是封建时代的风俗和人们的大愿，但魏邦鲁太穷了，只得就地埋葬。
魏源的母亲陈氏，因上有年老瘫痪的婆母，下有四子一女，而丈夫魏邦鲁长年在外，“道远不能顾”，所有的家务只得一人肩负起来。据她儿子魏耆的文章介绍，她“只身扶掖，哺甘涤秽，数年如一日”，她“夜则燃豆秸，母绩子读，欣欣忘贫”。大概是位“贤妻良母”型的妇女。
魏源有兄弟三人，均随父居江苏。兄魏湖（1790-1840），原名达聪，字良弼，号敏旃，务农。弟魏浚（1796-1865），原名达章，字子田，以监生捐巡检。有子四：魏喜耆、魏应耆、魏福耆、魏彦。次弟魏淇（1805-1848），原名达实，字子实，以监生捐盐运使司知事，有子三：魏锡耆、魏新耆、魏裕耆。魏源有姐一人，乾隆五十七年（1792）生，嫁给魏源的朋友、郴州人陈起诗。
魏源的妻子严氏（1796-1857）为同县人、候选布政使经历严翊羲之女。其祖父严安儒，历任江西万安、东安知县，升扬州府通判、江南同知。
魏源有二子一女。长子孺耆，派名刚已，后改名耆，字英甫。道光元年（1821）十一月二十六日生，擅长书法，尤善汉隶（常称“八分书”）。但生性淡泊，“且寻名教乐，不用看吴钩”（汤贻芬所赠诗句），虽捐得知县、候补同知，却因生性和足跛等原因，从未履职。晚年笃信佛教。光绪六年（1880）去世。次子昌耆，小字润，生于道光十八年（1838）闰四月初七日，幼殇。女秀均，嫁给陈起诗的儿子陈善圻为妻。秀均的女儿后来又嫁给哥哥魏耆的儿子魏恒（1846—魏耆：《邵阳魏府君事略》。《邵阳金滩魏氏二修族谱》载：“昌耆，源公次子，字未详，清道光十八年戊戌闰四月初七日午时生，殇葬未详。”道光二十三年魏源作《悼鹤诗》，自注云：“先旦在上海，有贻双鹤者，不数日，一鹤伤足而殒。次日接家信，则闰儿殇矣。”为妻，魏恒曾担任广东揭阳县县令。