冯廷重老年丧子，身心受到莫大的打击，为给儿子办丧事，迫不得已卖掉了几十亩良田，从此家道彻底败落。儿子死后第四年夏天，七十六岁的老爷子也寿终正寝。父亲、祖父相继去世，家庭的生活重担完全搁在了伯父冯佶的肩上。
冯佶，字子健，别字味辛，幼年父亡，由季父冯廷重养大成人。与父辈相比，冯佶的命运更为悲惨。二十五岁时，妻子病故，撂下一子一女尚幼，决意终生不再续娶，除了含辛茹苦拉扯子女外，把逐渐长大的侄儿志沂也当成亲子来抚育。
冯佶曾参加过十次顺天府乡试，皆名落孙山，“遂不复试”，靠当塾师维持家计，后来受聘于人作书记（文书工作），也挣不了大钱，常年布衣蔬食，节俭自律到寒涩的地步。他把屡踬场屋的憾恨，化作对晚辈的期盼，决计积攒束脯供子侄读书识字。
伯父之子冯志沅大志沂九岁，经常陪小弟挑灯夜读，哥的才思略逊于弟，有时冯佶训练他俩写试帖诗和八股文，冯志沂很快能做出来。子侄之间，冯佶更器重侄儿，“衣食先之，诗书牖之，师友辅之……人皆以为其犹子也”。（梅曾亮《冯佶墓志》）
州庠原在州文庙西边的明伦堂，因处于下湿碱地，书舍年久失修，成了危房，后与城内石灰市街私人创办的斗山书院合并。乾隆初期，斗山书院归由地方政府管理，校址迁到明代振武卫废署（今代县中学西半部），州学校自此固定下来，仍沿旧名。代州是直隶州，历来州府重视当地文化教育，对斗山书院多次予以扩建增修，占地约五十多亩，招收的生员来自代州本州，以及崞县（今原平市）、繁峙、五台等县。书院按照“圣谕广训”为办学宗旨，向生员灌输“学而优则仕”的封建儒家思想，管理严谨，学风浓厚，是晋北的名校。
冯志沂在读期间，先后受业于静乐优廪生高振言，宛平岁贡生秦驹，本州岁贡生贾仰魁、姚勋、冯衍洛，以及陕西进士马筮乾，满洲进士喜禄诸位先生。
贾仰魁擅长古文词，对好学上进的冯志沂情有独钟，刻意教授他写文章，作诗赋，还赠给《小仓山房诗文集》（清袁枚著）和《船山诗草》（清张问陶著），让他在功课之外认真揣摩。
马筮乾写的馆阁体字挺漂亮，冯志沂请教写字的秘诀，马先生首先从间架结构上示范，然后从诸法帖找出古人运笔方法给以点拨，并要求他坚持常年积学累功。
秦驹通音律，姚勋精于算学，冯衍洛谙熟地理，各有专擅。
在先生们的教诲下，冯志沂简直如坐春风，进步特快，十四岁食饩，十六岁应院试，考得了代州儒学优廪生（秀才第一名），受到山西学政范近薇的单独接见，嘉勉他为“雁门奇童”。
正好院试结束的几天里，在朝廷做大官的族伯冯芝归里省亲，伯父冯佶特地携侄志沂去老宅那边拜望。冯佶和冯芝同庚，虽说身份地位悬殊，见了面并不拘谨，两人寒暄过后，冯佶便把志沂的几篇文章递与冯芝烦请点评。冯芝吸溜着水烟袋，仔仔细细过目一遍，连叫了几声“好！”且说：小侄年甫十四，即有声序，可见器识之远大，将来定能夺得巍科；今后，我出钱供他念书。冯佶赶紧说：这可使不的，我还没七老八衰呢，有力量供他念下去。冯芝说：咱俩别争执，就这么定了，也算报答你父毅庵公（冯廷重号毅庵）对我家的恩情，现在讲给你听，你就明白了：
时在乾隆五十四年，我五岁，父任江西南昌尉，祖父、母亲和我俱随父宦居。父因性情耿直，得罪了省府某大僚，被罢官免职；回归代州途中，先去江苏南京外祖父家住了一段时间后，乘船走大运河水路北上，行至邵伯镇，本来心情不好的父亲突然中了暑，不幸猝死在船内，祖父、母亲哀伤至极，整日呜咽泣啼；我也得了痢疾，奄奄待毙，年迈的祖父手足无措，又无依无靠，惶惶不可终日，老少三口几乎沦为漂泊，情急之中的母亲悉数将带的细软和衣物典卖掉维持存亡。就这样，一路颠沛，行至河北静海县，投靠你父毅庵公，毅庵公时任静海主簿，见我们一家子死的死，病的病，那个凄惨状，大吃一惊，赶快叫衙役买了口棺材，将父亲的尸体入殓，停放在县城北的一座小庙里，随后把祖父、母亲和我安顿在他的官寓住下。谁知住下以后，畿辅连降大雨，静海尤甚，洪水滔滔涌进城内，停棺的小庙首当其冲，毅庵公不顾一切，冒雨驾小舟奋力防洪堵水，那口棺材才没被洪水卷去。
在静海，全家得到毅庵公无微不至的照顾，过了半年，祖父也因哀戚过度而亡。我的母亲以旅魂未安，念我年幼聪敏，“终不作依人计”为由，决意归里；毅庵公凑了些银两，并雇了车马，亲自护送，千里迢迢回了代州。感激万分的母亲，给毅庵公连磕了三个响头。
回到代州，母亲卖掉老屋，安葬了祖父和父亲，租了西城门外香圪坨那里的三间破房住下，为他人做针线绣荷囊挣点小钱为生。待我进学后，母亲严定课业，按时检查，寒暑无间；嘉庆六年应乡举中式，捷报传至，母亲正给他人推磨，乡邻齐来祝贺，母亲说：中了举就衣食无忧了吗？仍推磨不止。过了几年，考中进士，入翰林院，遂把母亲接到京师。
多年来，母亲数次给全家讲述那段心酸的往事，我所以能有今天，幸赖当年毅庵公的救助之恩。
接着又对冯志沂讲：《小学》、《四书》既明，胸中当有权度，经、史、子、集，音义、旁证等书必为今后课业，先择制度之大者，如律历、礼乐、兵刑、职官、郊祀、天文、地理、赋役、井田、学校、贡举等，反复熟看，择其要旨抄录，贴于壁上，随时诵读。所读之书，约有五、六十种，知汝家寒，实难购全，吾族翠滴楼藏书甚富，当可满足需求。谨记着朱子的读书之法：循序渐进，熟读精思，虚心涵泳，切己体察，着紧用力，居敬持志。
冯志沂听了族伯的话，深受鼓舞，暗暗下定决心，刻苦读书。
翠滴楼，清早期建筑，砖木结构，单檐二层，因匾题“翠滴楼”三字故名，为冯氏家族的书库，内里藏贮着历代善本典籍和冯氏先人自辑自刊的遗著万卷，通常情况下，不叫人随便进去，看管甚严。
冯氏家族在城内西北街有好几处大院；主院，五进四合式布局，习惯称老宅。花园两处，城隍庙后的叫西花园，老宅东侧的称东花园，取名“知园”。园名“知”者，为“知止知足意也”，是祖辈先人颐养天年的别墅。
据说西花园主，长期居官外省，园林荒废，清末出卖了。知园则比较幸运，从清初直到抗日战争，长达二百六十多年的时间里，始终是冯家的祖业。东花园比西花园的面积更大，园内辟丘阜、假山、池塘、曲水、花圃、菜畦。假山之上，翠滴楼屹然，山下临水建“半华亭”。周植槐、桑、榆、柳、桃、杏树，别具景趣。
冯志沂记得，每年正月，母亲必带他去冯氏宗祠祭祀祖先，祭祀结束，逐门给老宅的爷爷奶奶们拜大年，爷爷奶奶们见了本族娃娃总要给几个压岁钱。长辈们拉家常叙旧事，得到压岁钱的小孩们，蹦蹦跳跳结伴跑进知园捉迷藏、荡秋千，甚至爬墙上树，尽情撒欢。有一年正月，冯志沂和小朋友们在假山上的翠滴楼旁玩耍，好奇地用手指捅开下层楼的窗棂纸朝里窥视，只见一排排的书架上满是书籍，印象特深。
自从族伯冯芝放了话，管理翠滴楼的本家叔叔对冯志沂相当热情，只要提出上楼看书，就大开方便之门，任由浏览，就像蠹鱼一样在书堆里钻来钻去。
伯父冯佶，虽与举业无缘，但人穷志不短，仍手不释卷，口不停诵，日以读书砺行为事。曾经讲述过许许多多古贤做学问的故事，激发子侄的学习兴趣，特别告诫：冯家虽代累簪缨，而尤其重视耕读传家的遗风；你们既然有志于学，即当尚志，为学“以道为志”，为人“以圣为志”，万不可稍有懈怠。
伯父的言传身教，潜移默化的感染着冯志沂，几年中，心无旁骛，奋志勤学，为后来跻身仕途，奠定了坚实的基础。