在安庆的这些日子里，冯志沂的心情并不舒畅，这是因为打仗立过功的人，都想争皖按缺位，如若落空，肯定要给现署的皖按出难题找茬子，他不得不事事提防着。
巡抚英翰是个满官，他有无推荐的旗籍将领？应该有。但他受过乔松年的提拔，知道乔与冯的私人关系，且顾忌冯是老资格的司法官员，既有威望，又有才干，还不敢明目张胆排挤。两人之间似乎有一层无形的隔膜。
臬署的属吏员弁，多半是“官亲”和花钱捐官进来的，不通文墨者有之，蝇营狗苟者有之，办事敷衍者更不用说。因此，行使政务很不顺当。
再者，家里来信说，妻子已患病年余，理应请假回去看看。
苦闷之中，他决计不想就这样“溷吏事”了，给一向关怀自己的老尚书许乃普写了二首诗，表达了弃职归乡的念头，后一首曰：
早岁曾叨荐祢书，无成空悔术迂疏。
当时遇合犹难冀，今日筋骸殆不如。
岂意黄金酬骏骨，翻劳白简吓雏。
此生自断非无计，勾注山中好结庐。
——《寄上许滇翁冢宰》
随着岁月的流逝，冯志沂的怀旧感越来越浓。在奉和友人的诗里，大多带有追忆往事的情调。
记忆尤深的是，老尚书许乃普乐与文士饮酒、赋诗、写书法。自己居京那些年，经常应邀赴宴，发现老尚书不酌贪泉之水，全用廉俸设馔待客，深为敬佩。咸丰三年承蒙举荐，参佐晋戎幕，结果短暂的一年，无功而返，有违了许尚书的苦心。
刻骨铭心的还数赴任庐州途中，被胜保奏留于军幕，以礼相待，没想到胜保获罪解京师，自己险遭纠弹，又无功而返。
任了庐州知府，乔中丞不介意彼此的官崇与卑，提携入幕，肝胆与共，诸事顺遂。岂知乔公改任了陕西巡抚，挚友裕庚也随从而去。
冯志沂和友人坦言：知我者，水流云散。我像愚公一样，干得白了头，反而被人嘲笑讥讽；生了气就想辞归，又苦于和老妻拌嘴。罢了，既然为官一方，那就甘当马牛，任由役使就是了。
古人云：哀莫大于心死。曾与属下漫谈时，话题转到自己的生死上来，说：“吾若服官赏戴花翎，死期就快到矣。”在座的人很惊讶，不约而同地问其缘由，他平静地解释道：“自推五行，位至监司而止。”（监司：按察使。）
署任臬司之职，等于两副担子一肩挑，不堪重负，他以“才不胜任”为由，写了一份交卸署职的奏折，上报了朝廷。所谓的“才不胜任”，不过是借口而已，真正使他不可忍受的，是卑鄙小人散布的谗言谤语；较之工作，精神上的折磨更大。
正等待上面批复的时候，学政朱兰报满谢病将归故里。
朱兰，字久香，号耐庵，浙江余姚人，道光九年的探花，担任过御史、学政、工部侍郎等职务。两人在京师就相识，有文字之交。
朱兰卸职，河南学政景其浚来皖接任，冯志沂对其人不太了解。刚上任的景学使巡视天长县，新县令初出茅庐，不懂“孝敬”长官的那套潜规律，景学使满脸不高兴，回署后，叫嚷接待的规格不高，“供张不丰”，毁伤天长县令。
冯志沂听了，非常反感其不体恤下情的官僚作风，愤然以天长县地瘠民贫为据与景学使辩白，学使恼羞成怒，声言以后报复。有个叫路玉阶的人，因事被革去知县之职，游幕景某门下，与冯志沂旧有隙见，趁机向景某说冯宴饮挥霍，有贪枉嫌疑，进行煽风点火。
殊不知，自咸丰朝以来，是官俸减扣最严重的时期，户部议定，各省文职养廉，自一品至七品，暂给六成。咸丰六年，朝廷以体恤为名，增给俸银，三、四品官员酌情给八成。冯志沂四品官，在享受八成之列。减扣官俸的另一种形式是摊捐，又称扣廉，政府财政不敷支用的军需、河工等项，以摊扣官员的廉俸补足，实际带有一定的强制性。
按冯志沂给友人的信中透露，每月的“养廉及津贴计之可二百余金。”怎么支用呢？“由官至隶，每日吃饭者百人以上，每人八十文。”而幕友之修金、节礼、月俸以及接济家兄家姐，都得从这二百金里支出。还有“道台有信，为敝年侄告帮”，“学台有信则为敝座师求助，此皆义不容辞之事……”这些余外开支更不可漠视。
冯志沂负债累累，无人不知。可恨的是，频频遭到暗箭中伤，实难忍受其辱，气愤之下，写了三言绝命诗：“吾遭毁，惊吓死。路玉阶，伤天理。七尺躯，亡淮水。”欲投淮河寻死。巡抚英翰怕事情闹大，自身受牵连，极力为景其浚弥缝，同时给冯志沂说了好话，才掩盖住这件事，他白白受了些冤枉气。
二月初，僚友陈心泉将去湖北江汉书院任山长，他置酒饯送时，写诗倾诉了自己的失意：
卅载文书溷部曹，六年尘土满征袍。
不平谁问玉棋局，相报惜无金错刀。
世议随人难措手，吾侪快意且持鳌。
九重若问民艰苦，盗贼犹存米价高。
——《次韵答陈心泉观察即以送别》之二月底，拜接到赴皖南道任兼署皖按的谕旨，他很快给京中的董文焕寄了一札，内称：“……兄此官不愧‘贫而乐’三字，虽万金一品，不愿升矣！”
“贫而乐”出自《论语》，郑玄注云：“乐为志于道，不以贫为忧苦。”
冯志沂向来坚持安贫乐道的为官准则，深信自己守住了人格的底线，问心无愧。所谓“万金一品，不愿升矣”，实乃彻底看透了龌龊的官场，即使职位升得再高，也难有所作为了。