与1837年的科考“中与不中”相反，在宿敌洪秀全领导着太平天国越做越大、春风得意的时候，曾国藩则在经历一系列的秋风不得意。
第一件让曾国藩感到心神不宁的事情就是道光帝的驾崩。1850年，即道光三十年正月十四日晚，道光帝召集群臣到寝宫，宣布了太子和亲王的人选，午夜时分驾崩。对于曾国藩而言，虽然道光皇帝不太喜欢自己的长相，但终归把他从一个从七品提拔到今天的二品大员，这个恩情，是无法否认的。说到底，道光帝心中对这位“面容不雅”的臣子是高看一眼的，否则又怎么可能让他十年之内七次升迁、连升十级？对一个汉族官员来说，这样的待遇，真可以算得上是皇恩浩荡了。何况曾国藩修理学、重人伦，对于君臣之道尤为在意，如今自己侍奉的皇帝变成了先帝，又怎能不心起波澜？
除此之外，曾国藩深知，自己能有今天之高位，一靠穆彰阿的提拔，二靠道光帝的喜欢，而穆彰阿又是靠着道光帝才身居高位的，归根结底，自己今日之地位皆是拜道光帝所赐。而今道光帝驾崩，所谓“一朝天子一朝臣”，穆彰阿失去了靠山，在尔虞我诈的官场，地位必然不保。这样一来，维系自己高位的两根台柱子尽数倒塌，只恐未来的仕途会遭遇坎坷。
曾国藩只猜对了一半。
道光帝的儿子，即咸丰帝，即位之后的第一件事就是罢免了穆彰阿。我们看看咸丰罢免穆彰阿的诏书：
穆彰阿身任大学士，受累朝知遇之恩，保位贪荣，妨贤病国。小忠小信，阴柔以售其奸；伪学伪才，揣摩以逢主意。从前夷务之兴，倾排异己，深堪痛恨！如达洪阿、姚莹之尽忠尽力，有碍于己，必欲陷之；耆英之无耻丧良，同恶相济，尽力全之。固宠窃权，不可枚举。我皇考大公至正，惟以诚心待人，穆彰阿得肆行无忌。若使圣明早烛其奸，必置重典，断不姑容。穆彰阿恃恩益纵，始终不悛。自朕亲政之初，遇事模棱，缄口不言。迨数月后，渐施其伎俩。英船至天津，犹欲引耆英为腹心以遂其谋，欲使天下群黎复遭荼毒。其心阴险，实不可问！潘世恩等保林则徐，屡言其“柔弱病躯，不堪录用”；及命林则徐赴粤西剿匪，又言“未知能去否”。伪言荧惑，使朕不知外事，罪实在此。若不立申国法，何以肃纲纪而正人心？又何以不负皇考付托之重？第念三朝旧臣，一旦置之重法，朕心实有不忍，从宽革职永不叙用。其罔上行私，天下共见，朕不为己甚，姑不深问。朕熟思审处，计之久矣，不得已之苦衷，诸臣其共谅之！
仔细看来，咸丰罢免穆彰阿，也不是出于什么名正言顺的理由。主要是嫌穆彰阿在鸦片战争的外交事务上站错了队，站在了主和派一方，因为最后签订的不平等条约让咸丰的爸爸道光帝无颜面对祖宗，所以有罪。其实细究起来，举凡对外战争，有主战必有主和，最后是战是和，终究是皇帝拿主意。结果先是没打过，办了主战派的大臣；和谈的结果丢了祖宗的基业，于是又办了主和派的大臣。更过分的是，诏书里还说穆彰阿说林则徐“柔弱病躯，不堪录用”，因此又加了一条陷害忠良的罪名。其实办了林则徐还不是皇帝自己的意思？皇帝把人家推到坑里就不是错，穆彰阿多踩了一脚就有万般不是。可见，咸丰帝这是“欲加其罪，何患无辞”，说到底不过是新官上任三把火，办掉一个大官杀鸡给猴看，镇一镇这帮臣子，免得群臣总是拿豆包不当干粮，还把皇帝当成有心无力的小皇子。另外，穆彰阿在朝中党羽众多，如果有一天生了二心，也是一件比较麻烦的事情，不如及早下手，以绝后患。
这一点，曾国藩早就料到了。所谓树大招风，中国——尤其清朝——的皇帝又都有办掉先帝近臣的传统，所以穆彰阿的倒台并不奇怪。所幸穆彰阿平时行事不算太高调独断，对咸丰帝也没有不敬，所以只是罢免，对照乾隆朝的和珅，穆彰阿也算是受了浩荡的皇恩。尽管如此，曾国藩还是为恩师深深感到惋惜，日后每每经过穆府旧宅，看到人去宅空，也是嗟叹不已。
中国有句老话——“墙倒众人推，鼓破万人锤。”咸丰帝办掉穆彰阿，就有许多人顺风而上称赞皇上英明。中国还有句老话，叫“树倒猢狲散”。对于曾国藩来说，不仅穆彰阿这棵大树倒了，甚至连道光帝这老根也掘了出来，自己的地位必定会岌岌可危。不过这一点曾国藩倒是想错了。道光帝曾经关照过咸丰，曾国藩这个人“可用”。咸丰听了老爹这句话，虽然罢免了穆彰阿，却没有动曾国藩。曾国藩提心吊胆了一阵子，发现没有什么动静，后来听说是因为道光帝临终前力保自己，更是感激得涕泪横飞，发誓一定会拼死报效皇恩。
不过曾国藩报效皇恩的方式有些特殊，就是以死直谏。从安葬道光到上书《敬陈圣德三端预防流弊》，这些前面已经说过，总之是干了一大堆让咸丰帝不待见的事情。大道理上是一片忠心至死不渝，但是听着呢却又让人不痛快，搞得咸丰帝对他是哭笑不得，毫无办法，只好不理会，照例每天批着“知道了”，虽然不曾降过曾国藩的半品官职，却已经在不经意间把他边缘化了。
曾国藩不是傻子，对于自己此刻的处境，他是一清二楚。一片赤诚报国之心却被皇上当成了驴肝肺，自己拼死上谏结果却不了了之，求仁不成反成了冷笑话，倒比自己被皇帝处死更加尴尬。这让对先帝感激涕零的曾国藩开始对年轻的新帝心灰意冷。而此时京师朝野上下也不安生，广西的太平天国之乱愈发不可收拾。前文提到的朝廷派出剿匪的钦差大臣李星沅，到了广西地界发现新任命的广西提督向荣和广西巡抚周天爵非常合不来。这两人一军一政，互不服气，经常生出矛盾，每每是帐外清军战长毛，帐内提督战巡抚，平白贻误了很多战机。李星沅在中间充当和事老，结果里外不讨好，只好上奏咸丰皇帝说无法调度各路军队，请求另派统帅前来，其实是想早点离开这是非之地。咸丰皇帝非常生气，下诏斥责李星沅，并且派自己的亲舅舅、大学士赛尚阿为钦差大臣。本以为皇族出马一个顶俩，结果没等塞尚阿抵达战区，急于戴罪立功的钦差大臣李星沅就在战场上被太平军一波反攻吃掉手里大半兵力，最后竟然忧惧而死。咸丰帝大怒，斥责向荣、周天爵围剿不力，将向荣降三级留用，撤销周天爵的总督衔，虽然让他继续担任广西巡抚，但不许他再过问军事。望着被一股农民起义军就弄得鸡飞狗跳的朝廷，曾国藩真的是对它不抱什么期望了。
就在这个烦闷不已的当口，他突然得到了一个暂时从一团乱麻的北京城中解脱出来的机会。咸丰二年（1852），咸丰帝任命曾国藩为江西省乡试正考官，到江西主持考试。也许咸丰帝此举只是想把这个麻烦的家伙支开，省的他在这个节骨眼上再来添堵，可这正遂了曾国藩的心愿。曾国藩借这个机会向咸丰帝请了个长假，回家省亲。
当时，谁也没有想到，这个长“假”竟然长达十数年之久。而当曾国藩十多年后再回京城的时候，他的人生已然是另一番模样。
曾国藩离开北京之后，一路直奔江西。7月25日，就在人到安徽的时候，突然接到家里传来的消息：母亲于6月12日病逝！
这一下彻底打乱了曾国藩的行程计划。