前面说过，曾国藩初到京城的时候，由于生活窘迫，一直没能回家省亲。实际上，就在曾国藩的荷包稍稍宽裕之后，也一直没能抽出时间回一次家。因为北京到湖南，路程遥远，以当时的交通情况，一个往返下来小半年就过去了。按照清朝的官吏管理制度，这么长时间的假期是不会允许的，只能暂时离职，假期满后回京重新补缺。但是“重新补缺”什么时候能补上，能补上什么位置，就说不好了。道光二十六年（1846），曾国藩的祖母去世，曾国藩因为种种原因未能成行；次年，祖父星冈公又身染重病，曾国藩无奈之下致信家中的弟弟，细说返乡之难，一旦返乡就会丢了饭碗云云。最后信誓旦旦地表示：如果长辈要我回来，我马上回来。这未免有些作秀之嫌，什么样的家长此刻也会说“以国家事业为重”，不让儿子回来。但是从曾国藩的理学造诣与后来著书立说中对孝亲伦理的推重来看，其孝心也确是拳拳。道光二十九年，父亲曾麟书六十大寿，曾国藩去信家里说一定回去，结果仍然是空头支票一张。算来算去，自道光十九年曾国藩入京，已经阔别家乡十二年了。
归家，归家，说了无数次，推脱了无数次。总以为“下次”、“下次一定”，而自己的母亲，却至死也没见到儿子的二品朝服！
对极重孝道的曾国藩，这消息岂是区区晴天霹雳可以形容？哀痛、悔恨、自责，纵万言而不能言万一！
失魂落魄的曾国藩，果断掉转船头，回家奔丧。
七八月间，烟雨纷纷，行人无心，只觉肝肠寸断。船入湘境，处处都是太平天国的战乱狼烟，令人心中更生出诸多萧杀。
9月，终返故乡。四十二岁的曾国藩伏在母亲棺木前，痛哭失声。
安葬完母亲，身心俱疲的曾国藩决定留在故乡休息一段时间，过过远离官场是非的生活，也多为长辈尽尽孝道，与弟弟们厮守。可是，这样的平静生活没过多久即被打破，次年一月，一道圣旨，任命曾国藩为湘南团练大臣。
6.洪秀全把死敌逼出了山
团练大臣是个什么官？
团练，就是地方自行筹练部队，说白了就是军阀。清朝的军队主力，乃是入关时威震四方的满人八旗军和由汉人组成、因执绿旗又多以“营”建制故而得名的绿营军。八旗、绿营军由各地提督管辖，而最终指挥权在北京。但是这两支令清政府引以为自豪的部队，却在连年的安逸环境中慢慢蜕变了，加上军队内部的腐败，战斗力极其低下。两次鸦片战争，彻底打垮了清朝军队那最后一点自以为是的尊严。这样的一支部队，在石达开、冯云山等人统领的太平军面前，自然是不堪一击。咸丰帝在对国家部队彻底失去信心的情况下，只能寄希望于各地的地方武装。清朝因为以满治汉、以少治多，经常感到底气不足，担心汉人生出二心，所以在军事上采取中央集权制，对于地方武装一直是以抑制为主。但是如今情况危急，所谓病急乱投医，也就顾不得这么多了。于是，从1852年起，咸丰帝派遣了一批中央大员回老家操办团练，组织地方武装，仅仅1853年3月到4月间就任命团练大臣四十五人。一时团练盛行，中原大地，举目皆兵。
不过，团练也不是那么好搞的。首先，既然是让官员自己放开手做，朝廷就不会干涉，换句话说，朝廷也不会给予多少帮助——如果朝廷还能分出那份闲人与闲钱，是断然不会假手汉人的。所以一切人力财力，都要由团练大臣自行解决，或者自掏腰包，或者游说地方官员拨款。但是生逢乱世，谁肯轻易把手里的存货交给一支前途未卜、名不正言不顺的部队呢？办得好，是分内的事；办不好，就要遭到上面的怪罪，完全是个吃力不讨好的苦差事。
反过来说，对于清政府而言，团练也是一把双刃剑：团练的部队，由团练大臣亲自督办，带出来的兵，就是团练大臣的个人武装，不忠于朝廷，只忠于个人。如果这样一股势力坐大了，有可能带来甚于太平军的隐患。不过头疼医头、脚疼医脚的咸丰帝已经顾不得这么多了。
且说曾国藩接了圣旨，却又十分为难。一方面，自己有孝在身，照理不能带兵，更何况自己素来重理学、重孝亲，这事传出去就不要在理学圈混了；另一方面，曾国藩自知自己一介书生，根本就是个军事白痴，在地方上又没有多大面子，建立部队已是难上加难，带兵打仗更是想想都觉得不靠谱的事。
当然，可能也有个人情绪在里面：哦，我给你提意见的时候你嫌我烦，现在想起来我啦？老子还不伺候了呢！
曾国藩考虑再三，上折子婉言谢绝了皇上的任命，希望能在家守制三年。
古代中国，礼教是历朝历代统治的根基，所以“孝”也成了和“忠”同等重要的德行，即便是统治者，也不敢忽视这个“孝”字。清朝为得汉人民心，在这方面做得尤其到位，规定无论何等官职的官员，一旦父或母去世，必须离职守制。不过有的时候，比如这个节骨眼上，实在是正当用人之际，也只能客客气气地和官员商量，回来任职，而且给予可以素服办公、不必参加礼庆活动的特别待遇，这种情况叫“夺情”。一个“夺”字让统治者站到了理亏的一面，所以“夺情”不算是成命，大臣可以拒绝。有“孝”字当前，皇帝也说不出什么来，但是拒绝“夺情”也要做好从此失宠的准备。曾国藩拂了皇帝的面子，可见此时的曾国藩确实是无心政事了。
但就在这个时候，太平军攻陷武汉，并准备进攻湖南。兵临城下，这成了曾国藩出山的契机。
曾国藩和洪秀全，本可以相安无事。太平天国哪能知道后来剿灭他们的曾妖头就是被这一波攻势“逼”出山的。
当时的情况是：太平军临近湖南，湖南巡抚张亮基吓得不知所措，赶忙找曾国藩的好友郭嵩焘作说客，拉曾国藩出山。郭嵩焘知道曾国藩素有匡复天下之志，料定曾国藩坚持守孝必然有碍于情面、扭捏作态的成分，于是与曾国藩秉烛夜谈。郭嵩焘说，“戴孝尽忠，古而有之”，然后援引古今例证，给曾国藩充足的台阶。但是曾国藩仍然犹豫。郭嵩焘确信，曾国藩心本狂野，只是终究抛不下“孝”的一张脸面，于是改变战术，直接去找曾国藩的父亲曾麟书，陈说保卫家乡之事。曾麟书一听，这还了得？赶忙找到曾国藩，教训了一通，摆出许多家国天下的大道理。至此曾国藩总算是前有君命难违、后有父命难违，如愿以偿地忠孝合一，于是不再矜持，出山督办团练。
不过曾国藩对于这个拖自己下水的郭嵩焘，始终有几分怨气，就提了一个条件：要我出山可以，但是你和你弟弟必须来我幕下做参赞。郭嵩焘做说客，不仅把自己赔了进去，还把自己的弟弟也搭了进来，做出的牺牲不可谓不大，职业操守不可谓不高。此后，郭嵩焘在曾氏麾下一呆就是四年，成为湘军组建之初最重要的幕后功臣之一。
曾国藩决定出山之后，先是写信给诸位朋友，陈说自己守孝之心和团练不得不为的衷情，作秀做到底。往好处说，在这种矛盾时刻的犹豫踌躇是曾国藩“内圣外王”人格的自然表现，毕竟自古忠孝难两全。然后，拜托内弟将家眷接回湘乡老家，安顿好家里诸多事宜。曾国藩的四个弟弟都要求随兄出征，但是曾国藩只带了曾国葆一人。
咸丰三年（1853），曾国藩“墨绖出山”，出任湖南团练大臣。后来名动一方的湘军，亦随之创建。