在绿营军中，曾国藩独与一位将领交好，他就是旗人塔齐布。曾国藩见塔齐布不仅骁勇善战，而且没有旗人和绿营兵那种懒散腐败的大爷习气，觉得他是一个可用之才，就聘请塔齐布做团勇的教官。塔齐布为了报答曾国藩的知遇之恩，也自然是乐于效命。可是这样一来，在排挤曾国藩的绿营军内部，塔齐布就成了一个异类。
一次，曾国藩命令会操，结果只有塔齐布率部及时到来，长沙协副将清德则纵容手下的绿营兵，不仅不参加会操，还反过来嘲笑塔齐布阿谀曾国藩。曾国藩一气之下向湖南提督鲍起豹告状，说清德纵容绿营兵不听号令。清德不服，反过来控告曾国藩严酷操练虐待士兵、越权组织会操破坏营制，破坏了大清国历来“文官不问军务”的体制，两人的矛盾骤然升级。鲍起豹显然是和清德站在一条战线上的，早就想趁机收拾一下这位无名无分的钦差大臣，于是授意清德：“你随便干，我睁一眼闭一眼。”清德愈加嚣张，竟然煽动手下绿营兵发动兵变，攻击塔齐布的营帐，捣毁营房，又打进曾国藩的团练大臣衙门，枪击曾国藩的护卫随从，还差一点打伤曾国藩。
部队哗变，以下犯上，在历朝历代都是人头落地的大事情。可是到了巡抚骆秉章那里，却不了了之，仅仅是象征性地处置了几个“带头”的士兵，至于背后主使鲍起豹和清德，则一点儿都没受影响。于是湖南府上下议论纷纷，说曾国藩妄自尊大，越权插手绿营事务，被打个屁滚尿流也是自取其辱。曾国藩听在耳里，烦在心上。更要命的是，这次事件要是这么处理了，再有哗变，就算哪一次不小心有“流弹”“误杀”了团练大臣，估计也就是“湖南府深表遗憾”而已。再这么呆下去，不仅自己的抱负实现不了，搞不好小命也要赔进去。
于是，1853年9月，曾国藩自动离开长沙，率部去了衡州。
表面上看，曾国藩这是受人排挤，黯然出局，从大都市搬到小地方，一派凄凉悲苦的景象。实际上曾国藩这是以退为进，另立山头。原来在长沙，在人屋檐之下，曾国藩又是一个生性不好低头的人，自然是没少撞到头，没沾多少光，反而凭空搭了很多心血；来到衡州，则是自立山头，自主创业，少了束缚反而易于成事。而衡州也不是随便挑选的：一方面，衡州北邻衡山，处于水路之冲，作为演兵、屯兵的据点是十分优越的；另一方面，衡州是曾国藩妻子欧阳氏的故乡，也就是曾国藩的娘家，亲朋好友众多，不仅有亲切感，面子也更大。还有长沙作为湖南省城，封疆大吏不少，自己一个离京的京官、没权的团练大臣，在官僚林立的长沙官场什么都算不上，但是到了衡州就大大的不一样了。小小衡州府衙不可能不给京里来的大人面子，如此各方面节制调度也更方便。衡州知府陆传应不过从四品，比曾国藩低了五级，曾国藩仅仅放下官架子，按年岁辈分对陆以“兄”相称，就让陆传应受宠若惊、深受感动了，对这位二品的“小弟”自然也是有求必应。
搞定了外部因素，曾国藩就有时间好好进行自身的整顿了。曾国藩在长沙的经历之后，学乖了不少，不再一味蛮干，而是多从自己身上找原因。曾国藩明白，依附于地方官场组建部队，最多也就限于“乡勇”的民兵游击队水准，而且还受各方面的限制，练到最后最多只能比绿营兵强那么一丁点儿，真想靠这样一支部队对抗摧枯拉朽的太平军，简直是开玩笑。所以曾国藩安顿下来之后做的第一件事就是组建一支不同以往的队伍。他把手下的干将们派到各地征集兵源。不久捷报频传，首先是老乡李元度带来五百新募集的平江勇，然后曾国葆、李续宾募来二千五百湘丁，江忠源之弟江忠济又带来一千多人，曾国藩手下一下就有了五千人的大队人马。另一边，郭嵩焘虽然没弄来人，却弄来了二十万两军饷，衡州知府陆传应看曾国藩声势日壮，拿出库银十万两以“借用”之名“入股”。这下，钱的问题也迎刃而解。曾国藩又写信给骆秉章，“借”来了塔齐布、杨载福、周凤山三名将领——自然，这一“借”就成了刘备借荆州，塔齐布等人算是正式被湘军挖了墙角。这些人构成了曾国藩“新湘军”的班底。
湘军自然要有新气象。曾国藩好好总结了从前的经验教训，在治军上也弄出了新路数。
一是严把兵源。老湘军虽然名为湘军，但是并没有严格按照户口所在地征集，而且当时正逢长沙兵荒马乱，很多穷困潦倒的、活不下去的、想做土匪强盗却没这个胆子的，都抱着蹭饭吃的心思跑来参军。本来是想做强盗而被淘汰的，怎么可能打得过强盗？这些当兵蹭饭为生的“兵油子”，吃饭的时候一个顶俩，打仗的时候溜得超快。所以士兵的底子就决定了这样一支部队练不出什么名堂。曾国藩此次征兵，一概只要湘乡的老实农民，淳朴勇悍，可堪驱驰。曾国藩一介书生，自知做不了司令员，但是政委还是能做的，所以经常做政治思想工作，通过训话等方式把忠义思想灌输给他们。乡民们本来就是白纸一张，经曾国藩这么一改造，就成了满腔忠烈的湘军死士，战斗力自然和之前是天壤之别。
二是死抓兵权。本来曾国藩只是一个无权的团练大臣，咸丰帝给他的任务是“帮办”，就算调教出再好的部队，回头也要留给他人指挥。清朝的军队制度本来就是兵将分离，将领经常更换，所以也没有什么兵将间的归属可言。这样的好处是可以防止大将拥兵自重，但是坏处是兵将之间缺乏默契，经常有指挥不灵的情况。曾国藩这次训练新湘军，就是要死抓兵权，自己练兵自己带兵，部队只听命于最高统帅曾国藩，对大清国倒是没什么忠诚可言。按理说，曾国藩这是大大的越权，不仅触犯了清朝“文官不问军事”的规矩，更是明目张胆地和国家叫板争兵权。不过曾国藩有江忠源帮腔，上书咸丰帝说曾国藩是为他江忠源训练士兵，这样曾国藩就是合理带兵了；这支“新湘军”的“军籍关系”落在江忠源那里，而由曾国藩实际指挥。这种挂靠经营的方法在现在商界中很常见，但在当时绝对是曾国藩的创新。
三是严肃军纪。抓兵源、抓军权，说到底都是为了能严肃军纪。曾国藩将队伍分为各“营”，每营都有指定的将领，将领都听命于曾国藩，形成兵属将、将属帅的指挥网。当然，也不是所有将领都愿意和国家正规军脱离关系而归属于曾国藩个人。曾国藩手下的将领王錱，本来受命去征兵，结果手头有了兵就对曾国藩的召唤置若罔闻，反倒跑去和排挤曾国藩的湖南巡抚骆秉章眉来眼去勾勾搭搭。曾国藩勒令王錱将征集的兵按照湘军军制分成三营，除了王錱自带的一营之外其他两营悉数“上交”，但是王錱却说只听令于“官方”骆秉章；骆秉章说好好的部队怎么能裁撤？都由你带领在我手下干吧！于是曾国藩的命令被当成了耳边风。本来曾国藩十分看好王錱，但是为了严肃军纪，也只好忍痛将王錱逐出湘军体系，与之一刀两断。自此湘军上下，都知道不管是谁在曾公手下拥兵自重都是没有前途的，而曾国藩又是个亲疏明确、赏罚分明的人，对手下仁爱怀柔，对背叛的人毫不留情。后来王錱在骆秉章手下越混越差，不仅队伍因为饷银紧缺遭到裁撤，自己也因此不受重用。有此前车之鉴，也就没有人再起违抗军令的想法了。
四是组建水军。咸丰二年十一月，太平军征用民船组建水军，挥师南下，次年兵临武昌。清朝水军经过两次鸦片战争，战斗力已经大打折扣，在对抗太平军水师的战斗中只能被压着打。咸丰帝见陆地打不过水面上也打不过，心里愁得一塌糊涂。曾国藩料到咸丰的心病，便通过江忠源上书，提出组建水军。于是咸丰帝即刻下诏命令组建水军。曾国藩有了上谕做靠山，开始开开心心地扩军。没船，曾国藩奏请咸丰拨款四万两在衡州建立造船厂，虽然名义上是国有，但是实际上成了曾国藩的个人造船厂；没人懂造船，就找到广西同知褚汝航、岳州守备成名标负责督造；没有大炮，索性直接购买威力巨大的洋炮；没有兵士，因为衡州、永州一带民风刁钻，受太平天国影响也很深，索性都从家乡湘乡招人，虽然湘乡人普遍水性不济，不过这玩意都是可以练出来的；没有将领，曾国藩就派人四处寻访，关键时刻不惜亲自效仿刘备三顾茅庐，终于寻获彭玉麟、杨载福两位能人干将，后来这二人都成为晚清军史上响当当的人物。一来二去，不过一年工夫，一支雄纠纠气昂昂的湘军水师就组建起来了。
经过曾国藩的悉心经营，到了1853年，湘军已经有了陆水两师近万人，战船360条，洋炮320门，虽然在太平军的人海攻势面前难称声势浩大，但是训练有素，装备精良，可称精锐。
正在曾国藩踌躇志满之时，1953年3月，传来了太平天国定都南京的消息。
曾国藩和他的湘军登场的时候到了。
4.败得灰头土脸
1854年2月25日，这是一个在清史和中国近代军事史上需要浓墨重彩写上一笔的日子。这一天，曾国藩的湘军正式站了出来，向太平军宣战。
这一天，在衡阳一座宗祀的广场上，曾国藩对列阵在前的一万多湘军水陆将士，郑重地宣读了讨伐太平军的檄文。
这篇《讨粤匪檄》出自曾国藩的亲笔。书生带兵，一切都讲一个规矩，宣战自然要有宣战的样子。所以这篇檄文，曾国藩下了大力气，不仅言辞有力、感情充沛，而且极具针对性和感染力。一个杀气腾腾的书生本来就比一个杀气腾腾的大兵更具震慑人心的力量，加上曾国藩天生的阴狠之气，在早春料峭之时以声嘶力竭的湘乡口音宣读这篇檄文，自然有着无与伦比的煽动性。湘军将士的士气与戾气被一起点燃了，犹如三年磨一剑，乍一出鞘，积蓄的锐气扑面而来，出鞘便无不见血之理！
这样一篇檄文，因笔者水平所限，实在不能尽数转述出其中的奥义，只能一字不易地原样搬来：
为传檄事：逆贼洪秀全杨秀清称乱以来，于今五年矣。荼毒生灵数百余万，蹂躏州县五千余里，所过之境，船只无论大小，人民无论贫富，一概抢掠罄尽，寸草不留。其掳入贼中者，剥取衣服，搜括银钱，银满五两而不献贼者即行斩首。男子日给米一合，驱之临阵向前，驱之筑城濬濠。妇人日给米一合，驱之登陴守夜，驱之运米挑煤。妇女而不肯解脚者，则立斩其足以示众妇。船户而阴谋逃归者，则倒抬其尸以示众船。粤匪自处于安富尊荣，而视我两湖三江被胁之人曾犬豕牛马之不若。此其残忍残酷，凡有血气者未有闻之而不痛憾者也。
自唐虞三代以来，历世圣人扶持名教，敦叙人伦，君臣、父子、上下、尊卑，秩然如冠履之不可倒置。粤匪窃外夷之绪，崇天主之教。自其伪君伪相，下逮兵卒贱役，皆以兄弟称之，谓惟天可称父，此外凡民之父皆兄弟也，凡民之母皆姊妹也。农不能自耕以纳赋，而谓田皆天王之田；商不能自买以取息，而谓货皆天王之货；士不能诵孔子之经，而别有所谓耶稣之说、《新约》之书，举中国数千年礼、义人伦诗书典则，一旦扫地荡尽。此岂独我大清之变，乃开辟以来名教之奇变，我孔子孟子之所痛哭于九原，凡读书识字者，又乌可袖手安坐，不思一为之所也。
自古生有功德，没则为神，王道治明，神道治幽，虽乱臣贼子穷凶极丑亦往往敬畏神祗。李自成至曲阜不犯圣庙，张献忠至梓潼亦祭文昌。粤匪焚郴州之学官，毁宣圣之木主，十哲两庑，狼藉满地。嗣是所过郡县，先毁庙宇，即忠臣义士如关帝岳王之凛凛，亦皆污其宫室，残其身首。以至佛寺、道院、城隍、社坛，无朝不焚，无像不灭。斯又鬼神所共愤怒，欲一雪此憾於冥冥之中者也。
本部堂奉天子命，统师二万，水陆并进，誓将卧薪尝胆，殄此凶逆，救我被掳之船只，找出被胁之民人。不特纾君父宵旰之勤劳，而且慰孔孟人伦之隐痛。不特为百万生灵报枉杀之仇，而且为上下神祗雪被辱之憾。
是用传檄远近，咸使闻知。倘有血性男子，号召义旅，助我征剿者，本部堂引为心腹，酌给口粮。倘有抱道君子，痛天主教之横行中原，赫然奋怒以卫吾道者，本部堂礼之幕府，待以宾师。倘有仗义仁人，捐银助饷者，千金以内，给予实收部照，千金以上，专折奏请优叙。倘有久陷贼中，自找来归，杀其头目，以城来降者，本部堂收之帐下，奏受官爵。倘有被胁经年，发长数寸，临阵弃械，徒手归诚者，一概免死，资遣回藉。在昔汉唐元明之末，群盗如毛，皆由主昏政乱，莫能削平。今天子忧勤惕厉，敬天恤民，田不加赋，户不抽丁，以列圣深厚之仁，讨暴虐无赖之贼，无论迟速，终归灭亡，不待智者而明矣。若尔披胁之人，甘心从逆，抗拒天诛，大兵一压，玉石俱焚，亦不能更为分别也。
本部堂德薄能鲜，独仗忠信二字为行军之本，上有日月，下有鬼神，明有浩浩长江之水，幽有前此殉难各忠臣烈士之魂，实鉴吾心，咸听吾言。檄到如律令，无忽！
这篇檄文，先是力陈太平军对黎民百姓的荼毒，再痛斥拜上帝教对礼教秩序的毁坏，然后宣示自己出兵报国保教的正义性，最后动员乡绅百姓给予财物支持，策动太平军内的部分人及早“投诚”。一气呵成，理正词严，正气浩然。虽然不敢妄言可与陈琳的《讨曹操檄》和骆宾王的《为徐敬业讨武曌檄》媲美，但是跻身唐宋以来的上等檄文之列，亦无惭色。