鉴人奇才——陈士杰
曾国藩哀叹湘系各立门户，找到了掌鉴人术的奇才陈士杰，陈士杰冒死劝谏曾国藩顾全大局，又亲救曾国藩于死地，定计取得湘潭之战的胜利。
早在咸丰二年（1852），胡林翼在贵州任知府时，就认为兵既不可用，应该团练乡民以自救。他说团练乡民之利有五大端：
不以远方的游民充练，必以本地之农民为勇。他们熟悉本地的地形地势。其利一。
农夫性质朴实，自保身家之念甚切。其利二。
官兵视国帑为应得之物，受恩而不知感恩。小民勤苦，得微利而感激出于至诚。“武弁文吏，身列仕途，恩极则滥，即自以为应得之物，而士民之稍异庸流者，望顶戴、官职如登天，驭而用之……其力自倍。”其利三。
读书应试不得科名者，在乡者比比皆是，此中人材颇多，狡悍凶恶者亦不乏人，不如因其材而用之，非惟足以销弭隐患，反而为我增添平定“贼寇”之将领，为我驰驱。其利四。
练乡民，守御本地本乡，能得其死力，“贼无阑入之势，民无裹胁之虞，粮食不遭劫掠，贼焰自可衰息”。其利五。
湖南地主士绅也一致认为清军不堪一击，只有依靠自己团练勇丁，或是防守本地，或是组织成军，直接与太平军对抗，以代替窳劣无能的官兵。为此，湖南地主阶级中形成了一股“自救”运动。曾国藩从办理团练到编练湘军，就是这种所谓自救运动的体现。
咸丰二年十二月初四日，太平军攻占了华中重镇武昌，咸丰帝极为惊慌。曾国藩便抓住这个时机，于二十二日上奏说：“逆匪”攻陷湖北省城武昌，凶焰愈炽，湖南、湖北、江西、安徽等省，都是太平军所觊觎之地。目前长沙兵力单薄，湖南各标兵丁大多随署湖广总督张亮基调往武昌，不足以资守御。现我在省城成立团练一大团，认真操练。此外，就各县已经训练之乡民，选择其朴实健壮者，招募前来长沙，练一人，收一人之益，练一月，收一月之效。军兴以来，调兵糜饷，不可谓不多，有与“贼”鏖战一场者，往往从后尾追，“未闻有与之拦头一击者”。官兵作战时，往往先用大炮、鸟枪远远轰击，从不敢与“逆匪”短兵相接，总因所用之兵，平素疏于训练，无胆无艺。现在我决心改弦更张，“总以练兵为要务”。这个奏折写得很巧妙，“总以练兵为要务”，寥寥数字，便把团练的性质改变成了军队。咸丰帝因前线一败涂地，慌不择路，竟朱批：“知道。悉字办理，以资防剿。钦此。”这个奏折既然得到了咸丰皇帝的首肯，曾国藩为自己把湘勇改成湘军，进而为扩大编练湘军便取得了合法地位。曾国藩心计之深，令人莫测！
为了讨得湖南巡抚骆秉章的好感，为了使湘军得到实战经验，曾国藩便屡派罗泽南、王鑫等率领湘军四出“攻剿”各地起事的会党、农民。从咸丰三年（1853）春至初夏，先后派江忠源部楚军会同湘军，“攻剿”常宁、阳山、衡山、永兴、茶陵等地起事农民。为了争取清政府的信任，在人事安排上也作了精心布置，上奏破格提升旗籍将领塔齐布为中军参将。塔齐布，满洲镶黄旗人，托尔佳氏（一作陶佳氏），字智亭。初由火器营护军擢三等侍卫。咸丰元年（1851）至湖南为都司。咸丰二年（1852）守长沙，因功晋升为中军参将，使湘军中的带兵官取得了正式官职，鼓舞了士气。至咸丰三年（1853）六月下旬，曾国藩编练的湘军，已有罗泽南的中营、王鑫的左营、邹寿璋的右营、塔齐布的辰营，此外，周凤山、储玫躬、曾贞干等也各自统率一营，兵员总数扩大到了四千左右。
派遣湘勇参与南昌战役，促使曾国藩下决心扩编湘军，并移军衡州。这是他编练湘军水陆师的关键。
南昌战役后，如前所述，曾国藩认为湘军可用，大有前途。他写信给朋友说，今日大局，若非练兵万人，合成一心，断不能讨平“逆匪”。近时所调之兵，天涯一百，海角五十，兵与兵不相熟悉，将与将不相和睦。此营打败，彼营掉臂不顾，甚至掩口微笑，军营以终身不见“贼”面而后快。如此的兵，这样的将，岂能“平贼”？我欲练勇万名，“呼吸相顾，痛痒相关，赴火同行，蹈汤同往。胜利举杯酒以让功，败则出死力以相救。”
曾国藩移军衡州，还有另外一番打算，他认为在衡州练兵，不像在长沙省城之地，耳目众多，“动多触碍”。走避山乡，若捐款多，则多练弁勇，若捐款少，可以少募弁勇，张弛伸缩，“惟吾这所自为”，别人不能横加干涉。咸丰三年八月二十七日，曾国藩随同湘军移驻衡州（今衡阳）。但当时募勇练兵万名，独立于八旗、绿营之外，兵籍不归兵部，不受总督、巡抚节制，很容易引起朝廷和督抚的猜忌。因此在这个问题上，曾国藩着实花了不少“格物致知”的功夫。他认定江忠源率领楚军，转战广西、湖南、江西，在短短的二三年中，由一个知县官擢升至司道大员，是因他屡立战功，“以天心之简在，万民之仰望，即颁给关防，全畀兵柄，盖亦意中之事”。于是他找到了一块挡箭牌，对外打出了对江忠源练兵的旗号。他说现在拟募勇万人，精练勤训，“发交岷樵，以为澄清扫荡之具”。不久，他又提出鄂、湘、赣、皖四省联防的建议，推湖广总督、他的座师吴文镕为首领。讨好吴文镕，是他筹建扩编湘军的又一块挡箭牌。
到衡州后，他扩大招募勇丁，增编营头，除原有的湘乡勇、宝庆勇、辰州勇外，又陆续添募了新化勇、平江勇等。募勇时，“须取具保结，造具府县里居、父母妻子名姓、箕斗清册各结附册，以便检查”。选勇标准是：“须技艺娴熟，年青力壮朴实而有农民土气者为上，其油头滑面有市井气者，概不收用。”其武官自守备以上，文官自知府以上，一律不加录用。故而论者每以湘军由地痞流氓、游民组成，与事实是不符的。