咸丰十年，江南大营再度溃败，咸丰帝无兵无饷、无计可施之时，仍不甘心将督抚实权交与曾国藩，先命荆州将军都兴阿督办江北军务，广西提督张玉良署理钦差大臣，江宁副都统魁玉署理江宁将军；后来在万般无奈下，方下令授予前任侍郎曾国藩兵部尚书衔，署理两江总督，典兵之权尚且不给。直到太平军占领余杭，才最终实授曾国藩两江总督并以钦差大臣督办江南军务。
对清廷而言，依靠地方精英结团自保、练勇出队、集队成军，以牺牲基层社会的低度军事化听任其在地方精英主宰下向高度军事化演变为代价“防剿”太平军，无异于饮鸩止渴。
这是清廷不愿意接受，又不能不接受的现实。然不管清廷愿不愿意，十九世纪中期地方精英终以特殊形式进入了上层政权。且正是由于地方精英的进入，国家政权结构发生了深刻变化。清朝官制，同为省级封疆大吏的总督巡抚之间没有统属关系，均直接向皇帝负责。一般来讲，总督管军事，节制省内绿营提督、总兵各官，且自辖“督标”三至五营；巡抚管民事，总管省内政务监察，也自辖“抚标”二营，用兵时负责粮饷。督抚以文人铨任，不用武人。盖以武人知兵，不能轻与事权，文人不习兵事，不妨假以重任。平时以文制武，战时由朝廷另外特简经略大臣等专事征伐。一省政务另有主管民政财政的布政使、主管司法的按察使及其佐贰分守道、分巡道道员分任。总督巡抚与他们之间也无统属关系，只行督率之责。布政使、按察使有办事衙门，向上分别听命于户、刑等部，且各有专折奏事之权。
曾国藩当时却是亦文亦武、亦官亦绅的古怪角色。他受任的钦差大臣、两江总督，具有统辖江、皖、赣、浙四省军务之大权，所有四省巡抚、提督以下各官，均受其节制。且前有车后有辙，不少巡抚由湘军将领出任或兼任节制本省各镇绿营总兵的提督衔，并加兼理粮饷衔。这样，巡抚变成了总督的下属。与之同时，布政使、按察使则又成为督抚的属员。按照清制，文职道府以下、武职副将以下均由总督奏请升调免黜，这样大批湘军将领开始受任地方实职，相继进入政权机构。攻陷天京后，曾国藩主动裁撤大量湘军，湘军遂为淮军所取代。
一批因湘军崛起的湖南地方精英，纷纷出任封疆大吏，以曾国藩模式掌握地方大权。所谓“楚省风气，近年极旺，自曾涤生领师后，概用楚勇，遍用楚人”。全国总督计有八人，同治二年湘军将领任总督者三人；全国巡抚十五缺，湘军将领九人任七缺。“至提镇两司，湖南北者，更不可胜数”。值得一提的是，由于清廷不承认湘淮军为国家经制军队，湘淮军作为地方基层社会的私军勇营，军饷自筹。又因战事所需，清廷被迫允许其以厘金、票盐等形式就地筹款，自行支配。无形中，从湘淮军领袖到督抚大员的地方精英，手中掌握了财政大权，加之所辖苏、皖、赣三省富甲全国，军队乃至“七八省政权，皆在掌握”，凡设官任职国课军需，悉听调度，成为五脏俱全、拥有独立军事、财政、后勤系统，甚至学校、兵工厂的可以分权割据的力量。
湘淮军领袖凭实力进入中央津要，左右政局，打破了清入关以来满清贵族忌防汉人、独揽大权的一统天下。尽管曾国藩及其继任者并未割据分权，但他们手中掌控的政权、军权、财权却逐渐形成了“重地方、轻中央”的政治格局，直接影响到后来的历史发展，为其后形成的军阀割据局面埋下了种子。
“兵为将有”之制曾国藩成就事功之基础在于拥有私属武装——湘军。早在创办湘军之前，他便明确提出国家经制军队八旗军、绿营军已不可用，必须另立新军：“就现在之额兵练之而化为有用，诚为善策。然习气太盛，安能更铸其面目而涤荡其肠胃？恐岳王重生，半年可以教成其武艺；孔子复生，三年不能变革其恶习。故鄙见窃谓现在之兵不可练之而为劲卒，新募之勇却可练之使补额兵。”
曾国藩的湘军以营为单位，营下设哨。湘军一营编制计五百人，首领为营官。营官亲兵分为六队，每队设什长一名、亲兵十名、伙勇二名。六队分别是：一队劈山炮，二队刀矛，三队劈山炮，四队刀矛，五队小枪，六队刀矛。亲兵卫队共计七十二名。除亲兵队外，营下分立前后左右四哨。哨的首领为哨官，有护勇五名、伙勇一名。每哨下设八队，每队设什长一名、伙房一名。八队分别是：一队抬枪，二队刀矛，三队小枪，四队刀矛，五队抬枪，六队刀矛，七队小枪，八队刀矛。其中，抬枪队设正勇十二名，合什长、伙勇共计十四名。刀矛队、小枪队设正勇十名，合什长、伙房共计十二名。这样，每哨计一百零八人。一营含四哨，计有兵丁四百三十二人。
除兵士外，湘军还设有长夫之制。规定：营官及帮办人等共用长夫四十八名。搬运子药、火绳及一切军装等项，共用长夫三十名。亲兵卫队中每劈山炮队用长夫三名，每刀矛、小枪队用长夫二名，计六队共长夫十四名。拔营远行时，营官另拨长夫，帮抬劈山炮。哨官拥有长夫四名，四哨共计十六名。每抬枪队用长夫三名，每刀矛、小枪队用长夫二名，计四哨抬枪八队，共长夫二十四名；刀矛、小枪二十四队，共长夫四十八名。这样，一营中设有长夫一百八十名，计每百人用长夫三十六名。随着湘军日益壮大，许多贫苦农民见参军有利可图，纷纷愿意加入。曾国藩惟恐长夫数量过于膨胀，而生腐败弊端，又规定其人数只许减少，不许增多。凡带百人者，用长夫不得超过三十六名；凡带千人者，用长夫不得超过三百六十名。
军用物资方面，曾国藩亲定“帐棚之制”。规定：营官、帮办、书记、军火等，共用夹帐棚八架，单帐棚二架。哨官、哨长、护勇，共夹帐棚一架、单帐棚二架，前后左右四哨相同。亲兵每队夹帐棚一架、单帐棚一架，六队相同。正勇每队单帐棚二架，三十二队相同。每营合计夹帐棚十八架，单帐棚八十架。
饷金军费开支是八旗、绿营腐败的主要来源。曾国藩规范了湘军将士的薪金，具体如下：营官每月薪水银五十两；哨官每员日给银三钱；哨长每名日给银二钱；什长每名日给银一钱六分；亲兵、护勇每名日给银一钱五分；正勇每名日给银一钱四分；伙勇每名日给银一钱一分；长夫每名日给银一钱。营官每月办公经费银一百五十两，凡帮办及管账目军装书记、医生、工匠、薪粮，并置办旗帜号补等费均包括在内，听营官酌用。这样，湘军每营大月支银二千八百九十二两二钱；小月支银二千八百零二两四钱六分。对于新募勇、夫，曾国藩区别对待，实行“小口粮制度”。规定：每名每日给小口粮钱一百文。练习成军后带至大营，上宪派员点名后再行起支大口粮。为保障湘军将士战斗的积极性，曾国藩亦制定恤赏制度：凡阵亡者恤银三十两；受伤头等者赏银十五两，二等赏银十两，三等赏银五两，致残者另加。曾国藩深知军饷开支于军队建设之重要意义，反复强调“军中浪费，最忌官员太多，夫价太多”。自湘军创立之初，曾国藩便“立定限制”，规定：嗣后“无论官多官少，官大官小，凡带千人者，每月支银不准过五千八百两；凡统万人者，每月支银不准过五万八千两”。
曾国藩随后又制定颁行《马队营制》，规定：一营十哨，每哨官给马一匹。一哨马勇二十四名，每名给马一匹。营官亲兵八名，每名给马一匹；营官月给薪水银四十两，公费银四十两，马四匹，马夫二名，火夫一名，长夫八名；帮办一员，月给银十六两，马一匹，长夫一名；字识一名，月给银五两；哨官十员，每员月给银九两陆钱，杂费银一两二钱，马夫一名，棚夫一名；先锋官五员，每员给马一匹，月给口粮银五两四钱、杂费银六钱。五人共为一棚，马夫二名，火夫一名，棚夫一名；亲兵八名，每名给马一匹，日给银一钱四分，杂费银月给六钱。以四名为一棚，每棚马夫二名，火夫一名，棚夫一名；步队亲兵什长一名，日给银一钱六分。步队亲兵十名，日给银一钱五分。共为一棚，火夫一名。此专备营官差遣及出队时留守营盘之用。毋许再向各哨派人当差；马勇日给银一钱四分，杂费银月给六钱。每四名为一棚，马夫二名，火夫一名，棚夫一名；搬运军械、草料，公长夫四十名。凡长夫每名日给银一钱，火夫每名日给银一钱一分；营官领蓝夹棚二架、白单棚一架，帮办领蓝夹棚一架、白单棚一架。马队亲兵领白单棚二架、马圈棚子二个。步队亲兵领白单棚二架。每哨领蓝夹棚一架、白单棚六架、马圈棚子七个；每营月给烛一百五十斤、油二百斤；每营百马之内，每年准报倒毙三十六匹。如数换领，以资弥补。另于哨弁兵勇杂费银内，每月扣出三钱，作为添补马匹公项，名曰朋马银。营官总理其事，月派哨官一员，轮流经管。遇有马匹额外倒毙，及病瘦不堪驰使者，即行抽拨此项，随时采买添补；每马月给麸料草豆银二两。每年三、四、五等月，青草正茂，可以放食，每马减银五钱，只给一两五钱；马医、铁匠、号褂、旗帜、大小扫把、铁刮、竹槽，出自营官公项；修补鞍上坐褥、布屉、后、辔头，哨官、兵勇自办；笼头、偏，哨官、兵勇自办；马药钱，营官出自公费，哨弁、兵勇出自杂费；更换鞍桥、油皮鞯、肚带及拴肚带宽皮条、拴蹬窄皮条、皮扎、铁嚼全副、马枪、弓箭、腰刀、扎草刀、草料口袋，由军械所办给；凡扎营之处，先择斜坡掘地二弓，以为马圈，可拴四马兵勇之棚，即与马圈棚子相对。哨官之棚，亦与哨官马圈相对。凡支马圈之时，兵勇四名，与马夫二名，亲自锄挖。如马圈办理不妥，将该哨官分别严惩。
最令曾国藩担心的，便是绿营兵将的游惰积习。“国藩数年来痛恨军营习气，武弁自守备以上无不丧尽天良，故决不用营兵，不用镇将”。因此他在挑选湘军官兵时格外严格苛刻。他指出，湘军士兵与国家军队不同，当兵并不是吃饭谋生的手段，而是为了保家卫国。湘军士兵的理想条件是那些“技艺娴熟、年轻力壮、朴实而有农夫土气”的农民，而对于“油头滑面，有市井气者，有衙门气者”，则概不录用。士兵应召入伍后，为防止士兵违纪逃亡，曾国藩将其一一登录在案，造具府县、里居、父母、兄弟、妻子名姓等项清册。
曾国藩吸取绿营军“将不知兵、兵不听命”的经验教训，把湘军打造成一支“兵为将有”的私属性军队。具体言之，曾国藩身为湘军统帅，所有营官由其直接任命与撤换，营官只对他个人负责。营官自行委派指定哨官，后者仅对前者负责。哨官则自主招募兵勇。营、哨各级军官可谓湘军之灵魂。曾国藩深知湘军成败系于军官之手，因此对其选拔分外留意。他认为带勇之人须具备四个条件：“第一要才勘治民，第二要不怕死，第三要不计名利，第四要耐受辛苦。”
曾国藩在两江总督任上颁布的《劝诫营官四条》，可谓其创办湘军经验的总结。一曰禁骚扰以安民。所恶乎贼匪者，以其淫掳焚杀，扰民害民也。所贵乎官兵者，以其救民安民也。若官兵扰害百姓，则与贼匪无殊矣。故带兵之道，以禁止骚扰为第一义。百姓最怕者，惟强掳民夫、强占民房二事。掳夫则行者辛苦，居者愁思；占房则器物毁坏，家口流离。为营官者，先禁此二事，更于淫抢压买等事一一禁止，则造福无穷矣。
二曰戒烟赌以儆惰。战守乃极劳苦之事，全仗身体强壮，精神完足，方能敬慎不败。洋烟、赌博二者，既费银钱，又耗精神，不能起早，不能守夜，断无不误军事之理。军事最喜朝气，最忌暮气，惰则皆暮气也。洋烟瘾发之人，涕泪交流，遍身瘫软；赌博劳夜之人，神魂颠倒，竟日痴迷，全是一种暮气。久骄而不败者，容或有之，久惰则立见败亡矣。故欲保军士常新之气，必自戒烟赌始。
三曰勤训练以御寇。训有二端：一曰训营规，二曰训家规。练有二端：一曰练技艺，二曰练阵法。点名、演操、巡更、放哨，此将领教兵勇之营规也；禁嫖赌、戒游惰、慎语言、敬尊长，此父兄教子弟之家规也。为营官者，待兵勇如子弟，使人人学好，个个成名，则众勇感之矣。练技艺者，刀矛能保身，能刺人，枪炮能命中，能及远。练阵法者，进则同进，站则同站，登山不乱，越水不杂，总不外一熟字。技艺极熟，则一人可敌数十人，阵法极熟，则千万人可使如一人。
四曰尚廉俭以服众。兵勇心目之中，专从银钱上着意。如营官于银钱不苟，则兵勇畏而且服；若银钱苟且，则兵勇心中不服，口中讥议，不特扣减口粮缺额截旷而后议之也。即营官好多用亲戚本家，好应酬上司朋友，用营中之公钱，谋一身之私事，也算是虚糜饷银，也难免兵勇讥议。欲服军心，必先尚廉介；欲求廉介，必先崇俭朴。不妄花一钱，则一身廉；不私用一人，则一营廉；不独兵勇畏服，亦且鬼神钦伏矣。
湘军士兵均为朴实农民，从未经历战阵。曾国藩不得不白手起家，效仿前朝名将戚继光，订立日常军事功课。这些职业军人习以为常的训练，对湘军士兵来讲却极为艰难。
下面我们来看一下湘军的日常训练时间表。每日五更三点皆起，派三成队站墙子一次。放醒炮，闻锣声则散。黎明演早操一次。营官看亲兵之操，或帮办代看。哨官看本哨之操。午刻点名一次。亲兵由营官点，或帮办代点，各哨由哨长点。日斜时演晚操一次，与黎明早操同。灯时派三成队站墙子一次。放定更炮，闻锣声则散。二更前点名一次，与午刻点名同。计每日夜共站墙子二次，点名二次，看操二次。此外，营官点全营之名，看全营之操无定期，约每月四五次。每夜派一成队站墙子、唱更。每更一人，轮流替换。如离贼甚近，则派二成队。每更二人，轮流替换。若但传令箭而不唱者，谓之暗令。仍派哨长、亲兵等常常稽查。这些招募来的湘军士兵大多数平生从未碰过武器军械，这也是曾国藩必须捱过的一道难关，他在这方面的考虑可谓费尽苦心：一、枪炮要试过三十次方免炸裂。群子要包紧合膛；二、矛杆为木质而非竹质，要整树直纹，不要横纹；三、锄要八寸长、三寸宽，锹要八寸长、六寸宽，挑土用四方布袋，盛子药用生漆皮桶；四、旗帜要一色，不宜混杂；五、刀矛要常磨，火药要常晒，火球要亲手自制。曾国藩亦对湘军的开仗、守夜、扎营、行进等诸种军事功课，无一不作出系统周密的训练安排。
《开仗条规》规定：一、出队要分三大支，临时再多分几小支。凡有房屋之处，须分一支，以防埋伏。小山之后，须分一支；树林之中，须分一支。二、队伍要占住山坡，排立不动。营官要四处往来，登高瞭望。三、打仗要打个“稳”字。贼呐喊我不呐喊，贼开枪我不开枪。贼来冲扑时，扑一次，我也站立不动；扑两次，我也站立不动；稳到两个时辰，自然是大胜仗。四、前队用好手五百以备冲锋，后队用好手五百以备救败，中间大队略弱些也不妨。前队若小挫，后队好手出去救败；前队若得胜，后队好手不动，专等收队时在梢尾行走。五、刀矛对杀之时，要让贼先动手，我后动手。头一下已过，第二下未来之时，我拨他头一下，正好杀他。