湘军在士兵的编制上，大体是按县籍分立营头的。据曾国藩说：按县籍编组分营，可取之点颇多，他们呼朋引类而来，或是同族，或是戚谊，作战时能“齐心相顾，不肯轻弃伴侣”。其实，按县籍编立营头，还有其另一重深意。例如，湘乡罗泽南统率湘乡勇，平江李元度统率平江勇。罗泽南对湘乡勇指挥自如，却指挥不了平江勇，同样，李元度也指挥不了湘乡勇。但无论湘乡勇或平江勇都听曾国藩的指挥。因而，按县籍编立营头对曾国藩而言，在统率湘军时，可以起到“分而统之”，防止大权旁落的作用。
至于选择营官的标准则是：“第一要才堪治民。第二要不怕死。第三要不急急名利。第四要耐受辛苦。”因此，与他气味相投的儒生，成为了湘军营官的主要来源。后随着战争形势的发展，湘军队伍的不断扩大，曾国藩又于营官之上分设了统领，统领由他选择任命，营官虽由统领选择，但亦须经他批准。由此可见，曾国藩自始至终都把湘军的人事权紧紧地抓在手里。
在长沙时，湘军营制规定每营三百六十人，到衡州后，根据实战的经验，更改营制，每营增为五百人。营设营官一名，营官亲兵六十名，亲兵什长六名。每营四哨，哨设哨官一名，哨长一名，护勇五名，什长八名，正勇八十四名，伙勇四十二名。另外，每营还有长夫一百八十名，随营行动。从编制上看，刀矛与火器并重。
湘军在操练、器械使用、衣着等方面也有具体规定：弁勇要能上一丈高之屋，跳步一丈宽沟，抛火球能至二十丈以外。各勇不许穿软料衣服，只许穿布衣；不许穿鞋袜，只许穿草鞋。哨长穿着同士兵。打仗只许同进退，勇者不许独先，怯者不许独后，违者处死。曾国藩力图使湘军保持朴素、勇敢的军风，其用心良苦。
曾国藩训练湘军，特别重视“政治教育”。他说：“每逢三、八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓。自四月以后，间令塔将传唤营官一同操演，亦不过令弁、委前来听我教语。每次与诸弁兵讲说至一时数刻之久，虽不敢说点顽石之头，亦诚欲以苦口滴杜鹃之血……国藩之为此，盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。”早先，曾国藩在《与湖南各州县公正绅耆书》中，就曾痛骂社会上“有一种莠言，称颂粤寇”，谓“粤寇不奸淫，不焚掠，不屠戮，愚民无知，一习百和，议论颠倒，黑白不分”。现在，他又承认“兵勇不如贼”了。不过，尽管他把歪理粉饰得如何冠冕堂皇，但事实胜于雄辩，他无非是要把湘军弁勇教育成凶残横暴、屠杀农民的工具。
为了驱使勇丁为他卖命，湘军的待遇是很高的，营官薪火每月五十两，办公费一百五十两。哨官每人每日银三钱，哨长每名每日银二钱，勇丁每名每日银一点四钱，长夫每名每日一钱。
曾国藩在一年多的时间内，赤手空拳，没有向户部讨一分钱，仅利用他团练大臣帮办的地位与各种社会关系，便筹建起一支以崇奉理学的儒生为骨干的具有水陆师性质的湘军，这不仅充分表现出他反对太平天国的决心与惊人的组织能力，也表明他决不是平凡无能、畏缩懦怯的人物。
曾国藩筹建成的湘军，其武器远较太平军优良。湘军弁勇的体格大都比较强壮，平时训练既注重火器的应用，也注重白刃格斗。尤其值得注意的是，营官以上人员的思想皆统一于理学，他们又常常用三纲五常教育兵士。因而整个湘军浑然一体，仅听命于曾国藩的指挥，仅从这一点来看，湘军对太平天国的患害，就不可胜言了。
湘军是中国近代史上出现的第一支军阀队伍，曾国藩是中国近代史上出现的第一个军阀。湘军初建成时，陆师、水师仅设营官，都是由曾国藩亲选的，直辖于曾国藩。后来，根据实战的需要，湘军在编制上又增设了统领。但他所委派的统领如罗泽南、李续宾、李续宜、左宗棠、李元度、曾国荃、鲍超、杨岳斌、彭玉麟、李鸿章等，或是兄弟，或是幕宾，或是师生，或是同乡，或是姻亲。他们大都是秀才或举人出身，意气相投，成为曾国藩进攻太平天国的得力打手，并且都听命于他的指挥。曾国藩在晚年，曾把湘军与八旗、绿营兵作了比较，说明湘军的战斗力为什么远胜于八旗、绿营兵。照理说，事权宜专一，一营之权，全付营官，统领不为遥制；一军之权，全付统领，大帅为遥制。但“今直隶六军，统领迭次更换”，所部营、哨官等，皆由总督委派，下有翼长分其权，“上有总督揽其全”，统领并无进退人才、管理饷项等权，驱之赴敌，官佐岂肯用命？加以总理衙门、户部、兵部层层节制，虽有良将，亦瞻前顾后，不肯放胆任事，又焉能尽其所长？因此，他毫不隐讳地说：湘军之有战斗力，主要是由于“营官由统领挑选，哨弁由营官挑选，什长由哨弁挑选，勇丁由什长挑选。譬之木焉，统领如根，由根而生干、生枝、生叶，皆一气所贯通。是以口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠。平日既有恩谊相孚，临阵自能患难相顾。”不过，他的话只讲了一半。而实际情况却是，湘军水陆师的营官、统领全部由他委派或批准，统领并不是根，真正的“根”是他曾国藩，由根生干、生枝、生叶，故粮饷虽出自公款，统领、营官等皆“若受其私惠”，所以他拥有湘军的绝对指挥权，湘军也仅仅听命于他的指挥。他在湘军中的地位，绝非他人所能代替。曾国藩为了使湘军变成“曾家军”，不仅如前所述，于筹建湘军时，大造其组织的湘军是“义师”的舆论，在编立营制，委派营官、统领等时也都作了精心安排。特别需要强调指出的是，湘军与八旗、绿营的根本不同之处，在于八旗、绿营兵籍归兵部掌管，军械武器由兵部发给，饷糈由户部统筹，兵员增损须奏准朝廷，战时统兵大帅例由朝廷派遣。而湘军则兵籍不归兵部，武器军械自筹，饷糈则基本上就地筹集，营官增、撤不须奏准朝廷，兵勇多寡伸缩自如。湘军一贯由曾国藩统率指挥，非朝廷将帅所能过问。所以，我们说湘军是中国近代第一支军阀队伍，曾国藩是近代中国第一个军阀，并不为过。