咸丰皇帝的上谕，原是要曾国藩帮办团练，维持地方治安，并没有要他越境去打太平军。曾国藩到长沙后，却立即上奏，提出团练不足办，应当练治一军以镇压太平天国。他认为一般的团练根本对付不了太平军，必须痛下决心，另起炉灶，建立一支既不同于团练，又不同于政府军的新式军队。他认为：“今日兵事最堪痛哭者，莫大于‘败不相救’四字。当其调兵之时，东抽一百，西拨五十；或此兵而管以彼弁，或楚弁而辖以黔镇；虽此军大败奔北，流血成渊，彼军袖手而旁观，哆口而微笑。此种积习，深入膏肓，牢不可破。”早就留心观察社会的曾国藩，一语道破了政府军腐败的要害。他提出自己的建军思想是：“鄙意欲练勇万人，呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救，贼有誓不相弃之死党，吾官兵亦有誓不相弃之死党，庶可血战一二次，渐新吾民之耳目，而夺逆贼之魂魄。”曾国藩把他要练治的军队吹得神乎其神，被太平军打得焦头烂额的清廷自然喜出望外，任其组练军队。
为此，曾国藩选了一批对清廷忠心耿耿的儒生，这是一些“报国无门”，进身无阶，想爬而还没爬上去的中小地主。为了在战乱中攫取荣华富贵，他们不惜成千上万地屠杀起义者和无辜群众，用鲜血去染红自己乌纱帽上的顶子。他们又熟读孔孟之书，互相吹捧“忠孝节义”的封建道德，因而是一批“有思想”的自觉的人，其反动立场非常坚决。更由于他们还是同乡、同学、师生、亲友，伦理道德使他们结成死党，确实不同于政府军中那些饭桶军官。曾国藩选择了这样一批骨干之后，又确立了一套自己的建军方法：选统领一人，召募若干营，每营的营官由该统领自选自任，营以下的哨官则由该营官自选自任，这样层层对上级长官直接负责，而全军只绝对服从曾国藩一人。这支“指臂相联”的军队，就是声闻遐迩的湘军。
郭嵩焘还特向曾国藩推荐了后来成为湘军第一将的江忠源，而曾国藩的识人术也堪称一绝。江是湖南新宁人，字常孺，号岷樵，是郭嵩焘的老相识，道光十七年（1837）与郭同科中举，二十四年（1844），郭嵩焘入京会试时，江忠源也是赶考的举人之一。两人又一起客居京师，故相处甚得。一天，郭嵩焘将江忠源带到曾国藩的寓所，江忠源“任侠自喜，不事绳检”，性格豪爽，但曾、江却谈得非常投机。送走江忠源后，曾国藩不禁对郭嵩焘盛赞道：“生平未见如此人”，过了一会儿又说：“此人必立名天下，然当以节烈死。”后来江忠源果然战死在庐州。曾与江初次见面，便如此赞许江，可见江忠源一定也同曾国藩一样，是愿效忠清廷的“死士”。此后，江忠源多次向曾国藩讨教学习，并以师礼事之。太平军进攻湖南后，曾国藩奏调江忠源，并以其名义招兵买马，扩大力量，江很快成为曾国藩湘军麾下的第一名将。曾国藩在长沙练兵时，江忠源正率部镇压太平军。
郭嵩焘从曾家吊唁归来后，连得江忠源来函。时江忠源因屡战太平军，为清廷赏识，于咸丰三年（1853）二月擢为湖北按察使，诏命帮办江西军务。江忠源知郭嵩焘点子多，很希望他能与刘蓉前来入幕。但郭嵩焘多次谢绝，江忠源又一次来函恳劝，略云：“奉手教，词意过谦，岂以为竖子不足与谋耶？兄纵不为弟出，独不为天下计邪？涤帅（曾国藩）来书云，霞兄（刘蓉）多恐不能来，吾兄尚未定。忠源则谓霞兄之不来，由老兄之未定也，兄计定，则霞兄亦不能辞矣……”郭嵩焘亦有自知之明，他的文人气质太浓，出主意、想办法、当参谋都可以，上前线作战却不在行，但现在江忠源又以天下大计来激他，他不能再回绝。此时正值太平军西征开始。四月，西征军围攻南昌，江忠源奉命率楚勇抵御。曾国藩调夏廷木越、罗泽南所部湘军援南昌，郭嵩焘即随此军出发。以一介书生从戎，郭嵩焘颇感到有些自豪，因而在途中作诗云：“盗贼纵横遽如此，凭谁省识亚夫营”？“暮途思猛士，萧瑟大风歌”。“十年偃蹇校书郎，鸣镝弯弓赴敌场……乱余身已非全物，死去魂应识故乡”。想象中自己似乎有点像周亚夫、曹操那样叱咤风云的大人物了，很有点飘飘然。倘若慷慨悲壮死去，“忠魂”还故乡，也很富有诗意。但打仗毕竟不同于作诗，与英勇善战的太平军交手，尤其苦险，不可言状。
从六月十八日至九月二十六日，郭嵩焘追随江忠源，与太平军战于江西南昌、九江，湖北田家镇等地，但屡战屡败，狼狈不堪。“崎岖山谷，佶屈颠顿。居民避‘贼’远徙，所过无所得食，掘山芋为粮，且食且行，士卒饥乏，中道偃息，公（江忠源）亲下马导之行，日数十里不少息”。什么“亚夫营”，什么“大风歌”，他够了。为此在南昌他就写诗向江忠源大发牢骚：“觅得疲驴试短衣，尺书屡召敢频违？此生戎马真非分，半夜星辰尚合围”。因而想撒手兵营一走了之，后虽经江忠源百般劝留，道是“不能终执戟，扫荡妖氛净”，最终长揖而别。尽管郭嵩焘未能终于军旅，但也没白跑一趟。同年十月，清廷以他援江西之“功”，特授为翰林院编修，正式混了一个官衔。
郭嵩焘在军中不过短短的三个月，却为江忠源的湘军出了一个关键性的主意，这对曾国藩的发达也十分重要。
这年八月，江忠源部被太平军围在南昌，郭、江住章江门城楼，每获太平军卒就在城楼上详细审问。当时城外仅文孝庙一处太平军营垒，广数十亩，却不知有多少兵力。一日，抓到一太平军卒，问之，答道：“不住一兵，官兵攻垒，调兵站墙而已。”问：“何故？”曰：“垒只三面，濒江一面无墙，人皆舟居。”又问：“贼船多少”？“十余万”。郭立即告知江忠源，太平军若驰突长江，官兵无一船应之，非急治水师，不足以应敌。江忠源“大激赏，即嘱嵩焘具疏稿上之”。
郭嵩焘是一个摇羽毛扇的角色，让他带兵打仗不行，但让他出谋划策却能一下看到问题的关键。当时太平军水师声势颇壮，控制了长江水面，使清军不胜其扰。曾国藩练的湘军只能陆上作战，要对付太平军的水师唯有望江兴叹。郭嵩焘及时提出建立水师的问题，为曾国藩的湘军营垒当了高参。
湘军水师的筹建晚于陆师，它是在曾国藩移驻衡州后开始的。清朝绿营水师分为外海和内江两部分，外海水师驻广东、福建沿海，内江水师驻长江沿岸各要隘。至咸丰初年，外海水师尚存，而内江水师久已废驰，两湖三江皆无炮无船。偶有少数炮船，亦不过在民船上装炮而已，实不能作战。自咸丰二年十一月太平军在益阳、岳州得民船万只，建立水师之后，千船百舸，蔽江而下，千里长江完全控制在太平军手中。三年太平军围攻南昌之初，曾有个名叫黄经的御史上奏清廷，请饬湖南、湖北、四川造船练兵，从水上攻击太平军。咸丰皇帝遂批令两湖、四川照奏执行。命令发到湖南后，骆秉章甚感为难，便以力所不及为由将其搁置起来，不予照办。及至郭嵩焘赴援南昌，见太平军驻兵船上，进退自如，往来迅速，感到欲与太平军争雄，必先建水师，夺回舟楫之利，遂向江忠源提出筹建炮船的建议。对一向“忠勇”作战的江忠源提出来的意见，朝廷便格外重视。三年八月，诏令四川、湖广等省速制战船，并交曾国藩调遣。江忠源恐自己上奏不被清廷重视，写信给曾国藩，希望他“登高而呼”，以成此事，信中说：“方今贼据有长江之险，非我造船筏，广制炮位，训练水勇，先务肃清江面，窃恐江南、江西、安徽、湖南、湖北各省无安枕之日。然窃计海内人才能办此者，惟吾师一人……若再旷日持久，天下大局非臣子所忍言矣。”
曾国藩同意上疏，湘军水师开始组建。但建立水师，技术难度大，又需巨款，非一朝一夕所能成，而战事吃紧，缓不济急，所以郭嵩焘又向江忠源献计，先造一批巨筏，可容数百人，列炮其上，夹击太平军。江忠源立即采用此法，派李遇泰、杨淮新等采办木筏竹缆。三年八月十四日，曾国藩自长沙赴衡州，亲自筹建湘军水师。他物色了彭玉麟、杨载福（岳斌）二人为大将，在衡州大造战船，召兵、购炮，很快装备起一支凶悍的部队。曾国藩不仅在造船上精选木料，不惜工本，力求坚固耐用，而且对于炮的质量与安装亦很讲究。他认为当时中国各省铸造的大炮，炮身笨重，射程很短，即如二、三千斤的重炮仍不如数百斤洋炮的射程，且时常有炸裂的危险。所以，曾国藩不惜重金，派人从广东购买大批洋炮，并组织人力，反复研试，解决了一系列技术难题，把它安装在战船上，建成了当时中国技术最先进的内河水师。四年初湘军船炮齐备，计有大小船只三百六十一号，其中拖罟大船一号，快蟹船四十号，长龙船五十号，舢板一百五十号，用钓钩船改造而成的战船一百二十号。同时，在船上装备大小炮四百七十门，其中新购洋炮三百二十门，从广西借来一百五十门，炮重二、三百斤至三千斤不等。从此湘军水陆相依，气焰万丈，成为太平军的死敌。四年初，湘军水陆成军，约17000人。
李鸿章在郭嵩焘死后上奏，请将其生平由国史馆立传的奏折中也提到此事：“旋带湘勇援前安徽巡抚江忠源于南昌，为言贼踞江路，宜制造战船备攻剿。忠源纳其议，属为草奏，得旨允行。曾国藩等卒用水师，成肃清江面之功”。