咸丰二年（1852），各地开始办团练，以对付日盛一日的太平军。曾国藩刚得到在籍办团练的旨令后，李元度认为时机来了，便托名罗江布衣，上书曾国藩，大谈兵略战守。曾国藩展读后大加赞赏，立即要见这位上书人。可是，人海茫茫，“罗江布衣”究竟在哪儿呢？最后，曾国藩几经周折，终于找到了李元度，并称赞其：“非君之才，何以能写这样的文章！”召见时更知李元度博通文史，脑中有物，非寻常辈可比，遂“引与规划军事”。可是李元度还颇为犹豫。曾国藩后去信李元度，告知自湖北田家镇被太平军攻占之后，湖南形势又趋急变，处于非常危殆的境地。更为可虑的是，安徽的重要城镇相继失守，朝廷已颁旨速率湘勇前往赴援，从而恳请李元度“临危受命……同为东征之役”。次年初，曾国藩在衡州加紧训练湘军水师，准备出兵东征之时，又复书李元度，恳邀来衡筹商一切：“即不能从我东下，亦聊可临歧相送，惠我至言，无任翘企。”起初，李元度对是否归附曾国藩犹豫不决，咸丰三九月路过湖南时也未去拜晤曾国藩。所以曾国藩在书信中有“良不可解”之语，深感“此必鄙人平日立身无似，无以取信于君子，故相弃如遗乎？”但经曾国藩三番五次的诚心相邀，李元度终于一月后带所部兵勇火速赶到衡州，从此进入曾国藩幕府，成为曾国藩身边一位重要的谋士，俩人之间患难相依的交情也开始建立起来。
曾国藩虽创立了湘军，但他并不是一个成功的指挥官。王门岂运撰《湘军志》，说他“以惧教士，以惧行军，用将则胜，自将则败。”意思是说曾国藩虽然以戒惧的心情领导湘军从事训练及作战，但他自己并不适于直接领兵打仗，他的成功，完全得力于善于识拔将才并给予充分的信任。这些话确是事实。湘军在镇压太平天国之中所打的几次败仗，差不多都是曾国藩自己担任指挥官时的“成绩”。如咸丰四年（1854）四月靖港之败，同年十二月水师湖口之败，以及咸丰十年（1860）六月祁门之困等等。
咸丰三年（1853）十一月，安徽、湖北两路告急，清廷屡次诏令曾国藩出兵援助，但他当时正因“长江千里，战船实为急务”，大练其水师，故拒不应命，直至拖到十二月，曾国藩这才奏陈鄂、湘、皖、赣四省合防之道，兼筹以堵为剿之策。为此，咸丰皇帝大为恼火，发下一纸朱批，将他狠狠地骂了一顿：
……朕知汝尚能激发天良，故特命汝赴援，以济燃眉。今观汝奏，直以数省军务一身克当。试问汝之才力能乎否乎？平时漫自矜诩，以为无出己之右者，及至临事果能尽符其言甚好，若稍涉张皇，岂不贻笑天下……言既出汝口，必须尽如所言，办与朕看！
这是曾国藩一生一世，凛于“天威可畏”，遇事“恭慎廉抑”，戒慎戒惧，唯恐“身败名裂”的由来。
曾国藩于咸丰四年（1854）正月中旬接到这道“圣旨”后，二十六日便带着湘军——陆师十五营，带走了十三个；水师十营中的全部船只，包括战船二百四，坐船二百三，计四百七十号，官兵夫役在内——共是一万七千余人浩浩荡荡地出发了。却不想，几日后，便在靖港遭到惨败。当时，太平军攻占岳州、湘潭后，兵锋正直指省城长沙。曾国藩若进入长沙无疑是自困城中。于是有人认为应先攻靖港，夺取太平军屯驻地；但也有人反对说，“若靖港失败，退还城下，即入死地。”应该攻湘潭，如果不胜，保复广州，即使长沙被攻陷，也可再夺回来。曾国藩见众人你一句，我一语地争论不休，也没了主意。这时水师十营官将，公推彭玉麟决定攻守战略，彭取上策，定先攻湘潭并亲率五营先期出发，约定次日曾国藩率五营殿后。但到了夜晚，长沙乡团来请师，说：“靖港之敌只有几百人，没有防备，可一战而驱之。团丁只是借大帅旗鼓作威势，吓退敌军，而且已架好浮桥接纳大帅，机不可失。”闻者无不踊跃。曾国藩并非想侥幸取胜，但考虑到彭玉麟攻湘潭，这边攻靖港，可取夹击之势，牵引敌军，于是便改攻靖港。次日晨，水急风利，曾国藩率五营水师如离弦之箭，乘风而发，不到几个时辰即达太平军屯驻的靖港。太平军见湘军来到，即发炮攻，曾国藩的营船招架不住，向回退又逆风而行，只有换炮打。好不容易退到浮桥处，又因浮桥是临时用门扉床板搭成的，人多桥坏，死伤了几百人。曾国藩见势不妙，便亲执仗剑喝令士兵不退，并立令旗杆上，说：“过旗者斩！”但士兵仍从旗旁相拥而过，于是全军大败。
曾国藩神情沮丧地回到坐船上，越想越难过，越想越灰心，便决定跳水自杀，一死了之。幕僚李元度见曾国藩支开随从，神情有异，便让幕僚章寿麟乘小船尾随其后，以备不虞。果然，曾国藩行到靖港对岸的铜官渚时，便一头扎入了水中。章寿麟见状，跃身入水将其救起。
曾国藩生前对铜官投水一事，讳莫如深，很多人只风闻其事而不知详情。后来章寿麟因为终其生不过一名知县，便认为曾国藩不肯大力提拔他，是为忘恩负义，不够意思，故特地写了一本《铜官感旧图》，对曾国藩颇有懑怨之词。此图详细记述了曾国藩跳水自杀一事的始末，于是投水一事，才公诸于天下。
曾国藩此次初度出师不利，自杀不成反被部属救回长沙，据他自称当时的情景是“为通省官绅所鄙夷”，此外还有里闾百姓、市井小人的群相垢辱讪笑。为此，布政使徐有壬以下的官吏逼着巡抚大人骆秉章罢黜湘军。
曾国藩误以为大势已去，悲观到了极点，回到长沙后不肯更衣，蓬头跣足，不饮不食。后又跑到妙高峰上起草了遗疏、遗嘱，共计两千多字，然后密令他的八弟曾国葆替他把棺材买好，他决计在四月初五之夜再一次自戕。
但就在这时，自湘潭传来了塔齐布的捷报，塔齐布击败了石达开的部将林绍璋，勇克湘潭，歼敌无数，湘军终于可以扬眉吐气了。事实证明曾国藩编练湘军的心血并未白费，长江南北总算有了一支可用之兵。初八日，靖港的太平军自动撤退，长沙之围宣告解除。曾国藩在全城军民欢呼雀跃、额手称庆之际，总算打消了死意。
湘潭全胜后，由骆秉章、鲍起豹（湖南提督）和曾国藩会奏经过，请奖立功将士，曾国藩则专起一个折子，痛陈自己靖港之败的过失，称有三谬。
但咸丰皇帝实在是对曾国藩印象太坏，圣旨下来，就如同几记耳光，打得曾国藩好不伤心难过。咸丰在答复他“自请交部从重治罪”的专折中说：
此奏太不明白！岂已昏目贵耶？汝罪固大，总须听朕处分。岂有自定一责问之罪？殊觉可笑！想汝是时心操如悬旌，漫无定见也！
嬉笑怒骂，无所不至！这仅是第一记耳光。
第二记耳光，曾国藩本来不居官常，属义务练兵“剿匪”，咸丰因无法出气，竟革去了他的礼部侍郎职，“责成其戴罪剿贼”。
第三记耳光，则将他过去一力保举的抚标中军参将、满人塔齐布，赏总兵衔巴图鲁名号，超擢署理提督，统辖全省水陆各营。塔齐布当了大帅，反过来要指挥曾国藩了。而原任湖南提督鲍起豹因“株守无能”，不善带兵打仗，只晓得“会衔入奏”，则被咸丰皇帝革了职。