咸丰三年（1853）春，曾国藩奉命督办团练。此前一年，罗泽南已在乡召练乡勇。至此，两人讲研束伍技击之法，晨夕训练。
四年春，湖北太平军大举南下，占领汉口、汉阳后，威逼武昌。这时，屯兵九江城下的曾国藩却为或进或退的问题而大伤脑筋。湘军水陆师是全部回援武汉胡林翼？抑或分军回援武汉？还是湘军水陆师全部逗留江西？如果湘军水陆师全部回援武汉，势必与太平军为争夺武汉而决战。这对刚刚受挫的湘军水陆师来说，前途不容乐观。再说湖广总督杨霈“结援朝贵”，因人成事，攘功是其所长，曾国藩若回师武汉，有这样一个婆婆，小媳妇实在难当。他不能不回忆起咸丰三年（1853）九月十二日，清政府曾命他为湖北巡抚，以酬其劳，但十月二日，却忽然又收到解除他巡抚的命令，反而让他一向反对的陶恩培署理湖北巡抚。如果他全军回师武汉，与太平军争夺武昌，无异是帮陶恩培、杨霈的忙。权衡利弊，他决心抛弃回师武汉的想法。他反复考虑，踌躇再三，上奏说：目前的形势复杂，湘军的进止机宜很难处理。现在太平军大举进攻武汉，湖北兵勇断难抵御。敌军意图攻占武汉，将湘军裹在中段，“钱粮弹药已截，水勇之心，断难自固”。如果太平军攻占武汉，西窥荆州，南伺饬省，防不胜防，“其可虑者一”。如果湘军撤出江西，全师回援武汉，则艰难百战取得的战果，将全功尽弃，实为可惜。湘军军饷行将断绝；且陷入鄱阳湖的轻快水师战船百余号，健卒二千余人，从此断难冲入长江，永远不能与外江水师会合。如此精锐之师，无人照料统率，弃置无用之地，今后难图再振，实为可惜，“其可虑者二”。陆师屡次得胜，士气本极旺盛。但自从屯兵九江、湖口，仰攻坚城，死伤累累，精锐挫损。“若使回军武汉，则兵勇之雄心先减，加以远道跋涉，消磨精气”，“虽认真振饬，亦难作其方新之气。其可虑者三”。现在武汉危急，我也难以置身事外，为了救援武昌，我已命令道员李孟群率领部分水师驶回武汉江面，“毋使上窜之贼，掳船下水。如果大股贼匪占据武汉，水师当全军回剿，陆军亦当相机返顾”。
这个奏折刚刚发出，九江、湖口便江风大作，波涛汹涌，水师战船又被毁伤四十余号，完好者仅存四十余号。于是曾国藩命令知府彭玉麟统率残破战船和完好者一并驶往武汉的新堤船厂修理，兼防太平军水师控制汉水；同时命胡林翼、石清吉、王国才等驰援武昌。这样，湖北布政使胡林翼变成了湘军水师可靠的保护人。曾国藩的算盘是处处为自己和湘军精打细算，“一子不落虚空”。四年二月二日，曾国藩离开罗泽南陆营，前往南昌。临行前嘱咐罗泽南、塔齐布督率湘军八九千名，继续扑犯九江。曾国藩滞留江西，湘军陆师续犯九江，但对西征军来说已是无足轻重，至于湘军水师分为两个摊子，对太平军更加有利。二月六日，曾国藩率少数随从到达南昌，与江西巡抚陈启迈同城办公。
陷入鄱阳湖的水师，辎重衣物全部丢失，由于舢板小，不能烧饭，不便住宿。从前舢板都雇有座船，以资举炊、栖止，自冲入内湖，外江座船尽失，水师弁勇已“露外半月，饥冻备尝”。二十九日，湘军内湖水师（即鄱阳湖中的轻快水师）沿赣江开往南昌，江西巡抚陈启迈“给以口粮，优以犒赏，众心始安”。曾国藩与陈启迈商定，将江西造成的长龙三十号，拨归湘军内湖水师应用，又考虑到春夏水涨，“非巨舰不足以压浪而立营，拟再造快蟹大船十余号，酌派员弁回楚续招水勇，自成一军”。三月间，新募平江勇到达南昌，与旧有平江勇合并，共约三千余人，扎营南康，由候补同知李元度督带，使鄱阳湖水师有所依傍。这时，皖南太平军楔入赣东，湘军得到江西巡抚陈启迈的支持，不能不“急江西之所急”。三月底，曾国藩命驻扎九江城郊的罗泽南部近四千名驰援赣东清军，以后，又奔命于弋阳、广信、景德镇、义宁等地，“攻守非兵家之要”，所占城池，旋得旋失。
而曾国藩对围攻九江的陆师，也感到左右为难。继续强攻，死伤士卒，劳而无功；撤除围军，无异承认自己满盘皆输，影响士气与自己的威信。经过权衡他命令塔齐布继续仰攻坚城。塔齐布百计环攻，一无所得，徒然死伤累累。七月，塔齐布抑郁忧愤而死。曾国藩遂以副将周凤山接统塔齐布军。
七月二十七日，曾国藩曾召水陆诸将在紫坊聚齐，讨论攻武昌事宜。罗泽南将前几天根据实地考察绘好的地图从袖中抽出，铺在木桌上，说：“紫坊出武昌有二道：一洪山大路，一沿江出花园。当以重兵剿花园，而令塔齐布出洪山。”曾国藩大喜。正如罗泽南所言，当时花园集聚太平军精锐万余，筑坚垒三：一枕大江，一濒青林湖，一跨长堤。深沟坚栅，列巨炮无数。次日，湘军水陆进攻，直趋花园。经激战七昼夜，终于攻占武汉。罗泽南自此名震遐迩，以能将名。清廷赏戴花翎，任为宁绍台道，加按察使御。可是，耗尽湘军大半兵力，得来的武昌旋又被太平军夺去。罗泽南“太息深忧，叹世变之未已”，解说《周易》聊以自遣。
曾国藩的分兵之策，终于引起胡林翼的不满。胡林翼初任湖北巡抚时，他自己直接指挥的部队不过二三千名，另有副将王国才部三千名左右，也归他节制调遣。湘军水师共约七八营，战船一百二十余号，其主力归知府彭玉麟指挥，另外有三营归道员李孟群指挥，也总统于胡林翼。胡林翼部陆师与彭玉麟部水师驻扎武昌之西的金口，进可以反扑武昌，退亦足以限制武昌太平军西进，屏蔽湖南。金口山势微高，足以避风涛。李孟群率湘军水师与王国才部驻扎长江北岸、汉阳之西的沌口，进可以进犯汉阳，退亦足以自守，防止太平军西上荆州。湖南官绅认为胡林翼是湖南人，所部主力又是湘军，他所处的地理位置，使他能成为湖南的屏障。因此，湖南官绅全力支持胡林翼，协助他发展军事力量，“湖南绅局添新勇二千余名”，“又经湖南抚臣檄饬守备谌琼林带兵六百名援鄂，均于三月二十九日、二十五日到金口会齐”。胡林翼所部兵力增强一倍左右，于是时而攻击汉阳，时而进犯武昌。但防守武昌、汉阳的太平军却斗志昂扬，屡次打退敌军的攻势。胡林翼部屡战屡败，军心涣散，士气低落。
咸丰五年（1855）八月上旬，汉阳太平军屡次击败湘、楚军，胡林翼被迫亲自领兵前往应援，而以李孟群率水陆数营防守金口。二日，太平军分六路进攻金口，李孟群水陆大败，太平军攻克金口。胡林翼率军渡江至汉阳后，会同杨岳斌、彭玉麟部水师，猛扑汉阳不逞，死伤颇重，狼狈不堪。后来得到金口失守的败报，大有进退维谷之势。八日，汉阳太平军分数路前来进攻，胡林翼强令出战。这时，另路太平军从胡林翼军营后路抄袭而来，胡林翼部竟全军哗溃。胡林翼气愤交加，猛抽坐骑，欲与太平军死战。不料，坐骑在旷野上四处狂奔，马背上的胡林翼已不能控制自己。奔至江边时，遇杨岳斌部湘军水师部司哨官鲍超，鲍超急救胡林翼下船，才幸免于死。这是鲍超受知于胡林翼的开始。
胡林翼及时调整军事部署，派鲍超到湖南招募湘勇，另组新军，后称“霆字军”。又针对杨岳斌与彭玉麟分统水师，互相排挤的情况，努力调和两位将领，据曾国藩的幕僚陈鼐讲：胡林翼“调和诸将，出于至诚”。
一次，胡林翼写信召两人商谈要事。杨岳斌先至，与胡林翼谈得正起劲儿，见彭玉麟走进来，杨岳斌立即要往外走，胡林翼命其坐下。彭玉麟见杨在，也转身往回走，胡上前将其拉住。同时令下人备酒三斗，每人一斗。酒过三巡，胡林翼声泪俱下，说：“天下糜烂至此，实赖公等协力支持。公等今自生隙又何能佐治中兴之业邪？”两将大悟，遂和好如初。
之后，胡林翼又提拔杨岳斌为湘军外江水师统领，替曾国藩分劳解忧。同时，他又采取了一个非常重要的战略措施，奏请清政府命令曾国藩分军增援武昌。他奏陈说：“九江、湖口江面无水师，即使围攻经年，贼之往来自便，不如并力从湖南、北节节打通，乃可水陆东下，合于九江。”浙江宁绍台道罗泽南屡建战功，前次曾国藩派罗进攻义宁，即拟“进剿”武汉，但因塔齐布病死九江，暂回浔阳。“应请敕下臣曾国藩乃派罗泽南一军，并益以精兵一二千名，迅速由湖南边界来鄂会剿，若仍株守九江，而贼势之横出旁轶，蔓延上游，似于大局无补”。于是，湘军内部发生了战略争议。
罗泽南自咸丰五年（1855）三月中旬从九江拔营转战于广信、义宁等地以来，虽说攻城夺池，但旋得旋失，太平军忽去忽来，罗泽南奔救不遑。他认为曾国藩应分军增援武昌外围的湖北巡抚胡林翼，一旦攻占武昌，湘军便能水陆东下，会师九江，江西、湖北的军事局势才能根本好转。七月十六日，罗泽南督率所部湘军攻陷义宁后，便上书曾国藩指陈鄂、赣的战略形势说：
长江要害凡四：一曰荆州，西连巴、蜀，南并常、澧，自古以为重镇；一曰岳州，湖南之门户；一曰武昌，江、汉之水所由合，四冲争战之地，东南数省之关键；一曰九江，江西之门户。此四者，皆贼之所争也。今九江与贼相持，而贼又已上据武昌，失长江之关键。崇、通一带，群盗如毛，江西之武宁、义宁，湖南之平江、临湘、巴陵，均无安枕之日。欲制九江之命，必由武汉而下；欲解武昌之围，必由崇、通而入。为今之计，惟有率南康水师与浔城陆师，合力以攻湖口，横踞大江，截贼船之上下；更选劲旅扫通城、通山、崇阳、兴国之贼，乘胜合攻武昌。武昌复，外江水陆之师沿江直下，与内湖水陆之师相为联络，九江可不攻自下，兵家之势固然也。
为此，罗泽南还亲赴曾国藩驻地，再三陈说他的战略思想。
曾国藩经过反复思考，认为：
第一，罗泽南提出增援湘系要员胡林翼，大肆反攻武昌的观点，为湖南官绅所支持，也与他一贯的战略观点相吻合，是切中要害的。
第二，湘系人物担任地方督抚的只有胡林翼一人，如果胡林翼覆败于武昌外围，湘系势必失去湖北这块地盘。反过来说，派兵增援胡林翼收复武昌，也是为湘系争夺地盘，扩张湘系的实力。
第三，胡林翼在武昌外围已将湘军水师发展到十营，没有得力陆师与之配合，水师难以在武汉立足，且亦难以发挥水陆协同作战的优势。
第四，胡林翼的密友、至亲左宗棠是湘抚骆秉章的机要幕客，暗中操纵着湖南的军政大权。长期以来，左宗棠为曾国藩征兵输饷，若不允胡林翼之请派罗泽南驰援湖北，必将开罪左宗棠，将产生严重后果。
第五，湖南会党、农民起事层见迭出，湖南兵力不足，湖南巡抚骆秉章亦已奏调湘军一部“回湖南剿贼”。从湘军的利害关系着想，与其命罗泽南回兵湖南，不如派罗泽南增援胡林翼。
基于以上诸多因素，曾国藩毅然决定派遣罗泽南率军驰援胡林翼。并抽调塔齐布遗部参将彭三元、都司普承尧等部宝勇一千五百余人，归罗泽南节制调遣。同时，还派自己的好友刘蓉随同西上，充当罗的助手。曾国藩为什么最终还是同意罗泽南去湖北呢？当时刘蓉极力反对曾国藩说，你所依靠的主要是塔、罗二将，今塔已死，罗若远走湖北，倘有不测，更赖何人？因而劝曾毋放罗走。曾国藩无可奈何地表示，罗既然要走，留是留不住的，自己只好同意。可见，对于罗的离他而去，曾国藩口头上虽然同意，而内心是不甚情愿的。后来在回忆这段历史时，曾国藩追述自己当时的矛盾心情说：“咸丰五年余率水陆驻扎南康，志在攻破湖口一关。五、六两年竟不能攻破，七年余丁忧回籍，寸心以此为大憾事。罗罗山于五年八月至南康、湖口一看，知其不足以图功，即决然舍我而去，另剿湖北。其时有识者皆佩服罗山用兵能识时务，能取远势。余虽私怨罗山之弃余而他往，而亦未尝不服其行军有伸有缩，有开有合也。”罗泽南在前往湖北前，曾组织南康一带的湘军水陆师，对湖口、梅家洲作拚死一击，希图夺取这两处要地。八月八日，罗泽南渡鄱阳湖，督平江勇进犯湖口，下石钟山太平军营垒，但黄文金指挥太平军沉着抗击，打败了罗泽南的攻势；同时水师进犯梅家洲，亦大败，损失战船二十余号。罗泽南回至南康，向曾国藩建议：“湖口水陆官军但当坚守，不宜数数进攻，以顿兵损威，仍当俟江汉上游攻剿有效，以取建瓴之势。”曾国藩“又从之”。八月十六日，罗泽南从南康启程返回义宁军营。八月二十七日，罗泽南统率所部湘军五千左右，从义宁桂口出发，刘蓉将左军，知府李续宾将右军，取道湖北崇阳、通城增援湖北巡抚胡林翼。罗泽南行前，曾国藩知罗此行凶多吉少，嘱郭嵩焘为其饯行。席间，幕客们心情沉重，不忍下箸。郭嵩焘说：“曾公兵卓奈何？”罗泽南含泪道：“天若不亡本朝，曾公必不死。”
十一月十七日，罗泽南军进抵武昌城外的纸坊胡林翼大营。胡林翼大喜，凡事“咨而后行”，倚为干城。罗泽南“亦稍稍分其众隶公，俾部勒其士卒，由是尽传楚军（指湘军）规制”。此后，胡林翼指挥罗泽南等加强了对武昌的攻势。
罗泽南的回援成为湖北形势的转机。胡林翼担任湖北巡抚以后，有一段时期曾经非常困难，被太平军赶得东奔西走，站不住脚。有一次被打得几乎全军覆没，甚至欲骑马冲入敌阵自杀。其后他采取了两方面的措施，一是调整了与湖广总督官文的关系，一是在上游设厘局抽收厘金。咸丰五年（1855）三月原湖广总督杨霈被革职，荆州将军官文接任湖广总督。官文字秀峰，姓王佳氏，满洲正白旗人。此人官僚习气很重，生活挥霍无度，而又不理政务，诸事皆委托幕友家丁处理。胡林翼对此甚为脑火，欲将官文一举劾而去之。当时主管湖北粮台的阎敬铭劝告胡林翼说，武汉居天下之中，战略地位极为重要，一向驻有重兵，清廷决不会把这个地方完全交给汉族官员。若将官文劾去，必另派新人，后来者未必就比官文更好些，那时又将如何？因而，不如利用官文不理政事的特点，拿钱让他挥霍，供其享乐，每年不过耗银百万两，诸事可得自主，不致掣肘。魁联也用这翻道理劝说胡林翼，并自告奋勇愿为官、胡说情。胡林翼遂转而笼络官文，甚至极力讨取其宠妾的欢心，认为义妹。从此，官对胡言听计从，不仅使其对湖北诸事全权在握，展布自如，而且遇有奏请之事皆由官文出面，遂至事事依奏，极为顺利。官文亦由此得以坐享其成，不费一点气力而优先加官晋爵。他的协办大学士、太子少保以及一等伯世爵都是这样白拣来的。与此同时，胡林翼还于同年四月设立湖北总粮台，奏调户部主事阎敬铭和道员庄受祺总其责，并在沙市等地设局抽厘，以解决军饷问题。经过一个时期的努力，湖北厘金收入大增，军饷亦很快充裕起来。但由于缺乏一支军事骨干，湖北陆师的战斗力始终很差，无法与太平军抗衡。湖北原来的军队多是几经溃散而又收集起来的绿营兵，曾国藩早就指出湖北军队不可用，只因没有一支精锐部队为骨干，所以胡林翼迟迟未能进行整顿。胡林翼原先从贵州带来黔勇六百人，咸丰四年夏又增募新勇，将其扩充至二千人。以后转战湖口，回援武汉，带领的就是这支队伍。但终因兵单将寡，不甚得力。罗泽南的到来，成为胡林翼自天而降的救星。胡林翼为讨得罗泽南的欢心，对罗恭敬备至，从不以部下相待，言必称“先生”，遇事言听计从，必与罗商量而后行，以使罗一心为他卖命。对罗的心腹大将李续宾、李续宜兄弟，亦极尽笼络之能事。胡林翼知道李氏兄弟家贫而颇讲孝道，有老母在家无人照顾，便特地将李母接到自己署中，礼敬有加。过分的礼遇以致引起李氏兄弟的怀疑。有一次李写信问曾国藩，胡对他们兄弟这样好，是否出于权术？曾明知如此而不敢点破，只好说若待别人，权术或有之，但对你们兄弟纯出于真心，绝非权术。胡林翼依靠罗泽南一军为骨干，对湖北军队进行了全面整顿，将原有绿营兵逐步裁汰，按照湘军的榜样重新建立起湖北的武装力量，并不断派人去湖南募勇，连年扩军，一时成为长江上下军力最强的省份。
罗泽南从江西分军抵武昌外围后，武昌太平军改攻为守。同年十一月十二日，署理湖北提督杨岳斌指挥湘军水陆师攻陷金口。十二月，胡林翼率军驻扎武昌城南之五里墩，罗泽南率军驻扎武昌城东之洪山。武昌城外的湘、楚军水陆师摆出了全面进犯武昌的架势，频频对武昌发动攻势。湖广总督官文为了策应武昌方面的军事斗争，也指挥副都统魁玉、总兵杨昌泗等领兵沿汉水南下，进逼汉阳。武昌保卫战进入了生死关头。