李的出走，不排除功利驱使，而意气用事也是重要原因。
李鸿章离开祁门，打算返回南昌哥哥家中。途中走访了胡林翼，并告知离开曾幕的缘由。胡林翼素知李鸿章有才略，就说：“君一定会发达，但希望不要离开涤生（曾国藩），若没有涤生，君何以进身？”李鸿章听后，不以为然，愤愤地说：“我初以为你是豪杰之士，不需要别人而可以发展，今天才知我看错人了。”言毕，拂袖而去。归到下榻之地，整装将行。胡林翼派人挽留，李鸿章脾气又来了，仍执意要走。后经胡林翼强留，李鸿章才放下了行装。过后，两人又每日饮酒畅谈，只是不提曾之事。尽欢多日，李鸿章方才离去。
送别李鸿章后，胡林翼即写信劝说曾国藩：“李某终将发达，不若引之前进，犹足以张吾军。”曾国藩经过冷静思考，认为胡林翼的看法很有道理，便于咸丰十一年（1861）二、三月间写信给李鸿章，请他出任南昌城守事宜，以抗拒南路西征太平军。李鸿章也未割断与曾国藩的联系，直接写信劝说或请胡林翼代劝曾国藩从祁门“及早移军”，“先清江西内地”。胡林翼支持李鸿章的主张，特地写信给曾国藩说：李鸿章之议“颇识时务”，左宗棠移驻九江之策“亦握形势”，“然丈未必采纳。能于湖口、东流驻使节，联络南北两岸之兵气，乃合使节之体裁，且功效必大。”他甚至委婉地批评曾国藩因小失大，不顾战略全局。曾国藩随即移节东流。
李鸿章滞留南昌期间，曾给丁未同年沈葆桢（字幼丹）去信询问福建情况，有意去闽任道员之缺。沈葆桢回信劝阻：“闽事糜烂，君至徒自枉才耳！”另一位丁未同年郭嵩焘（字筠仙）也致函李鸿章，“力言此时崛起草芭，必有因依，试念今日之天下，舍曾公谁可因依者，即有拂意，终须赖以立功名，仍劝令投曾公。”李鸿章“读之怦然有动于心”。咸丰十一年（1861）五月十八日，曾国藩乘机写信给李鸿章，情词恳切地请他回营相助：
阁下久不来营，颇不可解。以公事论，业与淮扬水师各营官有堂属之名，岂能无故弃去，起灭不测。以私情论，去年出幕时并无不来之约。今春祁门危险，疑君有曾子避越之情。夏间东流稍安，又疑有穆生去楚之意。鄙人遍身热毒，内外交病，诸事废阁，不奏事者五十日矣。如无醴酒之嫌，则请台旆速来相助为理。
曾国藩敦促李鸿章出山，意在为自己罗致建功立业的助手。李鸿章环顾左右，也确信当今可资“因依”而“赖以立功名”者只有曾国藩，因此捐弃前嫌，于六月六日赶至东流，重新投身曾幕。
李鸿章第二次入幕曾府，曾国藩对其“礼貌有加于前，军国要务，皆与筹商。”吴汝纶撰《李鸿章江苏建祠事略》中说：“曾国藩前后幕僚，多知名之士，其能争议是非者，李鸿章一人而已。”虽不全是事实，但李“认真”的品格确为老师所欣赏。
李鸿章进曾国藩幕府等于进一个高级研究班。在军事上，他得以独当一面地招练骑兵、组建淮扬水师，复习他以前自学的步兵战术，故出幕时三大主要兵种的大部队指挥已相当娴熟。同治元年（1862）上海官员惊奇地发现，李鸿章亲自动手绘图描型，改建了上海水师战船、战艇式样，十分在行。以前，李鸿章能浪战而不耐战，不善防守；在曾国藩身边，他学到了深沟高垒的“站墙子”防御之术，学到了保饷道、粮道而无后顾之忧的坚守之法。李鸿章曾说：“我以为湘军有异术，今天晓得，不是别的，只不过听到长毛来站在墙子前罢了。”正是这站在坚厚墙壁前的防守战术，使当年淮军在关键的虹桥之战、北新泾之战中未被太平军击败。
李鸿章在曾国藩身边变得成熟起来，从政事到立身处世均有长足进步。从李的身上常常可以看到曾的影子：曾早就使用洋炮，李来沪后更爱洋枪洋炮；曾上马杀敌，下马讲学，幕府中供养“三圣七贤”十位名儒，李来沪后也效其技，并与上海势力中的商绅打成一片；曾处理军政大事虽征询幕友，然决断善断一由己意，李更青出于蓝，来沪后不容他人与自己平起平坐。李终其有生之年感谢曾的“积年训植”，他曾向部将刘秉璋述曾之恩：“我跟从的师辈多了，没有一位像这老翁善教的。他随时随地随事都有所指示。”李成名后朝野舆论也说他“果毅坚贞，克绍曾门衣钵”；他自己则说：别的弟子多不愿遵从师门成法，但“鸿章笃守”。无疑，李保持谨守师法的形象对自己最有利；而曾国藩授心传于李，也有其明哲保身的深意。
曾实际上是清军的前线总司令，且握有苏、浙、皖、赣四省军政大权。不过谁都知道，朝廷已经在忌其兵权过重，尽管表面上圣宠甚隆，骨子里君臣都为后事发愁。因此，曾亟需一位不会掘自己祖坟的传人，他最怕清廷内部矛盾激化成灾，殃及自家。曾国藩曾有一座右铭，后为李鸿章所发扬光大：“禹墨为体，庄老为用。”即吃苦实干，又无欲无为。表面上看它很消极，其更深的含义是以实力对抗压力。曾有过写一本《挺经》的想法，书虽未出，李已深谙内中之味。李曾对知己者说过：“我老师的秘传心法，有十九条挺经，这真是精通造化、守身用世的宝诀。”在湘军攻陷天京后，曾氏兄弟一度大遭物议，李暗中支持老师，并用“墨守挺经”四字相勉。它表明挺经之道乃对抗压力之宝，又表明李未辜负师门厚望，大纲一致。
天下动乱之秋，正是野心家得志之时。清政府镇压太平军，顿使大江两岸的柳暗花明之乡，化作了瓦砾干戈之场。在这场战争中，李鸿章发迹了。他借以发迹的资本就是中国近代史上的一支著名反动武装——淮军。
咸丰十一年（1861），太平军在安徽方面虽然失利，但在江浙各地颇有进展。继二月李世贤部攻克江西景德镇、李秀成部攻取江西吉安之后，三月，李世贤部又克浙江常山，四月，夺取金华。十月，太平军攻取绍兴。十一月，黄呈忠、范汝增部克宁波，李秀成破杭州，浙江巡抚瑞昌自杀。接着，上海附近的奉贤、南汇、川沙为太平军所占据。江苏大震，反动官僚、地主豪绅惶惶不可终日。
其时，湖北盐道顾文彬在江苏。顾文彬向江苏巡抚薛焕、团练大臣庞钟潞建议向安徽方面的曾国藩求援。于是，由上海道员吴煦筹银二十万两，雇佣外国人的轮船，派遣主事钱鼎铭、知县厉学潮等人，借苏浙乡绅之名，顺长江到安庆，向曾国藩乞师。钱鼎铭等人一见曾国藩，就一把眼泪一把鼻涕地说：“苏州、常州之民，盼曾帅如同婴儿望慈父慈母。请曾帅派遣懂军事的能干大员，赴通州、泰州，经江阴、常熟，规复苏州。”也就在这时候，朝廷之上，大学士、常熟籍的翁心存也上疏，建议曾国藩迅速援救苏、浙、上海诸地，因为这些地方为朝廷饷源所在，关系重大。于是，朝廷下诏，命曾国藩速遣大将东下，以慰“乡民”之望。
幸运之神又一次降到李鸿章的头上。他被选中带兵到上海是偶然中的必然。最早提出要援沪的是湘军将领吴坤修，时在咸丰十一年（1861）十月二十日。但此议却立即被否定，上海这块大肥肉怎能扔给无名末将？其实曾国藩心里早已有安排：让曾国荃带湘军老勇一万援沪；李鸿章辅弼曾国荃成此伟举，去当曾老九的二把手。为此，曾国荃匆匆赶回湖南募集新勇六千，以补抽调老勇援沪后的空缺。清廷于十二月二十五日颁布上谕，批准曾国荃与李鸿章“同赴下游”，任命曾国荃为江苏布政使。但年初上海的险恶形势吓坏了曾氏兄弟，把湘军精锐送到沪上一隅与忠王决一雌雄，风险太大。且轮船运兵事宜不及办妥，需要沿长江边的陆路攻城克隘杀往上海，这等于直穿太平天国境内一万精兵，而拚到目的地还能所剩有几呢？况且，就算安全到达，曾国荃也不过是接任布政使，上头还有巡抚来管他。曾国荃也口口声声说“恐归他人调遣”，对上海势力很害怕。而最主要的是，曾氏兄弟眼睛盯住金陵，亟欲抢到“剿灭”太平军的头功；何况金陵城的倾国财宝使清方上下久已垂涎三尺。因此在反复权衡后，曾氏兄弟决定不去冒险——千里迢迢地把湘军开到上海，然后西向仰攻，而是取近道攻太平天国首都天京。
曾国荃不当援沪主帅，李鸿章也被搁下来。曾国藩舍不得李鸿章离开，便拟另选主将。当时湘军中能战之部除曾国荃的老勇，就是左宗棠的新湘军和鲍超的霆军了，可一个是要顾到浙江一线，一个是策应金陵之战必不可少的劲旅。曾、李商议后决定请以稳健出名的湖南桂阳人陈士杰出山，请他以道员统兵，募集四千人东征。陈士杰果然应命募到万人，清廷到次年的一月二十六日还下谕催陈士杰率军赴沪，钦命他为江苏按察使。可陈士杰的胆气仍不足，他的万人新军白吃饷粮，却不敢沿江东下。最后，他为自己找到个最佳借口：“以母老为辞。”
另一人选是四十四岁的总兵冯子材，他近在镇江，来沪极易，而且冯子材的上司江宁将军都兴阿久有独占上海这块财税重镇之意。朝廷钦准冯子材督办上海军务，而催其赴沪的诏书已颁。但到二月，冯子材率军来沪的可能仍然存在。李鸿章在离开安庆前，还在问上海方面：“冯军门果然来沪吗？”可见，和李鸿章抢肥肉的大有人在。