此时，湘军开始加紧对太平天国首都天京（南京）的围攻，曾氏兄弟几次来信要求李鸿章施以援手，并指名令程学启部率军增援。李鸿章对曾国藩重新收编程学启部的念头心知肚明，便打发洋人的常胜军前往南京增援。这时常胜军首领已由白齐文代替华尔。李鸿章令白齐文率常胜军主力开赴南京，上海道台吴煦和杨坊负责“督带”。李鸿章此招可谓是一石三鸟，既向老师交差，又将常胜军支走，同时还把吴、杨两个非淮系官员排挤出沪。白齐文见李鸿章把自己派到危险的前线去作战，却难以保障充足军饷，哪里肯服从调动。他拒绝率领常胜军开赴南京。白齐文不敢和李鸿章直接作对，便拿在松江的道台杨坊出气。他跑到杨坊家里，将他毒打一顿，同时将杨府中搜到的四万块洋银抢劫一空。白齐文干了坏事自觉理亏，逃到英国军队中隐匿起来。曾国藩对李鸿章援军未至一事倒不怎么在意，因为他要求增援只是想招回程学启部。至于常胜军，曾国藩说过这么一段话：“常胜军不来南京没什么不好，来了倒没有什么好处！”李鸿章却对白齐文不听调遣、殴打朝廷命官且入室抢劫之事不能容忍。当然，这种棘手之事老奸巨猾的李鸿章不会亲自处理，他令吴煦限期将白氏捉拿归案，要求常胜军转由中国官员接管，外人不得干涉。英国军队见李鸿章真动了怒，觉得不便为一个白齐文破坏中英两国关系，决定交出白齐文。然英国驻华水师司令迪佛立与白齐文私交甚笃，强硬坚持不肯交出白齐文。李鸿章决心以此为突破口，改组常胜军。李鸿章改组常胜军主要有两个目的，一是削减常胜军的经费，将钱省下来发展淮军；二是收回常胜军兵权。无理也硬三分的英国人当然不会同意李鸿章的改组方案。英国政府任命戈登为新任常胜军统领以取代白齐文。戈登的到来使李鸿章心中着实“咯噔”了一下。他意识到英国绝不会轻易放弃常胜军领导权的险恶用心，不能与其硬碰硬。李鸿章遂托人调查戈登的底细，得知戈登出身于军官世家，对军事地形学和步炮联合作战有精深的研究，性格弱点是爱慕虚荣、贪财。戈登一到中国，便受到李鸿章的热烈欢迎。李鸿章极力称赞戈登的军事才华举世无双，令人钦佩不已，配得上任何高级军官职位。随后李鸿章升任戈登为总兵衔，并赠之以各种锦旗奖章、宝星勋章，其中白花花的银子当然必不可少。李鸿章不断虚心向他请教各种新式兵器的用途和杀伤力等军事专业问题。戈登来中国之前听说李鸿章是一铁腕人物，将前任吓得躲在军舰里不敢出来，早已做好应对的心理准备。但见到李鸿章后，戈登改变了看法，他在给英国政府发去的公函中极力称赞李鸿章，称其是中国最杰出的军事家和政治家，为人正直、思想先进，热心发展西方军工业，我们英国政府对他不但不应与之作对，而且应全力帮助支持。
有趣的是，没过多久，戈登公函中的李鸿章就变成了阴险毒辣的小人。戈登发现，常胜军在作战时总被派往最艰苦的前线，且经常为淮军程学启部做马前卒。戈登终于忍无可忍，带领常胜军跑到昆山，扬言不再听从李鸿章调遣。中国总税务司赫德从中英长远利益出发，百般协调，劝说贪财好利的戈登重新回到李鸿章身边。此事引起英国政府的强烈不满，认为这是对大英帝国的严重挑战，有损帝国尊严。英国政府提出，解散戈登的常胜军，上海防务由驻沪英军承担。李鸿章虽有思想准备，却万万没料到英国会同意解散常胜军。机不可失，李鸿章当即宣布解散常胜军。李鸿章一宣布此消息，英国人倒不满起来。驻华领事巴夏礼发出照会，称解散常胜军一事只有英国公使方可办理，李鸿章无权作出决定。李鸿章深知英国人的脾性，如果错过这次机会，想彻底摆脱常胜军就困难了。李鸿章多方打听，得知只要戈登同意解散并发给常胜军足够的遣散费，就能顺利解散常胜军。李鸿章知戈登一向好名，便以躲在军舰中的白齐文为例，晓以厉害，告诫戈登，人生在世名声最为重要，不要为别人的利益把自己给毁了。同时，李鸿章令丁日昌在最短时间内筹集白银十九万两作为遣散费。其中，上校级军官和负伤军官每人发四千块洋元，未受伤士兵除多发给一个月的津贴外，还按路途远近发给回家路费。报纸如此评价李鸿章的遣散费：“对于一个像清帝国那样负债累累的政府来说，这笔款项绝不能认为是气度狭小的。”三天后，常胜军全部解散。随后，李鸿章向曾国藩汇报：“常胜军已全部遣散，一切全靠戈登忽然变成了忠直的好人。这并不是学生促使他洗心革面的结果，而是大清兴旺发达的时运好啊！”
淮军的去留
淮军在同太平天国、捻军的作战过程中，渐次拥有了完善的兵制、统一的号服、新式的武器，逐渐发展壮大起来。然淮军的根本性质依然没有变化，即它始终是一支由个人领导的地方军队，其军费、粮饷、士兵津贴均由李鸿章个人筹集，它并不是国家正规军，不能享受国家财政的支持。国家的正规军是打仗时一无是处、衣服光鲜的绿营兵和只会吃喝玩乐的八旗兵。然捻军和太平天国总有被平灭的一天，那时专为镇压农民起事而创立的淮军和湘军该何去何从呢？从太平天国日趋衰微开始，这一问题就摆在了清政府和曾、李师徒二人面前。按照清朝军制惯例，一旦军事行动和战争任务结束，八旗兵返回防地，绿营兵调回原先驻守的村社集镇或城市，临时招募的勇营则就地解散回家。淮军和湘军按理应属最后一种类型。然湘、淮军又不是一般的勇营。敏感的曾国藩最先采取行动，裁撤湘军。他明白，不但是湘军，甚至自己兄弟二人都已成为清廷的心头大患。曾国藩向清廷上书，提及湘军兵员太多，自己难以统帅，请命解散三四万人。十天后，曾国藩又说弟弟曾国荃由于多年打仗，身心俱疲，希望朝廷允准其回家养病，顺便提出继续裁撤湘军两三万人。一年后，曾国藩又说湘军水师人数太多，应留下一小部分改编为长江水师，剩下的将士可以回家与亲人团聚了。清廷见曾国藩如此“懂事”，自然无可挑剔。曾国藩裁撤了自己的湘军，却一点没有要学生李鸿章效仿自己的意思。聪明的李鸿章也表示：淮军土是土了点，但很好用，淮军随时听候老师的调遣。于是，撤湘留淮计划出台了。此时的湘军已无法同淮军相比。首先，湘军内部将领之间矛盾很大，曾国藩自己都协调不了；其次，湘军日趋腐败，士兵抽大烟、逛窑子、抢掠民人的现象时有发生。当淮军越来越正规时，湘军倒越来越像地痞流氓，战斗力与淮军已不可同日而语。李鸿章认为，平定内乱只是淮军的当前任务，长久威胁来自于西方。想要打败西方列强，必须首先学习西方先进之处。他总结自己多年从戎的经验说：“想要灭贼必先治兵，想要强兵必先足饷，想要筹饷必先得到人和地。”
李鸿章很快掌握了最为稳固的饷源——厘金。他决定把钱花在洋人身上。李鸿章第一次观看华尔洋枪队作战时，即对洋枪洋炮的强大威力惊诧不已：这样的军队一个顶仨！他乐观地给曾国藩写信，中国只要有开花大炮和轮船两种东西，从此便不受外人欺侮了。欲先工其事，必先利其器。李鸿章决定把钱花在武器上。华尔既熟悉西洋武器，李鸿章便委托他代购。笼络人是李鸿章的长项，不久华尔答应为李鸿章从国外购买炸弹和洋枪。李鸿章将新购的第一批西洋武器配给了战斗力最强的程学启部。令华尔始料不及的是，他的热心帮助使淮军很快替代了常胜军。单凭华尔远远满足不了淮军的需要，李鸿章的目标扩大到在华其他洋人身上。有军官因服役期满回国或是中途回国办事，李鸿章都托他们代购武器。但通过个人购买，数量毕竟有限；李鸿章转而通过上海洋行大批购置武器。买得多了，李鸿章逐渐了解到，购买一点都不划算，钱都让洋人赚去，不如自产自销。然而武器自造还得在洋人身上花钱。一是好多制造军械的原料中国没有，须从外国购买；二是即使有原料，中国也无懂技术的专门人才，还得从外国聘请。李鸿章认为花些学费是值得的。建工厂、请洋师傅，上海炸炮三局开张了。然这毕竟是第一次，李鸿章聘请的洋师傅虽出身军队，却既非军官，也不是技术兵，而是一名军医。这个军医叫马格里，凭着对洋务事业的一腔忠诚，得到了李鸿章的信任，进入淮军幕府。不知是出于对李鸿章的忠诚还是对银子的忠诚，马格里最先建议李鸿章与其从外国购买武器，不如自己设局制造。马格里向李鸿章毛遂自荐，认为自己定能胜任。李鸿章痛快地答应了他的请求，将一个炸弹局交给他。可是炸弹不给马格里争气，生产初期就连续发生几起不慎走火爆炸的事故，工厂中血肉横飞，马格里医术再高明，也不能将他们拼凑到一块了。李鸿章得知后非常恼火，立即将马格里解职。
不光“硬件”上升级换代，李鸿章对“软件”改革也精益求精。他看到华尔洋枪队在作战时，不光凭借精良锐利的武器，而且有着井井有条的作战秩序。淮军作战时厮杀呐喊，声闻百里，气势恢弘；洋人作战时排队进退，只闻枪声炮声，无人显示出不要命的架势，敌人却已在远处人仰马翻，这才是打仗的最高境界。李鸿章决心在淮军中推广洋枪洋炮。李鸿章首先在程学启、刘铭传的部队中聘请洋教练。从没摸过洋枪炮的淮军士兵，对这些铁玩意既好奇，又恐惧。洋教练给他们的第一个任务是练准头。许多淮军都观摩过洋人军队作战，只见士兵手指一动，敌人应声倒地；大炮一拉，目标立刻屋倒墙塌，煞是威风。可同样的枪炮到自己手里便不听使唤，瞄得不准误伤战友、使用不当造成走火等事件屡屡发生，甚至一次演练中因弹药走火而炸死二十余人。李鸿章再三给部下打气说：“做任何事都要付出代价。等到练出百发百中的准头来，何坚不摧，何战不克！”除枪法外，李鸿章亦将西洋阵法、号角、口令引入淮军。语言不通是教习过程中面临的最大障碍。训练中洋教练喊出口号，经过翻译传达，士兵才去执行。且翻译将许多重要的专业术语译得不伦不类，弄得士兵经常无所适从，军事训练简直走了样。李鸿章鼓励大家：“英国官兵不像我们随便在人群中挑选，他们都受过军校的特殊训练。我不惜重金聘来老师，就是希望你们能够虚心学习。现在学的只是皮毛，等以后理解了精髓，自然会领悟其中的奥妙！”别说淮军将士不理解，连热衷洋务的曾国藩也不理解李鸿章的做法。他屡次写信给李鸿章，反复讲授取胜之道在人心不在兵器的道理。李鸿章向老师解释：太平军中虽有洋枪炮，可是他们没有用洋法操练队伍，因此武器发挥不出作用。李鸿章还邀请老师来参观淮军的训练。曾国藩观看淮军训练后，认为湘军已大不如淮军，历史任务确应落到淮军身上。这也成为曾国藩决定留淮撤湘的原因之一。
李鸿章凭他超人的本领纵横捭阖，保证淮军发展所必需的资金、武器，对军队进行了彻底的改造，使淮军成为当时中国最先进、最有战斗力的军队！