李鸿章首先通过张树声招募了合肥西乡三山诸部团练。接着，又通过前来安庆拜访的庐江进士刘秉璋与驻扎三河的庐江团练头目潘鼎新、吴长庆建立联系。潘、刘自幼同学，又同为李鸿章父亲李文安的门生，吴长庆的亡父吴廷香也与李文安有旧交，自然一呼而应。同治元年（1862年）春节过后，淮军最早的部队树（张树声）、铭（刘铭传）、鼎（潘鼎新）、庆（吴长庆）四营即陆续开赴安庆集训。与此同时，李鸿章还命令三弟李鹤章回合肥故乡招募旧部团练。响应投军的有内亲李胜、张绍棠，昔年好友德模、王学懋，以及父亲李文安的旧部吴毓兰、吴毓芬等（这些东乡团练与西乡周盛波、周盛传兄弟的“盛”字营，均属第二批成军的淮勇，后又陆路陆续开赴上海）。首批四营淮军抵达安庆后，曾国藩极为重视，亲自召见各营将领加以考察，并亲为订立营制营规。曾国藩担心新建的淮军兵力太单薄，还从湘军各部调兵借将。其中整营拨归淮军的有：一、属于湘军系统的“春”字营（张遇春）和“济”字营（李济元）；二、太平军降将程学启“开”字两营；三、湖南新勇“林”字两营（滕嗣林、滕嗣武）以及后到的“熊”字营（陈飞熊）和“垣”字营（马先槐）；四、曾国藩送给李鸿章作为“赠嫁之资”的亲兵两营（韩正国、周良才）。其中，以桐城人程学启部“开”字两营作战最为凶悍，士卒多系安徽人（丁汝昌当时即在该部）。这样，李鸿章初建的淮军，就有了14个营头的建制（每营正勇505人，长夫180人，共685人）。同治元年（1862年）二月，曾国藩在李鸿章的陪同下，检阅已到达安庆集结的淮军各营，淮军正式宣告建军。随后，上海士绅花银18万两，雇英国商船7艘，将淮军分批由水陆运往上海。由于“济”字营留防池州，因此乘船入沪的淮军共计13营约9000人。
李鸿章本人于三月十日随首批淮军抵沪，半月之后，被任命署理江苏巡抚。十月十二日实授，次年二月又兼署通商大臣，“从此隆隆直上”，开始了他在晚清政治舞台上纵横捭阖的四十年。李鸿章受任之初，形势极为严峻。当时上海是全国最大的通商口岸，华、洋杂处，是江南财富集中之地；淮军抵达时，正值太平军第二次大举进攻，能否守住上海并徐图发展，是摆在李鸿章面前的最大考验。李鸿章牢记恩师的教诲“以练兵学战为性命根本，吏治洋务皆置后图”。而由上海官绅组建的“中外会防局”，一心指望外国雇佣军抵御太平军，对洋人百般献媚。他们和外国军队对淮军不以为意，“皆笑指为丐”。面对这种情况，李鸿章激励将士说“军贵能战，待吾破敌慑之”。不久，淮军果然于当年下半年独立进行了虹桥、北新泾和四江口三次恶战。李鸿章亲临前线指挥，成功守住了上海，顿时令中外人士对淮军刮目相看。
巩固地位
初步站稳脚跟后，李鸿章开始从“察吏、整军、筹饷、辑夷各事”入手，以进一步巩固自己的地位。在人事上，他罢免了以杨坊等为代表的一批媚外过甚的买办官吏，改为起用郭嵩焘、丁日昌等一批务实肯干的洋务派官员，同时建立了不同于湘军幕府，以务实干练、通晓洋务为基准的淮军幕府。在军制上，他从实战中领略到西洋军械的威力，从而产生“虚心忍辱，学得洋人一二秘法”的想法。淮军到沪未及一年，“尽改（湘军）旧制，更仿夷军”，转变成了装备洋枪洋炮，并雇请外国教练训练的新式军队，大大提高了战斗力；同时，李鸿章还采用一系列招降纳叛、兼收并蓄的措施，扩充实力。不到半年内，淮军就迅速扩军至50个营头，约2万人。此后更进一步急剧膨胀，至攻打天京前夕，淮军总兵力已达7万余人。在军费上，李鸿章采用“关厘分途，以厘济饷”的政策，以关税支付常胜军、中外合防局及镇江防军的军需，而以厘金协济淮军，随着军事进展和湘淮军力的壮大，厘卡也层层添设，从而确保了饷源。在对外关系上，李鸿章利用洋人赫德和士绅潘曾玮当说客，巧妙地平息了因苏州杀降而引起的戈登率常胜军闹事事件。并最终巧妙地解散了常胜军，初步显露出他的外交手腕。
同治元年（1862年）十一月十八日，常熟太平军守将骆国忠投降。李鸿章乘机率淮军发起收复苏、常的战役。经过与前来平叛的太平军反复激战，淮军最终攻克常熟、太仓、昆山等地。在初步扫清苏州外围后，李鸿章制订了三路进军计划：中路程学启统率，由昆山直趋苏州；北路李鹤章、刘铭传从常熟进攻江阴、无锡；南路则下攻吴江、平望，切断浙江太平军增援的道路。二年（1863年）七月，程学启部兵临苏州城下，太平天国忠王李秀成率军自天京往援，与北路淮军大战于无锡大桥角，太平军失利。是时，苏州太平军守将纳王郜永宽等发生动摇，与程学启部秘密接洽献城事宜。十一月初五，郜永宽等杀死守城主将慕王谭绍光，开城投降。但淮军入城后，太平军八降王率部屯居半城，不愿剃发解除武装，而是索要官衔及编制。为此，李鸿章采纳程学启的建议，诱杀了八降将，并遣散余众。苏州杀降，尽管引起戈登的不满，一度闹得不可开交，但就李鸿章来说，毕竟消除了“变生肘腋”的隐患，正如其在禀母亲的书信中所称“此事虽太过不仁，然攸关大局，不得不为”。曾国藩接报后，赞赏李鸿章“殊为眼明手辣”。
太平天国失败后，在湘淮军的去留问题上，曾国藩与李鸿章采取了不同的做法。曾国藩在攻下天京后不到一个月，就将他统率的湘军大部分遣散。当时，北方的捻军起义正如火如荼，曾国藩不顾清廷责成他再顾皖省军务的命令而毅然裁军。固然是因为湘军“暮气已深”，更重要的是，曾国藩担心功高震主，给自己招来杀身之祸。而李鸿章则认为：“吾师暨鸿章当与兵事相始终，留湘淮勇以防剿江南北，俟大局布稳，仍可远征他处。”他并进一步看到“目前之患在内寇，长远之患在西人”。因此他主张保留湘淮军的用意，不止于“靖内寇”，更在于“御外侮”，显然比曾氏高出一筹。
四年（1865年）四月二十四日，剿捻统帅僧格林沁全军覆没于山东菏泽。清廷即任命曾国藩为钦差大臣，北上督师剿捻：以李鸿章署理两江总督，负责调兵、筹饷等后勤事宜。由于湘军大部已裁撤，因此曾国藩北上率领的多为淮军。起初仅“铭”、“盛”、“鼎”、“树”四军共2.7万人，另带湘军刘松山部约8000人。后又命李鸿章的六弟李昭庆招练马队2000人，并增调淮军杨鼎勋、刘秉璋、刘士奇、吴毓芬、王永胜等部共2.7万人，加上刘铭传新募的新营，总兵力6万余人。曾国藩一到前线，即采用刘铭传、李鸿章等拟定的方针，决定“以有定之兵，制无定之寇”，在安徽临淮、河南周口、江苏徐州、山东济宁四镇屯扎重兵。一省有急，三省往援。后来，曾国藩又在运河、黄海、沙河和贾鲁河一带分兵设防，实行“画河圈地”之策。但是，一方面，当时捻军正值势旺，作战快速多变，枯守堵御一时难以奏效；另一方面，曾国藩也无法有效指挥淮军。因此，历时一年半，曾国藩督师无功。清廷不得不于五年（1866年）十一月初一，改命李鸿章为钦差大臣，接办剿捻事务，令曾国藩仍回两江总督本任。曾、李瓜代后，淮军继续扩军，李昭庆所部一军扩至19营，名武毅军，并添调“魁”字2营、亲兵1营、“凤”字7营。此外，又借调唐仁廉马队3营。合计剿捻兵力达7万人。李鸿章于十一月二十三日抵达徐州时，捻军已一分为二，赖文光、任柱等率东捻军仍留在中原作战，张宗禹、邱远才等则率捻军入陕西。李鸿章首先决定倾全力对付东捻军。他虽然仍坚持采用“以静制动”的战略方针。但鉴于曾国藩分防太广，难以奏效的教训，改为“扼地兜剿”的战法，即力图将捻军“蹙之于山深水复之处，弃地以诱其入。然后各省之军合力，三四面围困之”。
“臼口之围”
具体实施这一战略，大致经历了三个阶段：
第一阶段自五年（1866年）十一月至次年四月，实施“臼口之围”，主战场在湖北。李鸿章挂帅之初，正值东捻军突破曾国藩原设的贾鲁河—沙河防线，集结于湖北臼口一带，兵力约10万人。李鸿章迅速调动湘淮军各部7万余人，分路进击，意图一举歼灭。五年十二月（1867年1月），淮军“松”字营在安陆罗家集被捻军击败，统领郭松林受重伤。半个月后，“树”字营在德安杨家河被捻军歼灭，统领张树珊阵亡。六年（1867年）元月，双方主力在安陆尹隆河展开决战，湘淮军两大主力“霆”军与“铭”军原订同时发兵。但两军统领刘铭传与鲍超互相轻视，刘铭传为抢功而下令提前单独进击，结果遭捻军痛击，部将刘殿魁、田履安阵亡，刘本人“衣冠失落”，坐以待毙。鲍超赶来，从背后发起猛袭，才反败为胜，捻军损失2万余人。事后，李鸿章一意袒护刘铭传，鲍超反被诉为虚冒战功。由是，鲍超郁愤成疾，执意告退，所部“霆”军32营大部被遣散，只留唐仁廉择精壮，另立“仁”字营，并入淮军建制。二月，东捻军又在蕲水全歼湘军彭毓橘部，并于四月间突破了李鸿章设置的包围圈。
第二阶段自六年（1867年）五月至十二月，实施胶莱河—运河防线，主战场移至鲁东。东捻军在跳出包围圈后，复于五月突破运河防线，直趋山东半岛。在刘铭传、潘鼎新的建议下，李鸿章确定采取“倒守运河”之策。又在胶莱河两岸增设了内层防线，调淮军、东军、豫军分段防守。由于山东巡抚丁宝桢不愿将辖地变做战场，消极怠工，疏于防范，结果东捻军在七月间突破胶莱河防线。经过一场激烈的争执后，李与丁重修旧好，协力将东捻军堵御在黄海、运河、六塘河及大海之间的狭窄地带，使捻军“以走制敌”的优势无法发挥。十月，任柱在苏北赣榆战死，随之东捻军在寿光一战损失3万余精锐。十二月，赖文光率残部突破六塘河，南走至扬州被捕杀。东捻军覆灭，李鸿章因功赏加骑都尉世职。
第三阶段是七年（1868年）上半年，在直东战场与西捻军交战。当东捻军困厄之时，西捻军紧急驰援，以进军直隶威胁京畿而迫清军回救。元月，西捻军抵达保定，清廷大震，急调李鸿章、左宗棠及直、鲁、豫、皖各督抚率军北上勤王。时李鸿章正驻军济宁度岁，分派诸将北援，竟无一人应命，且纷纷求退，聚讼不休，淮军几至瓦解。李鸿章以救援不力，受到拔去双眼花翎、褫去黄马褂、革去骑都尉的处分。对此，李鸿章认为是“左公放贼出山，殃及鄙人”。但当危难之际，李鸿章仍耐心说服潘鼎新等将领遵旨北上。同时，清廷也命恭亲王奕节制各路大军，并协调左、李关系。在清军的协力堵截下，张宗禹率领西捻军于二三月间，一直在直鲁边境徘徊。四月二十九日，李鸿章与左宗棠会于德州桑园，议定“就地圈围”之策。引运河水入减河，引黄河水入运河，命淮军、东军、皖军分段驻守，又调湘淮军精锐作为追剿的“游击之师”。六月初，西捻军与跟踪追击的湘淮军数次接战，迭遭惨败。六月中旬，张宗禹率部在德州一带数度抢渡运河未成，适逢黄、运、徒骇各河河水陡涨，处境更难。六月二十八日，在转移途中，与淮军主力刘铭传、郭松林、潘鼎新部遭遇，一场激战，西捻军伤亡殆尽。张宗禹等二十余人突围至徒骇河边，不知所终。
升任大学士
西捻军覆灭后，清廷开复李鸿章迭次降革处分，并赏加太子太保衔，授湖广总督协办大学士。因成功调解天津教案，被任命为直隶总督，旋兼任北洋通商事务大臣。十一年（1872年），加授武英殿大学士。自此，李鸿章在直隶总督兼北洋大臣任上秉政达25年，参与了清政府有关内政、外交、经济、军事等一系列重大举措，成为清廷倚作畿疆门户、恃若长城的股肱重臣。随着李鸿章地位、权力的上升，他一手创建出的淮军，陆续被清廷派防直隶、山东、江苏、广西、广东、台湾各地，成为充当国防军角色的常备军；而以他为领袖，由淮军将领、幕僚以及一批志同道合的官僚组成的淮系集团，成为当时实力最强的一个洋务派集团。并在其带领下，开始了中国早期的洋务（自强）近代化运动。在镇压农民起义的过程中，李鸿章不仅建立了一支用西式装备武装起来的军队，还创办了一批近代军事工业。同治二年（1863年），李鸿章雇用英国人马格里会同直隶州知州刘佐禹，首先在松江创办了一个洋炮局，此后，又命韩殿甲、丁日昌在上海创办了两个洋炮局，合称“上海炸弹三局”。三年（1864年），松江局迁到苏州，改为苏州机器局。
四年（1865年），李鸿章在署理两江总督任上，鉴于原设三局设备不全，在曾国藩的支持下，收购了上海虹口美商旗记铁厂。与韩殿甲、丁日昌的两局合并，扩建为江南制造局（今上海江南造船厂）。与此同时，苏州机器局亦随李鸿章迁往南京，扩建为金陵机器局（今南京晨光机器厂）。九年（1870年），调任直隶总督，接管原由崇厚创办的天津机器局，并扩大生产规模。于是，中国近代早期的四大军工企业中，李鸿章一人就创办了三个（另一个是左宗棠、沈葆桢创办的福州船政局）。正如他自己所言“练兵以制器为先”。尔后，在引进西方设备进行近代化生产的实际操作中，他又进一步得出：“中国欲自强，则莫如学习外国利器。欲学习外国利器，则莫如觅制器之器，师其法而不必尽用其人。欲觅制器之器与制器之人，则或专设一科取士，士终身悬以为富贵功名之鹄。则业可成，艺可精，而才亦可集。”反映出其认识的深化。
转向“求富”
十一年（1872年）底，他首创中国近代最大的民用企业——轮船招商局，任朱其昂为总办，后以唐廷枢为总办，徐润、朱其昂、盛宣怀为会办，由此奠定了“官督商办”政策的基调。其后，在整个七八十年代，李鸿章先后创办了河北磁州煤铁矿（1875年）、江西兴国煤矿（1876年）、湖北广济煤矿（1876年）、开平矿务局（1877年）、上海机器织布局（1878年）、山东峄县煤矿（1880年）、天津电报总局（1880年）、唐胥铁路（1881年）、上海电报总局（1884年）、津沽铁路（1887年）、漠河金矿（1887年）、热河四道沟铜矿及三山铅银矿（1887年）、上海华盛纺织总厂（1894年）等一系列民用企业，涉及矿业、铁路、纺织、电信等各行各业。在经营方针上，也逐渐由官督商办转向官商合办，从客观上促进了近代资本主义在中国的发展。
面对清廷内部封建顽固派的重重阻挠，李鸿章曾雄辩地提出“处今日喜谈洋务乃圣之时”。他认为在追求自强的过程中，必须坚持“外须和戎，内须变法”的洋务总纲，也就是在列强环伺、外侮日甚的环境中，尽最大可能利用“以夷制夷”的外交手段，为中国的洋务——自强建设赢得尽可能多的和平时间。为此，他一生以外交能手自负，处理过许多重大的对外交涉。