马江一战，把福州造船厂化为灰烬，使福建海军船只尽毁，伤亡千人。清廷被迫于8月26日对法宣战。宣战诏书写得怯声怯语、委委屈屈，像一位受辱的寡妇洒泪泣诉着一肚子的冤苦。
而民众的怒火再也无法遏制了，纷纷投军充勇，戍边杀敌，甚至捣毁法国教堂、袭击洋人。已实授两广总督的张之洞趁机而动，在两广大办团练，招募兵勇，筹械筹饷，援闽援台，接济各军。号令民众，堵塞海口港汊，使敌舰不得入内。而且，到处张贴告示，宣称对法作战时，杀死法兵1名，奖银100两至1000两；获兵舰1艘，奖银2万两至10万两，摧毁者给半数；夺取大炮1尊，奖银8000两。两广沿海居民，以及越南西贡、新加坡、槟榔屿等处华侨、华人，都见到了那慷慨振奋，激动人心的告示。其中有言：
“法犯中国，有忠义报效者，雇船置械，驰赴越南、闽粤海面拦截法船，充兵毁其械，充匠坏其器，带水引礁浅，卖食置毒物，有功必奏奖。”
于是，东南亚华侨、华人同胞愤然而起，皆思杀敌立功，掀起了抗法热潮，使敌人惶恐不安。法船到香港，华工拒绝为其修船，英官员责罚华工，立刻引起挑夫、艇夫、舂米工等华民的大罢工。
可是，这天张之洞接到李鸿章来电，诘问“此等告示，在内地张贴，措词转失正大。新加坡等地，既非属地，恐辗转讹传，反生事端等”。事情是英国照会总理衙门引起的。
张之洞将电报摔在地上，气呼呼地说：“给北洋回电！”然后向属员口述电文：
告示沿海张贴，此乃谕我军民，令其在中国海面御敌，非令其在外国举事，文义甚明，并无不合。食物置毒，不过禁接济之意。前接英领事照会，即以回复。至新加坡等处布宣，当系往来商旅传播，虽传至伦敦、巴黎，亦所难料！此岂华官之责？亦非英国之羞。请照复英使，该处乃英属地，去粤甚远。当日无遣员持示布宣之事，此时亦断无代为另行晓谕之法！既系英境，听英官自行设法，剀切晓谕可也。
尽管张之洞义正词严，但还是受到总理衙门的传旨申饬。还有一件事，也让之洞十分憋气。
那是张之洞曾和水师提督密商，在香港暗募义勇，炸毁停泊在那里的法国兵船。水师提督依计而行，但不知怎么，消息泄露出去，一时又被西电讹传，说张之洞雇人专毁法国公司商船，有违万国公法，法国也声言进行报复。朝廷害怕，由总理衙门又来电询问。张之洞又只得复函，力辟谣言，说明此事“力禁在香港生事，且专备法国兵船，商船不与”，事情才平息了。
张之洞有气无处发泄，恰在这时陈宝琛来了。陈宝琛来广州，借故商谈转运粤防在上海订购的军火，其实是来看望张之洞，探讨对时局的看法和应对的办法。陈宝琛（1847～1935），字伯潜，号弢庵，是福建闽县（今闽侯县）人。陈宝琛13岁成县学秀才，18岁中举，21岁登同治戊辰（1868）科进士，授翰林院庶吉士。可谓少年得志。虽比张之洞小了15岁，但两人志趣相投，结下忘年之交。陈宝琛被简派会办南洋事宜，协同曾国荃到上海与法使巴德诺谈判，也窝了一肚子火。借机来广州，与好友披肝沥胆，尽吐心曲。
张之洞对朝廷的申饬仍怀余愤，于是说：“既言宣战，却又事事受敌挟制，我真是懵懂不解。洋人无理之事，在粤不能得逞，捏词耸听、渎扰总署，乃是他们的惯伎。总署不洞悉其诈，竟断为理曲在我，遂竟俯允，责令照办，岂有此理？如此自缚，谈何作为？连一纸告示尚不能出，何论交锋呢？此正所谓‘与人斗，既欲击之，又恐怒之’。诚不如趁早罢兵，尚可省钱省事。”
听着张之洞的牢骚，陈宝琛没有立即答话，而是注视着书斋墙上两副之洞手书的对联。这是张之洞到粤明心励志之作。
一联是：
居敬行简可使南面；
为政以德譬如北斗。
另一联是：
不犯秋毫岳武穆；
能寒夏胆范希文。
做岳飞、范仲淹那样的武将，这又何尝不是陈宝琛的志向！陈宝琛今年才33岁，哪里被年老功高的曾国荃放在眼里。他的意见，曾国荃根本听不进去，时常龃龉。而与法人谈判时，曾国荃因李鸿章授意，擅允赔偿50万两银子。他虽不同意，也未便硬拒，害得他跟曾国荃一块受到朝廷的申斥，说他“向来遇事敢言，亦随声附和，殊负委任”，使他深感委屈。
陈宝琛苦笑一下，才说：“战亦悔，不战也悔……当此危难之际，你我骑虎难下，吉凶未卜，不比丰润有援可倚，还需谨言慎行，弥足珍重为好。”
“你如何……”
张之洞想说，你如何这样灰心丧气？话到嘴边，想到自己刚发过的牢骚，心情也好不到哪儿去，便没说出来。他苦笑着摇摇头，转而接上了陈宝琛的话题：
“听说北洋正在为丰润运动，果有此事？”
北洋指的是北洋大臣李鸿章，丰润指的是张佩纶。
“确有此事。北洋不仅把女儿许给了丰润，还把他视为衣钵传人，爱护备至。北洋发给闽浙总督何璟的电文有言：‘闽船可尽，闽厂可毁，丰润学士必不可死。’看来，有北洋的斡旋，对丰润的责咎不会太重。不过，官是保不住了。”陈宝琛有些老于世故。
张之洞也曾对张佩纶怀着无限的期望。在山西巡抚任上，即曾上奏举荐张佩纶，“内行纯美，秉性忠贞，清鲠不阿，能谋能断。诚挚可以共艰危，警敏可以应急变。内政外事皆所优为，论其志节才略，实为当代人才第一”。马尾战前，张之洞预感到法寇必在福建挑起事端，在广东饷械奇绌的情况下，派游击方恭率领五营军兵，另带枪1400支、饷银10万两，并把粤防仅有的两艘军舰支援闽防，希望张佩纶打一场胜仗，振国威，振军威，播扬清流的声名。没想到，张佩纶丧师辱国，使他痛感心寒。
陈宝琛转而问道：“台湾方面，今日可有消息？”
“孤拔和利比士分兵攻打基隆和沪尾。刘铭传让出基隆，退守沪尾。法寇占领了基隆，却不能在沪尾登陆。昨日闻报，几日前刘铭传在沪尾围歼登陆法寇200多人，法寇舰队再也不敢靠近岸边。”沪尾今称淡水，在台湾西北部淡水河口北岸。
“沪尾能守住吗？”
“能。刘铭传退守沪尾实在是聪明之举。沪尾与基隆不同，基隆炮台的位置不便于轰击敌舰，敌人却可以打到炮台，死守那里，徒然增加伤亡。基隆煤矿已炸，法寇占了也无多大意义；而沪尾较基隆，不但位置重要，而且港口已塞，敌舰不能靠近，既免受炮轰，又易防登陆，正可凭险据守。只要饷械充足，守个一年半载不成问题。法寇久攻不克，已下令封港，北起苏澳，南至鹅銮鼻，长600里的海岸，禁止所有船只出入，打算困死我方守军。”
张之洞又介绍了自己支援台湾的情况：两次派船装运新式洋枪3000支、子弹100万发、火药2000桶、现银10万两。他要陈宝琛回沪后，也筹集饷械，支援台湾。陈宝琛点头说：“当尽快设法，解救孤台。”
张之洞说：“看今日情势，我不能遽逐法虏以去基隆，法也不能尽破我军而踞台湾。惟有力争越南，攻所必救。法虏支持不住了，台围自解。所以要大战越南，与法虏决一雌雄！”
“好！你这正是‘围魏救赵’之计！”陈宝琛赞同说，“越南情况如何？”
陈宝琛知道，在对法宣战的同时，朝廷已批准张之洞的奏请，派唐景崧出关会合刘永福（字渊亭），赏给刘永福记名提督衔，并赏戴花翎；吏部主事唐景崧也赏加五品卿衔。
“唐主事率四营兵勇，已出关与刘团会合。日前来电，刘渊亭要扩充兵勇，景崧给他带去的2万两饷银不敷为用，我又派人送去了5万两。与法虏的决战，很快即可打响。只是，刘军的饷银、枪械，朝命全由粤省在海关课税项下拨出。这仗一打起来，封锁了港口，没有了商贾出入，海关税何从征收？我已借洋款200万两，不知还要借多少？”
“听说，你有意驰闱姓收捐，以作战费？恐怕招致物议吧！”
张之洞狡黠的一笑，然后正色说道：“这有何不可？取之于民，用之于国，一分一文也不入我张某腰包。来得光明，去得正大，何怕之有？”他又向宝琛介绍说，自己不便奏请，已派人暗使广东绅商收买御史潘仕钊写了折子，要求驰禁闱姓抽捐，估计朝廷能准。
宝琛钦佩地说：“佩服！佩服！再难的事，到了孝达公手里，也可迎刃而解。南洋方面，不才能做些什么，请公明示！”
“当前急务，筹越以振全局。粤省防军，要派出大半到越南直捣虏巢。粤防饷械已自困绌，济台不能有多。朝廷已命沿江各省援台援闽，吾兄回至江宁，以力促沅帅购运军火援台为盼。再有，台湾没有军舰，被围后只能困守孤岛，日用所需、军资供应无一不缺。我正待奏请朝廷，饬南北洋海军各派军舰，组成援台舰队；分一只舰队，于闽海一带游弋巡防，截法人运兵、煤、粮船，使法人于台、闽及沿海各省不能得手。你当规劝沅帅，消弭旧怨，化除轸域，协力抗敌，报国尽忠。”张之洞说出自己的想法。
陈宝琛面露难色，但还是答应，一定尽力去办。
不久，张之洞的奏请被朝廷采纳了，饬命南北洋援台援闽。李鸿章推诿不派，甚至台湾巡抚、淮系将领刘铭传，给他这位老上司，发来谁看了都要痛苦落泪的乞援电报时，他也没有援助，只是回电说：“以北洋舰小不足当巨舰，无从赴援入台。谕旨勉铭传固守，不能救也。”
曾国荃也硬顶着拒不派舰援台，朝廷盛怒，交部严议，革职留任。
实际上，台湾不是无能援救，张之洞数次将饷械送去台湾，全由布袋港登陆，仅在本年底的一次援台中，就运去了25万两白银和几十万发子弹。
到年底，张佩纶被充军发配，陈宝琛也因保荐唐炯、徐延旭，交部严加议处，遂降五级调用。时逢陈宝琛丁母忧回籍，而且干脆不出来做官了，直到20多年后，才被张之洞荐起，其对官场之厌，可谓深矣。
当陈宝琛与张佩纶获谴时，有人撰成一副对联，讽刺陈和二张，发泄对清流的怨愤，流传颇盛。联云：
八表经营，也不过山西禁烟，广东开赌；
三洋会办，请先看侯官降级，丰润充军。
闽县古称侯官，指陈宝琛。而张之洞山西禁烟，是有功劳的，广东开赌，是为了募集军费，无可厚非。但是，即将亲临的中法决战，谁胜谁负？作为主帅的张之洞，也很难料定吉凶。一旦失利，他岂不落个同张佩纶、陈宝琛一样的下场？
张之洞顾不得考虑自己的命运如何，一心只想打败法虏，解救危台，纾解国难。他深知，打胜仗绝非易事。一仗打胜，其条件总是多方面的；而败仗呢？其原因却往往是一个方面、一个环节、甚而是一个细节出了问题，即可使得全军覆没。
张之洞在原有电报线路基础上，架设海陆电线，自省城分达钦、廉、雷、琼各州，联通一气，便于调兵筹饷。又架专线自钦州至龙州、谅山、谷松、宣光等中国防地共设台站17处，便于互通文报，联络作战和掌握战况，指挥调度。甚至运输饷械的运道有几条，哪条好走，各需几日，他也要亲自问明，记在心中。甚而子弹底火受潮，不能打响等细节，他也想到了，专令各军派员司理焙晒。还觅医生，征刊验方，制成丹散，嘱咐以多为贵，发往关外各营，使将士避瘴避疫，且说：“此行非善，是增兵也。万勿急视，至要！”至于调兵遣将、布阵设防、战略战术诸端大事，张之洞更是谨慎思谋，不稍懈怠。
宣战之前，张之洞即具体地提出了自己的战略计划：西路，派唐景崧率军取道牧马、高平，入越会合刘永福，进攻法军驻扎的要地——宣光；东路，派前广西提督冯子材、广西右江总兵王孝祺，由梧州、上思出关，赴谷松会合苏元春，进可以打击东路法军的据点，守可以迎击法军的陆路北上。此两路逐步向越南腹地挺进，进犯台湾的法军必然回顾，而台围自解，中国军队占据主动，整个战局即可扭转。
西路的部署首先被朝廷批准进行。中秋节后5天，唐景崧率新募的四营兵勇出关，很顺利地与驻扎在宣光附近的刘永福黑旗军会合。
东路主将冯子材的再度出山，也同唐景崧的起用一样，是张之洞到粤之前即开始谋划的。张之洞一到广州，即派人赍礼致书冯子材，嘘寒问暖，关怀体贴，敬慕倚重，任为高、雷、钦、廉四府团练督办。冯子材允而未行。十月，朝廷准张之洞的再三奏请，重新起用冯子材。张之洞再次派人来到白水塘，冯子材颇为感激，说：“张南皮巍科名流，乃能识我，越事已急，我允之矣！”
冯子材壮志雄心，老当益壮，要练30营雄兵，赴越扫平法虏。他一生身经百战，几乎没打过败仗。而今，冯子材抱定必胜决心，重振萃军雄风。他的旗牌帐篷，都要别具一格，自成式样，张之洞依其所请，任其改制。但因财力不足，到冯子材出关时，张之洞仅为他凑齐了18营的饷械军服。冯子材毅然率兵赴敌。
此时，在越南战场的中国军队，西路为杨玉科、方友升率领的9营，驻郎甲；中路为苏元春、陈嘉所部18营，驻谷松；东路为王德榜所部10营，驻那阳。他们皆距谅山百余里。广西巡抚潘鼎新率叶家祥、董履高所部十余营驻谅山，为三军后援，皆称桂军。另有唐景崧的4营和刘永福黑旗军驻宣光附近。
针对法军西守东攻、专注谅山的图谋，张之洞认为桂军分道防守，兵力尚薄，应由东路再增劲兵，以桂军攻西路，粤师出东路，则法军首尾不能相顾，收犄角夹攻之效。他的《分遣广军规越折》奏准之后，遂加紧派冯子材以提督衔统率18营，由钦州、上思出边入越，直趋那阳一路；派右江镇总兵王孝祺率8营，由梧州溯西江而上，至龙州出关，赴谅山一路；派钦州参将莫善喜和参将陈荣辉率8营，由东兴出关入越，趋海阳一路；并派唐景崧在攻克宣光以后，即将所部添足6营，下趋端雄一路。总计派粤军4支共40营，分道入越，和滇、桂、刘军相呼应，使北越的法军首尾难顾，牵而制之。
与此同时，云贵总督岑毓英也派出了何秀林、丁槐、覃修纲等十几营滇军，由云南边境入越，为宣光附近的刘永福、唐景崧军援应。
西线的战略攻势于十一月初首先展开。唐景崧会同滇将何林秀、丁槐、及刘永福、黄守忠等率部攻宣光，覃修纲取嘉喻关。
十一月十一日，唐景崧、刘永福、吴凤典与滇军三面出击，尽夺宣光城外堡垒，收复了宣光、兴化、山西各属大部分地区。而宣光城墙坚固，极得地势，敌筑台于城中，俯瞰我军。粤军进攻，敌发炮回击，易守难攻。粤军参将娄敬德负伤，仍率部猛攻，终至牺牲。敌炮猛轰，粤军不稍退却。诸军昼夜环攻，三日不息。十五日，我军再次猛攻，粤军擒敌兵200余人；滇军冒死夺获城外敌垒，敌人溃退，死伤无数。粤军逼城筑垒，悬炮山上击城中敌军，城堞多毁。刘永福军夺敌船20余只。自此数日一战，断其粮柴水源，使其龟守无援。而后，虽有小挫，仍最终于东线镇南关战役之前，粤、滇、刘军取得临洮大捷，使西线法军土崩瓦解。
东线，广西巡抚潘鼎新指挥的桂军，开始进攻还算顺利。署理广西提督苏元春、记名提督方友升及总兵周寿昌等部，曾一度攻占船头、郎甲等地。但是，潘鼎新受李鸿章避战求和密令，消极怯战，株守谅山，未趁法军孤立无援时乘胜进攻，使法军从容集结，夺回郎甲和船头。
这时，法军在台湾沪尾（淡水）接连受挫，而国内援军未到，被迫由攻转守。清廷见此机可乘，采纳主战派的建议，派出了滇军和黑旗军、唐景崧攻取宣光；并采纳张之洞等人“争越在此数月”的建议，派粤军补充东线桂军，大举进越，命令潘鼎新主动出击，先发制敌。潘鼎新仍秉承李鸿章“切勿攻坚伤精锐”的意旨，要“等滇军牵制西线、此间有隙可乘时”，才“趁势袭取”。仅以小股出击，牵制法军，作出一点进攻的姿态，又一次贻误了战机。
十二月初，法军调集河内、山西、北宁兵力，连同客匪、教匪共1万余人，会同由法增援新到越南的6000多法兵，展开了对桂军的进攻。十二月二十日（1885年2月4日），法军大举进犯谷松。桂军苏元春、陈嘉所部迎敌，力战三日，敌人炮火甚猛，桂军伤亡极大。二十二日，先锋营陈嘉所部创甚败退，苏元春军也力所难支弃守谷松，退守谅山之南三十里的威坡。
谷松一战，潘鼎新未及时部署，连子弹也没有运上去。法军趁势攻取观音桥、东里等军事要地。
七天之后，法军攻威坡。潘鼎新又把该处守军撤回谅山，自己退入镇南关内。
先此，张之洞见敌情有变，立刻改变了粤军的出关计划，命冯子材、王孝祺所部在龙州集结。十二月初五日，冯子材、王孝祺到达龙州，整军练兵，待粮饷军械一到，即出关赴敌。谷松失守，张之洞给潘鼎新去电，说：趁着法军立足未稳，无论湘、淮、粤、桂各军，能出奇并夺回谷松者，赏银4万两，由东省筹给。
法军取威坡之后，直抵谅山。十二月二十九日，潘鼎新弃守谅山，谅山为法军占领。
张之洞闻谅山失守，腊月三十日立即发电冯子材、王孝祺，命令他们速率本部迎敌，横截法军奋力一战。冯子材飞调已赴越在派站（地名）的所部8营回关援救，自己率筹集粮械的中军10营，并同王孝祺所部，正月初一日飞兵赴关。
命冯子材出关抗法的消息流传出时，钦州参将莫善喜、参将陈荣辉同时自请率营随冯子材出关。张之洞遂命王孝祺8营、莫善喜5营、陈荣辉3营，皆归冯子材统率。莫善喜、陈荣辉已先出关，到达防地。冯子材率军向谅山奔驰，正遇上潘鼎新的军队大败北逃，溃兵如潮，对冯子材的部队冲击很大，何况尚有200多里的山路，冯子材初三日才赶到镇南关。
这天，朝廷发来谕旨，以广西巡抚潘鼎新身临前敌，职位最高，着广东总兵王孝祺听候调遣；冯子材帮办关外军务，所统各营也归潘鼎新调度。而潘鼎新的部队从谅山溃退时，只顾逃命，把军械粮食弃置殆尽。
冯子材与潘鼎新面议守关御敌，潘鼎新以守关无须萃军，要冯子材仍顾东路。冯子材从关外调回的8营，此时已到镇南关东面不足百里的宁明界内，闻命只好原路返回；随同冯子材同行各营，仍赴防地，初十日方到。潘鼎新此举是为了将冯子材调开，一来任凭冯子材和法军厮杀，二来没有粤军在身边，他自己及桂军即可任意行事了。
法军继续北进，攻打镇南关。潘鼎新早在初五退到离镇南关20里的幕府。初九，又退凭祥，夜里便又逃至离关60里的海村。觉得还不保险，又一直逃到龙州。其属下各军也如惊弓之鸟，夺路溃逃。逃军难民蔽江而下，关内震惊。沿江自南宁、梧州、浔州直到桂林，无不惊扰，纷纷告急请兵，南宁戒严。法军直捣广西国门，形势危如累卵。
此间，张之洞给潘鼎新去电，让他赶紧赴前线收揽败军，不然后果不堪设想，并说：“诸事以实情上达，朝廷必能俯鉴。若稍不确，将来为人指摘，更为不妥。”
但潘鼎新对张之洞的命令不予理睬，听凭溃军溃逃，沿路抢夺百姓财产。
张之洞立即给冯子材发电，要他到镇南关督战，收揽溃军，守住关口，又给李秉衡去电，让他支持冯子材萃军守关克敌，听其相机下手。
初九日，法军攻陷文渊州。战斗中，西路守将桂军杨玉科阻敌奋战，午后中炮牺牲，守军溃退关内。法军乘势侵占了镇南关，前锋一度深入关内的幕府附近。
冯子材闻镇南关失守，立即由东路统兵回援，日夜兼程二百余里，于十五日抵达凭祥。冯子材收拢了各军溃部，与苏元春等将领稳住了溃败大局。
镇南关位于中越边境东段，周围都是崇山峻岭，只有通过关口的峡谷比较平坦，历来是南北往来的走廊，兵家必争之地。法军侵占镇南关以后，由于孤军无援，又受到当地民众武装的袭扰，便炸毁了镇南关城墙及附近的工事，狂妄地在废墟上写上“广西门户，不复存在”几个大字，于十一日夜里，放火焚关，退回了文渊、谅山据守，分兵援救被围多时的宣光。
正月十六日，岑毓英令何秀林、丁槐会同刘永福军与法军战于左育。刘永福血战一日，杀敌200余人。滇将吴凤典部为敌所乘，伤亡惨重，不得已败退。法军合力攻击刘永福黑旗军，黑旗军奋战不敌。唐景崧率队来援时，刘永福已经败退，法军进入宣光。宣光围解。唐景崧、刘永福退保牧马。
张之洞闻讯，顿足叹恨，立刻调整部署，命唐景崧斜出奇兵，回袭谅山。刘永福的部将黄守忠也率部助剿。
谅山失守后，潘鼎新知道朝廷必要追查治罪，于是先发制人，把失地的罪责推到冯子材、王德榜身上。正月十三日，李鸿章向总理衙门电报了潘鼎新的电奏，说谅山之失，苏元春等实在是血战力竭，并非不战而退；冯子材、王德榜28营飞催不至，掣肘十分；他自己呢？“臣身在前敌，不能先事预防，致有疏忽。”
朝廷偏听其奏，极为震怒，立即降下电旨：“冯子材、王德榜经潘鼎新飞催不至，可恨已极，著张之洞、潘鼎新传旨严催援剿。倘再玩延，即军法从事。”
张之洞奉到电旨，知道潘鼎新颠倒黑白，气得坐在椅子上呼呼直喘粗气。这时一只花猫跳到他腿上，要像往常一样得到主人的爱抚。张之洞平时爱猫成癖，他养着几十只猫，书房里，桌上桌下，到处都是猫屎猫尿，他也不厌其烦。害的何安一有空闲，就要来打扫这些猫的粪便。今天花猫来的不是时候，它往上一跳，打断了张之洞的思路。他的火正无处发泄，伸手一抓，花猫一声惨叫，被活生生地攥死了。
彭玉麟应约而至，看完电旨，立刻顿足喝骂潘鼎新。他和张之洞一样，对谅山失守，忧心如焚，更对潘鼎新临战逃脱，诿罪于冯子材、王德榜愤慨不已。
张之洞说：“雪帅，边防垂危，惟赖冯、王扭转败局。如今，冯、王蒙受诬陷，遭旨严谴。若不抗论辩诬，伸张正义，冯、王寒心，士气不奋，大局将一败涂地。”
彭玉麟也深以为然，说：“当为冯、王上疏辨诬！香涛，你派人拟稿，我来会衔。即使受到抗旨的咎责，我彭某也心甘情愿！”
张之洞受到玉麟的鼓励，立即亲手拟成电稿，于正月十五日与彭玉麟联衔上奏。陈明并非冯、王不听调度，而是潘鼎新调度乖方，军令一日数易，且饰言罔上，推卸其一路溃逃的罪责。并建议：“关内外军事可忧，潘抚才无力蹶。请速简知兵大员督办广西关内外军事。”并奏“可否令李秉衡暂行护理，办后路军务”。
同时，张之洞给冯子材发电，劝慰他“奉旨援剿，听潘调度”，“贵军以前并无玩延情形，洞自当奏陈。大局为重，万勿愤郁。将来破敌，终赖麾下”。
由于潘鼎新的溃逃，没有牵制和有效地打击法军，使得法军不但解了宣光之围，还抽出兵力，袭扰广东、福建和浙江沿海地区。法军知道广东兵力大举赴越，便扬言封锁北海湾，截获粤军饷械，并派舰至零丁洋面游弋，声言攻打广州。
张之洞和彭玉麟商妥沿海防务，两人并力督率。
虎门为广州第一门户，有大角、沙角二山。黄埔为第二门户，自此而进，北路是鱼山、珠山，南路是海心冈、大黄滘。中法开战以后，彭玉麟无警时驻大黄滘，有警驻虎门，省城为他备的行馆干脆不住。在山上，他支帐为棚，苫蔽蕉叶，风雨沾濡，暑日蒸灸，与士卒相同。张之洞则在有警时亲到鱼珠山驻防。
当时有议，虎门辽阔难守，不如退守黄埔。彭玉麟亲自勘察，见虎门以外即零丁洋，大海浩瀚无涯，而曲曲清流仅只一线。无论帆船轮船，必循此一线而进，进则必经沙角山下。彭玉麟派健勇凿穿石壁为炮洞，炮兵隐蔽其中，敌方看不见、打不着，十分安全。天天有警报，法军声言袭广州，彭玉麟即驻在沙角山上，命白天严查过往船只，入夜则不许有一舟一船进入。除夕之夜，有一只帆船进入虎门，疑似之间，彭玉麟下令开放一炮。这一炮打得极准，帆桅倶断，查看后才知是盐务巡船。彭玉麟深悔鲁莽。而此后，法国军舰再也不敢靠近虎门。外国报纸上说：虎门之大角炮台深得形势，不可轻犯。这一炮还真打出了威风！
张之洞劝彭玉麟驻省城广州，以便规划全局，而彭玉麟誓守沙角炮台，要与炮台共存亡。这天，彭玉麟接到一道圣旨，说：“重臣宜顾全局，不可株守一台，该尚书加意慎重。”
彭玉麟知道，朝旨是因之洞的密奏而发，心里也实在感佩，见到张之洞说：“好个张香涛，竟然偷偷奏我一本！”
张之洞笑道：“雪帅是国家柱石，朝廷重臣。两广防务，全仗雪帅筹谋决策，香涛敢不加意保护？”
彭玉麟这才住进广州行馆。两人和衷御敌，传为一段佳话。
冯子材回到镇南关，和诸将反复勘察，选定关内八里处的关前隘，作为歼敌的战场。这里山势险要，东西两岭对峙，中间夹着二里多长的谷地。冯子材命部队在两岭之上构筑堡垒，安上大炮；横跨两岭之间又筑起一道长3里、高7尺的长墙。墙内1里许，又筑起一道平行的墙。两墙之间，安扎重兵，构成一道完整的山地防御工事。
冯子材亲率本部守在关前，约苏元春、陈嘉两军守在自己后方的两翼；让王孝祺同自己的阵地成犄角之势；蒋宗汉、方友升守凭祥，王德榜守油隘。
冯子材部署方定，正要突袭法军，突然接到张之洞的来电，转达总署和李鸿章的意见。说法军由文渊进扎扣波，企图由艽葑、牧马，绕道而出镇南关之北，袭击龙州，切断桂军的后路。同时，法军已封锁北海口，钦廉二州吃紧，要把冯子材所部调回。
冯子材知道，潘鼎新对自己素怀妒意，不愿自己把守关口，便借口钦廉吃紧，通过李鸿章奏请朝廷，有意把自己调走。而守关关系重大，连日得到探报，法军又增兵千余人，准备二月初九，合战入关。战在眉睫，不可贻误戎机。
于是，冯子材急调驻龙州的萃军5营，前往扣波拒敌，同时复电张之洞，说明抽兵之后，于守关不利；建议先发虚张声势，文示钦廉，声言冯子材已亲率10营回援，不日即到，用以稳定军心民心，迷惑法军。
张之洞立即批准了冯子材的惑敌之计，令他专顾桂防，不必回廉州。
二月初二日，潘鼎新从海村来镇南关，视察长墙营垒工事。冯子材根据法军正在增兵集结的情况，再次要求乘其不备，先发制敌。谁料潘鼎新以士气未复为由，不准冯子材率军袭敌。
这是冯子材第二次请战了。此前，冯子材曾想奇袭文渊，夺下这个离镇南关最近的军事要地，以便下一步收复谅山，潘鼎新没有准许。冯子材十分气愤，便给张之洞发电，说明想奇袭文渊的战斗计划，并说：奉旨进剿之事须与潘鼎新协商，十分不便，不免坐失战机，请示可否便宜行事。张之洞也深感冯军受潘鼎新的节制不便，战机一再延误，电复冯子材：“贵军距琴帅营甚远，兵机瞬变，函商必误，自是至理。但此层宜向琴帅剀切陈明，想无不允。”命冯子材在镇南关相机克敌。同时，张之洞又致电潘鼎新，说：“冯军自请攻文渊，既云有机可乘，自应许之。发轫之始，悬赏将士，无所不可。”
但是，冯子材的这次当面请战，潘鼎新又不允许，他自己则煞有介事地观察完工事以后，又躲回了海村。
冯子材不忍战机再失，遂甘冒风险，说服诸将，先发制敌。于二月初五日夜里，亲率王孝祺的勤军突袭文渊，冲入街心，毁敌炮台两座，毙伤法军多人，直到第二天下午才主动撤回。此次夜袭告捷，加上七天前萃军在扣波拦击法军也取得了胜利，极大地鼓舞了守关官兵的士气。
果然，冯子材的奇袭文渊激怒了法军统帅尼格里。他不等谅山的援军到齐，即在二月初七清晨，趁着漫天大雾，率文渊的法军前来偷袭镇南关，逼近长城。
镇南关的城墙和关楼在上月法军攻占时被毁，无险可据，不易防守。冯子材在修筑长墙的同时，命士勇在关外修筑两座堡垒。堡垒未成，敌军既已攻至，直攻关前隘，形势危急。
李秉衡召集各军将领，要大家推选主帅。王孝祺说：“今无论湘军、粤军、淮军，都应听冯将军的指挥。”
大家一致赞同。
冯子材布置完毕，要各将领亲率本部严阵以待，与敌死战。
上午十点半，法军2000余人，分两路发起攻击，企图攻占长墙工事。顿时，炮声震天，弹密如雨，硝烟弥漫，山谷轰鸣，远闻七八十里以外。
经过几小时的激战，东岭的五个堡垒已有三个陷于敌手，法军已能俯瞰到城内的清军。此时，尼格里还在督战，轮番进攻第四座堡垒。如果这座堡垒再被敌人占领，长墙即将陷于法军居高临下的炮火之中。
冯子材见形势危急，激动地高喊：“法军入关，我等有何面目见广东父老？必要以死抗敌，誓与长墙共存亡！”
将士们受到激励，也大声高喊：“誓与长墙共存亡！”面对疯狂的敌军，毫无惧色，勇猛抗击。
下午，苏元春、陈嘉和蒋宗汉、方友升等部先后赶到增援，经过激烈的奋战，终于击退了法军的进攻。同时，王德榜部从油隘出击敌人右翼，牵制了机动的法军，切断敌人运送粮械军火的运输线，有力地配合了镇南关主战场的战斗。
夜幕降临，敌人退了回去。
冯子材调整部署，命苏元春部协助萃军守长墙，王孝祺部守西岭，王德榜部仍在敌后出击打援，并在长墙外布下伏兵；同时派人飞调在扣波的5营萃军，前来抄袭法军的右翼。附近群众也连夜赶来挑水送饭，搬运弹药；将士们修补工事、磨刀擦枪。军民严阵以待，决心与侵略者血战到底。
二月初八清晨，天地仍被云遮雾障，敌人便又开始了对长墙的进攻。尼格里先派出副将爱尔加明，偷袭东面的大青山古堡，企图控制东岭的制高点。但因道路险峻，偷袭未逞，只得退回原地。
黎明前，冯子材与各军将领即亲自到各阵地督战。冯子材以帕裹首，短衣紧束，赤足草履，奋发如少年，他拉住王孝祺的手说：
“福臣，此是我辈报国之地，不得退一步！”
福臣是王孝祺的字。王孝祺深受鼓舞，激动地说：“萃翁放心！我王福臣不胜法军，决不活着回来！”
两手紧紧握别，各入阵地。
尼格里见大青山方向久无动静，以为爱尔加明已经得手，占领了古堡，便命令炮兵猛轰长墙，同占据东岭三个堡垒的法军相配合，掩护正面冲击的法军，妄想一举攻破关前隘阵地。一时间，炮声轰鸣，地动山摇，不少炮弹落到长墙之内，炸飞了营帐。
冯子材来往于长墙东西，指挥奋击，见军心不稳，立即传令各部统领：“有退者，杀！”并派出队伍，于各路卡堵截逃兵，胆小怯战的兵勇断绝了逃跑的念头，眼前只有一条路，杀敌立功！
敌人开始轮番向长墙冲锋，有的甚至突进墙内。冯子材立即下令：“冲出去！杀！”
栅门齐开，将士们一涌而出。冯子材身先士卒，持矛大呼。他的两个儿子相荣、相华，也紧随其父跃出长墙，带领将士冲入敌阵。“冲啊——杀啊——”在响彻山谷的喊声中，展开了一场激烈的肉搏战。
立刻，预先埋伏在墙外两侧山坡草丛中的伏兵，也齐声高喊着，从敌后杀入敌阵。霎时间，长墙内外，枪炮寂鸣，硝烟飘散，喊杀声、格斗声、惨叫声震荡着山谷。
当地群众和关外游勇客民千余人，也主动前来助战，乘机随处截击敌人。从扣波赶来增援的萃军5营，也从敌后杀出。
经过几个小时的殊死搏斗，残余的中路法军狼狈地退回谷地。王德榜部在击溃敌人援兵后，与陈嘉、蒋宗汉部配合，夺回了东岭的三个堡垒。王孝祺击退进攻西岭的法军，乘胜包抄敌人。
法军三面被围，弹药将尽，后援无继，心惊胆破，纷纷翻岭跳涧，狼狈逃窜。我军将士和来援群众纵横追赶，驱杀逃敌，越战越勇。
尼格里丢下千余具尸体和大量枪械物资，逃回了文渊。
此时，云开天霁，夕阳露出笑脸，洒下万丈金辉，照耀着壮丽的群山。
初九日，冯子材率诸军乘胜追击，不给敌人以喘息之机。
十日，张之洞发来电报，朝廷准奏，“潘鼎新调度乖方，即行革职。苏元春督办广西军务，李秉衡护理广西巡抚”。朝命传出，军心更振。
二月十一日，我军攻克文渊；十三日攻克谅山，重伤了法军统帅尼格里。然后，清军继续进击。十五日收复长庆府，十七日克观音桥。
冯子材在观音桥集中兵力，向张之洞请令，提出进攻北宁、太原。此时，湘军猛将鲍超的部队也抵达龙州，冯子材打算让鲍军担任后卫，他自任前锋，挥师南下，一举夺回越南失地，将法军全部赶出越南。
张之洞致电鼓舞各军将士，要他们乘胜追击，但要慎防伏兵，相约援应，严禁妄杀，安抚越民。在张之洞的支持和鼓励下，冯子材率兵攻克屯梅进逼郎甲，陈嘉和王德榜所部收复了谷松。
在镇南关大捷的同一天，西线的滇军和黑旗军也大败法军，取得临洮大捷。
张之洞对刘永福寄予重望，对黑旗军极力接济，先后五次解济饷需15.5万两，两次送寄后门枪等3000支，使得刘永福深为感激。
二月初七这天（3月23日），刘永福率部进驻临洮，法军由兴化渡过红河前来攻击。黑旗军坚守营地，诱敌进入地雷阵，发挥近战火力。敌人多次冲击，死伤众多。当夜，越南义军在法军驻地周围遍插黑旗，用中国话齐声喊杀。法军以为被黑旗军包围，闻声丧胆，纷纷溃逃。接着，西线各军又收复了广威府、黄罔屯、鹤江和老社等地，计划攻取山西，向河内进军。
整个北越战场，中国军队的反攻势如破竹，接连告捷。越南国军也密切配合，频繁活动。北宁总督黄廷经集合了各路义军两万多人，打冯子材的旗号，挑水送饭，引路助战，分任攻战。北宁、山西、太原、兴化、宁平、南定各属的军民也投营充勇，求发枪械前往驱敌。驱法出越斗争的胜利已经指日可待。
在法国巴黎，法军镇南关——谅山战役的惨败，直接导致了一场政治危机。法国人民把对殖民战争的不满，变成了声讨侵略战争主谋茹费理的实际行动。他们于3月30日举行示威游行，冲到波旁宫门前，高呼：“打倒费理！打死费理！消灭费理！”当晚，茹费理内阁在议会的谴责和人民的声讨中垮台。