然而，日本军队并没有放弃追击聂士成部。实际上，他们正在一步步地实施早已制定的侵略计划。9月15日，大批日军兵分四路，气势汹汹地杀向平壤。这个时候，清政府已经彻底明白了日本人的险恶用心，因此调集了大约两万人防守平壤。然而，无论是在作战策略，还是在武器装备上，清朝军队都无法跟日军相提并论。
在与日军激战的几天时间里，清朝军队几乎是节节败退。很快，日军就集合力量，对平壤发起了总攻。这时，叶志超又一次当了逃兵，他命令军队从平壤北部突围。然而，爱国将领左宝贵并没有服从他的命令，仍然勇敢顽强地与日军展开殊死搏斗。他率部在平壤的牡丹台和玄武门与日军激战，最终寡不敌众，英勇殉国。
左宝贵的牺牲，并没有激起叶志超的斗志。相反，吓破了胆的他干脆直接率军放弃了平壤，溃不成军地逃到了国境线以内。在这次大溃败的时候，冯国璋一度与部队失去联系，仅率一卫兵以一骑渡过裴河。直到部队撤到摩天岭的时候，冯国璋才又重新回到了部队里。
正是在摩天岭，冯国璋再次发挥了他出色的军事才能。当时，由于接连遭到日军的猛烈打击，聂士成的部队士气十分低落，就连很多军官都有畏敌情绪。看到这个场景，冯国璋一方面协助聂士成鼓舞士气，另一方面也向聂士成建议，在敌强我弱的局面下不能与敌人硬碰硬地对抗，只能借助摩天岭的有利地形，广布旗帜，让日军误以为这里有重兵防守，从而不敢轻易进攻。
在敌人犹豫不决的时候，就可以趁机发动反攻了。
对于冯国璋的建议，聂士成当即表示了同意。接着，他依照这个计谋，率部粉碎了日军好几轮进攻。不仅如此，聂士成部还成功地从日军手中夺回了连山关和分水岭两个重要的关隘。这一切，都离不开冯国璋出神入化的军事谋略。
按理说来，在清军取得局部胜利的时候，应该巩固胜利，寻找新的机会反攻日军。但是，李鸿章却认为，淮军在这次战争之中已经元气大伤，不宜再采取积极抗战的策略。因此，1895年2月14日，也就是聂士成部取得摩天岭战役胜利的时候，却收到了李鸿章发来的急电，内容是让他率部回防北京。
至于理由，则是“京畿海防万分吃紧”，因此要聂士成率部“星驰人关，以卫畿辅”。实际上，这都是一些虚假的理由。李鸿章的意图，依旧是保存淮军实力，消极避战。
聂士成是一个忠诚的将领，他虽然知道这样做的后果就是放弃得之不易的胜利果实，但是军人的天职是服从，他只好于三月初率部回防。尽管如此，在正式撤离之前，聂士成还想做最后的努力。
当时，冯国璋已经奉命回到天津，任务是搬运粮草。为了能够说服李鸿章支持自己进一步的军事行动，聂士成让冯国璋去面见李鸿章，请求他准许把驻守在芦台的功字营余部都调到对日作战的前线来。然而，李鸿章当着冯国璋的面，直接否决了聂士成的请求。无奈之下，冯国璋也只能留在天津，无法再赶赴抗日前线了。
在甲午中日战争之中，冯国璋的表现是十分出色的。他虽然负责的是后勤工作，但是在危险的局势之下，冯国璋不仅克服困难，圆满完成了任务，而且还在摩天岭战役中出谋划策，帮助聂士成取得了连山关和分水岭的两次大捷。可以说，这些成绩的获得，冯国璋是功不可没的！
事实上，在所有参加甲午战争的淮军部队之中，也只有聂士成部才真正地反败为胜、屡立战功。当时就有人评论说，聂士成在这次战争中功勋卓著，一半归功于他的指挥有力，而另一半的功劳就要归于他手下的得力战将，尤其是“凡战术军储多资以擘画”的冯国璋。
但是，在甲午战争之中立下赫赫战功的聂士成和冯国璋，并没有受到清政府的多少奖励。甚至就连他们的顶头上司李鸿章，也骂聂士成是“淮军败类”。至于冯国璋，也就只是在战后获得了一个侯补知县并加五品顶戴的虚衔。毫无疑问，这样的评价和“奖励”是让人感觉心寒的。这一方面说明了李鸿章不善于笼络人才，另一方面也说明此时还并不是冯国璋真正受到重用的时机。不过，这一时机很快就到来了。
袁大头的赏识
冯国璋命运的转机，开始于清政府训练新军的改革。在甲午战争之中惨败的清政府，逐渐意识到自己军事力量的薄弱。当时的一些有识之士都认为，强大的日军无论是在武器装备上，还是在士兵素质上，都不是清朝传统的八旗兵、绿营军可以对抗的，甚至不是淮军和湘军可以对抗的。
因为在甲午战争之中，已经经过近代化改革的北洋水师全军覆灭，而李鸿章统领的淮军以及刘坤一统帅的湘军，全都输得体无完肤。因此，在这样的局面下，如果再不对清朝的军队进行更加近代化的改革，训练出一支新军来，那么清朝只有继续被动挨打的份，甚至直接面临着亡国灭种的危险。
于是，甲午战败之后，上至朝廷一品大员，下至黎民百姓的整个中国都发出了“整军经武，以救危亡”的强烈呼声。清政府意识到，事情已经到了箭在弦上不得不发的时候了。为了维护自己的统治，同时也是基于各方面的舆论压力，清政府最终于1894年11月成立了以恭亲王奕诉为首的“督办军务处”，宗旨就是为了整顿京畿的旧军，同时改练一支强大的新式军队。
其实，清政府虽然设立了这个“督办军务处”，但真正实施的人，却不是满洲的贵族，而是汉族大臣袁世凯。当时，在朝鲜碰了钉子的袁世凯正在京城四处托关系，想要在官场上重新崛起。一向善于钻营的袁世凯得知设立“督办军务处”的消息之后，认为这是一个千载难逢的好机会，于是他借助自己的亲戚关系，加上得到了军机大臣李鸿藻以及荣禄等重臣的联名保荐，最终获得了将定武军改编、扩建为新式陆军的肥差事。
实际上，所谓的定武军就是原来的洋枪队，一直以来都驻扎在距离天津七十里的小站。本来，小站驻扎的军队是淮军的盛字营，这个营在这里呆了大概二十年的时间。但是，在甲午战争中，盛字营全体官兵都开赴了朝鲜，对日作战。谁知，在朝鲜作战时，盛字营的统帅卫汝贵畏敌逃跑，弄得整个盛字营群龙无首，最终被强大的日军打得全军溃败。从这之后，淮军就再也没有盛字营了。这样一来，天津小站也就没有了驻军。
于是，袁世凯就把训练新式陆军的事情，安排在了小站来办理。事实上，在袁世凯来到小站训练新军时，清政府已经于1894．年底派遣长芦盐运使胡烯芬在这里组建新军，这就是定武军的前身。当时，在规模上这支军队总共有十个营，大概4750人。袁世凯的小站练兵，就是在这样的基础上开始的。可以说，这次练兵不仅在中国军事史上，甚至在整个中国近代史上都是一件举足轻重的大事。
袁世凯来到小站时，已经是1895年12月21日。他的任务，就是要将定武军改编和训练成一支采用西方建制、拥有优良武器装备、士兵训练有素的新式陆军。不过，在这之前，袁世凯首先需要做的是扩充兵员。
当时，定武军一共只有四千多人，不说士兵质量，仅仅在数量上就显得太少了。于是，袁世凯就派人到山东、河南和安徽等地挑选优秀的步兵，同时派人到锦州和新民等地区招募骑术精良的骑兵。在经过一番留强汰弱的整编之后，袁世凯成功地建立起一支拥有7300人的新式陆军。