一接到朝廷的命令，袁世凯就开始行动起来。1902年6月，袁世凯在保定设立了一个专门负责编练常备军的机构——军政司。由于责任重大，袁世凯自任了军政司督办。军政司下设三个处，分别是教练处、参谋处和兵备处。
其中，参谋处和兵备处由段祺瑞和刘永庆分别担任总办，而主要任务是编练北洋常备军的教练处，袁世凯交给了自己最信任的冯国璋。
随后，袁世凯又命令王士珍到大名、正定、顺德、赵州、深州和冀州一带去招募新兵，总共招募六千人，组成十个营的兵力，称之为“新练军”。
这十个营的军队，加上后来增加的两个营，总共十二个营，就成了此次编练北洋常备军的对象。这支“新练军”吸收了新建陆军的一些管理方法，在带兵官的选任上坚持考试录取。后来，王士珍和冯国璋就先后成为了第一协和第二协的协统。
从1903年5月开始，冯国璋就开始对新练军进行设置。首先，十二个营被分为了四个标。这四个标都是步兵，后来又添加了一标马队和一标炮队以及一个营的工兵。设置完毕后，北洋常备军的左镇就初具规模了，这是当时中国最早成镇的一支新军。
到了1902年年底的时候，冯国璋又在保阳练军马队及驻马厂北洋亲军的基础上，增加了一协步兵和一标炮队，最终于1903年春天编练成了北洋常备军的右镇。没过多久，常备军的左镇和右镇就改名为第一镇和第二镇。
第一镇和第二镇建立之后，北洋常备军的规模已经不小了。眼下的任务，便是集中力量先培训中下层军官，然后由这些军官再去训练士兵。那么，应该由什么机构来培训军官呢？当时，由于八国联军的侵华战争，原本设在天津的北洋武备学堂此时已经搬到了保定。我们都知道，北洋武备学堂就是一个专门训练新式军官的机构。
冯国璋想来想去，决定仿照自己的母校，在常备军中设立一个练官营和一个随营将弁学堂，一来可以依照西方的新法训练年轻的军官，二来可以改造旧式军官的素质。当时，有一个十分现实的因素就是，在八国联军侵华战争之后，大约一百个营的淮军和练军都是残兵败将，几乎溃不成军，因此急需进行改造。
打定主意之后，冯国璋在军政司的教练处下组建了一个练官营，自己担任总办。从名字上看来，练官营似乎是一个军营，其实它是一个学校，一切管理和教学都参照了北洋武备学堂的模式。
在练官营里面，总共有四个队，它们分别是步兵队、马队、炮兵队和工兵队，其教官和队长大多是一些曾经留学日本的陆军士官毕业生。具体说来，步兵队长是李泽均，骑兵队长是王廷桢，炮兵队长是张绍，而工兵队长则是贾宾卿。这四位队长带领着从常备军中选拔出来的五百位优秀士兵和保送的二十几个军官，以一年为一期，分期分批地进行教学训练。
在建成了练官营的同时，冯国璋为了能尽快完成改造旧式军队的艰巨任务，在经过袁世凯的上报批准后，在保定东关创办了一所将弁学堂，全名就叫北洋陆军将弁学堂。
这所学堂的设立，主要是为了培养和教育旧式军队中的军官。同时，还将直隶各镇统辖的绿营、练军以及淮军全部淘汰，让这些军队之中那些还算优秀或者可堪造就的军官进入将弁学堂学习和训练。
这样一来，在保定的这所将弁学堂里，就不再仅仅是北洋军的军官了，还有很多人是直隶的淮军、练军的哨官、绿营军的将领，甚至还有一些从河南、山东、山西各省选拔出来的提督、总兵。因此，这所学堂还有一个别名，就是“各省将弁学堂”。实际上，随着时间的推移，这所将弁学堂吸纳的学员越来越多元化，但是其宗旨没有改变，那就是教育和训练出优秀的新式军官。
将弁学堂建成之后，冯国璋任命鄢玉春为会办，王振畿为提调，李士锐为总教习。这些人，都是北洋军之中十分优秀的教官。在学制上，将弁学堂根据受训军官的不同级别，有所不同：初级军官受训时间为一年，中级则为半年。从总体上来说，将弁学堂的学期时间都很短，这也是为了能够在短时间内就培养出优秀的军事人才来。
在冯国璋的领导之下，练官营的训练颇有成效，出现了不少后来名震大江南北的著名军事家。其中，最有名的应该就是孙传芳。孙传芳是练官营的第一批学员，他在进入练官营时，本身就十分优异，无论是军事操练还是理论知识，都要比同期的军官们更加精熟。经过练官营的刻苦学习和训练，孙传芳可以说是更上了一层楼，成为冯国璋最喜爱的军事将领之一。正是由于这个原因，从练官营毕业以后，孙传芳便被直接保送到了后来成立的北洋武备速成学堂深造，并最终成长为一位出色的军事将领。
很显然，袁世凯和冯国璋在北方各省进行的练兵是卓有成效的。但是，此时的中国南方各省，却依旧延续着旧有的军事制度，因此形成了南北之间的巨大差距。另一方面，袁世凯自己也认为，既然要创建新军，那么就不能只是针对北方各省的军队改造，而是应该推广到全国去。袁世凯的考虑，既有大力改革清末兵制的动机，自然也有通过训练新军掌握更多兵权的目的。
于是，1903年，袁世凯就按照这个想法上奏清廷，建议设立一个练兵处，从而可以在全国范围内推广北洋新军的编练经验和方法，创建出中国近代的强大军事力量。当时，慈禧太后正在痛下决心大力推行新政，看到袁世凯的这个建议，她十分高兴，很快就批准了下来。就在1903年的11月，清朝政府决定在北京建立一个练兵处，由庆亲王奕勖担任练兵大臣。
从表面上看来，练兵处的领导是清朝皇室成员，似乎十分有利于清政府把统率新军的大权掌握在满族贵族的手中。但是实际上，练兵处的真正实权，却掌握在袁世凯手里。当时，袁世凯被任命为了全办练兵大臣，意思就是由他全权负责新军的编练事项。至于庆亲王奕勖，其实只是一个荣誉领导罢了。
事实上，从一开始设立练兵处，袁世凯就把握住了主动权。首先，这个主意是他自己想出来的，只是需要得到清朝政府批准而已。其次，那个昏庸无比的庆亲王奕勖哪里有半点能力来领导练兵处呢？更何况，这个贪财好色的家伙，早就已经被袁世凯贿赂收买了。放着福不享，却去忙活自己一窍不通的编练新军，奕勖就算是再傻也不会这么干。
因此，就在练兵处成立之后不久，奕勖便以“衰迈多病”为理由，向慈禧上奏辞去练兵大臣的职务。同时，他还向慈禧建议道，练兵处就应该由袁世凯“悉心经营”，顶多再委派一个铁良在旁边监督一下就行了。慈禧在接到这个上奏后，意识到事情发展到这一步，已经无法再控制袁世凯的发展了。
在慈禧看来，只要袁世凯忠于清王室，愿意为国家效力，他要通过编练新军获取军事大权，就让他去获取吧！于是，慈禧几乎没有犹豫，就批准了奕勖的请求。就这样，袁世凯当上了练兵处的全权大臣。
袁世凯拿下这份肥差事之后，便开始重用手下的爱将们，鼓励他们积极编练新军，从而变相地扩张自己的军事大权。我们只要去了解一下练兵处的领导成员，便可以明白袁世凯的这份用心。十分自然地，在这些领导成员之中，冯国璋尤其受到了重用。
当时，袁世凯身为直隶总督，必须待在保定办理各种繁杂的公务。因此，他虽然是练兵处的全权大臣，实际上却并没有多少时间能够去北京，更别说常驻北京了。无可奈何之下，他只好委派自己的一些心腹、幕僚和爱将去北京任职。
当初，在建立练兵处时，袁世凯在其中设立了三个司，它们分别是军政司、军令司和军学司。而这三个司的正副使，几乎清一色的全都是袁世凯的人。其中，既有“北洋三杰”的冯国璋、王士珍和段祺瑞，也有刘永庆（他是袁世凯的表弟）、陆建章和王英楷（这两人都是从北洋武备学堂毕业的）等袁世凯的亲朋好友。可以说，整个练兵处的大权全都被北洋将领们掌握了。
最开始，冯国璋被袁世凯委任为军令司的副使。在冯国璋跟随铁良再次去日本考察回来之后，袁世凯更加欣赏这位爱将卓越的军事见识，于是便升任他为军学司的正使，专门负责新军编练时的教学和管理工作。那段时间，冯国璋成了袁世凯最信赖的将领，格外受到青睐。
据说，当时只要有关于地方上编练新军的文件或者电报，袁世凯在审阅之前都要仔细询问“华甫看过没有？”这句话中的“华甫”，就是冯国璋的字。除此之外，只要练兵处要往地方上发送关于练兵的文件，袁世凯绝对会让冯国璋先做修改，然后他才放心往下发。由此可见，冯国璋在练兵处的地位和威信，除了顶头上司袁世凯之外是无人能及的。
相应地，冯国璋也没有辜负袁世凯对他寄予的厚望和给予的信任。也正是在冯国璋竭尽心力的协助下，到了1904年袁世凯成功地编练成了北洋军的第三、第四和第五镇。加上先前已经有的两个镇的军队，以及常驻北京的京旗常备军，北洋新军便有了六个镇的兵力，这也就是“北洋六镇”这一说法的来历所在。
拥有了六个镇的新军，让北洋新军的实力大大增强，基本上已经成为了当时中国最强大的军事势力。北洋六镇那时的地位，就相当于太平天国和捻军起义时期，曾国藩的湘军和李鸿章的淮军一样。实际上，地位可能还要更高，因为北洋六镇的新军清一色的全是经过西方军事知识、技术训练和武装起来的一支近代化军队，无论在作战能力还是在军队作风上，都要远远超过当年的湘军和淮军。而这些成就的取得，无疑是离不开冯国璋等人的努力的。
随着北洋六镇新军的一组建，袁世凯认为是时候将全国的军事大权统一起来了。于是，1904年夏天，袁世凯以练兵处全权大臣的名义向清朝政府上奏，建议将全国的新军全部改称“陆军”，同时使用一个统一的番号。
很快，清朝政府就批准了袁世凯的建议，正式用“镇”这个词语来称呼北洋新军的几个分支。其中，原来的京旗常备军改称为陆军第一镇，原来的北洋第一镇改称为陆军第二镇，原来的北洋第二镇则改称为陆军第四镇，至于北洋第四镇则改为了北洋第六镇，而第三镇和第五镇则依旧沿用原来的序号，不予改变。
有了统一的番号，而且重新编定了序号之后，北洋新军便有了清晰的管理机制，也就更加便于统一协调行动了。这一方面的确加强了中国军队的作战能力，但是另一方面也是袁世凯个人政治、军事资本的一个大的累积！
有了这样强大的一支新军，袁世凯自然十分得意。于是，在1905年的10月，既是为了向朝廷汇报全国新军编练的成果，也是为了积累更多的政治威信，袁世凯命令北洋六镇抽调出两万多兵力，分成南、北两支军队，举行了中国历史上第一次最大规模的野战军事演习。
这次军事演习盛况空前，不禁让清朝政府为之振奋，而且让很多前来观看的西方人都吃了一惊。尤其是这次军事演习之后举行的河间会操，让西方人见识到了一支威武雄壮的中国近代化军队。当士兵们扛着新式步枪、拖着最先进的大炮，昂首阔步地走过观礼台时，台上的西方人怎么也不敢相信，这就是他们心目中那支破破烂烂、不堪一击的落后清军。
很明显，这次的军事演习让袁世凯出尽了风头。据说，在观礼的时候，他根本耐不住热闹，直接骑上马来到了操演场上，命令这，指挥那，一派大将之风。当然，台上的冯国璋等人自然也跟着脸上十分有光。
到了第二年，也就是1906年的10月，袁世凯在河南的彰德府，又举行了一次大规模的军事演习。这一次，参加军演的兵力达到了三万多人，比上一次还多。不仅如此，参加军演的军队还统一了新式军服，武器装备上也有所改进。值得一提的是，无论是这两次演习的哪一次，冯国璋都以练兵处要员的身份参加了，而且担任了操演总指挥和彰德秋操中的南方军队审判长。
冯国璋在编练新军中付出的辛勤努力，也为他自己换来了权力和荣誉。
忠于职守、善于教学和管理的他，不仅受到袁世凯的器重和信任，而且还赢得了不少满洲贵族的赏识。这些满洲贵族，很多都是手握兵权的少壮派。他们眼见袁世凯一步步地夺去了军政大权，自然心中不满。然而，对于冯国璋他们却不仅没有意见，反而相当重视。在他们眼中，冯国璋就是一个踏实做事的将才，没有那么多狡诈的心机和权谋。
也正是由于这个原因，满洲贵族中的这些少壮派才极力拉拢冯国璋。尤其是醇亲王载沣，更是有意将冯国璋收为己用。为了向冯国璋示好，1906年，载沣、铁良等人就向朝廷上奏，请求批准给冯国璋升官，理由则是他在编练新军中劳苦功高。
最终，载沣的请求得到了清廷同意，慈禧很快就颁下诏谕：“冯国璋着赏给副都统衔，派充贵胄学堂总办。”请大家注意，这句话之中的副都统一职其实并不是什么要职，真正吃香的是贵胄学堂总办这个职位。为什么这么说呢？
原因十分简单，冯国璋当上这个总办之后，便有很多的机会接触到满洲贵族，这就为他后来的官运亨通打下了良好的人脉基础。
谁说武将没有文略
在编练新军的过程之中，冯国璋的文武全才可以说是彰显无遗。也正是由于这个原因，冯国璋才越来越受到袁世凯等人的器重，从而走上了一条十分坦荡的为官之路。