1944年4月18日，侵华日军开始实施打通大陆交通线作战的第一步——平汉作战，5月9日打通了平汉铁路，5月25日攻占河南省政府、第一战区司令长官部所在地洛阳，河南大片国土沦入敌手。5月27日，日军开始实施湘桂作战，向湖南发动大规模进攻，战事重心南移。
根据中共中央的指示，北方局和八路军总部决定以太行军区第三团、新编的第三十五团和豫西地方工作队共1500余人，组成八路军豫西抗日独立支队首先挺进豫西，开展抗日游击战争；以太岳军区第十八、第五十九团等部组成豫西抗日游击支队随后南下。
第一支队在司令员皮定均、政治委员徐子荣率领下，于9月6日由林县出发，22日由济源西南之寥坞渡口渡过黄河，从新安以西越过陇海铁路，进入豫西嵩山、箕山、宜阳东赵堡、临汝大峪店及登封以南的东、西白栗坪地区。
第二支队在司令员韩钧、政治委员刘聚奎率领下，于1944年11月6日渡过黄河，进入陇海铁路新安至渑池段南北地区活动。
12月底，中共中央党校干部100余人、晋绥军区第六支队3个连，奉命来到新安以北之园山与第二支队会合。
中共中央接着决定，以驻陕甘宁边区的第三八五旅第七七零团和警备第一旅第二团，组成豫西抗日游击第三、第四支队，共约2200人，由王树声、戴季英率领，挺进豫西。
该部于1944年11月28日跨过黄河，进入豫西。1945年2月底，正式成立河南军区，直属中央军委领导。王树声任军区司令员，戴季英任政治委员，统一领导豫西的抗日斗争。
1945年3月下旬，太行军区根据中央指示，又以第十三团主力为骨干组成第六支队，进入豫西。至此，八路军在豫西的部队增加到10000余人。
1944年6月，冀鲁豫分局、军区遵照中共中央和北方局关于加强水东、开辟水西，扩大豫东抗日根据地的指示，抽调300余人南下水东。1945年1月，又调第八团开赴水东，随后划水东为第十二军分区。
5月14日，第二十八团从扶沟东北的吕潭渡过新黄河，进入水西。
6月20日，冀鲁豫军区为统一水东、水西区领导，决定成立豫东指挥部，调第十五团加强水东，将第二十九团调水西，随后成立水西军分区。
1944年8月15日，新四军第四师师长彭雪枫率师主力从泗洪县东南的半城集等地出发西进，20日在宿县以北越过津浦铁路进入萧县以南地区。
国民党军极力阻止新四军西进，新四军进行反击，师长彭雪枫于9月11日在河南省夏邑以东八里庄战斗中英勇牺牲。
10月，新四军第四师在第三师第七旅及八路军冀鲁豫军区3个团的协助下反击，将国民党顽军赶回涡阳县城。
11月，新四军第四师又开辟了商丘、亳县、永城之间地区，至此，基本上恢复了豫皖苏边抗日根据地。
鄂豫边区党委和新四军第五师决定，以1000余人组成豫南游击兵团，以黄林为兵团指挥部指挥长，向豫南敌后进军。
1944年7月29日，豫南游击兵团先遣队从罗山西北的陡沟以西北渡淮河，进入确山、正阳、信阳三县边界地区，以胡冲店为中心开展工作。
8月中下旬，转至正阳西南的张仪店一带分散游击。8月29日，豫南游击兵团指挥部率主力夜渡淮河北上，再次进占胡家冲，随后将进入豫南的部队扩编为挺进第一团至第四团。
11月，鄂豫边区党委决定将豫南游击兵团改称为河南挺进兵团，并增派第三十八团到豫南。
1945年4月间，边区党委和第五师决定，以淮南、信罗、信应、信随等县成立第六军分区。不久又以豫南之信确、信桐、泌阳等县成立第四军分区。此外，以挺进第二、第四团组成豫中兵团，黄林任司令员，栗在山任政治委员，活动于西平、遂平、叶方舞等县。
8月上旬，豫中兵团与河南军区陈先瑞支队合并，成立河南军区豫中军分区。发展河南，是中共中央统一部署的战略任务。经过八路军、新四军的共同努力，开辟了豫西，发展了豫南，扩大了豫东，恢复了豫皖苏边抗日根据地，进一步打通了它与华中的联系，基本上达到了“绾毂中原”的战略目的。