1937年11月，历时3个月的淞沪会战结束。日军于11月12日占领上海后，立即直逼南京。国民党军队虽然在南京外围同日军进行了多次战斗，给予敌人一定的杀伤，但终究不能阻挡多路日军的猛烈攻击，节节败退。叶剑英与李克农于11月20日给毛泽东、张闻天的一封信中叙述当时情形写道：“胡宗南、张发奎、薛岳三部均受了相当损失。薛岳本人曾泅水五次脱离敌人，黄琪翔也几乎是只身幸免。现在敌人分三路向南京前进，一路由江阴以海军突破封锁线赶南京，一路由长兴、吴兴赶芜湖企图包围南京，正面则沿京沪路向南京推进。闻已决定南京不采取死守方针，现在南京城防司令由刘湘指挥，城郊司令由唐生智指挥，白崇禧本人则暂留南京，指挥防守南京的总的方面。南京街道上已在开始架设铁丝岗，秩序紊乱。”国民党军丧失斗志，南京市民怨声载道。
当时南京的特务和亲日派乘机掀起一股猛烈攻击共产党和八路军的声浪。叶、李在信中说：“CC与汪精卫亲日派之活动日来更是活跃。现在他们正拚命宣传我八路军之胜利全属‘宣传’，并有谓‘八路军军费十分之一是作战，十分之九用作宣传’等等。南京18日中央日报上且公开发表社论，谓‘某些游击部队活动之宣传与游击战术之说，不必过份估计’。汪精卫则公开宣称：‘沉着工作较之热烈宣传更为重要，只唱高调不负责任的人，只晓得民众大会，不值得一辩。’”
叶、李在信中报告说，鉴于南京政府各机构负责人员均已撤离南京，南京八路军办事处也准备撤离，“将于22、23日由陆路经芜湖转赴武汉。”并对潘梓年、章汉夫和报馆人员的撤离步骤和路线作了妥善安排。
五迁移武汉
1937年11月下旬，叶剑英同办事处人员一起撤离南京。他们乘汽车经芜湖抵达武汉。
素有“九省通衢”之称的武汉三镇，曾是中国民主革命策源地之一。南京失陷前后，这里已成为国民党统治区的政治中心。国民政府的军政机关和全国性的救亡团体以及军政要员、著名爱国民主人士均云集于此。中共中央代表董必武已先期到达武汉。10月，八路军驻武汉办事处正式成立，地址在汉口安仁里1号（后迁至中街89号，现为长春街57号）。李涛、钱之光先后任办事处处长。
叶剑英到达武汉办事处，立即着手了解各方面的情况，开始了紧张的工作。12月7日，叶剑英致电毛泽东、洛甫，博古和周恩来，在详细地分析了国民党内主战派与主和派的情况后，得出结论说：“目前形势有利于抗日民族统一战线的巩固和发展，只有、从各方面巩固和发展抗日民族统一战线，支持战争，才能使国民党从亲日派中脱出抗日力量，得到进一步的团结，才能另来一套新的做法，使战争形势转向胜利。”
12月中旬，中共中央政治局会议决定由项英、周恩来、秦邦宪、董必武组成中共中央长江局，领导南方各省党的工作；由周恩来、王明、秦邦宪、叶剑英组成中共代表团，驻武汉八路军办事处，继续同国民党进行谈判，协商国共两党合作事宜，推动统一战线工作。
12月21日，国共双方就成立两党关系委员会问题达成协议。参加委员会成员中共方面为王明、周恩来、秦邦宪、叶剑英；国民党方面为陈立夫、康泽、刘健群、张冲。蒋介石表示：照此做去，前途定见好转，今后两党关系由陈立夫等同中共代表团共商一切。
12月23日，叶剑英出席中共代表团和中共中央长江局举行的联席会议。会议认为，中共代表团和长江局领导成员大致相同，为工作集中和便利起见，决定二者合并，对外称中共代表团，对内称长江中央局；中共代表团和长江中央局由项英，秦邦宪、周恩来、叶剑英、王明、董必武、林伯渠组成；暂以王明为书记，周恩来为副书记。长江局下设秘书处，李克农任秘书长；参谋处，叶剑英任参谋长；民运部，董必武兼任部长；组织部，秦邦宪兼任部长。会议并决定将以上各项呈报中央政治局批准。会议还重点讨论了新四军问题，认为：南方各地区的游击队应迅速集中，全部开往抗日前线；作战地区可以浙赣铁路划界，路北为第一战区，路南为第二战区；江南部队在各战区的分布数目待部队集中后再定。
会后，叶剑英同周恩来、董必武、项英、叶挺等商谈组建新四军军部等问题。25日，新四军军部在汉口成立。叶剑英常到新四军军部和叶挺家中，与叶挺交谈抗战形势和任务。新四军军部迁往南昌后，由八路军武汉办事处代办新四军驻汉办事处的一切工作。
1938年，随着战争形势的日趋复杂，叶剑英在武汉的工作更加紧张繁忙。他身处同国民党谈判交涉的第一线，既要同王明、周恩来、秦邦宪、董必武一道，出席中共代表团和长江局的联席会议，讨论有关军事和其他各方面的问题，又要出席国共两党关系委员会会议，谈判有关共同的政治纲领以及团结抗战、边区地域、政府组织、军队扩编、财政供给等一系列问题。在谈判中，叶剑英分析日军进攻的形势，将毛泽东和中共中央来电提出的关于长江南北作战部署和华北、西北设防的意见，想方设法转达给蒋介石。与此同时，还同各方面爱国民主人士商谈救国救民的大事。为此，长江局专门设立了“友军工作组”，在叶剑英等领导下专做军事统战工作。据李伯球回忆，叶剑英和周恩来在武汉先后接见了川军邓锡侯、刘文辉及滇军龙云的代表等，交谈合作抗日、互相帮助问题。与卢沟桥抗日名将何基沣洽谈后，介绍他去延安参观访问。在台儿庄战役中负重伤的国民党一二七师师长陈离来汉治疗，叶剑英闻知后，立即与董必武等去医院看望慰问。陈深为感动，诚恳表示伤愈重返前线后，加强国共合作。他升任副军长后，继续与共产党保持联系，合作抗日。周恩来和叶剑英还与一些战区司令长官联系，商谈在该战区所在地设立“民众动员委员会”、“抗敌工作委员会”等机构团体，开展抗日宣传、组织等工作。叶剑英还应邀为国际反侵略宣传周“儿童日”、《新华日报》创刊题词，给坚持在前方抗日的将士写信慰劳，等等。按照党内分工，他还要向党中央随时报告战事进展情况，并提出各种建议。
1938年1月初，叶剑英受中央委托，陪同周恩来、董必武向新四军第四支队负责人高敬亭等传达中共中央关于开展敌后游击战争，发展抗日武装力量的指示，要第四支队从湖北黄安七里坪、河南确山竹沟向东挺进抗日，建立敌后抗日根据地，坚持游击战争。他还先后到中共湖北省委在黄安七里坪主办的游击战争训练班和国民党在武昌珞珈山主办的短训班、冯玉祥在武昌的手枪营，主讲《论持久战》和游击战术的课程，对官兵和青年学生们进行敌后游击战争的教育。5月，徐州失守后，他又与周恩来一起向中共河南省委书记朱理治、省委军事部长彭雪枫等传达中央《关于徐州失守后华中工作的指示》，要求河南省委立即贯彻执行。河南省委根据指示，对广泛开展全省各地的游击战争作了具体部署，并动员1万多城市工人、学生、革命分子回乡开展工作，沿陇海、平汉线组织游击队，建立根据地。以后省委又派萧望东率部队从竹沟挺进豫东敌后，成立新四军游击队，将工作重点逐步移向豫东，开创苏鲁豫抗日根据地。
为了适应战争形势的变化，长江局加强了对中南、华南地区中共地下组织的领导。广州失陷前，中共广东省委军委书记尹林平请示长江局，要求加强农村工作，建立农村小块游击区，组织和扩大工农武装，准备打游击战。负责军事工作的叶剑英立即复电同意，并作了具体指示。叶剑英还与香港中共地下组织取得联系，开展统战工作。
这期间，叶剑英与周恩来一起，多次参加了蒋介石召开的高级将领会议，讨论华北战局；同蒋介石、何应钦谈判向八路军、新四军提供武器和技术人才等问题。然而，这一问题由于蒋介石的有意拖延，始终没有得以解决。
由于历史原因，叶剑英在国民党军界，尤其是在上层高级将领中享有很高的声望，一些真心抗日、即将奔赴前线的将领们都十分愿意找他交谈，听取这位第十八集团军参谋长的意见。3月上旬，桂系将领白崇禧奉命去徐州协助第五战区司令长官李宗仁指挥作战，临行前特意把周恩来和叶剑英请到自己的住处，诚恳地请教五战区对日作战方略等有关问题，周、叶建议在津浦线南段由李品仙、廖磊两个集团军在新四军参谋长张云逸率部配合下，采取以运动战为主、游击战为辅的联合行动，运动于淮河流域，威胁日军，使之不敢贸然北上支援从华北南下的日军。同时，在徐州以北必须采取阵地战与运动战相结合的方针，守点打援，以达到各个击破的目的。后来，周、叶还亲自送毛泽东的《论持久战》给白崇禧，向他详尽地解释这一著作在整个抗战中的战略意义，白将此书印发给桂系师长级军官阅读。白崇禧走后不久，周、叶又派张爱萍以八路军代表的名义去见李宗仁，劝他在济南以南，徐州以北抵抗日军，同日军打一仗。这些建议为白、李两人欣然采纳，客观上促成了台儿庄战役的胜利。周、叶还会见时任白崇禧的机要秘书、中共地下党员谢和赓，对谢在广西的工作作了明确指示。他们还派张友渔到第一战区政治部主任李世璋那里做设计委员，以便加强同程潜的联络工作。
叶剑英在武汉同各方面的接触很多。他不但派干部到新四军，动员一些青年学生去解放区，利用各种机会做国民党军队的工作，还要做海外华侨的工作，与宋庆龄、何香凝密切交往。抗战当中，海外华侨捐献了大批钱物。这与叶剑英的努力是分不开的；
为了扩大共产党和八路军坚持抗战的影响，叶剑英公开发表了许多文章和演讲，宣传和介绍毛泽东的《论持久战》的思想和党的统一战线政策。据马海德、爱泼斯坦、郭庆兰（柯棣华夫人）回忆，叶剑英还同周恩来、秦邦宪分别会见国际友好人士斯诺、艾黎、斯特朗、马海德、史沫特莱、爱泼斯坦等，同他们亲切交谈，宣传抗日，争取国际支援；他与周恩来、董必武等会见印度援华医疗队的阿尔泰·爱德华、巴苏华、柯棣华、木克华、卓克华（为了表示对中国人民的友好，他们都在自己名字后加上一个“华”字），并在欢迎大会上致词，高度赞扬印度人民对中国抗战事业的援助和对争取世界和平所作出的贡献。
武汉八路军办事处虽然只是共产党在国统区的一个小小的政治机构，但却像大海中的一盏灯塔，在黑夜里放射着光芒。当时国民党办的《抗战》杂志曾有一篇署名“实甫”的文章这样写道：“八路军驻汉办事处会客室是一间小房子，陈设简朴，没有沙发和椅子，仅当中有一茶几，四周放着几把小圆形凳子。进门的右边墙上，挂着两幅五彩的国耻表：一是关于不平等条约的，一是关于丧失国土的，显示着这里是一些为民族解放而苦斗的战士居住的习；境。叶剑英很忙。他沉着练达，态度和蔼，谁都看不出他是运筹帷幄、勇敢善战的人民解放的斗士。”