4月19日，武汉国民政府在武昌举行了声势浩大的第二次誓师大会，继续北伐。随后各部相继出征。5月13日，北伐军下达总攻击命令。叶剑英在张发奎的前敌总指挥部，与邓演达、黄琪翔，以及加伦将军等一起参与作战指挥。北伐军经过上蔡之战、逍遥镇之战、宋庄之战，特别是漯河、临颖的激烈战斗，于6月1日击退奉军，与冯玉祥的国民军会师于郑州。那时火车已经不通，邓演达乘手摇的铁路压道车迎接冯玉祥。叶剑英同众军官一起去火车站欢迎冯玉祥。不料，冯玉祥到郑州后即与汪精卫、谭延闽、唐生智等举行秘密会议，因意见分歧，不欢而散。后来到徐州与蒋介石会谈，竟也主张“分共”，拒绝讨蒋。形势如此突变，叶剑英只好随第四军从河南班师回驻武汉。不久，叶剑英被正式任命为第四军参谋长（军长黄琪翔）。
1927年5月30日的汉口《民国日报》，刊登这样一则消息：《三军开赴吉安戡乱》，其内容称：“（南昌27日专电）驻吉安新编第二师，哿日大反动，对军民联欢大会到会群众开枪，毙死兵民十余人。马日拂晓，我第三军之二十二、三、四各团，即奉命将其全部包围缴械，反动官兵，悉数俘获。”叶剑英返回武汉后翻阅旧报，看到这一消息，大吃一惊。显然，这是一篇颠倒黑白的消息，但也暴露出了一个严酷的事实：新编二师暴动已经失败。叶剑英对此感到非常惋惜，同时对反动的第三军的镇压行动，表示，极大愤慨。这时，恰巧新编二师参谋长佴鸲到武汉找叶剑英。叶向他详细了解了二师举行暴动的经过。当他听说佴鸲被捕后，拒绝高官厚禄的引诱，只身脱险逃到武汉来投靠革命政府时，当即赞扬他有骨气。他把佴鸲留下来，在第四军司令部参谋处任第一科科长。
七投入中国共产党的怀抱
叶剑英在第四军军部这一段时间，进一步受到进步的思想影响。四军里的共产党员、国民党左派比较多，政治工作比较活跃。在这种环境下，叶剑英对时局有了新的认识。他看到了汪精卫、谭延闽这些人已经越来越走向反动，国民党官僚只谋一己私利，腐化堕落。只有共产党人大公无私，真心实意地为工农大众谋福利，能够救中国，把革命进行到底。因此，他更加坚定了加入中国共产党的决心。然而，此时此刻，在一片白色恐怖中去投靠共产党，要冒很大风险。“道路艰险何所惧，只身偏向虎山行。”尽管前进道路上布满荆棘，这条救国救民的道路叶剑英决心走定了。
形势错综复杂，到哪里去找共产党呢？有些公开的共产党人并不熟悉，又多隐蔽起来，一时找不到；即使找得到党，能够吸收曾是蒋介石嫡系的高级军官吗？自己过去申请入党就是因为这件事被搁置起来，现在再要求入党会不会如愿呢？叶剑英困惑着，思索着。
其实，他还不大知道，当时在“左”的思想影响下，妨碍他入党的有两顶“帽子”，除了“国民党嫡系军官”之外，还有一顶，就是“孙文主义学会分子”。当时曾在国民党军内任职的中共党员包惠僧回忆1925年第二次东征后一段经历说：“我同叶剑英这一次共事才认识的。……他是云南讲武学校毕业。同王柏龄有师生关系，因此我们的同志都把他作为孙文主义学会的人看待。他曾到政治部同我谈过两次话，并借阅马列主义书籍，我们经过了多次的接触，有相当的了解，但是当时我们对他重视不够，没有吸收他人党。”
当时，武汉有股出国留学风。不少革命者都想留学苏联，或到其他国家去。叶剑英也想到列宁的故乡去探求共产主义。听说邓演达同苏联大使馆有联系，便去找他帮忙。邓演达此时同汪精卫已经闹翻。徐州会议后，冯玉祥在蒋介石的代表正廷催促下，一日三电汪精卫，除了要求立即“分共”、逮捕陈独秀及其他共产党领袖外，公然指责邓演达“做了共产党的工具”，要求解除其一切职务。邓演达眼看国共合作的大好形势遭到破坏，北伐战争的胜利果实被右派窃取，忧心如焚。他继续同共产党人接触，维持合作局面，坚持斗争。他多次深夜造访汪精卫，申明大义，力图挽回危局。但汪拒绝劝告。他曾打算抛开汪精卫，与吴玉章、宋庆龄、彭泽民等组织革命行动委员会，挽回局势，继续革命。然而，这一计划也由于汪精卫的破坏，未能成功。他最后把希望放在共产党员较多、战斗力最强的第四军身上，多次找张发奎做工作，但张在汪精卫的煽动和拉拢下，害怕共产党得势后被夺去军权、夺走地盘，结果不听邓的劝说，也跟汪去搞“分共”的勾当。邓演达对大革命感到失望，又遭到排挤，心灰意冷，正在考虑出洋问题。就在这个节骨眼上，叶剑英向他倾述了内心的矛盾和革命愿望，请求他介绍自己到苏联去学习，成为一个真正的布尔什维克。
邓演达对叶剑英虽然抱有好感，表示赞成叶出洋。但他考虑到形势复杂，要自己出面介绍，比较为难。因此，邓演达没有答应介绍叶剑英去苏联。叶剑英又去找共产党员李世宰。他把自己渴望入党的要求和几年来在找党、入党问题上遇到的波折和苦恼都告诉了李世安，希望李能想办法介绍他加入中国共产党。李了解叶剑英的过去，也了解叶剑英的现在。他从在第四军的中共党员、广东同乡柯麟、李人一等同志那里早已听说过叶的政治表现和革命志向，知道他曾多次表示过要跟随共产党革命到底的愿望，便应承下来。
李世安心里明白，像叶剑英这样的国民党高级军官，即或是已经通电反蒋，但要在基层党组织里讨论他的入党问题，还可能发生波折。于是，他带着叶剑英的热忱希望，秘密找到周恩来，向他汇报了这件事。
周恩来回忆起自己同叶剑英这位年轻将领的交往，当即肯定地说：他的底子我知道，是好的，我们应当表示欢迎。
就这样，又过了一段时间，1927年7月上旬，经周恩来同意，中共中央批准叶剑英为中共正式党员。为了保密和特殊的工作需要，党组织暂时不要他和其他党员进行联系，只让他与李世安等少数党员保持联系。
就在叶剑英入党前后的一段时间里，武汉的革命形势急转直下。7月14日晚间，汪精卫不顾宋庆龄、邓演达等国民党人的劝阻，秘密召开“分共会议”，部署反共与“清党”。15日，汪精卫反动集团进行疯狂大屠杀，大批共产党员和革命群众倒在血泊之中。革命的武汉一宿之间变成反革命的桥头堡。轰轰烈烈的大革命被彻底葬送了。在这种形势下，成千上万的共产主义战士英勇牺牲了，而有些号称革命家的人逃跑了，叛变了。武汉报纸每天郡在显赫的位置上登载个人或联合声明、启事，宣布与共产党脱离关系。但是，那些真正的共产主义者却在这关键的时刻勇敢地投入了共产党的怀抱。“砍头不要紧，只要主义真！”叶剑英正是这一类共产党人。他从一个追随孙中山革命的国民党高级军官转变成为一个坚定的共产党员，从一个激进的民主主义者，成长为一个献身无产阶级事业的革命战士，走过了艰难的道路，经受了火与血的洗礼和复杂斗争的考验。他在大革命失败的低潮中，迎着反革命逆流加入中国共产党，表现出了他坚定的革命信仰和不屈不挠的战斗精神。他后来曾写过一首《题画竹》的诗：
彩笔凌云画溢思，
虚心劲节是吾师。
人生贵有胸中竹，
经得艰难考验时。
这首诗，正是他自己革命精神和战斗品格的生动写照。
后来，叶剑英回忆自己从找党到入党的坎坷道路，不无感慨地说：
“1920年打下广东，奠定了统一两广的基础。那时广州就可以读到列宁传记了。广州有共产党，有无政府主义，还有国家主义，面包、药瓶什么都有，真是‘百家争鸣’。那时在广州一看戴软帽子的就知道是共产党，一看戴硬帽子的就知道是国民党。我最初还读过克鲁泡特金的东西，后来才逐渐从无政府主义转到共产主义。”
“我是1924年提出要求入党的，没有被批准。那时我在蒋介石手下的教导团当团长，有人说是蒋介石嫡系部队的团长，这没有说错。从1927年就反对蒋介石，经过这个考验，决心就定了，所以1927年7月正式参加了党。当时也不是对共产主义完全理解了，只觉得国民党不行，享乐腐化，必然失败，共产党朝气蓬勃，必然要胜利。后来，经过学习马克思主义，树立了共产主义世界观，懂得了社会发展的客观规律，懂得了资本主义必然灭亡，共产主义必然要代替它，如同资本主义必然要代替封建主义一样。这样，共产主义必然胜利的信念就始终坚定不移了”。
叶剑英加入中国共产党以后，便义无反顾，勇往直前，投入到了新的革命洪流之中。