一投奔“援闽粤军”
1920年初，叶剑英从昆明回到梅县雁洋堡，一时没有找到合适的事做，在家闲住。他常常到丙村培基学校，借阅《孙文学说》等革命书籍和报刊。一些东山中学的校友听说叶剑英回来了，纷纷来看望他。大家在一起畅叙友情，纵论时事，不禁感慨万端。“闲居非吾志，甘心赴国忧。”叶剑英想到国难当头，壮志未酬，心中十分焦虑。
梅县丙村培基学校有位教师，与潮梅镇守使刘志陆的副官是旧交。他极力向那位副官举荐叶剑英。那位副官将叶剑英的情况禀报刘志陆后，刘为之心动，很想见一见这个年轻人。叶剑英得到这一消息，心情比较矛盾。他早听说过那位镇守使是梅县人，云南讲武堂出身，曾拥护过孙中山。但他又是当时占据广东的桂系军阀莫荣新的下属，不知道他的政治倾向如何。叶剑英决定去试探一下，并想到那里继续打听孙中山在福建组建粤军的情况。
叶剑英到达汕头，很快受到刘志陆的接见。刘志陆见叶剑英仪表堂堂，举止稳重，谈吐风雅，内心已有几分喜悦，但他故意摆出老资格和官架子，大吹大擂自己当年参加护国靖国之役的战功和镇守潮梅的政绩，然后转入正题说：“眼下莫督军有令，要扩充人马，我这里参谋处正缺人手，你来得正好，楚材楚用嘛！”
叶剑英从他的话语中，明白了他与莫荣新的真正关系，知道他是“人在粤土心在桂”，便没有轻易应允。他在心底已拿定主意，不跟随刘志陆，准备继续去寻找粤军。他了解到，粤军是三年前孙中山在广州时重新组建的，后以护法援闽名义开入闽南，部队迅速扩编为两个军，总兵力已发展到2万余人。孙中山对这支军队倾注了全部心血，他期望着依靠这支武装力量打垮桂系军阀，夺回广东这块曾多年苦心经营的民主革命根据地。叶剑英弄清了“援闽”粤军的历史和现状，决定前去投军。于是，便离开汕头前往福建。
叶剑英到达福建漳州粤军驻地，粤军司令部兵站总监张酥村接待了他，并很快把他安排在粤军总司令部任见习参谋。过了些日子，叶剑英要求到基层部队去，发挥自己的业务专长。于是，他被派往熊略支队担任见习教官，训练士兵操炮。
叶剑英于1920年春加入中国国民党。入党后，他更加努力辅导熊略部队进行炮兵训练。这期间，他日夜盼望粤军能打回广东去。然而，他却没有料到，总司令陈炯明与孙中山貌合神离，处处设置障碍，阻挠孙中山的革命步伐。孙中山于1920年6月29日，派朱执信、廖仲恺赴漳州，敦促陈炯明率军返粤驱桂。陈炯明却拒不从命，他希望与桂军军阀妥协，同时与北洋政府暗中勾结，迟迟按兵不动。后来，桂系军队准备向闽进犯，粤军直接受到威胁。粤军参谋长邓铿等人强烈要求立即返粤驱桂。在这种情况下，陈炯明才决定于8月12日誓师回粤。
这次回粤作战，分左中右三路行动。叶剑英随熊略所部参加中路作战，由平和、饶平、丰顺、紫金一线进军，并担负策应左右翼的任务。8月中旬，中路粤军攻人粤境。桂军的第一道防线守军恰好是刘志陆部队。叶剑英根据自己对刘志陆部队的了解，建议熊略充分利用桂军中有许多粤籍官兵的特点，广泛宣传“粤人治粤”、“广东人不打广东人”的口号，以分化瓦解敌军。熊略采纳了他的意见。特意找来叶剑英，面授机宜，要他到刘志陆那里，做策反工作。叶剑英化装成归国华侨模样，只身来到汕头。刘部的一名炮兵连长赖顺成是云南讲武学校十二期炮科学生，与叶是同学。叶剑英首先找到他做通了他的工作。接着，赖又找到另一个要好的炮兵连长与叶剑英接头，叶剑英与他们几次密谈之后，约定他们反正举事，并迅速将情况向熊略作了报告。当粤军向汕头发起进攻的时候，叶剑英和赖顺成一起指挥桂军的两个炮兵连，调转炮口向刘志陆的司令部猛烈轰击，迅速攻占汕头，然后带上两个炮兵连，回到粤军部队。
打下汕头之后，叶剑英又奉命先后赴香港、江门等地策反桂系护国军二师师长陈得平。陈师倒戈后，即抄桂军的后路，向高鹤、顺德、番禺、石滩方向进军，接应粤军，夹击桂军，围攻广州乙在陈得平师的影响下，其他一些桂系部队相继反正。护国军第五军军长魏邦平、广惠镇守使李福林所部2万余人，也于9月下旬在珠江三角洲和广州近郊一带宣布独立，江防舰队亦为魏邦平控制。魏、李等人要求莫荣新“解除兵柄”，还政粤人。在粤军强大的军事进击和政治攻势面前，桂系军阀部队被迫向西江、粤北撤退，莫荣新于10月26日逃出广州。29日，粤军攻克广州。
广州收复之后，叶剑英继续留在潮汕做起义部队工作。到了1921年春天，他突然接到一封告知父亲病危的家信，便立即赶回梅县雁洋堡老家探望。待他迈进家门时，父亲已经去世。叶剑英顺从母意，借了一笔钱，办理了父亲的丧事。不久，他又返回粤军，到工兵营任职。
二随孙中山出巡广西
1921年5月5日，孙中山宣誓就任中华民国非常大总统，组成中华民国政府。6月，第二次粤桂战争爆发。9月，孙中山领导的粤军打败桂系军阀部队，占领广西。桂军头目陆荣廷经越南逃往上海。两广统一后，孙中山决定乘胜北上，讨伐北洋军阀。10月15日自广州乘“宝璧”舰西上赴桂，经梧州、桂平、南宁等地，12月4日，抵桂林，设立北伐大本营。叶剑英被吴铁城、陈策等荐举为大总统随员，跟随孙中山到达桂林。大总统行辕和大本雷驻扎在桂林风景秀丽的王城。叶剑英被分配在幕僚处供职。这个处根据《大本营条令》，负责作战军令参谋事宜。
桂林一时成了一座大兵营。驻扎在市内及其附近的军队，有粤军、滇军、湘军、黔军、赣军等。这些军队名曰“北伐”，实则各怀异志，要钱要饷，争夺地盘，扩充势力。孙中山领导大本营三令五申，整顿军队，好不容易才把各路兵马组成7个军团，共4万余人，准备取道湖南北伐。孙中山召集大本营官佐开会，根据北伐军队的现状，决定对各路军队采取三种办法进行整训：第一，将各省军队团长以上官佐集中到大本营，由孙中山亲自训导；第二，举办军官教导团，分批轮训下级军官；第三，在各连队普遍开展三民主义教育。叶剑英被分配到军官教导团，担任教官，参加训练下级军官。
1921年12月上、中旬，孙中山在桂林王城大礼堂里，向上千名北伐军官佐发表了以《军人精神教育》为题的三次演讲。叶剑英每次必到，认真仔细地听课。孙中山在演讲中所表现出来的旺盛的精力、深邃的思想、渊博的知识，深深地打动了叶剑英的心。他后来在一篇回忆孙中山的文章中这样写道：
“要领导这些军队，要团结这些军队，去和北洋军阀进行坚决的战争，就必须给这些军队的将士以政治上的教育，使他们知道革命军队与普通军队，在政治立场上，在战略战术上，都有许多不同的地方，给他们注射一些新的血液，树立新军队的精神。孙先生在桂林对各军将领所进行的精神讲话，是每一个统帅所当服膺的。”
叶剑英在军官教导团任教了一段时间以后，又接到一项新的使命。孙中山为了保障抚河上运兵船舶的航行，令陈策任抚河航务管理局局长，并从大本营抽调叶剑英担任护航第二营营长。叶剑英随即以主要精力投入紧张的护航任务和部队整训，随时准备参加北伐，同时仍然兼顾着军官教导团讲授未了的课程。
1922年2月3日，孙中山发布北伐动员令，命令各军出师北伐。北伐军前锋部队很快进入了湖南境内。但是，早已从广西返回广东的陈炯明，阳奉阴违，千方百计破坏北伐。他不但与湖南督军赵恒惕结成联盟，阻止北伐军假道湖南北进；而且与直系军阀吴佩孚暗中勾结，准备夹击北伐军。3月21日，陈炯明在广州暗杀了支持孙中山北伐的粤军第一师师长邓铿。孙中山发现陈炯明居心叵测，遂变更北伐计划，督师回粤。4月中旬，他在江防舰队护卫下，率领大本营由桂林沿西江到达梧州。他电召陈炯明至梧州商讨北伐大计，陈炯明不但不去，反而以辞职相威胁。孙中山十分气恼，下令免去陈炯明的广东省省长和粤军总司令职务，但仍保留其陆军部长职务，以冀其悔悟。这期间，孙中山令海军司令温树德和陈策接管驻黄埔的北洋舰队，扩充海军陆战队。4月12日正式任命陈策为海军陆战队司令，叶剑英为海军陆战队营长。
陈炯明听说孙中山要回广州坐镇，便提前离开广州，躲进惠州的百花洲。他决心与孙中山对抗，并策划叛乱，谋害孙中山。
三护卫大总统脱险
5月上旬，孙中山决定改道江西继续北伐，并赴韶关设大本营。中旬，陈炯明指使其部将叶举从广西回窜广州，再次控制了省城。6月1日，孙中山自韶关返回广州坐镇。16日，叶举等在陈炯明策划下在广州发动武装叛乱，以4000人围攻观音山（即越秀山）前的总统府，炮击孙中山住所越秀楼。孙中山的卫队只有50人，他们顽强抵抗。在十分危急的情况下，孙中叫的秘书林植勉和参谋林树巍不顾一切，强架着孙中山，走出越秀楼，冲出叛军的包围，向长堤天字码头奔去。