粉碎“四人帮”的伟大胜利，结束了长达10年的“文化大革命”。从此，党和国家进入了一个新的历史发展时期。叶剑英作为党和国家的主要领导人之一，同中央政治局其他同志一起，领导全党彻底清算林彪、江青反革命集团的罪行，肃清其流毒影响，拨乱反正，实现党的正确领导，迅速恢复国民经济和科学文化教育事业，把中国社会主义建设推向前进。
一拨乱反正，请邓小平复出
1976年冬，中共中央先后召开了一系列有各省，市、自治区和各大军区负责人参加的打招呼会议，稳定局势，揭发、批判“四人帮”的反革命罪行，统一高级干部的思想，布置开展各方面的工作。叶剑英日夜操劳国家大事，同各条战线的领导同志交谈，寻求解决各种难题的途径和办法。他出席中央召开的各次会议，发表了许多重要讲话。在这些讲话中，他着重强调深入揭发批判“四人帮”反革命罪行的重要意义，使大家从思想上对“四人帮”有深刻、清醒的认识，与“四人帮”划清界限。他说，“四人帮”是一伙资产阶级野心家、阴谋家、两面派，是一伙新老反革命结成的黑帮。我们同他们的斗争，是无产阶级和资产阶级你死我活的大搏斗，关系到我们党和国家的前途和命运。他引用“投鼠忌器”的典故，说明我们党为什么要等到毛泽东主席逝世以后，才对“四人帮”采取断然措施的道理，进一步统一了全党对这个问题的认识。他强调维护毛泽东的历史地位和毛泽东思想的科学真理。他说，毛泽东思想的旗帜是我们党的旗帜，我们要世世代代高举，不能丢掉。要用毛泽东思想来统一全党、全军、全国人民的认识。叶剑英从党和国家的大局和党的组织原则出发，对华国锋采取了支持和辅佐的态度。在当时的历史条件下，叶剑英的这种态度和做法，是有利于局势的稳定，有利于党和国家各项事业的开展，也有利于国际斗争的。当然，叶剑英对华国锋的评价中，也有过一些过誉的话，这在当时的历史条件下也在所难免。但是，他事后在中央的一次会议上表示，自己过去对华国锋的评价有不当之处。这表明了一个共产党人的光明磊落的态度。
经过一系列的打招呼会议和各方面的工作，党和国家的局势基本上得到稳定。叶剑英开始考虑党的组织路线方面的拨乱反正问题。他首先考虑到，在党和国家的各级领导岗位上，一定要将追随林彪、“四人帮”干坏事的人清除出去，让真正的马克思主义者掌握领导权。为此，必须平反冤、假、错案，把大批久经考验的领导干部赶快解放出来。
1976年12月，叶剑英收到分管中央宣传工作的耿飚的来信。信中说：“人民日报社许多同志揭露了‘四人帮’在天安门广场事件中，搞的欺骗毛主席和党中央的罪行，他们于12月10日整理出了一份材料，现送上请参阅。”叶剑英认真地看了这份材料，对“四人帮”欺骗毛泽东和党中央、伪造假情况，陷害革命群众的罪恶活动，十分气愤。他对办公室工作人员说，这份材料提供的情况很重要，它充分地揭露了“四人帮”在天安门广场事件中，欺骗毛主席和党中央的罪行。当时，“四人帮”篡改的《情况汇编清样》不送给我看，我也不知道他们做了这些手脚。这份材料提供了很好的证据，天安门事件应该平反。接着，他还向工作人员回忆了4月4日清明节这一天，他亲自乘车去天安门广场的情景。他说，这天傍晚，我实在想去天安门广场看看。所以，我就谁也没有告诉，只悄悄地告诉了司机同志。我们很快就到了天安门广场，在外边缓慢地行车。当看到一片望不尽的花山诗海和数不清的悼念大军，就想停车下来，走进广场里边看看广场的壮观场面。但是，在这种情况下，无论如何是不能停车下来的。我还是昕了司机的劝告，很快回到了住地。
叶剑英利用耿飚提供的这份材料和进一步了解到的其他大量事实，在中央政治局会议上多次揭露“四人帮”蓄意欺骗党中央和毛泽东，制造“天安门事件”的罪行，说明这一历史事件是广大人民群众在党的正确领导下，悼念周总理、反对“四人帮”的强大抗议运动，实质上是拥护以邓小平为代表的党的正确领导，为后来粉碎“四人帮”奠定了群众基础。在叶剑英和其他老一辈革命家的力争下，终于冲破重重阻力，使天安门事件在中共十一届三中全会上得到彻底平反。
在争取天安门事件平反的过程中，叶剑英为恢复邓小平在党中央的领导职务做了大量工作。粉碎“四人帮”不久，叶剑英便派自己的孩子驾车，把还在软禁中的邓小平偷偷接到他的住处。两人见面之时，万分激动，邓小平长声叫了一声“老兄”，两人的手便紧紧握在了一起。随后，叶剑英安排邓小平由城内搬到西山一处住所住下，并派自己的办公室主任和机要秘书给他转送文件。与此同时，叶剑英多次找华国锋谈话，建议请邓小平出来参加党中央的领导工作。叶剑英说：小平同志具有治党治国的全面经验，是我们党内难得的人才。毛主席、周总理多次赞扬过他。现在，党内、军内的绝大多数同志和全国人民，都强烈要求让小平同志出来工作。我们应该尽快把小平同志请出来。然而，叶剑英的正确意见没有被接受。1977年3月，中共中央在北京召开工作会议。叶剑英、陈云、王震等老一辈革命家公开提议要邓小平出来工作，要为天安门事件平反。但仍被华国锋等拒绝。这次会议以后，叶剑英继续给华国锋做工作，坚持要恢复邓小平在党中央的领导职务。1977年5月14日，在叶剑英住地，邓小平、徐向前、聂荣臻、粟裕、王震等前去聚会，祝贺叶剑英80寿辰。邓小平赞扬叶剑英为党和人民作出了巨大贡献，亲切地称叶剑英为“老帅”。叶剑英对邓小平说：“你也是老帅嘛，你是我们老帅中领班的。”经过叶剑英等老一辈革命家反复工作，在全党、全军、全国各族人民的一致要求下，邓小平终于出来重新参加了中央的领导工作。1977年7月16日至21日，中共中央召开了十届三中全会，叶剑英和中共中央其他领导人出席了这次会议。会上，正式通过了《关于恢复邓小平同志职务的决议》。会议还通过了其他一些决议。邓小平恢复党中央和中央军委的领导职务以后，在指导和推动全党进行拨乱反正，重新确立马克思主义的思想路线、政治路线和组织路线的过程中，发挥了关键性的作用，做出了卓越贡献。1980年底，叶剑英在中央政治局的一次重要会议上，再次对邓小平的功绩作了高度评价。他说：“大家知道，小平同志在历史上对党作出过杰出的贡献。粉碎‘四人帮’以后，在每一个重要关头，他都敏锐、果敢地提出一些正确的决策和主张。在我看来，小平同志具有安邦治国的卓越才能，他当全党的‘军师’和全军的统帅，是当之无愧的。”
在中央政治局领导下，叶剑英同邓小平一起，为恢复中央其他老同志的工作，荐引年富力强的同志担任党和国家的领导职务，做了大量的工作，使党和国家有了一个坚强的领导核心。
叶剑英对党中央领导核心逐步形成，党和国家开始出现新的局面由衷地感到喜悦。他在《八十书怀》诗中满怀激情地写道：
八十毋劳论废兴，长征接力有来人。
导师创业垂千古，侪辈跟随愧望尘。
亿万愚公齐破立，五洲权霸共沉沦。
老夫喜作黄昏颂，满目青山夕照明。
在恢复邓小平职务的前后，叶剑英想到了更多的被林彪、“四人帮”打击和排挤的党、政、军领导干部，还有成千上万受冤枉、被诬陷的普通干部和群众。他认为，凡是过去的案子，不管是在什么情况下，什么人、什么会议定的，只要被历史证明是错了的，就一定要实事求是，有错必纠。在他和中央其他领导同志的努力下，一批原中央领导人的冤案陆续得到平反。其中有：被“四人帮”排挤长期靠边站的陈云，先后恢复了中央政治局委员、中央副主席职务；彭真从被监禁中解放出来，担任了人大常委会副委员长；薄一波等61人的所谓“叛徒集团案”得到平反；杨尚昆、罗瑞卿、胡耀邦、习仲勋等人的冤案都先后得到平反。叶剑英对他们的工作、生活十分关心，亲自找一些人谈话，征求他们的意见，鼓励他们向前看，继续为党和人民作贡献。1979年，薄一波、安子文、刘澜涛平反出狱后，到西山去看望叶剑英。叶见到他们时，满怀深情地注视良久，第一句话就说：“想不到你们受了这许多苦！”说着，禁不住掉下泪来。
对于一般干部群众的冤、假、错案，叶剑英也十分关心。许多干部群众给他写信，其中有不少是反映他们所遭受的冤屈的。叶剑英对这些来信总是亲自阅读，并批示给有关领导人或部门予以正确处理。他还亲自过问民主人士、高级知识分子的冤、假、错案，要求有关部门尽快给予平反昭雪。
1977年8月12日至18日中国共产党的第十一次全国代表大会在北京举行。华国锋代表中共中央作政治报告，叶剑英作关于修改党章的报告，邓小平致闭幕词。叶剑英关于修改党章的报告，是他亲自主持起草小组起草的，并经中央政治局全体讨论通过。他在报告中指出，新党章第一次写进了实现农业、工业、国防和科学技术现代化的目标，提出了坚持辩证唯物主义和历史唯物主义的世界观，强调了民主集中制的极端重要性，规定要充分发扬民主，决不允许任何人压制批评和打击报复，强调必须加强党的纪律。为了维护民主集中制的原则和纪律，新党章规定设立纪律检查委员会。新党章还强调必须保持和发扬群众路线、实事求是的优良传统。规定新党员一律经过一年的预备期才能转为正式党员，以保证党员的政治质量。由于历史条件的限制，新党章以及这个报告，仍然有一些“文化大革命”中的一些错误提法。8月19日，中共十一届一中全会召开，叶剑英当选为中央委员会副主席。
二关注党的思想理论建设
在思想路线方面的拨乱反正，这时期也紧迫地提到了全党的面前。可是，党的主要负责人却提出了“两个凡是”的错误方针，他继续维护毛泽东晚年的“左”的错误，继续奉行“文化大革命”中的一套错误理论，严重地束缚着。人们的思想，阻碍各个领域的拨乱反正。
叶剑萸是不赞成“两个凡是”的观点的。1976年4月撤销邓小平党内外一切职务，将天安门事件定为反革命事件，都是经毛泽东批准、由华国锋执行的。然而，叶剑英在粉碎“四人帮”以后就坚持让邓小平出来工作，坚持为天安门事件平反，这种做法本身就是同“两个凡是”根本对立的。这一时期，叶剑英深感需要提高全党的思想理论水平特别是高级干部的思想理论水平，于是提议恢复中共中央党校，对党的高级干部进行分期培训。1977年10月9日，中央党校举行开学典礼。叶剑英出席典礼并讲了话。他在讲话中指出：“马克思主义是一个完整的科学体系。”“我们在学马克思主义理论著作时，一定要提倡融会贯通，联系实际，实事求是，有的放矢。这就是说，要运用马克思主义的原理，运用马克思主义的立场、观点，方法，来分析、处理、解决我们的一切问题。可以说，理论愈多接触实际问题，愈敢接触实际问题，不是绕开问题走，不是模棱两可，含混不清，理论就愈加彻底，愈能掌握群众，愈可变成物质力量。党中央号召我们，一定要恢复和发扬实事求是的作风，做大无畏的彻底的唯物主义者。我相信，只要我们这样做，我们就一定能够把理论密切联系实际的学风普遍推广开来，就可以把我们党的事业推向前进。”他又说；“理论密切联系实际，我认为有两层最基本的意思。一层是：一定要掌握理论。没有理论，一张白纸，凭什么去联系实际呢？另一层是：一定要从实际出发。如果理论不能指导实际，不受实际检验，那算什么理论！”叶剑英的这篇讲话，实际上是对“两个凡是”思想的批判。这和他在“文化大革命”初期反对用教条主义态度学习毛泽东思想的做法是一致的。他在中共中央党校的讲话，直接为1978年春开展的真理标准问题的大讨论提供了思想武器。