嘉靖三十八年（1559年）五月，徐阶晋升为吏部尚书，次年又由少傅晋升为太子太师。张居正亦由翰林院编修晋升为右春坊右中允，兼国子监司业，高拱为国子监祭酒。这时严嵩与徐阶的矛盾日益激化。由于严嵩年事渐高，工作中常常出现漏洞，世宗皇帝颇为不满，严嵩逐渐渐失去宠信。一次，皇上问方士兰道行：“谁是朝中的奸臣？”兰道行说：“严嵩是最大的奸臣，留待皇上正法。”之后当御史邹应龙上书揭发严嵩父子罪行时，世宗帝便毫不留情地把严嵩罢职。
严嵩垮台以后，徐阶继任为内阁首辅，张居正欣喜若狂，笑逐颜开，为一个新时代的到来而激动不已。因为徐阶是张居正任庶吉士时翰林院掌院学士，在翰林院的名分上，徐阶是张居正的老师。徐阶对张居正的为人处事和聪明才智也很赞赏，他对张居正寄予很大的期望，把其视为国家的栋梁之才。张居正也竭尽全力辅助徐阶工作，二人真是相得益彰。嘉靖四十五年（1566年），明世宗逝世后，徐阶和张居正又以世宗遗诏的名义，革除弊政，平反冤狱，颇得人心。
明世宗逝世后，隆庆帝即位。次年二月，张居正晋升为吏部左侍郎兼东阁大学士，入阁参与机要政务。这时高拱因为与徐阶不和而离开内阁，所以朝廷大事总体上均由徐阶和张居正管理。张居正如鱼得水，使自己的聪明才智得以尽情发挥，他的才智让朝中官员不得不另眼相看。
隆庆二年（1568年）七月，徐阶在举筹失措中被迫归田，高拱再次入阁兼掌吏部事，执掌了内阁大权。高拱这个人是非兼半，他有他值得称赞的一面，也有令人憎恶的一面。高拱最大的优点是非常重视发现和培养起用人才，尤其是善用德才兼备的年轻人。他考核官员，唯以政绩为准，从不问出身和资历，而且在选派官员时特别注意年龄和健康。他规定凡五十岁以上者，均不得为州县之长，不称职者立即除去。他当政时起用了一批优秀人才，张居正就是其中之一。尽管张居正和徐阶关系暧昧，而徐阶又是高拱的对头。
但是，高拱为人傲慢，刚愎自用，又很不善于听取下级的意见。因此，张居正虽然有幸在内阁任职，但有高拱在他之上，他想施尽才华，大干一场，又是一件非常困难的事情。
但高拱万万没有想到，与他作对的并不是张居正，而是大太监冯保。张居正也不曾意识到，自己竟渔翁得利。这一切均发生在隆庆帝驾崩之后。
隆庆帝逝世后，十岁的太子即将成为新的皇上，冯保可谓扬眉吐气，他要好好整治高拱。
原来，冯保本来在内宫仕途上一帆风顺，很快被嘉靖帝提升为秉笔太监。后来，掌印太监出缺，冯保自信该由自己顶补这一最高职务，想不到首辅大学士高拱偏偏在皇上面前举荐了平日他最瞧不起的陈洪，后又举荐了孟冲，冯保气得要死，他认定这是高拱故意给他难看，好在皇上短命，他因相伴太子，与皇后、李贵妃过从甚密，因而随着太子的登基，他也一下子从幕后走到了台前。
于是，冯保开始发挥自己的聪明才智和雄辩的口才，与高拱展开了一场暗中较量。他向皇后及贵妃推荐张居正，贬低高拱；又千方百计地为自己升为掌印太监铺平道路，讨得了皇后及李贵妃的欢心，她们对他也真可谓是言听计从。
太子朱翊钧继承皇位后，改年号为万历。在冯保的左右下，张居正不断得到提拔，而高拱明显地预感到内宫对他不信任，于是他决定和冯保决一死战。
冯保顺利地当上了掌印太监，又兼东厂督主，可谓宫内宫外大权在握，因此他把高拱根本不放在眼里。张居正目睹冯高二人的争取夺利，预感到朝廷又要有一场暴风雨来临了。张居正心如火焚，坐卧不安，满怀一腔愤怒之情，无处发泄，对内宫太监们一贯阴险狠毒之性，他是深恶痛绝的。可是外延臣僚之间的尔虞我诈之性；他又何尝心安理得？从他入朝起，便见到夏言的被杀，严嵩的坍台，徐阶的离去，高拱的复出……他本想兴利除弊，扶正祛邪，有一番作为，以酬青云之志，却又遇到高拱刚愎自用，不容他人。隆庆帝刚刚驾崩，又要有一场尔虞吾诈的争斗展开了……他知道他不能对这些加以左右，于是他决定不去参与，顺其自然，以静制动。
高拱的官职被罢，高仪不久也谢世，剩下张居正一人独守文渊阁，独挑了首辅的重任。
十年寒窗，坎坷升迁。一生功名所求，现已达到了巅峰，真可谓一人之下，万人之上。可一旦权柄在握，张居正反倒有些茫然了。他清醒地知道自己所处的位置将会是旦夕祸福的险境，是生拼死夺的战场。凡行事做人，当更加小心谨慎。
自然，张居正心中也充满着实现夙愿的喜悦和整治朝政的壮志，踌躇满志之情与优柔慎微之心兼而有之，倒使得张居正处理事情时相得益彰，既有深思熟虑的见地，又不乏义无反顾的勇气。
明神宗朱翊钧当皇帝时年仅十岁，所以皇帝的教育问题成为内阁首辅张居正的头等大事。
张居正深感教育好一个皇帝是一件利国利民的大事，于是他自己毅然肩负起教育小皇帝的责任。
耳闻目睹了“庚戌之变”的张居正，对国家的安全和军队的素质极为担忧，他从那时起就在谋划着对边防的整顿，立誓一定要使边关安定，人民和睦，尤其是汉族和少数民族的关系问题，更是张居正所关心的问题。
张居正大胆地启用了一批才智双全的将领，对他们“委任责成”、“信而任之”。所以，“一时才臣，无不乐为之用，用必尽其才”。他所重用的谭纶、戚继光、李成梁、王崇右、方逢时等人，都大显身手，充分发挥了他们的聪明才智。
张居正通过重用英勇善战的将帅，整修边防，加强守备，改变了正统以来边防日益废弛的局面；通过重用足智多谋的边帅，改善蒙汉关系，改变了自明朝开国以来一直与蒙古所处的敌对关系和战争状态，发展了两族之间的友好交往，促进了我国多民族的统一国家的形成和发展。假如说，洪武和永乐年间，是用以攻为守的策略保证了北部边防稳固的话，那么，自张居正改善蒙汉关系以后，则是以和睦修好保证了北部边界的安宁。这是完全符合历史发展趋势和各族人民共同愿望的。张居正整修边防，改善蒙汉关系的重大改革，是以其丰硕胜利的果实，载入史册的。
张居正出任内阁首辅后，针对朝中空议盛行、不务实际、人浮于事、政令不通的现状很是担心。他曾和内阁次辅、大学士吕调阳对此作过多次讨论，慷慨激昂，痛切时弊，激奋之情溢于言表。他下决心要彻底改革吏治，为他的一系列改革铺平道路。因为他现在纵有许多想法，都是无实施的。自己的主张要靠外廷这些部、科、院的大小官员去办，可相识满天下，知心有几人？如何才能把这群各自为政、一盘散沙似的“散兵游勇”捏合成一支令行禁止、进退自如的精锐之帅呢？他心里一直在暗暗地思考着。
万历元年（1573年）十一月，张居正上书请行考试法，神宗批准了他的请求。
明代早期运用的制度是对官吏政绩进行考核。按明制，京官每六年考察一次，叫做“京察”，地方官每三年考察一次，叫做“大计”。但是在吏治腐败，法令不行的情况下，这些制度或者流于形式，或者成为官员们争权夺利的工具。张居正亲见了官场中的丑剧和官吏们的不法行径，深刻认识到不仅要对各级官吏进行定期考察，而且对其所办的每一件事都要规定完成期限，进行考成。即所谓“立限考事”、“以事责人”。这是张居正考成法的一个重要特点。
张居正考成法的实际内容，正如他给皇上的奏疏中所讲的，最主要的有以下两条：第一，六部和都察院把所属官员应办的事情规定完成期限，并分别登记在三个账簿上，一本由部、院留作底册，一本送六科，一本呈内阁。第二，六部和都察院按照账簿登记，对所属官员承办的每件事情，逐月进行检查，完成一件，注销一件，如果没有按期完成，必须如实申报，否则以违罪论处；六科亦根据账簿登记，稽查六部的执行情况，每半年上报一次，并对违限事例进行议处；内阁同样亦根据账簿登记，对六科的稽查工作进行查实。这样，六部和都察院检查所属官员，六科稽查六部，内阁监督六科，层层检查，内阁总其成，内阁遂成为实际的政治中枢，这就是张居正的统治体系，也是张居正对明代吏制的一大改革。