戚继光上任后，经常深入边塞了解边情。实地考察中，他获得许多有用信息。他深深地体会到，北方的情况与南方简直截然不同。在他面前的不再是惊涛骇浪、楼船帆影的海上风光，也不再是河湖遍地、道路曲折的江南水乡景色；而是黄沙盖地、荒草雄关的塞外景色。在南方抗击的是海上入侵的倭寇；而北方要抵御强悍的蒙古骑兵。他们以游牧为生，擅长骑马射箭，动不动数万、十几万，来如风，去如云，飘忽不定。南方是河湖密布的水网沼泽地，不利于大兵团作战；而北方多是开阔地带，利于骑兵作战。戚继光意识到情况不同了，应该创造新的战略战术。
他首先想到的是建立车兵。他的好友余大猷很有这方面的经验，岑港战役后，他被罚到大同戴罪立功，创建兵车营，并以兵车百辆，步兵、骑兵3000，在安银堡挫败十万蒙古铁骑，一时成为车战名家。他常向戚继光谈起车战的好处。戚继光同样认为车战是有很多好处的，他这样写道：“敌人以数万之众，气势如山崩地裂，直取我军。如果我有车营，车上有火器，可以终日发射火器。也不用挖什么战壕，把车连起来就是一座营房，要行就行，要停就停，十分方便。”戚继光决定先建立车营。
建车营的目的还不止这些，他想创建一支车兵、骑兵、步兵三军联合作战的大军。他认为今后作战，应当车、骑、兵三军配合。车兵为正兵，战斗时可代替甲胄，抵御敌军的冲击；步兵以车为掩护，一方面出击保卫战车；骑兵平常在车营保护之下，必要时包抄突袭。平原广阔的地方用车战，半险半易的地方用马战，山高水深的地方用步兵。骑兵靠车兵保护，车兵依靠骑兵冲锋。如果敌人忽然进攻，应先以骑兵列阵出击游击埋伏的敌人；敌人败退时，再用骑兵追击。宿营时，车就是营垒。
戚继光想把边防守军训练成这样的部队。从军营巡视回来，戚继光感到深深的失望。蓟州守军并不少，成分比较复杂：有外地调来的士兵；有京城来的禁军；还有当地招募的军兵。不论什么兵，都存在相同的弊病，那就是纪律松弛，战斗力不强。巡视中，他发现许多士兵连最基本的号令都不知道。有的兵见他到来，依旧我行我素，好像没有他这个长官。许多人漫无军纪，甚至聚在一块赌博。他们练武，喜欢练没有用的花架子，对杀敌本领却不感兴趣。靠这样一支队伍，是很难完成防御任务的。他决定再次上疏，请求政府允许他练兵。谭纶也上书支持戚继光，关心边事的执政大臣张居正也看重戚继光，练兵的事，终于得到明政府的批准。
1568年冬天，戚继光把蓟州镇的全部防区划分为十二路，每路设一将领，上面又设协守（和主将同守一城称为协守）东路副总兵和协守西路副总兵，分管东西各路军队。此外，又设立七座车营，分别驻扎在建昌、遵化、石匣、密云、三屯、昌平等地，并配以骑兵、步兵，进行混合训练。另一方面，派他的部下胡守仁到浙江招募鸟铳手3000，来蓟州听用。戚继光想趁练兵做一番事业。
然而事情并不顺利，原先他总理四处练兵事务时，驻在蓟州，而蓟州还有一个总兵，一个地方，两个统帅，办事互相牵制，戚继光十分别扭。后来那个总兵被调走，但他的主张却依然得不到各地的大力支持。戚继光无法放手工作，只好对蓟州现有的兵力加以训练，另外把更多的精力放到修筑防御工事这件事上来。
大同、宣府一带的长城，在翁年达、杨博时任总督时曾经修过，建起许多烽火台，较好地发挥了防御功能。蓟州地区的长城虽也修过，但没建过墩台，修的边墙又低又薄，天长日久，大都倒了，再不能发挥阻击蒙古骑兵的功能。于是戚继光向谭纶提出修边墙、筑墩台的建议。谭纶对戚继光深有了解，深知戚继光是有战略眼光的，他表示支持他的建设，希望他周密勘察，然后再正式上报朝廷。
有了谭纶的支持，事情就比较好办了。他亲自带领人马勘察地形，调查研究。1568年5月，戚继光把拟定修筑长城的方案上呈朝廷。他认为，加强长城防御力量，一方面要加高、加固、加厚原有的城墙，墙两面都设垛口，重要的地方修筑两层墙；另一方面就是在长城沿线修筑敌台（又叫空心台），作为边军驻守和战斗的堡垒。他设想修筑的敌台，有空心和实心两种，平面有方有圆，突出城墙外，供射击。空心敌台有大小两种，大敌台多设在险要地段，高五丈，内有三层：上层供了望和观察；中层为战斗室；下层为库房和休息室。小敌台突出城墙外约一丈，高出城墙约一丈五尺，上层建有骑墙铺，下层比较宽敞，可供10人休息和战斗。实心敌台，高与城墙顶平，其他与大敌台相同。敌台有很重要的作用，敌人进攻时，就举烽火报警，并登台迎战，用弓箭、鸟铳、火炮、石头等居高临下打敌人，使敌人不能靠近；即使敌人攻破长城，敌台守军依然可以稳固防守，攻击敌人的侧翼和后方。敌台之下，另有屯田军队，和台上守军配合作战，不让敌人拆墙进犯。平时在敌台附近屯田，解决军粮问题。
蓟州防线连绵2000里，一处出错则等于前功尽弃。戚继光建议修筑敌台3000座，整个修筑工程全部由戍守士兵承担，既可减轻国家财政负担和农民的徭役，又可锻炼边军吃苦耐劳的品质。
戚继光的建议得到批准，不过明政府把应修的敌台数目从3000座减到1000多座。1569年春天起，戚继光调动军队，开始了艰巨的筑台、修墙工程。
北方戍边士卒没有经过严格训练，突然承担繁重的修建长城的任务很不情愿。许多人满腹牢骚，暗骂戚继光，“边墙再坚固，敌台再高大，也抵挡不住蒙古兵的进攻，何苦劳民伤财。”戚继光听了这些议论，解释说：“过去的城墙太低太薄，敌台也是砖石小台，相互之间联络不灵，无法储备粮草器械，士兵暴露在墙上，敌人射箭，我们无处藏身。这样的城墙形同虚设，根本就不能防御蒙古兵，所以长城非修不可。”不管他怎么解释，私下议论仍然不断。
正在这时，去浙江招兵的胡守仁带领3000浙江兵赶到。部队驻扎在蓟州城外，等候戚继光的点验。
第二天天刚亮，紧急的集合军号吹响了。士兵们长途跋涉，十分疲劳，还在酣睡之中。但一听军号，迅速起身，很短时间内，营房前多了一块整齐的兵阵。胡守仁讲了些话，大军向点验场出发。
边兵久闻戚继光治军有方，但到底怎样还没见过，想趁此机会看看。他们拖拖沓沓，好长时间才集合完毕，稀稀拉拉地进入指定区域。
天有不测风云。刚才还是晴空万里、朝阳似火。不一会，天空乌云密布、大风猛刮，一场大雨即将到来。部将请求改日检验，戚继光笑道：“继续检验。这正是天赐良机，让这些边兵看看我治军的威严。”这时雨已下大，瓢泼不止。戚继光手执令旗，冒雨向将台走去。
大雨淋得士兵们睁不开眼，全身都湿了。熟知戚继光脾气的浙江兵看到主帅冒雨站在指挥台上，环顾受阅将士，个个精神抖擞，巍然不动。边兵们十分狼狈，但看到戚继光和浙江兵的样子，都不敢动了。戚继光高声说到：“当兵是干什么的？是杀贼保民的，是打仗卫国的。军队之所以成为军队，最重要的是有铁的纪律。没有铁的纪律，那就不叫军队。铁的纪律是怎样形成的，就是平常养成的……”戚继光声如洪钟，似乎压住了雨声。
点验一直到下午，雨也一直下个不停。浙江兵一直军容严整，直立如林。这下可苦了边兵，一个个十分狼狈，这才知道戚继光军法如此严格。从此以后，边兵中再无人敢以身试法，轻易违犯军令了。军队风气逐渐好了起来。
戚继光精心组织指挥，建造长城的工作进展得十分顺利。不久，戚继光的弟弟戚继美带领7000沂州（今山东临沂）兵来到蓟州戍边，戚继光请求朝廷将这支部队留下，参加修建长城。经过紧张艰苦的施工，到1571年秋，全部边墙敌台修筑完毕。从此，东起山海关，西至镇边城（今昌平县西）的2000里边防线上，屹立起一道钢铁防线，数以千计的坚固雄壮的敌台，随着蜿蜓曲折的地势，高低相间，参差突兀，蔚为壮观。