经过龙山所之战以后，在这一年的九月份，戚继光部队和总兵俞大猷的部队在追击倭寇的过程中，不幸在雁门岭中了敌人的埋伏，几乎所有的官兵都败退了。戚继光的部队虽然没有败退，但也没能继续追击敌人，以致敌人从容逃脱。从这些战斗中可以看出，明军存在整体作战能力较差、士兵素质参差不齐、将令经验不足等诸多问题。
种种情况让戚继光深感忧虑，于是在同年的十一月份，他向上级提出了练兵的建议，第二年的春天，他又一次向上级提出了练浙江士兵的建议。看到戚继光两次练兵的建议，人们议论纷纷，许多人对戚继光的想法大为不解，认为没有必要这样大张旗鼓地练兵。由于各级官僚机构的办事拖延和其他种种原因，直到这一年的冬天，戚继光的练兵方案才获得朝廷的批准，总督胡宗宪决定把兵备佥事招募的三千绍兴兵交给戚继光训练。
经过戚继光的训练，这支部队的战斗力明显高于其他部队，军纪相对严明，军容也相对整齐，在一些战斗中取得了胜利。在嘉靖三十七年（1557年），总督胡宗宪招抚大汉奸王直的计划失败，王直被捕杀，盘踞在舟山岑港的王直余部再度发生叛乱，胡宗宪命俞大猷和戚继光率部攻打岑港。当时的情况是倭寇虽然只有区区七百余人，但他们据险死守，明军久攻不下，相持了整整一个春季。这年夏天，俞大猷和戚继光同时受到朝廷的处分，上级命令他们务必在一个月内攻下岑港。虽然战斗最后取得了胜利，但是戚继光反思了自己的部队在战斗中的表现，发现自己训练的士兵虽然行动上较为迅速、敏捷，比之以前士兵的军容有较大的改观，但本质上还是没有很大的区别，他们对倭寇依然有些畏惧情绪，关键时刻作战还是不够勇敢、坚决。嘉靖三十八年（1558年），倭寇的部队进攻浙江桃渚，戚继光带领这支部队，分别在章安、菖埠、海门卫、新河和南湾五个地区打败敌军，基本上全歼了这支进犯的倭寇队伍。
虽然战斗取得了最终的胜利，但在战斗中发生的一些事情却让戚继光受到很大的震动。在一次战斗结束之后，一名士兵提着一颗血淋淋的人头飞奔到戚继光面前，来向戚继光邀功请赏，说他杀死了一名倭寇，这就是敌人的首级，还没等戚继光说话，随后又跑来一名士兵，向戚继光双膝跪倒，号啕大哭道：“请将军明鉴啊，这不是倭寇的首级，这是我弟弟的首级。我弟弟在战斗中受伤以后，还没有断气，就被他割了头来请赏了。”戚继光问及此事，那名要邀功的士卒果然无以应答。看到自己的队伍里出现这种情况，戚继光异常震怒，当即将那名邀功的士兵斩首示众。另外戚继光还发现士兵们有妄杀平民的现象，这些事情一经发现，他便进行了严肃的处理。
鉴于以上的种种情况，戚继光下定决心要重新招募一支队伍进行训练。招募队伍首先要考虑的是兵源的问题，戚继光需要的是那些勇敢、剽悍同时又不会偷奸耍滑的人。恰在这个时候，戚继光听到了这样一件事情。不久前在浙江义乌地区，发生了一起大规模的群众械斗。起因是义乌境内的一座山，这座山叫做八宝山，因人讹传山上有矿藏，永康境内的许多矿工和其他的一些人便来到这座山上，要开山采矿。义乌人得到消息以后，便告知了当地的一些大户，这些大户便是他想要的，如果把这些人组织起来用于对倭寇的作战，那将是一支令人生畏的军队，于是戚继光决定到义乌去招募军队。
经过明朝朝廷和上级的准许，戚继光于嘉靖三十八年（1559年）来到了义乌境内，由于得到了当地地方官员的有力支持，戚继光较为顺利地说服当地的一些大户和头面人物，按照自己的严格要求顺利地招募到了四千余人。完成招募工作之后，接下来的工作是对新兵进行严格的训练。经过了自少年时代开始的长期学习和近几年的实战磨砺后，戚继光形成了自己较为独特的练兵思想，他认为练兵就要对士兵的耳目、手足、胆气和营阵等各方面进行全方位的训练。
首先进行的是练耳目，通过这项训练要让士兵树立一种服从命令的意识，让士兵做到令行禁止，绝对服从。众所周知，古代将领指挥作战，主要依靠的是发组织一些人对永康人的行为加以制止，永康人一看势头不对，便跑了。但是事情还没有结束，永康人回去之后，纠集了更多的人来到这座山上，要大张旗鼓地强行开山。这种行为更是激起了义乌人强烈的不满，他们也纠集更多的人，来到山上要与永康人进行谈判，谈判不成，双方发生大规模的群众械斗，血流满地，双方的伤亡都比较大。虽然事情本身是不对的，但戚继光看到的却是义乌人在械斗中表现的团结意识和剽悍民风，这些都出的指示信号，这些信号主要用锣、鼓和指挥官手中的旗帜发出，戚继光首先要求士兵熟记这些信号所表示的指令含义并牢记在心。接下来士兵要做到对这些指令的绝对服从，不准有任何的差错。通过这样的训练，部队形成铁的纪律，为以后的作战提供了有力的保障。
其次，戚继光很注重士兵的体能和技艺，练手足也就是加强士兵的体能和武艺的训练，因为在那个时代，士兵的个人体能和武艺是作战时最直接的力量。他先对士兵进行体能训练，组织长跑练习耐力，用身负重物或者举重来练习身体各个部位的力量。接下来是对士兵进行技艺训练，戚继光注重实战，他反对士兵练习那些花拳绣腿，而是要求士兵练习简单实用的搏击技巧，使士兵们能够在战场上防身救命，杀敌立功。他把那些武艺的原理细致系统地教给士兵，让士兵对这些原理有一个全面的了解，然后一招一式地演示给士兵们看，要求他们勤学苦练，并且设立考核制度，以此检验士兵们练习的效果并奖励勤奋好学的士兵，惩罚懒惰的士兵，形成良好的练兵氛围。
再次是练胆气，戚继光认为，自己以前带的士兵之所以从内心惧怕敌人，是因为士兵们的整体思想意识不高，同时也缺乏足够的勇气和胆量。练胆气的目要是培养士兵们协同作战的意识。戚继光深深地知道，打仗不是逞匹夫之勇，一个人的力量再大，武艺再高强，也不可能取得战争的胜利，只有依靠团队的力量，才有可能取得胜利。戚继光根据江浙一带的地理状况和倭寇们行军作战的特点，有针对性地设置训练内容，主要训练士兵们的基本作战队形，如行军、冲锋、撤退等阵形，重点演练他独创的“鸳鸯阵”法。通过这些训练来提高部队的整体作战能力。
经过较长时间的系统的军事训练，戚继光在义乌招募的四千人马确实成了一支素质过硬、能征惯战的劲旅，在以后的战斗中立下了赫赫战功，戚继光和这支部队也因此威名远扬，百姓们亲切地称这支部队为“戚家军”。的一方面是提高士兵们的思想意识，另一方面是要提高士兵们的胆量。具体的方法则是：对士兵们进行思想教育，讲明为国为民的道理和抗击倭寇、保卫家乡的意义。要求军官们以身作则，为士兵们做出表率，做到尊重士兵和爱护士兵，在日常生活中培养士兵之间、官兵之间相互信任的意识。实行严格系统的奖惩制度，在执行的时候做到公平公正，让士兵们明白努力勤奋、荣立战功就能够得到赏赐；敷衍懒惰、贪生怕死就一定会受到军纪的惩罚，没有人可以逍遥于军纪之外。