第二代导弹产生于20世纪50年代末至60年代中期。这一代导弹将陆基导弹由地面发射改为地下井发射；潜射导弹由水面发射改为水下发射。
美国有陆基洲际导弹“民兵”Ⅱ，水下发射的潜地导弹“北极星”A2.苏联在此期间发展了SS-9、SS-11、SS-13陆基洲际导弹和SS-N-4、SS-N-5潜地导弹。与此同时，还发展了对付中低空目标的防空导弹。第二代反坦克导弹也提高了命中精度，同时发展了车载、机载反坦克导弹。
