潜艇的历史可谓久远，最早可追溯到2000多年前。据史料记载，当时的罗马国王亚历山大有一天好奇心大发，命令工匠赶制一个能沉“彼得大帝”号核动力导弹巡洋舰入海底的玻璃容器，用来观看水下奇观及水族生物的生活情形。当然，这时的所谓潜艇还只是个雏形。真正的潜艇鼻祖恐怕要算17世纪初的荷兰物理学家科尼利斯·德雷尔了，他于17世纪20年代初制造了一条木质潜水船，它以桨做动力，外面蒙有一层涂油牛皮，可以下潜4到5米。潜水船构想甚为精巧，在船里面装有羊皮水囊，当皮囊灌满水时，船因重力原因就下潜；把皮囊内的水挤压出去，船就浮到了水面上。18世纪70年代，美国人D.
布什内尔建成了一艘单人操纵的木壳艇“海龟”号，通过脚踏阀门向水舱注水，可使艇潜至水下6米，并能在水下停留30分钟。艇上装有2个手摇曲柄螺旋桨，使艇获得3节左右的速度和操纵艇的升降。此外，艇外还携带一个能用定时引信引爆的炸药包。1776年9月，“海龟”号潜艇偷袭了停泊在纽约港的英国军舰“鹰”号，虽然没能成功，却开创了潜艇袭击军舰的先河。
18世纪末到19世纪末，是潜艇研制的重要时期。1801年，美国人R.富尔顿建造的“鹦鹉螺”号潜艇，艇体为铁架铜壳，艇长7米，携带2枚水雷，由4人操纵，水上采用折叠桅杆，以风帆为动力。水下采用手摇螺旋桨推进器推进。19世纪60年代，美国南北战争中，南军建造的“亨利”号潜艇长约12米，呈雪茄形，用8人摇动螺旋桨前进，航速4节，使用水雷攻击敌方舰船。
1864年2月17日夜，“亨利”号用水雷炸沉了北军战舰“豪萨托尼克”号，首创潜艇击沉军舰的战例。
早期的潜艇都是使用人力推进的，航速很慢。1863年，法国建造了“潜水员”号潜艇，使用功率58.8千瓦的压缩空气发动机做动力，速度为2.4节，能在水下潜航3小时，下潜深度为12米。1886年，英国建造了“鹦鹉螺”号潜艇，使用蓄电池动力推进，航速6节，续航力约80海里。
1897年，美国建造了“霍兰Ⅵ”号潜艇，水面使用33千瓦的汽油机动力装置，航速7节，续航力达到1000海里；水下使用电动机为动力，航速5节，续航力50海里，这是潜艇双推进系统的开端。该艇共有5名艇员，武器为艇艏鱼雷发射管（有3枚鱼雷）和2门火炮（向前、向后各1门），火炮瞄准靠操纵潜艇艇体对准目标。该艇能在水下发射鱼雷，水上航行平稳，下潜迅速，机动灵活。
到了19世纪末，由于当时的英国、美国等海军大国对潜艇仍持怀疑态度，认为它只不过是弱小国家用于偷袭的武器，因此阻碍了潜艇的发展。但是，当1898年法国的“古斯塔夫·齐德”号潜艇用鱼雷击沉了英国战列舰“马琴他”之后，各国终于醒悟了，纷纷开始投入到建造潜艇的热浪中。第一次世界大战前，各主要海军国家共拥有潜艇260余艘，成为海军重要作战兵力之一。
第一次世界大战一开始，潜艇就被用于战斗。1914年9月22日，德国U-9号潜艇在1个多小时内，接连击沉3艘英国巡洋舰，充分显示了潜艇的作战威力。战争期间，各国潜艇共击沉192艘战斗舰艇、商船5000余艘。其中被德国潜艇击沉的商船约1300多万吨。同时，反潜战开始受到重视，战争期间被击沉的潜艇共265艘，其中德国就损失200多艘。第二次世界大战期间，潜艇战术和技术性能有了很大改进，并于战争后期装备了雷达、雷达侦察仪和自导鱼雷，德国潜艇还安装了用于柴油机水下工作的通气管。
潜艇战斗活动几乎遍及各大洋，担负攻击运输舰船、水面战斗舰艇和侦察、运输、反潜、布雷，以及运送侦察、爆破人员登陆等任务。战争期间潜艇共击沉运输船5000多艘（2000多万吨），大、中型水面舰艇300余艘。战争中如此卓越的战果，使世界各国都不遗余力地发展潜艇。反潜兵器也得到很大发展，被击沉的潜艇达到1100多艘。