剑道作为一种实用武术，在日本有着古老的历史，并且像其他社会文化现象一样，最初也是中日文化交流的产物。中国的《汉书》中曾专门载有《剑道》篇章，可见日本剑道是在中国剑道基础上发展起来的。
早在公元前473年，中国的吴被越所灭，吴的难民由山东半岛及东夷诸岛渡海，逃往到日本，同时携去青铜制的“戈”与“剑”等。二百多年后，中国进入生产铁器的秦汉时代。这些铁器也随同中国大陆与朝鲜渡海过来的移民们一块抵达日本。到了隋唐时期，中国的剑术传入日本，经日本人的研习修改，形成独特的刀法技术，即日本剑道。
据传，公元2世纪初，日本景行天皇的儿子最初创定剑法三个段位，即“天地人”，也就是“上中下”段。到了公元4世纪中叶，在常陆国鹿岛的国摩真人创出“出神妙剑”剑法，即为有名的“鹿岛之太刀”。后世流派多源自于它。公元8世纪末，桓武天皇的皇宫大夫和气清磨建立武德殿。武人在此练武。每年的五月五日还在这里举行剑术比赛。
古代的日本人，大多使用中国式的刀剑，但并不是我们现在所见的日本刀。公元11世纪初，武士们总结战场上的实战经验，发现在马上作战时使用砍斩的机会比刺击多，而且利于拔刀，于是便将原来单手使用、以刺击为主的双刃三尺直剑改变形体为双手使用、以砍斩为主的单刃弯刀，即成今日日本刀的雏形。
刀剑是武器中的灵，也是武士的灵，具有祈祷、祭祀、神佑和权力等象征意义，是日本帝位承传的三件神器之一。所以也是皇帝权力的象征。刀剑在武士心目中不只是他们战斗时的用具，同时也是他们的生命。在祈愿或还愿时，他们可能会把刀剑奉献于神前。
镰仓时代形成了武士阶级支配的新社会，武士一跃而成为社会和政治的主角。因此，刀法越来越盛行，教授方法也逐渐统一。江户时代的剑道深深受到儒家和禅宗的影响，注入武士所需的精神和生活态度等元素。这样一来，“道”就真正注入“剑”之中了，成为对精神人格加以磨炼的法门。
江户末期，国家政治和阶级制度发生激变，日本剑道从竞技练习再次回到实战之中，商人和农人也竞相习剑。德川幕府为了维持治安更设立讲武所，把习剑风气推至最高。进入明治时代，随着欧美文化的冲击、武士阶级制度的废除及其实施，剑道全面衰颓。直到明治十二年，警视局又才正式采用剑道训练。其后，很多学校也开设剑道训练，促进了剑道普及，也出现不同的剑术交流比赛。
到了近代，日本剑道又有了新的发展，尤其是在第二次世界大战中，业已成为日军侵略的重要工具而被充分利用。1945年日本投降，联军司令部以武道被军国主义鼓舞利用为理由，命令剑道、柔道、弓道及萝刀等武道全部在学校教育中删除，同时也禁止一般人的武道活动。1950年，日本竹剑比赛联盟成立，剑道以竹剑比赛的体育活动名义而复活。此后，日本剑道联盟使剑道重又起飞，再次成为学校的体育教材，在日本流传得十分广泛。
剑道的哲学内涵十分深远，蕴藏了大量东方哲学的智慧。它讲究气、剑、体一致，以静制动、不变应万变。剑道还很强调精神力量，通过它可以训练出一种处变不惊、心静如水、沉着应对危机的能力。
剑道训练教人掌握使用刀、剑、棍的方法，在训练中可以提高眼力、步法及应变能力。虽然在训练中把日本刀换成了竹剑，但攻守道理完全相同，甚至竹剑制作时在重量和握持手感上也尽量参照日本刀。日本剑道的对抗性很强。由于护具完备，所以与其他技击性运动相比，它还是一项安全的运动。因此，在激烈的正式比赛中也极少出现受伤。剑道比赛通常在室内进行，因选手赤足，所以对场地木地板的质量要求较高。选手一对一进行比赛，双方都要穿剑道服、戴护具、持竹剑，按规则相互击打有效部位，由裁判计点数，判胜负。日本剑道，也可以举行团体比赛，由选手数相等的团体双方分别一对一决出胜负后，计算总分。
如今的日本，剑道流派主要有二天一流、新阴流、北辰一刀流等。
二天一流
“二天一流”是由“剑圣”宫本武藏开创的。29岁时，他就用自制的的木刀将当时名满天下的剑客小次郎斩于刀下，并凭借此战一举成名，但对自己的剑术一直不满。此后，他花了几十年时间专心研究，直到50岁时，才创出二刀流剑术，也就是著名的“二天一流”。
“二天一流”里的“二天”指太阳和月亮，也就是阳和阴，象征着对立。二刀的技法概括起来，便是协调左右两手大小两刀的动作，以此来击败对手。作为剑道名宗，宫本武藏还写过很多有关剑道方面的著作，提出“剑心”乃武士之魂的说法。武藏空剑，也就是最后一剑，才是剑道之本，即在遇敌之际，要有清澈明澄的心境，不为环境所惑，不为敌人行动所骗，更不为自己感情所蔽，这样才能取得胜利。
新阴流
很多人对“新阴流”并不熟悉，但一提到日本动画片、游戏里常常见到的剑豪柳生十兵卫，很多人都会有所耳闻。柳生十兵卫的剑术流派就属于新阴流的一个重要分支——柳生新阴流。“新阴流”并不是柳生所创，而是由上泉信纲开创并由他的弟子柳生石舟斋宗严（柳生十兵卫的爷爷）继承并发扬光大的，最终形成一股最有名的分支——柳生新阴流。
“柳生新阴流”的精髓在于“无刀取”，也就是我们常说的空手夺白刃。另外与其他流派相比较，柳生派的特点还在于不以杀人作为修炼剑术的手段。他们所崇尚的是“不杀人，但以不被杀为胜”。
除柳生新阴流外，还存在很多“新阴流”分支，如神影流、狭川新阴流、松田派新阴流、新神阴一门流，等等。
北辰一刀流
“北辰一刀流”是江户时期非常流行的剑术流派，它的创始人是千叶周作成政（1794—1855）。它是典型的艺术类剑派，又名北辰梦想流，因源出一刀流，故名“北辰—刀流”。所谓“一刀流”，表示手里只持一把刀剑。
千叶周作成政年幼时跟随父亲练习剑术，后来将自身所学技法加以糅合创新，创立了“北辰一刀流”，并在江户日本桥设立了武术道场玄武馆，与“静心明智流”的士学馆、“神道无念流”的练兵馆并称为当时的“江户三大道场”。由于“北辰一刀”流对剑道里的护具和竹剑进行了改良，还制定了比较规范系统的对战法则，因此该流派对现代日本剑道的贡献非常大。
“北辰一刀流”也是个人才辈出的流派。千叶周作的弟弟及儿子都为该流派做出过重大贡献。除此以外，尤为著名的坂本龙马也属于“北辰一刀流。”另外，幕府时期众多有名剑客，如伊东甲子太郎、山南敬助、清河八郎等也是“北辰一刀流”的名家。