日本自明治维新之后，开始了全面向西方学习的步伐，在军事上废除了原来的武士制度，明治天皇颁布了《废刀令》，取消了武士阶层，也开始了日本新建军队的进程。新建军队的军官佩刀很自然地向西方看齐，使用西式指挥刀。日本传统的武士刀此时在日本军中并没有获得很高的地位，但是由于许多将领出身于武士世家，所以对于武士刀这一武士道精神的象征怀有强烈的感情。所以武士刀并未在新式军队中彻底销声匿迹，只不过在军队的公开场合不多见而已。
陆军军官指挥刀
日本所谓的皇军从建军伊始使用的军官指挥刀，从刀形到刀装都很有西方特色———西式的刀柄和护拳。由于当时日本海军和陆军都使用这种西式指挥刀，为示区别，陆军指挥刀在刀柄侧面中部的铜皮上设有樱花图案，而海军指挥刀则没有。这种西式指挥刀实际上就是西方的骑兵军刀（西方的指挥刀本来也是来源自骑兵军刀，也就是俗称的马刀），我们看日俄战争时的照片就会发现大量这种军官指挥刀。即便在1934年日本陆军颁布了日本刀样式的指挥刀之后，仍有部分骑兵部队没有采用新的日本刀形制的指挥刀和三二式骑兵刀，而是继续将其作为骑兵军刀一直使用到日本投降。这种刀初期全部采用机制刀条，有些刀条表面镀铬。鞘也主要是金属刀鞘，也有些镀铬。日本的仪仗刀便是由这种刀脱胎而来，不过是装饰上更华丽一些，饰物的做工上更考究一些，多了一些标志性的图案而已。
日本曾在其占领的殖民地给殖民官员配发过一种指挥刀，形制便是这种西式指挥刀，不过在刀柄侧面的铜皮上的图案依据殖民地的不同而有所不同。我国台湾地区在沦为日本殖民地后，殖民地官员便佩带这种指挥刀，这是对那段历史的特殊记忆。
西式指挥刀源自西方的骑兵军刀，刀柄较短，用以马上单手持刀劈砍。日俄战争期间，日本人发现西式的指挥刀不符合日本人的用刀习惯，于是根据自己身材矮小的特点创制出双手持刀、大开大阖、劈砍凶猛的日本剑道运刀方法，而传统的日本刀素来以锋利异常闻名天下，具有不曲、不折、善切的特点，一把做工优良的传统日本刀比俄军大量使用的恰西卡———著名的高加索式军刀还要好，于是有些军官就把原来的西式军刀刀条改成用日本刀刀条。与此相适应，将刀柄和护拳也拉长以适应日本刀的长刀茎（与刀一同铸造的刀柄）和双手持刀的运刀方法，于是就形成了具有西式军刀外观特色，但又使用日本刀刀条的东西合璧式的指挥刀，这种刀在日本军队中也有一定的数量。
三二式骑兵刀
1892年（明治二十五年），日本根据西方马刀的特性又结合日本刀的特点设计了二五式骑兵刀。
1899年（明治三十二年）在二五式军刀基础上设计了陆军三二式军刀，对刀柄形状作了优化，仍采用西式的刀柄和护拳，刀条样式类似传统日本太刀，不过弧度大大减小，长度也较长，而且上面开有长长的血槽，刀茎较短，装上刀柄后单手使用。刀柄左侧增加了桥式闭锁结构。
三二式军刀分甲乙两种，甲型稍长，供骑兵使用。甲型很多刀柄下部靠近护手处有皮质的指环，使之不易在颠簸的马上脱手。刀条全部机制加工，没有采用传统方法锻造，刀条上有生产厂家的标识和刀号。乙型稍短，供陆军军官使用。
侵华日军骑兵部队主要使用的就是三二式骑兵刀。这种刀也被我军大量缴获，因其设计优良，我军也大量采用，成为我骑兵部队的杀敌利器。后来我军在此基础上进行改进，设计出性能更加优异的六五式骑兵刀，成为我军历史上唯一正式列装的骑兵军刀。
日本传统刀剑
日本民族主义热情在日俄战争之后日渐提高，1933年2月3日，由荒川五郎等提出的复兴日本刀剑的议案在议会获得通过。不过此时日本军队仍在使用西式指挥刀。是年，日本侵略军以重兵犯我华北长城一线。中国守军奋起抵抗，参战的中国军队组织了很多大刀队，用中国传统的大刀片子利用夜袭在肉搏中给日军以重创。华而不实的西式指挥刀在与中国大刀对抗过程中处于全面劣势。于是，1934年日本陆军开始抛弃西式指挥刀，全面换装成实战中极具威力的传统日本刀作为指挥刀。
日本传统刀剑工艺精良，锋利异常。刀身弯曲，刀柄很长（柄身比例大约为1∶4），通过目钉和刀茎（与刀一同铸造的柄）连接在一起，柄为木质，外面以白色带细小颗粒的鲛鱼皮包覆，然后再用缠刀绳（卷绫）交叉编花。刀柄两侧的缠刀绳下还有一个十分重要的装饰物———目贯（另一个重要装饰物是镡，也就是护手）。这种刀适合身材矮小的人双手持刀，日本剑道讲究挥刀时大开大阖、用力劈砍。这样的话，日本刀在实战中配合日本剑道可以显现出巨大的威力。
首先采用日本传统形式的刀剑作为制式军刀的便是日本陆军。鉴于陆军在实战中使用军刀进行肉搏的机会较多，陆军便率先采用了日式军刀。陆军军刀是日本侵华期间最为常见的军刀，该刀刀形采用日本传统的“太刀”型。刀身亦如传统日本刀一样弯曲，刀背采用日本传统形式之一的庵型，即三角形。刀柄也是用日本刀传统装饰用珠粒细密的白色鲛鱼皮包裹。刀柄两侧缠刀绳下有日本刀重要的装饰品———目贯，为三朵并开的樱花。刀柄尾部有雕花的刀穗环。刀柄上还有刀与鞘的闭锁装置。“绪”（刀穗）是日本军刀的重要级别饰物，一般蓝色和棕色为尉官所用，红色和棕色为佐官所用，金色和红色为将官所用。刀镡（护手）为“葵形”，刀刃近镡之处有“锦祖”，即吞口，虽然很多铭文都是刻在刀茎上的，不过有些吞口上也有刻的字。鞘的下部和尾部有铜制的柏叶和石突等装饰品。刀条在品质上差异最为巨大。事实上，绝大多数军刀刀条都不是用传统锻造方法制造的，而是机械制品，或不是用锻造传统刀的方法锻造的。
其实早在1934年，日本陆军就制定了配发给军官的陆军94式制式军刀。现在见到最多的就是陆军98式军刀，因为此刀是在日本皇历的皇纪2598年（1938年）制定所以命名的。陆军军刀命名都是依据这样的原则，94式和三式军刀分别是在皇纪2594年（1934年）和2603（1943年）年制定。事实上98式军刀就是将日本原来的94式军刀刀鞘上的第二个挂环去掉而已，实质上并没有什么大的改变。原因就是1937年日本发动了全面侵华战争，并因此实行战时体制，日本军队停止了原来全套礼服的发放，作为原来礼仪仪仗用的第二个挂环也就省掉了。初期有一部分刀条是用传统锻造武士刀的方法锻造的，但是战时需求量大增，于是就开始大量采用机制刀条。这就造成刀条质量相差十分巨大。品质最好的便是采用传统锻造方法制造的刀条，不过整个二战期间，这种刀条的产量都不大。另外值得一提的就是，战争期间，许多世家子弟从军，便把家传的宝刀（全是用传统方法锻造并且品质极佳，不少还是名家作品）换上制式的刀装带上战场。日军对刀的外部装具有规定而对刀条本身没有过多要求。
98式军刀的刀鞘与94式类似，多是金属制成，有些用皮革包覆，缝制很精细，表面做抛光处理，一般呈茶褐色，但也有的是海蓝色或是黑色。刀装分为一等、二等、三等和略式四个等级，刀鞘也分为铁、铝、皮卷木鞘和鲛鱼皮卷木鞘，这些变化是由于军官的级别、个人财力和国情决定的。军官刀由军官自己出钱购置，所以区别大很正常。到了战争后期，刀装和刀条的品质都有很大的下降，这也是日本帝国主义日薄西山的标志。1943年，日本还生产了一种刀装经过简化的军刀，称为三式军刀，采用涂漆木制刀鞘，当然刀条和刀装质量不好。
海军刀