其实有这样想法的不只题主一个。《君主论》的作者马基雅维利表达过和题主的问题描述极为类似的想法,然而未来会战的发展和他的描述大相径庭。我们必须指出,尽管他对希腊罗马军事典故如数家珍,他对未来军事的构想其实是不现实的。在他那个怪诞的所谓希腊-罗马复合阵型中,炮兵的作用被轻视,火绳枪也没有得到应有的重视,而且我个人觉得他对会战的描述过于理想化了。
先说结论,我个人认为剑士的退场和骑兵的威胁关系不大,而是由于其在职能上的尴尬地位。火枪手也怕骑兵冲锋,但刺刀发明前指挥官们没有抛弃火枪手,而是用长枪把他们保护起来。如果剑士在十六世纪末到十七世纪能发挥和火枪手一样大的作用,那么他们再怕骑兵也不会消失。
这里想谈谈西班牙军队的老对手——荷兰独立战争中的荷兰军队里步兵剑士是怎么消失的。虽然不是同一支军队,但一些原因是可以在西欧军队中共通的。
在当时,剑盾士的主要职能似乎就不是迎击骑兵冲击,而是在两军近战、数米长的长枪交错(所谓的推枪战)时在长枪森林之间或者下方攻击敌人,使其陷入混乱(使用双手阔剑的士兵也有类似的职能)。作为古典军事的爱好者,莫里斯本人甚至也对让士兵装备短剑和罗马大盾(targe)有点兴趣,他本人曾经让人做过类似的演练,其结果是,使用巨盾和剑的士兵冲破了长矛阵。
然而随着时间进入十六世纪末,步兵火力在战场上的重要性越来越大,贴身近战的作用相对而言变小了。莫里斯本人认识到了这一点。照搬古典军事理论硬上是不现实的,在他和威廉 罗德维克于1599年发布的修订版步兵武器规章(Ordee op de waapeninge van het voetvolk)中,各式火枪手的比例达到了62%,而长矛手只有38%,至于剑盾,早就在1595年左右消失了(根据 @亚历山大法尼斯 的介绍,我这个说法其实不太准确,在1600年左右荷兰还有剑盾,但是规模极其小)。日后的战争也证明了这一点,在三十年战争中步兵方阵里火枪手的比例总体而言逐渐升高,从1:1到2:1,极端情况下甚至达到过4:1。尽管一些优秀的指挥官,例如古斯塔夫二世强调用长枪兵冲击敌军,但火力在战场上的支配性仍然存在。
此外,即使是古斯塔夫主张的步兵冲击,剑盾手也不是必须的。或许有人还认为剑盾兵在突击时,尤其是突击并非一马平川的防御工事时不可或缺,但实际上,发生在1640年荷兰军队突击胡尔斯特(Hulst)堡垒的战例可以说明,即使是长枪兵也可以独自进行突击。目睹这一战斗的荷兰上校回忆道:
“他们(西班牙人)接着就逃进了一个巨大的方形石制棱堡(redoubt,译者不确定应不应该翻译成这个)……(这个堡垒)四周都是枪眼,顶部平坦,他们勇敢地开火……因为当时下了大雨……我们就不能用步枪伤到他们。但他们可以伤到我们。因此我们将长枪兵派到枪眼前方,他们在那里被射倒,我军长枪兵从四面八方将长枪刺进枪眼,这样一来敌军就不得不撤退到上方平坦的部分。”
综上所述,当时专职剑盾士的重要性大不如前,推枪战的减少导致了剑士破阵的职能减弱,保护火枪手、突击敌军基本可以由长矛兵完成,火力输出和小规模战斗可以依靠火枪手。在这种情况下剑盾的退场也就是大势所趋啦。
其实剑和长矛这两种武器并没有绝对的高下之分,军人们需要根据具体情况来使用它们,在历史上剑和矛的使用是有过一些反复的。因此,在帝国晚期罗马步兵们重新拿起了长矛,西班牙人也不全是依靠剑和盾,而是依靠包括火绳枪、长枪等诸多武器才数次战胜瑞士人。
因为剑盾抗击对方骑兵冲击是老大难的问题,西班牙军事改革的诱因始于第一次意大利战争的塞米纳拉(Seminara)战役。当时法军的宪骑兵队(Gendarmerie)轻松击败了阿拉贡-那不勒斯联军的骑兵和民兵队之后,协同瑞士枪阵对阿拉贡军的剑盾兵实施夹攻,很快就将其击溃。这支伊比利亚军队在再征服战争中打摩尔人比较顺手,但第一次面对法军重骑集团冲锋时几乎毫无还手之力。
这是贡萨洛-德-科尔多瓦下决心将长枪兵和火绳枪兵作为主力改革的主要原因(初期仍然保留了相当一部分剑盾以对抗敌方步兵,大方阵完全成熟后淘汰了剑盾),并且得到了伊莎贝拉和斐迪南的支持。并且由于15世纪起西欧骑兵开始装备全身板甲,生存力也高了许多。
还有一个不错的例子就是弗朗索瓦一世的成名战——马里尼亚诺(Marignano)战役,这一战法军与被米兰公国雇佣的瑞士长枪兵交战。法军没有能与瑞士枪阵正面肉搏的步兵部队,于是在两天的战斗中使用宪骑兵发动了多次反冲锋,目的并不在于直接取胜,而在于迟滞瑞士枪阵的推进,使其无法发动冲锋,为本方火炮、火绳枪和弩手倾泻火力赢得时间,经过长时间的较量,瑞士军最终败下阵来。
这些骑兵反冲锋当中,法国骑兵付出了不小的损失,至少阵亡了6名队长(都是大贵族子弟),但是相对于瑞士人的损失(8000-14000)还在可以接受的范围内,因为此战法军重骑一共就1000多人,要损失大早打没了,其迎面冲锋的还是欧洲最优秀的瑞士枪阵,要是换成剑盾兵,结果是可以想见的。
16-17世纪的欧洲枪阵当然无法100%完全遏制住骑兵进攻,甚至有时候也会因为被骑兵包抄包围被歼灭(三十年战争的罗克鲁瓦、朗斯),也需要本方骑兵和其它兵种配合,但可以让对方骑兵不至于完全肆无忌惮的主宰战场(尤其对于西欧其它国家而言,老对手又是法国,兵多重骑又强,如果不能有效反制重骑,就等于坐以待毙),包括中世纪枪阵的复兴也可以说是基于相同的动机,就是对抗骑士冲锋。