人工智能武器的法律问题探究

摘 要：未来战争将是智能化战争，在此背景下致命性自主武器系统（Lethal Autonomous Weapon Systems，LAWS）应运而生。它将机器学习、算法与武器结合，具备完全自主的打击、防御、根据战场作出决策的能力。国际社会尚未对LAWS的定义达成共识，但可以想象的是，随着技术的发展，LAWS将可以代替人类士兵完成一系列作战任务。不仅能够排除环境影响因素，减少作战人员伤亡，还可以改变军费结构，大大降低人力物力的损耗。与此同时也带来了违反人道、法律责任归属模糊等诸多问题。目前的军控条约不能有效限制人工智能武器的发展，我们应重新审视这一新武器的出现，重视对人工智能武器的法律审查。各国专家、学者应加强交流，呼吁国际间成立专门监管机构或多边机构负责对人工智能军事应用的管理。

关键词：国际法；国际人道法；人工智能武器

一、致命性自主武器系统的出现

人工智能技术在第四次工业革命时期的迅速发展，巨大地影响了人们的生产生活，并普遍地应用于经济、军事、政治等诸多畛域。历史的经验告诉我们，“落后就要挨打”“发展才是硬道理”。回顾人类文明的历史长河，我们不难发现，在国际社会占据着主导地位的往往是手握可控的强杀伤武器的国家。由此，致命性自主武器系统，应运而生，在武器之上应用人工智能技术，改变传统的战争模式。

（一）致命性自主武器系统的含义

2017年，UC Berkeley大学的教授Stuart Russell公布了一段“杀人蜂”机器人的视频在国际上引发高度关注。视频中，一个类似蜜蜂大小的机器人携带三克弹药飞入教室，通过人脸识别准确瞄准了学生的额头然后一击致命。虽然视频中的内容不是真实发生的，但以现在的技术制造出这样的武器已并非难事。这种装载着先进的人工智能，拥有自主控制能力，能自主地决定攻击和防御，具有剥夺生命的能力的新型武器，就是致命性自主武器，“杀人蜂”机器人是其中一种。深度学习算法和数据，共同组成了这种新型武器的CPU（Central Processing Unit），能够自主进行数据采集、智能驱动等一系列决策反应。

（二）致命性自主武器系统的特点

1. 自主性

在整个作战过程中，LAWS不需要指挥官下达指令、不需要战斗员进行操控。人工智能具备自主学习、自动适应的能力，可以通过不断地经验积累实现系统的智能调整变化。因此，自主化技术的应用可促使作战体系中各类系统逐步演变为自主化系统，例如自主导弹武器系统、自主任务规划系统等[1]。实际上，在早些时候，一些武器的设计理念和发射方式已经初具自主武器系统的雏形，“末敏弹”就是其中一种。“末敏弹”是弹道末端可以探测出目标装甲的方位并使战斗部朝着目标方向爆炸的一种新型灵巧弹药[2]。但“末敏弹”不仅不能自主发射，不能主动跟踪目标，甚至不能撤回，只能在发射后，通过一系列程序探测目标。另一种武器是自动岗哨炮。自动岗哨炮由雷达控制，通过激发阈值条件，自动向入侵者实施打击。但仍不能说自动岗哨炮具有了自主性，因为其仍然是通过执行计算机程序完成作战任务，只是在武器系统中添加了一个计算机条件语句，如果条件成立，则执行一个结果，假如条件不成立，则执行另一个结果，而不能自主选择划定自己的攻击范围。这个条件就是在雷达范围内出现了入侵者，本质和地雷一样，只有战斗员踩上时，才会触发爆炸。

2. 灵活性

LAWS的其中一个优势是，在战场上持有LAWS的作战方将极大的降低己方人员的伤亡。目前，世界各军事大国为了提升作战人员在战场上的生存能力，研发了各式各样的自动武器，使武器的配置呈现多样化。如美国先进的无人机技术，具备快速并且精准的战斗能力，既能完成侦察、跟踪、监视等任务，也能在必要时给予敌方毁灭性的打击，在作战中即使被击落，损失的仅仅是一架机器，没有任何人员伤亡。但无人机并不是自主武器，而是自动武器，原因在于无人机作出的一系列行为并非是自主决策的，而是由地面操作员使用传感器操控。但飞机、坦克、舰艇朝着自主武器发展已成为一种趋势。

LAWS能根据地形、天气、温度、湿度等环境因素作出灵活反应，比人类战斗员更能克服复杂、恶劣的战场环境。相比于人类战斗员在任何作战行动中，都会难以抑制地产生害怕、紧张、焦虑、愤怒等一系列情绪，依靠电子信息运转的LAWS则是纯粹的杀人机器，不会由于疲惫、受伤等原因懈怠作战任务的執行。换言之，只要武器系统有合理的电源管理和完备的运转系统，毁灭目标即是LAWS唯一的目的。

LAWS的另一优势是降低军费支出和改变军费结构。一方面国家不需要再维持大量的军事人力支出，从而节省军人的生活费、装备购置费、维修费、管理费，以及住房、医疗、保险、养老等巨大支出。另一方面，将这些开支转移到军事科学研究费上，既能提升军队战斗力，也能对民用经济起到促进和推动作用。具有军民共用性质的科研、教育以及基本建设支出，可直接或间接为民用经济贡献利益，充分发挥军费开支的社会综合使用效益[3]。

3. 双面性

任何事物都具有两面性。Stuart Russell教授公布的“杀人蜂”视频，令人心怀恐惧，恐惧源于人的尊严可能得不到保障。人类被自己创造出的机器剥夺了生命，这难道不是对人类尊严的侮辱吗？如果机器人能够决定人的生死，这难道不是对人权的挑战吗？除此之外，LAWS还在诸多方面威胁着人权和挑战人类的尊严，同时也挑战着国际法的原则与底线。

我们无法知道我们是会无限地得到人工智能的帮助，还是被其藐视或被边缘化，甚至很可能被它毁灭[4]。

二、致命性自主武器系统的法律风险

（一）法律责任的归属模糊不清

目前，计算机和人工智能已经在生活中的很多领域作出影响人类的决策，小到琐碎的家务，例如根据天气调整家里的空调，帮助用户制定日常的出行计划。甚至在某种程度上，汽车的自动驾驶功能可以说决定着乘客与路人的生命健康。2018年，亚利桑那州发生了一起自动驾驶汽车撞死路人的案件，事故的责任主体尚无法确定，自主武器系统更是一个人工智能作出决策的极端例子。由于法律缺失，使用者很有可能借此逃避法律责任。尽管我们可以对其进行道德上的谴责，但对于已经损失了生命或财产的受害者来说于事无补，受害者及其家属的精神得不到告慰，于是正义便由此丧失了。甚至，有时候只是系统的漏洞而并非人的意愿就导致了最差的结果，我们也许应该思考，不论研发人员在研发过程中是基于什么样的心理，这种东西从被应用于军事领域而被创造出来的那一刻，它的存在本身是否就是非正义的。毕竟，无论是基于自卫还是为了在无形的“军备竞赛”中占据武力的制高点，LAWS的存在即拥有被用于战争的可能性，而战争本身，就已经充斥着对生命尊严的漠视和对人权的剥夺。

人工智能的本质是让机器能够模仿人类大脑对信息的处理方式，从而对指令和外部因素作出反应。这种反应是数据运算的结果，并不是机器真正拥有了思考的能力。数据运算所依赖的算法是人工编写的，任何人或团队都不可能预测到所有可能出现的场景，人工智能系统中建立的只是一种简化模型，即针对某一类情况全部作出同一种反应。人工智能的这种不可避免的缺陷，不同于普通的产品瑕疵责任，在容错率极低的军事领域中，模糊的设置将带来巨大的影响，有时可能会造成误伤和误杀。如果将危害结果全部认定为生产者责任，这无疑是不公平的。生产者不应当承担使用者造成的责任，这会使得使用者逃脱责任。但如果让使用者来承担责任，那些本意只是针对作战目标而并不是滥杀无辜的使用者又会因此蒙冤。在这种情境下，我们很容易发现，由于技术的不成熟，我们好像很难在一场由LAWS引发的灾难中裁定责任的归属。

按照《第一附加议定书》的规定， 如果指挥官的下级，正在或者将要施行严重违反日内瓦公约或第一附加议定书的行为，指挥官知晓或者根据其所掌握的证据可以知晓严重违反日内瓦公约或第一附加议定书的行为正在实施或即将实施，而指挥官没有采取措施预防，即便是下级所实施的犯罪行为，亦不能免除指挥官的责任。通过上述规定，我们可以看出，要成立指挥官责任，必须要有法律或事实的上下级的关系。如果把LAWS看作一件武器工具而直接为指挥官定罪，这忽略了LAWS的自主性，从某种意义上说，被LAWS“剥夺”了战场上的决策权的指挥官成了替罪羊，这是对人类尊严的挑战。而如果承认LAWS是事实意义上的下级，这意味着赋予了人工智能人格权，尽管可以认定指挥官承担共同犯罪的责任，但将引发巨大的道德风险。

由LAWS引发的责任到底应该由谁来承担，仍未可知。

（二）无法辨别战斗员与非战斗员

上文提到，由于技术的不成熟，LAWS可能带来一系列危机，从而威胁人类尊严和挑战国际人道法的底线。由于装载了人工智能，武器拥有了自己的“大脑”，于是能够在战场中进行一系列的自主行为。但机器人的自主决策能力是有缺陷的，算法和数据能赋予机器人模仿人类行为模式的能力，却不能赋予其感情，只是增强了提炼和推算数据的能力。在计算能力上，人工智能远超人类智能，在执行能力上，人类也远不如人工智能果断、高效，但我们仍然认为，人工智能的行为是非理智的，是不全面的。

一个人类狙击手在执行作战任务时，要计算距离、风速、湿度，在射击前要受到体力、环境、心理的影响，而且不能保证百分百命中目标。一个杀手机器人从锁定目标到完成击杀可能只需要一瞬间。大肆鼓吹LAWS的人会借此发挥，作战任务的成功率大大提高了，因此LAWS的投入使用是一劳永逸的。从事理上看，事情的结果的确是作战方追求的，但从情理上思考，巨大的道德风险已经悄然发生了。原因在于，一條生命被剥夺的时候，没有经过任何审判。狙击手在扣动扳机之前，一定会在脑海中闪过一个念头，这个人是否真的需要被剥夺生的权利，或者至少会意识到，自己马上就要剥夺一个人的生命。但机器人在执行任务过程中，缺少了“理性的思考”这一至关重要的步骤，而且永远也不会拥有。我们要知道的是，支撑人工智能行为的是数据和指令，而不是对政治、军事、情感、历史的综合分析和思考。这带来一个致命的问题：LAWS不知道什么时候应该停止杀戮。

这一问题在战场上的表现是：可能造成无辜者的牺牲。具体说来，在战场上投放LAWS的这种作战手段（方法），挑战了国际法对战争与武装冲突规定的底线，违反了区分原则和比例原则等原则。立法目的，是把战斗员与非战斗员在战场之中给予不同对待。这样做的意义在于，从人道主义出发，避免无辜者的生命和财产遭受损害。除此之外还要区分军用与民用物体和目标。而LAWS无法辨别战斗员和非战斗员，因为生产者和指挥者不可能采集到战场上出现的所有敌人的外貌特征，与执行暗杀任务、定点打击的武器不同，LAWS在战场上只能对信息进行模糊处理，因此很有可能造成无辜者的牺牲。然而在战场上，能否区分平民与战斗员只是最基本要求，一个合格的战斗员还必须在战斗员与伤员间、甚至是将要实施自杀式炸弹袭击的暴徒和身怀六甲的孕妇间作出区分，而这些区分都必须结合实时相关的情势和环境进行判别[5]。

（三）超过其他限制原则

除了无辜者的伤亡，一些已经退出战斗的人的生命在LAWS面前也将受到威胁。《日内瓦公约》作出规定：在战争中不能向已经跳伞的飞行员射击。由于人工智能无法理解或重视生命的价值和意义，一架装载了LAWS的无人机，很大概率上会向下落中的飞行员做出过分攻击。人道保护和军事必要性之间的权衡与取舍是价值判断，而不是仅通过定量分析就能够做出的决定，这恰恰是人工智能难以完成的任务[6]。除此以外，国际法的诸多原则也都面临着挑战。例如，不加限制地给LAWS装载有过分杀伤和极度残忍的武器，违背军事必要性的原则，以及违反中立原则，造成伤员、病员、战俘等被保护的人员伤亡。

另外，还有引起或加剧局部冲突的风险。试想冲突双方都拥有LAWS，双方很大程度上会陷入“囚徒困境”。战场上，任何人都不愿将自己置于被动的境地，因此一方为避免己方遭受惨重的损失，必然会选择“背叛”对方的作战方式，先行发动攻击。这种假想防卫，会引发不必要的冲突，造成不必要的损失，使原先和平谈判的机会因此丧失。

自主武器应用的本意是改变传统的作战模式，减少人员的伤亡，从而使人类的生命得到尊重。而在将是否剥夺一个人性命的审判权转移到不承认人类生命价值的机器人的手中时，人类的尊严受到了威胁。因此我们需要进一步地思考和调查，以确保维持人类对武器足够地控制，从而确保人类可以对武器的使用负责。并且在制定法律来管理LAWS的使用时，必须采取预防措施，因为这些法律将如何影响社会存在不确定性。

三、现有国际规则的缺陷

LAWS与核、生物、化学武器等显著不同，“全面禁止、彻底销毁”等针对核武、生化武器等反人道的大规模杀伤性武器所倡导的原则，对于人工智能武器的军备控制并不适用。但其具有灵活性、自主性、机动性，具有突然进攻的军事能力，又与常规武器不同，现有的常规军备控制条约也不能有效限制人工智能武器的发展。

目前的军控条约内容主要是限制武器数量，对于人工智能武器而言，并不是以量取胜，而是以质取胜。对于军事强国来说，出于占领军事技术制高点的目的往往不愿意让本国的军备计划受到国际法过多约束。在有关国际规则不明晰和强军强国战略的背景下，人工智能在军事领域的威胁在不断增加。因此加强人工智能的国际治理工作，降低军备竞赛风险则是当务之急[7]。此前，激光致盲武器、杀伤人员地雷、饵雷等其他装置、无法检测的碎片、燃烧武器等非人道武器已经受到相关条约禁止或限制，LAWS应成为现阶段军控的重点。

2014年至2016年，联合国裁军与国际安委会已经召开三次非正式专家会议。讨论的议题包括技术革新、概念定义以及这种新型武器可能引發的安全、法律和伦理道德等各种问题[8]。参与者有联合国《特定常规武器公约》的缔约国，各类国际组织、非政府组织、大学等学术和教育机构的专家学者。乐观的是，目前已经有越来越多的国家开始关注新武器的发展趋势并为之担忧，以及越来越多的专家学者主要是国际人道法学家开始呼吁限制新武器的发展和使用，这表明新武器的发展和使用已逐渐成为一个正式层面的国际热点话题而为人所审视。

《日内瓦四公约第一附加议定书》规定，在发展和使用新武器时，要预先对其影响作出判断。因此，各国有义务对新武器、作战手段及方法进行法律审查，以确定它们是合法的，并需要明确在某些情形下使用这些武器是不是违反国际法。不过至今自主武器系统仍无一个明确的、为世界所公认的定义，只有国际红十字委员会等国际组织的一些解释，更无权威机构彻底审视自主武器系统的合法性并呼吁全面禁止。原因有以下几点。

（1）自主武器系统现阶段只是一个武器搭载平台，其上所搭载的机枪、榴弹、高射炮、导弹等本身是合法的，违法的是造成伤害的行为。

（2）研发LAWS的本意是震慑武力的使用，并在必要时保全己方士兵的生命，从生命健康权的角度看，LAWS保全了人的人格权，使人类尊严得到保障，但却可能造成战争受难者的伤亡。

（3）人工智能已广泛出现于各个领域，人类的天性决定了我们不会把已经出现了的问题放到以后解决，但以目前人类的道德水平又很难使LAWS得到合理使用。因此以目前的技术水平和法律技术，自主武器系统还难以规制。

四、致命性自主武器系统的规制建议

首先，应尽早创立监管人工智能武器的专业国际组织，可以作为联合国的一个下属机构，或多边机构，专门负责对人工智能军事应用的管理[9]。同时呼吁各国在其管辖范围内建立权威的机构，对LAWS进行法律审查，事先确定其合法性，并就责任的分配问题与相关团体进行谈判，完善责任机制。

第二，明确LAWS的法律性质，它不是一种新的作战手段和方法，而是一种新武器。由于LAWS具有自主性，使用者仅仅是需要启动它并投放战场，因此对于LAWS的使用并不能称为一种方法。而且LAWS并不是在所有情境中的使用都是极度残忍、都是背信弃义、都是不分青红皂白地，只是由于技术的原因有伤害无辜者的风险。如果确认为一种作战方法对于武器的投放者而言，决策权在战场之中是被剥夺的，人类的尊严绝不容许受到这样威胁。武器是人类制造的，再先进的武器也是由人来完成控制和使用，通过法律审查的LAWS必须在一个人的适当和有效的控制之下。所引发的风险应通过军备控制来进行有效限制，具体可根据LAWS装载的武器和使用途径参照《特定常规武器公约》的经验。

第三，禁止LAWS成为滥杀滥伤或造成过分伤害的武器。在任何武装冲突中，国家选择使用LAWS的权利都是有所限制的。承认新武器的地位并不意味着国家可以无限制地发展和使用新武器，还需要考虑政治和道德因素。一个国家不应因为技术的优势利用LAWS造成过分伤害或不必要的痛苦，即便是无意地伤害，也为国际社会带来了道德风险，因此国家应合法、有区别和按比例地使用LAWS。

第四，各国的专家学者应继续加强国际间学术交流。一方面应积极指出LAWS目前存在哪些的技术问题，可能会带来哪些不可挽回的损失。另一方面要审视LAWS是如何违反人道的。武器的威力越大，改变战争结局的可能性就愈高。同样，脱离人控制的可能性也越高，受制的因素也应该更多，因此投入使用的概率应该越小。各国专家学者应积极建言献策，以避免军备竞赛以及一系列道德危机。

第五，各军事强国应共同携手维护国际安全。现代战争中，武器成了决定战争成败的重要因素，往往是掌握尖端科学技术的国家引领着武器的发展方向。新武器是科学技术的结晶，与之匹配的应是足够高的社会文明和道德素养，而不应该把武器当作维护霸权主义或占据军事制高点的工具，各军事强国应树立责任意识，共同推动对新武器的限制和制约，维护国际社会的和谐稳定。

五、结语

目前，致命性自主武器系统的使用是违法的，更是严重违反人道的，但关于自主武器系统应用的讨论已经到了一个分水岭。我们要承认，人工智能武器能在降低军费、提高管理效率、操作能力方面提供巨大回报。但前提是LAWS能得到合法使用，但实际情况是一些弱人工智能时代无法解决的技术问题会给人类尊严带来威胁，让LAWS的使用变得不合法，这让我们不得不犹豫是否暂缓或禁止这种武器的研发使用。

近年来，中国对这一问题的研究贡献了诸多力量，无数专家学者提出了中国方案，展现了中国智慧。不管是现在还是将来，中国都应继续在国际社会中保持负责任的大国形象，一方面应积极推进有关限制条约的谈判和协商，另一方面要积极申请和保护我国在人工智能方面的知识产权，以此避免用以造福人类的先进技术被居心叵测之人用于破坏人类安宁的行为。我们反对一切用于非正义行为的武器。

可怕的并不是违法的东西，因为违法的东西可以从根源上扼杀。真正可怕的是用违法的方式使用合法的东西，而这往往让人防不胜防。否则，当人工智能技术完全成熟的那一天到来，人们也难以守住最基本的道德底线[10]。

参考文献：

[1] 秦园丽，张训立，高桂清，王康.自主式导弹作战体系建设的思考[J].飞航导弹，2019（11）：4-7+47.

[2] 辛宇天，杨成文，樊琨.末敏弹及其对抗方法分析[J].舰船电子工程，2013，33（12）：16-17+75.

[3] 潘倩.军费结构优化的机会成本分析[J].现代商贸工业，2011，23（23）：189-190.

[4] 霍金.让人工智能造福人类及其赖以生存的家园[J].智能机器人，2017（2）：21-23.

[5] 李铮.国际人道法下新武器之自主武器系统合法性探究[J].军事文摘，2019（19）：46-50

[6] 基于国际人道法的人工智能武器争议[J].信息安全与通信保密，2019（5）：25-27

[7] 鲁传颖.人工智能安全：挑战与机遇[J].重庆与世界，2018（20）：59-61.

[8] 刘杨钺.全球安全治理视域下的自主武器军备控制[J].国际安全研究，2018，36（2）：49-71+157-158.

[9] 周璞芬，王一泓.浅谈人工智能军事应用的国际法风险及对策[J].国防，2019（10）：22-26.

[10] 李铮.国际人道法下新武器之自主武器系统合法性探究[J].军事文摘，2019（19）：46-50.

作者简介：吴钰章（1998- ），男，山东青岛人，中国人民公安大学硕士研究生，研究方向为国际法学。