无人机首次自主杀人“潘多拉魔盒”已打开？

文/ 兰顺正

近日，联合国披露的一份关于2020年3月利比亚军事冲突的报告中称，土耳其STM 公司研制的卡古-2 四旋翼无人攻击机被编程为在不依靠操作员的情况下自主攻击撤退的哈夫塔尔指挥的“利比亚国民军”，并很有可能造成了1 名国民军成员死亡。

这是有史以来第一例记录在案的无人机在没有人为命令的情况下向人发动攻击的案例，引发了各界对于人工智能与自主武器的关注。

机器自主杀人的担忧

▲ 具备AI 的无人机已经扩散到越来越多的国家，并且价格低廉，种类繁多

▲土耳其国防技术工程与贸易公司卡古无人机

随着技术进步，人工智能已经得到广泛应用，可随之而来就是与之相关问题的争论。

就近期来说，人工智能在军事领域大显身手的同时也是毁誉参半。目前，军用人工智能的发展主要集中在自主情报分析、自主指挥控制系统和自主武器3 个方面。

自主情报分析：具有机器算法的快速、准确、无疲劳等特点，可以高速开展目标识别和数据分析，提取有效情报，将大量的数据转换为有价值的信息。

自主指挥控制系统：人工智能可以依据战场情况和作战需求的变化发展，动态生成作战指挥命令，快速实现作战形态的自我聚合与分解，为作战指挥提供前所未有的自主性和灵活性。

自主武器：对于自主武器系统概念的界定，依据美国国防部2012年的定义，自主武器系统是“一种激活后就无需操作人员进一步干预，可以自主选择和攻击目标的武器系统”。国际红十字委员会在2014年将自主武器系统定义为可以独立选择和攻击目标的武器，即在获取、跟踪、选择和攻击目标等“关键功能”方面具有自主权。

虽然前两方面人工智能会参与作战行动的策划与指挥，但毕竟没有亲自手动，而自主武器系统的最大特点是能够在不依赖外界指令和设备支持的情况下，在复杂作战环境中依靠人工智能系统独立作出开火决定，让机器杀人成为现实，因此，争论的焦点更多集中在自主武器上。

“两面开刃”的自主武器

现在争论的核心是自主武器该不该被使用，对于使用自主武器的后果，各方存在较大分歧。

一方面，美俄等国家从巩固技术先发优势的立场出发，提出自主武器系统具有人类战士无可比拟的优越性。有人认为，智能化自主武器系统不仅能够使人与武器实现实质性分离，使实际伤亡率无限趋近于0，而且自主武器系统无需考虑自身安全，不受主观情绪左右，具有“理性优势”。

如果加上更快的信息处理速度，武器的使用效率和不同武器之间的协作也将大大提升，可以最大限度地获得战场主动权。因此，未来具备人工智能的“无人军团”必将成为军事大国的“标配”，进一步拉大国与国之间的军力差距，甚至出现单方面“碾压”。

▲ 卡古-2 四旋翼无人机

另一方面，联合国、国际红十字会和一些技术后发国家基于潜在的安全风险指出，摆脱人类控制的自主武器装备系统将使战争更加冷血，在战场上被授予了“自由开火权”，人工智能可能会自作主张，滥杀无辜，将战争变成一场场无法“重启”的游戏。

有分析认为，从道义角度出发，如果让机器来决定人类生死，就会从根本上抹去人性在战场上的存在感，使人类缺乏对杀戮行为的道德负担，其结果必然使杀戮变得毫无人性。同时，在战场上作出“开火”的决定，是综合衡量大量复杂因素的结果，但目前的机器算法存在区分目标的盲区，无法可靠地区分合法目标与非法目标。

▲ 土耳其的卡古-2 无人机

另外，即使自主武器在“主观”上并不想与人类为敌，但因为受控于计算机软件，就一定有出错的可能。例如，在2007年10月，美军第3 机步师下属部队携带3 台利剑机器人进攻一个反美武装据点，由于没有及时更新软件，其中1 台“利剑”竟把枪口对准美军操作人员，即便在操作人员发出“行动取消”指令后，失控的“利剑”依然不听指挥，直到另一名美军上尉用火箭弹把它炸翻才化险为夷。

本文开头提到的卡古-2 无人机由土耳其研制，是卡古无人机的升级版。“卡古-2”重约6.8 千克，最高时速约145 千米，续航时间约30 分钟，可携带1.36 千克重的武器，还拥有面部识别能力，可以寻找特定的个人。而当被设定为“高效的自主模式”时，无需操作员的指令，该无人机就可瞄准目标自爆。

此次联合国专家在报告中指出，这是一次真正的“发射后不管”，也是第一次在利比亚发现使用这种无人机，违反了联合国第1970号决议的第9 条。

总之，“卡古-2”在利比亚冲突的表现打开了机器自主向人类攻击的“魔盒”，各方对此必须予以高度重视。★