防止AI核末日的到来

这不再是科幻小说的内容：将人工智能（AI）应用于核武器系统的竞赛正在进行中。

没人怀疑，使用核武器所带来的风险，会给人类和地球造成难以估量的破坏。即便只是区域性核战争，它也可能直接杀死数十万人，由此造成的气候变化又可能使数十亿人陷入饥饿。然而，最近数周内七国集团发布的行为准则和拜登的行政命令，都只是顺便提到了有必要保护民众免受人工智能所带来的化学、生物与核领域的威胁，英国首相苏纳克则根本没提到与核武器相关的人工智能应用所带来的严重危险。

核歷史上的未遂事故屡见不鲜。很多时候，相比盲目遵从机器所提供的信息，人类选择相信自己的判断，世界末日也因此得以避免。1983年，苏联军官斯坦尼斯拉夫·彼得罗夫收到其正在监控的预警卫星系统的警报：探测到美国核导弹正在飞往苏联。但彼得罗夫并未立即向其上级提出警示（此举无疑会引发核“报复”），而是正确地认定这是一次错误的报警。

如果有人工智能的参与，彼得罗夫是否会做出同样的决定—甚至，他是否会有这样做的机会？事实上，将机器学习应用于核武，将削弱人类对于部署核武之决策的控制力。

当然，自核武器发明以来，越来越多的指挥、控制和通信任务已经进入自动化阶段。但随着机器学习的发展，先进计算机的决策过程变得越来越不透明—也就是所谓的人工智能“黑匣子问题”。这导致人类很难监控机器的运行，更不用说确定它是否受到了损害、出现了故障，或以可能导致非法或意外结果的方式进行了编程。

单纯确保由人类作出最终的发射决策，并不足以缓解上述风险。正如心理学家约翰·霍利在2017年的一项研究中所总结的那样，“人类非常不擅长满足由监控机制所强加的监控和干预规定”。

此外，正如普林斯顿大学2020年科学与全球安全计划所表明的那样，领导人在面临核危机时的决策时间已经非常短暂。即使人工智能仅用于传感器和目标定位，而不是做出发射核武器的决策，它也会缩短决定是否打击的时间。领导人所面临的额外压力，将增加误判或非理性选择的风险。

卫星和其他情报探测系统使用人工智能，会带来另外一种风险：使隐藏历史上一直处于隐蔽状态的核武器（如弹道导弹潜艇）变得更加困难。这可能促使有核国家在冲突的早期就部署所有核武器—以求赶在对手有机会使已知的核系统无法行动之前。

迄今为止，从拜登的行政命令到七国集团的行为准则，没有哪项倡议超出试图保障人类继续控制核武器决策的自愿承诺。但就像联合国秘书长古特雷斯所指出的那样，达成一项禁止“致命自主武器系统”的具有法律约束力的条约非常关键。

尽管上述条约迈出了必要的第一步，但要做的工作还有很多。具体到核武器领域，仅试图预测、缓解或监管新兴技术所带来的新风险是远远不够的。我们必须将上述武器彻底排除在权衡之外。这意味着，各国政府承诺通过加入《禁止核武器条约》来禁止和消除核武器，以通向一个没有核武器的世界。这也意味着，拥有核武器的国家将停止投资于核武库的现代化及拓展，包括以“保障”核武“安全”或免受网络攻击的名义—鉴于核武器存在本身就会带来无法克服的风险，这样的努力从本质上讲是徒劳的。

我们知道，自主系统可能会降低参与武装冲突的门槛。如果应用于核武，人工智能又为本已不可接受的风险水平增加了另一重风险。关键是，决策者和公众必须对此有清醒的认识。

梅丽莎·帕克，澳大利亚前国际发展部长，现任“国际废除核武器运动”的执行主任。本文已获Project Syndicate授权。