人工智能“军备竞赛”的真正危险是什么

保罗·斯查瑞

俄罗斯总统弗拉基米尔·普京早在2017年时就宣称，领导人工智能发展的国家将“成为世界的统治者”。这种观点显然在全球全面铺开，因为截至目前，已经有十几个国家宣布了本国的人工智能计划。2017年，中国发布《新一代人工智能发展规划》，制订了“到2030年人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心，智能经济、智能社会取得明显成效，为跻身创新型国家前列和经济强国奠定重要基础”的目标。2019年早些时候，美国白宫发布了《美国人工智能计划》，美国国防部推出了人工智能战略。

科技发力，创新进步固然是好事，然而近期，关于“人工智能军备竞赛”的新说法则反映了一种对其危险性的错误认识，这有可能引发重大的新风险。其实，对于每个国家来说，真正的危险并非在人工智能的竞争方面落后于对手，而是企图“竞赛”的这种高压态势，反而会促使各国急于部署并不安全的人工智能系统。想要先发制人并赢得胜利的各国，实际上面临着与对手国家一样多的危险。

1.一场没有人会获胜的比赛

人工智能带来从卫生保健到交通等全方位巨大的好处，还有巨大的风险。这些风险并不像科幻大片里演的那样是机器人的崛起，真正的威胁来自于人类自己。

目前，人工智能系统虽然功能强大但并不可靠。很多人工智能系统不仅在受到复杂的攻击时会变得脆弱，而且在受训的环境之外使用时常会失灵。政府确实是希望系统能平稳运行，但是“军备竞赛”的大环境却让一些人只顾得了眼前却管不了将来。即使其他国家实际上并没有实现人工智能系统的重大突破，但是认为他们的技术正在突飞猛进的猜测，却足以促使另外一些国家投身“競赛”。如果某国政府部署了未经测试的人工智能武器系统或依靠有故障的人工智能系统来发起网络攻击，可能会对所有参与其中的人与国家造成灾难性的后果。

各国政治家们应该从计算机网络发展的历史中进行学习，从一开始就将安全性作为人工智能设计的主要因素；还应该减少有关人工智能军备竞赛的言论，并寻求机会与其他国家合作研究降低人工智能风险。归根结底，人工智能军备竞赛是一场没有人会获胜的比赛。

最简单的人工智能系统通过遵循人类预先设置的一系列规则来执行任务。虽然我们很难把飞机自动驾驶仪或报税软件背后的技术视为人工智能，但这些众所周知的“专家系统”已经存在了几十年，而且现在它们无处不在。过去的几年中，数据收集、计算机处理能力和算法设计的飞速发展，研究人员通过更灵活的方法在人工智能方面取得了重大进展：机器学习。

机器学习是指程序员无须编写规则，机器通过分析给定的数据来拾取它们。给算法提供数千张带有对象标签的照片，它将学习识别图像中的图案并与对象名称建立关联。人工智能的繁荣始于2012年，研究人员依靠人工深度神经网络，在机器学习技术的“深度学习”方面取得了重要突破。人工神经网络是受生物神经元启发的一种智能技术，模拟生物神经元通过发送和接收电脉冲与其他细胞进行交流。人工神经网络最初就像是一片空白一无所知的领域，然后系统通过调整神经元之间的连接强度，增强正确答案的路径连接以及减弱错误答案路径连接来进行学习。深度神经网络——深度学习，是一个在输入层和输出层之间具有多层人工神经元的神经网络，额外的神经元层次允许不同路径的强度具有更多可变性，从而帮助人工智能在更大范围内应对各种情况。

2.几乎无所不能的人工智能

系统如何精确学习取决于开发人员选取哪种机器学习算法以及提供哪些数据。许多机器学习方法使用已标记的数据（称为“监督学习”），但是机器也可以从未标记的数据（“无监督学习”）或直接从环境中学习（“强化学习”），机器还可以根据计算机合成的数据进行学习。Waymo是一家研发自动驾驶汽车的公司，其研发的自动驾驶汽车已经在公共道路上行驶超过一千万英里，而该公司每天在计算机上模拟记录行驶一千万英里，从而能够利用数十亿英里的合成数据来测试自动驾驶汽车的算法。

自2012年深度学习取得重大突破以来，研究人员创造了媲美甚至超越人类最佳表现的人工智能系统，这些系统能够进行面部识别、物体识别、语音转录以及玩复杂的游戏，包括中国围棋和实时计算机游戏“星际争霸”。深度学习也已经超越旧的、基于规则的人工智能系统。2018年，一种深度学习算法在一台大型超级计算机上用了四个小时与自己进行了数百万次对弈，就击败了当时的国际象棋冠军计算机程序，而无须任何人工训练数据或手动编码规则来指导其行为。

研究人员现在将人工智能应用于改进现实世界的问题，从诊断皮肤癌到驾驶汽车再到提高能源效率等。根据麦肯锡咨询公司的估计，美国人需要的付费服务，几乎有一半可以使用现有人工智能技术实现自动化（有5%的服务最终会被消灭）。大型机构在大数据上的积累和强大的计算能力，最有可能取得重大突破，使人工智能工具越来越普及。现在，很多人工智能工具都可以任意在线使用，例如免费编程课程教人们如何制作自己的人工智能系统，并且可以免费下载经过训练的神经网络。人工智能工具的流行的确能够促进创新，但是将强大的人工智能工具轻易地交给任何想要的人，也会帮助到想要作恶的人。

滥用人工智能造成的危害并非假设，事实已经摆在这里。聊天机器人之类的僵尸程序通常用于操纵社交媒体，选择性地放大某些消息并压制其他消息。人工智慧换脸是由人工智能生成的伪造视频，将人的脸部以数字方式完美地与色情演员的身体嫁接，用来实行所谓的“色情复仇攻击”。

上述的例子仅仅是开始。政治运动使用基于人工智能的数据分析来针对个人设计量身定制的政治宣传，商业公司也使用相同的分析来为潜在客户专门发送感兴趣的广告。数字小偷使用人工智能工具来创建更有效的网络钓鱼攻击，聊天机器人只需要一分钟的音频就可以克隆人的声音，从而令人信服地在线或通过电话模拟人类交谈，任何没有真人现身的网上或电话互动都可能是诈骗行为。安全专家证明，网络黑客完全有可能入侵自动驾驶汽车，锁定自动车辆的转向和刹车功能，仅靠一个人通过网上操作就可以劫持大量汽车，造成交通拥堵或发动恐怖袭击。

3.人工智能将何去何从

无论哪个国家在人工智能方面居于领先地位，都将利用它来获取与竞争对手在经济和军事上的相对优势。预计到2030年，人工智能将为全球经济做出13万亿至15万亿美元的贡献。人工智能还将加快科学发展的进程。2019年，人工神经网络在生物学研究的关键任务——合成蛋白折叠方面取得重要进展，大幅领先现有的研究方法。

人工智能也将彻底改变战争。人工智能对于提高士兵在战场上的态势感知、指挥官的决策能力和命令传达能力最为有效。人工智能系统处理信息的数量与速度都远超人类，它们是对战争中海量信息进行实时评估的宝贵工具，而在战场上，机器比人类的移动更快、更精确、更协调。在最近的“星际争霸”电游人工智能对战人类比赛中，人工智能系统AlphaStar在快速处理海量信息、作战单位协调以及快速精准移动方面显示了超越人类的能力。现实世界中，人工智能系统凭借上述优势在管理控制机器人群上比人类手动控制更加有效。人类可以在更高层面的战略中保留自己的优势，但人工智能将在地面战争中占据主导地位。

中国已经是人工智能方面的全球强国，这也是华盛顿不甘落后急于开发人工智能的原因。全球领先的人工智能公司排名，中国的科技巨头阿里巴巴、百度和腾讯紧随亚马逊、谷歌与微软其后。2018年注资最多的10家人工智能初创企业中有5家是中国企业。几年前，中国提出到2030年成为全球人工智能领导者的目标似乎还是纸上谈兵，现在则完全可能成为现实。

美国的现实情况是华盛顿和硅谷之间在军事使用人工智能方面存在巨大分歧。谷歌与微软的员工反对他们与五角大楼签订的公司合同，导致谷歌停止使用人工智能分析视频素材的项目。由于政府与民间的分歧，哪怕美国在人工智能研发方面保持领先地位，也会失去军事优势。政府合理的反应是将自己在人工智能上的投资加倍，然而问题在于，人工智能技术是把双刃剑，不仅会给输掉比赛的一方带来风险，同样也会给赢得比赛的一方带来风险。

4.未可知的风险与挑战

当今的人工智能技术功能虽然强大但并不完全可靠。基于规则的系统无法处理程序员未曾预见到的情况，学习系统也受到训练数据的限制，人工智能的失败已经导致了一些悲剧发生。自动驾驶汽车的先进功能虽然在某些情况下表现良好，但无预警地将汽车撞向卡车、水泥路障以及停放着的汽车的情况也时有发生。当出现与训练场景不一样的突发状况，人工智能系统会瞬间从超级智能变为超级白痴。当敌人试图操纵和入侵人工智能系统时，导致的风险将更大。

虽然有时不会完全崩溃，但学习系统也会以错误的方式实现目标。去年的一篇研究论文中，有52位研究人员对人工智能系统表现出几十次异常的行为进行了阐述：學习在模拟环境中行走的算法发现，通过反复摔倒可以更快地移动；一个玩俄罗斯方块的机器人学会了在最后一块积木掉下来之前暂停游戏，这样它就永远不会输掉；一个程序自动删除了不能让自己得到高分的评估文件。正如研究人员写道：“从功能实现角度来讲，人工智能在迭代过程中寻找设计上的漏洞比实现人类为其设定的预期目标要容易得多。”给人类带来惊喜或是惊吓似乎是人工智能学习系统的标准特色。

机器学习系统的性能优劣与其拾取的训练数据密切相关，如果数据不能很好地反映系统的运行环境，则该系统在现实世界中就会发生故障。麻省理工学院媒体实验室的研究人员2018年发现，三个主流的面部识别系统，在识别深色皮肤方面比识别浅肤色要差很多。

当机器学习系统出现失误时，也会像人类一样沮丧并变得阴晴不定。即使研究人员并不一定每一次都能预测到机器的行为，对于基于规则的人工智能系统，研发者大体还是可以解释机器的行为。然而对于深度学习系统，研究人员往往无法理解机器为什么要这样做。谷歌公司的人工智能研究人员阿里·拉希米（Ali Rahimi）认为，中世纪的炼金术士虽然发现了现代玻璃制造技术，但并不了解这一突破背后的化学或物理原理，与此相似，现代正在研发机器学习的工程师们也能在人工智能上取得重大突破，但相应的基础科学还没有发展到能对此进行解释的程度，是技术走到了科学的前头。

人工智能系统的每一次故障都会成为一个可以利用的漏洞。在某些情形下，攻击者可以使训练数据中毒。微软公司在2016年创建了一个名为泰（Tay）的聊天机器人，并为其开设了推特账户。当一些用户对泰发布攻击性的推文后，不到24小时泰就开始鹦鹉学舌地模仿他们的种族主义和反犹太言论。这就是一个显而易见的数据中毒的例子，但不是所有的数据中毒攻击都如此明显，有些潜伏在训练数据中人类无法检测到，却在暗中操纵机器的运作。

深度学习系统的创建者即使保护了数据源，攻击者也可以通过提供精心定制的输入——对抗性样本——来欺骗系统让机器犯错误。正常图像的轻度变形，人类可以一眼就看穿却能够糊弄人工智能。对卫星图像分类的神经网络系统会被对抗性样本欺骗，把稍加变形的医院图片识别为军事机场，反之亦可能。对抗性样本甚至可以就是具体的物体。一个案例中，物体识别系统把龟壳上嵌有细微旋涡的塑料乌龟识别为步枪；另一项研究中，研究人员在停车标志前放置了几个白色和黑色的小正方形，这些干扰让神经网络系统将其辨识成每小时45英里的限速标志。更糟糕的是，入侵者根本无须访问训练数据或他们试图打败的系统底层算法，就可以开发出这类欺骗性图像和物体，因此研究人员也一直在努力寻找有效的防御手段来抵御这种威胁。此类威胁与网络安全漏洞不同，后者通常可以在发现漏洞后通过打补丁进行修补，前者还没有办法可以针对攻击对算法提前打预防针。

各国政府测试人工智能在军事、网络和监测方面已经积累了丰富的经验，但还没有一种测试方法可以保证复杂的系统一旦在现实世界中运行就不会出现故障。F-22战斗机第一次穿越国际日期变更线时，计算机系统崩溃，飞机几乎坠毁在太平洋。

测试人工智能系统比测试传统军事硬件设备要花费更多的时间和金钱。人工智能的复杂性赋予其更大的能力，也导致了更多难以预见的意外故障。假设某国政府研发出可以不知不觉入侵敌对国计算机网络的人工智能系统，部署该系统的政府将获得远超敌对国的巨大优势。由于也担心敌对国正在加紧开发类似的人工智能工具，政府会被迫缩短测试时间并尽早部署该系统。这种你追我赶的局面已经在自动驾驶汽车等行业形成风气，然而人工智能工具在国家安全领域造成事故的后果更加巨大。

政府醉心于强大但并不安全的技术，其实首开先河的不是人工智能而是计算机。尽管计算机系统存在巨大漏洞，但仍在从股票交易到制导导弹的几乎所有领域中发挥着至关重要的作用。美国政府责任署调查员在2018年发现，美国武器系统存在许多网络安全漏洞，通过“相对简单的工具和技术”就可以利用这些漏洞。更糟糕的是，国防部的项目主管居然不知道问题所在，并对责任署的发现不予理睬，还宣称其测试不切实际。计算机安全漏洞不仅限于政府运行的系统，很多大公司也相继遭受重大数据泄露，因此现在再提数字安全性已经是马后炮的做法。然而人工智能系统遍布全球不仅仅是一种可能，而是默认设置，人工智能安全性更是一个迫在眉睫的世界性问题。

5.人工智能发展需要全球合作和安全第一

人工智能的威胁如此紧急，全球需要进行紧急响应。政治家们应对人工智能危害最重要的防御方法之一就是增加人工智能安全研究的资金投入。私营公司花费数十亿美元研发人工智能在商业方面的应用，各国政府更应该在该领域发展之初就加大基础性研究上的投入。美国国防高级研究计划署正在执行“下一代人工智能创新”项目，计划在未来5年内耗资20亿美元解决弱人工智能系统局限性问题（译者注：弱人工智能是指在人为规定的框架内，可以按照人类做出的决定，独立执行某些精确任务，但不具备意识）。在此基础上，作为美国人工智能创新规划的一部分，白宫会相应追加人工智能安全性研究的资金，并要求国会对人工智能安全性的研发提供更多预算。

将人工智能应用于国家安全方面，政府机构需要重新审视一直以来测试新系统的传统方法，仅仅验证系统是否符合设计规格还远远不够。测试人员还需要确保当面临现实世界敌对入侵威胁时，系统还能够继续正常运行。在某些情況下，测试人员可以参考自动驾驶汽车制造商的做法，使用计算机模拟来梳理错误漏洞。另外国防部和情报界还应建立“红色军团”——充当攻击者以测试系统的防御能力——来搜索人工智能系统中的安全隐患，这样开发人员可以在系统上线之前进行修复。

政府官员还要淡化有关人工智能军备竞赛的言论，这些话语很可能成为自我实现的预言。五角大楼首席研究员、工程师迈克尔·格里芬2018年在一次会议上说：“可能会有一场人工智能军备竞赛，但我们还没有参加。”美国军方肯定会用到人工智能，但是格里芬的声明既没有提到更没有意识到随之而来的风险。政府官员过多地谈论军备竞赛，只可能鼓励竞争对手追求速度而降低安全性，因此他们不仅要强调人工智能的价值，还要强调可靠性和安全性。

最后，为确保人工智能的安全性，美国应该寻求与其他国家（哪怕是对手）合作的方式。在新技术方面的国际合作有好有坏的先例，各国有时也能成功合作避免相互伤害。冷战期间，美国与苏联共同合作，限制了双方都认为特别不稳定的某些类型的核弹头运载系统。美国还鼓励其他国家采取安全措施，防止未经授权使用核武器。今天美国要与盟国和对手共同努力，增加研究人工智能安全的国际投资。美国还应该与中国和俄罗斯开始讨论，人工智能的某些应用是否会带来可怕的风险升级或失控，以及各国如何共同采取措施来改善安全性。在人工智能军备竞赛中，美国面临的最大危险不是输球，而是出现一个满盘皆输的世界。

19世纪的工业化带来了巨大的经济增长，但同时也为军队制造出坦克、机枪和芥子气等杀人武器。核武器的发明带来了更大的危险，决策者们仍在为之角力。计算机彻底改变了人们的工作、学习和交流方式，但同时也使以前相对独立的系统更容易受到网络攻击。

人工智能随着时代应运而生，产生的绝大多数影响都是积极的。人工智能会促进经济增长、诊断和治疗疾病、减少交通事故并全方位地改善人们的生活。但正如任何新技术一样，人工智能也有暗黑的一面。勇敢直面风险才能实现人类创造人工智能改善生活的初衷，否则只会带来无尽的危险。

（摘自7月23日《光明日报》。作者为新美国安全中心高级研究员兼技术与国家安全项目主任，译者为四川省社会科学院管理学所副研究员。原文刊登于美国《外交事务》杂志2019年5/6月刊）