限制超级人工智能，需要中国参与

文 赛斯·鲍姆 编译 孙梦璠

限制超级人工智能，需要中国参与

文 赛斯·鲍姆 编译 孙梦璠

一旦机器人进化成为超级人工智能，人类极有可能完全无法招架或反攻。这种强弱形势跟人和动物差不多—无论鸡或猪如何努力，都无法摆脱由人类主宰的命运。

赛斯·鲍姆为美国非营利智库全球风险研究所执行理事，也是生命未来研究所的资助对象，资助项目名为“超级人工智能安全发展路径评估”

人工智能使人类受益良多。随着科技不断进步，人工智能仍将为人类带来便利；但同时，与其他科技一样，人工智能也可能造成危害。

当今国际上关于人工智能的争论主要集中于自主武器，即能够在无人干预情况下独立搜索、识别并攻击目标的新式武器。目前，人类还在控制着攻击行为的决策过程，包括远程无人机攻击在内；仅有极少的情况不由人类决策，例如边境自动防御系统。但是，自主武器的广泛应用或许并不久远。

自主武器的优势早已为人熟知—让士兵免受战场伤害，同时避免了无人机操作者的疲劳问题。但另一方面，自主武器在识别攻击对象的过程中，可能为了完成任务而毫无人性地伤害人类，导致更多人员伤亡。基于种种原因，人们开始反对自主武器，出现了Campaign to Stop Killer Robots（禁止机器人杀手运动）之类的国际非政府组织。

英国牛津大学哲学教授尼克·博斯特罗姆（Nick Bostrom）、美国加利福尼亚大学伯克利分校人工智能研究专家斯图尔特·罗素（Stuart Russell）以及美国麻省理工学院物理学家马克斯·泰格马克（Max Tegmark）都曾表示对超级人工智能风险性的担忧。几年前，我曾在《技术预测与社会变革》期刊上发表文章，文中我收集了很多人工智能专家对超级人工智能的研究。我发现很多专家都在关注超级人工智能话题，包括超级人工智能是否会出现、何时将出现、可能带来何种结果等。

对超级人工智能这种不可逆技术而言，前瞻性政策更显必要。超级人工智能的智慧程度远胜于人类，足以找到对抗人类行动的方法，所以我们不可能中途阻止它。如果不想落入这样的被动境地，就必须防患于未然，在超级人工智能科技诞生之前，主动制定相关管理政策。

诸多专家认为，如果超级人工智能没有被极其谨慎地设计，最有可能的后果便是——赶尽杀绝地球上的人类。机器人总是按部就班地执行命令，或许未来可以创造出一款能够正确理解人类意图的超级人工智能机器人。但如果没有这套严密的程式算法，超级人工智能机器人便有可能违背人的本意，例如为了达成设定目标而伤害他人。

举一个超级人工智能可能伤害人类的例子。假设人类研发出一款比“深蓝”（Deep Blue，1997年战胜了世界冠军卡斯巴洛夫的超级计算机）更加高级的超级智能机器人，因为太“智能”，它可能会竭尽所能搜刮一切可用的计算资源，把整个地球乃至宇宙变成一个拥有更强下棋能力的巨型机器人；因为太“智能”，它有能力抵抗人类对自己的阻碍行为，人类及地球上的其他生物可能相继死于机器人的手下。这些听起来或许有些可笑，但确实是超级人工智能存在潜在风险的运行逻辑。

超级人工智能或许比《终结者》《黑客帝国》等电影中出现的邪恶机器人更具威胁。类似电影中出现的人类和机器人的“世界大战”根本不可能发生，因为一旦机器人进化成为超级人工智能，人类极有可能完全无法招架或反攻。这种强弱形势跟人和动物差不多——无论鸡或猪如何努力，都无法摆脱由人类主宰的命运。

限制超级人工智能政策最重要的原则应为：不在存在风险的条件下开发超级人工智能。这一点必须各国合作，因为只要有一个国家为超级人工智能的研发开闸，便有可能带来不可逆转的灾难。每个国家都应该加入这场保护人类免遭超级人工智能技术摧毁的战斗，尤其是那些最有可能研发出此项技术的国家。

我有些同事质疑国际合作的可能性，他们大多来自美国或欧洲，认为其他国家不会有合作意愿，欧美才是亲密同盟。其中，中国正是他们口中最常被提及、有可能制造危险性超级人工智能的国家。

坦率讲包括中美在内的很多国家间仍存在紧张关系与冲突，这也是我的美国同事们认为中国可能研发危险性超级人工智能的原因之一。同样，我也不会惊讶部分中国人对美国存有类似的担忧。

但我不认同他们的观点。首先，他们低估了国际社会主动应对的能力。当前关于自主武器的辩论，已经让我们看到了国际社会的积极行动力。其次，他们低估了中国对世界安全积极贡献的能力。例如，冷战期间，在苏联和美国生产着数以万计对世界存在破坏性威胁的核武器时，中国则仅持有数以百计的核武器，维持着规模更小、对世界更加安全的核武器储备。

有人可能认为，中国之所以没有参与美苏核武器军备竞赛，是因为财力、技术的匮乏。没错，过去几十年里可能是这样，但现在已经完全不同了。崛起的中国已成为世界两大经济体之一，但仍然没有加入美俄核均势战略中。相反，美国麻省理工学院副教授傅泰林、美国兰德智库麦艾文博士及美国国家安全委员会研究显示，中国从毛泽东时代起就持有反对核武器竞赛的一贯政策。中国能够避免核武器军备竞赛，也有能力避免开发危险性的超级人工智能。

中国已成为与美国等少数国家比肩的世界主要大国之一，未来的几十年甚至更长时间里仍将保持上升态势。很多专家认为，研发超级人工智能需要数十年、上百年或者更久。到那时，中国可能在国际社会中承担着更加重要的角色，我希望中国当今的年轻人仔细思考这个问题。

在防备危险性超级人工智能方面，中国可以考虑采取下面几项措施：

首先，积极参与目前关于自主武器的辩论。尽管自主武器和超级人工智能大有不同，但限制自主武器需要国内外共同协作，也将使人工智能科技安全发展有例可援。最近，马萨诸塞大学阿默斯特分校查理·卡彭特（Charli Carpenter）教授在美国《外交》杂志中，通过援引美国民意调查数据，力证自主武器与“公共良心”相悖而违反了国际法。中国也应该进行类似的民意调查。

其次，邀请国内外人工智能专家、风险安全专家和政策制定者参与公开对话。这不仅有助于政策制定做到“兼听”，也有助于培养潜在超级人工智能缔造者、人工智能专家群体的责任意识。索各种工种以及经济将会受到的影响，进而分析不同的税收、福利、教育、创新等政策会带来怎样的结果。“只有我们更清晰地了解这些状况后，政府以及个人才会做出更加明智的决定。”

与AI影响下的失业以及经济优化这些贴近现实的研究相比，对超级人工智能的研究更为理论。这个项目由旨在为人类对抗威胁提供解决方案的全球风险研究所承接。

完成理论项目并不比解决现实问题更容易。全球风险研究所的执行理事赛斯·鲍姆说：“项目研究最大的困难在于这是一项根本不存在的技术，甚至未来是否会出现也是问题。”

赛斯和他的团队将根据既有的信息，利用故障树形图和影响图等风险决策分析方面的方法构建模型，试图模拟出超级人工智能的发展路径以及不同的决策对这些路径的影响。

正确理解人类意图很重要

现阶段，麦克斯最担心的是以纯粹的“目标导向”来发展人工智能的趋势。

“机器没有邪恶或者善良之分。机器只会更加智能，变得更‘自信’，它确信能够实现目标。如果你有一个非常‘自信’而且比你更有能力的机器，它去完成它的一个目标任务时，你没有办法去阻止它。”他说。类似的场景在热播美剧《硅谷》中有所呈现—一辆无人驾驶的汽车按照既定程序开到了一个孤岛上，坐在车里的Jared完全无法阻止已经启动了程序的汽车，被迫困在车里长达4天多。

所以，如何让机器或者说人工智能不仅仅是去实现目标，而是去理解人们的真实想法，也是FLI资助很多项目的研究重点。

杜克大学的一个研究团队就尝试综合运用计算机科学、哲学和心理学的方法，去建立一个能够在现实场景中进行合理道德判断和决策的人工智能系统，类似于权利（比如人类才有的隐私权）、角色（比如作为一个家庭成员）、过去的行为（比如承诺）、动机与目的等影响道德判断的因素都会被AI系统加入进去。

尼克说自己无法精确回答自己的项目研究究竟能带来什么。对于这些人类未知之事的研究，他认为，重要的是保持好的心态，“这是一个非常新的领域。带着开放的心态不断地去靠近、探索是很重要的。或许对外行人来说，他们很难去评估这些研究。而我们关注的点在于不断地迎接我们所面临的知识挑战，取得实际意义上的进步，而非迎合某些人的好奇心。”

尼克觉得，现在很多名人被喜欢冲突的媒体塑造成了“AI反对者”，“对人工智能未来的发展而言，持极端看法是非常有害的。”事实上，对AI保持警惕的马斯克也投资了一家发展人工智能的公司DeepMind和一家专注于让机器人能像人一样思考的公司Vicarious。

麦克斯认为，“我们并不想减缓一般的AI研究，只是会加速关于AI安全的研

FLI资助的项目

资助金额最高项目

项目名称：人工智能战略研究中心

项目负责人：Nick Bostrom

所在单位：牛津大学

资助金额：$1,500,000

资助金额最低项目

项目名称：通过类人概念的学习教人工智能系统人类的价值观

项目负责人：Kaj Sotala

所在单位：泰斯研究所

资助金额：$20,000

计算机科学(约占50%)

代表项目：验证AI系统深层次的数学特性

项目负责人：Alex Aiken

所在单位：斯坦福大学

资助金额：$100,813

政策(约占20%)

代表项目：人工智能战略研究中心

项目负责人：Nick Bostrom

所在单位：牛津大学

资助金额：$1,500,000

教育(约占15%)

代表项目：人工智能研究者的理性工具

项目负责人：Anna Salamon

所在单位：应用理性中心

资助金额：$111,757

法律、伦理和经济(约占15%)

代表项目：理解并减少人工智能对金融系统的威胁

项目负责人：Michael Wellman

所在单位：密歇根大学

资助金额：$200,000

代表项目：人工智能经济的优化过渡

项目负责人：Michael Webb

所在单位：斯坦福大学

资助金额：$76,318

代表项目：人工智能与工作的未来

项目负责人：Moshe Vardi

所在单位：莱斯大学

资助金额：$69,000究。我们像是在跟AI所带来的风险竞赛。目前还没有什么事情在发生，但有可能一下子事情就发生了。我们希望开发人工智能的人也去思考下这些问题。”

在FIL官网的在线问答中，一位网友发问：“当达到甚至超越人类水平的人工智能出现的时候，人类还能控制世界吗？”FIL回复说，如果人类不再是这个星球上最聪明的物种，很难讲人类是否还能重新控制它。现在FIL正在借助“钢铁侠”的资本和世界上最强大的大脑来应对未来人类可能面临的AI风险。■