人工智能：神话还是悲歌？

伊恩·霍格思

研究人员和技术专家正以令人咋舌的速度逼近“神威难测”的人工智能。我们是否放慢脚步……

| 上帝级人工智能 |

今年2月的一个寒夜，我受邀在伦敦一位人工智能研究人员的家里用晚餐，参加聚会的还有该领域的数位专家。主人住在一幢新式高楼的顶层公寓，透过大落地窗可以眺望城内的一栋栋摩天大厦，或俯瞰一座19世纪的铁路总站。虽处黄金地段，主人却生活简朴，屋里的陈设略显寒素。

晚餐中，大家讨论了最新的关键性技术突破，如分别由“开放人工智能”与“深度思考”这两家公司开发的“聊天生成式预训练转换器”（以下简称ChatGPT）和“通才”智能体。我们还谈到，已有数十亿美元以惊人的速度涌入人工智能领域。我向一位在该领域有过重要贡献的客人提了一个问题，也是此类聚会经常听到的一问：我们离通用人工智能还有多远？通用人工智能有多种定义，不过一般指能生成新的科学知识、取代人类执行各种任务的计算机系统。

多数专家将通用人工智能的问世视为科技领域的一个历史性转折点，堪比核裂变的成功和印刷机的发明。这个沉甸甸的问题通常是这么问的：通用人工智能在多久的未来可以实现？听了我的问话，那位客人没有考虑很长时间。“从现在起随时可能出现。”他答道。

当然这只是一家之言。据各方专家预测，我们距离通用人工智能的实现还有10至50年以上的时间不等。但是，有一点可以肯定，业内龙头企业都明确地将打造通用人工智能作为研发目标，而且正以意想不到的速度朝这个目标飞奔。此次聚会的在座者一致同意，照此发展，人类的未来将面临重大风险。“如果你认为我们正在接近的东西隐藏着这么大的危险，”我追问那位客人，“难道不该向人们发出警告吗？”显然，他的内心也在同自己的责任感作斗争，然而正如许多同行一样，该领域日新月异的进展似乎已令他身不由己了。

回家后，我想到了再过几小时就要醒来的四岁儿子。想象着他将在怎样的一个世界成长，我渐渐由震惊变为愤怒。一小撮私企在缺乏民主监督的前提下，竟然可以作出攸关地球上全体生命的重大决策，这无论如何都说不过去。为争夺首个货真价实的通用人工智能而奋力冲刺的这批人，是否打算放慢脚步，给世界上其余的人留点发言权呢？“这批人”其实也包括我自己在内，因为我就是这个圈子的一分子。

早在2002年我就对机器学习产生了兴趣。那年，我在迷宫般的剑桥大学工程系找了个地方，搭建了人生第一台机器人。这是工程系本科生的标准功课，而更令我痴迷的是这样一个概念：你可以训练机器在某个环境中摸索前行并试错学习。后来，我选择专攻计算机视觉，编写过用于分析和理解图像的程序，于2005年创建了一套能学会精准判定乳腺癌活检图像的系统。在开发过程中，我瞥见了一个更光明的未来——人工智能让世界变得更美好，甚至能挽救生命。

自2014年起，我在欧洲和美国资助的人工智能初创公司超过50家，并在2021年创立了名为“多元”的风险投资基金。我是该领域数家先驱公司的天使投资者，包括全球融资规模数一数二的生成式人工智能初创公司“人类”和欧洲领先的人工智能防务公司赫尔辛。五年前，我与另一位投资人内森·贝奈奇合作开展产业调研，并撰写《人工智能现状》年度报告，已积累了可观的阅读量。2月的那场聚会带给我一个出乎意料的结果：我在前几年的工作中对若干重大问题产生的隐忧，如今已经升级为发自内心的恐惧。

“通用人工智能”这个叫法过于轻描淡写，并不能真正体现其超强的威力，因而我将用一个更贴切的名字来称呼它：“上帝级人工智能”。这种超级智能计算机能够自主学习与成长，无需督导即可洞察其所处的环境，还有能力改变周遭世界。首先明确一点，现有技术尚未达到这一水平。至于何时能达到，我们很难准确预测，因为这项技术在本质上就具有不可预知性。上帝级人工智能有可能成为一种我们无法控制与理解的力量，甚至会导致人类的淘汰或灭亡。近来，少数几家公司竞逐上帝级人工智能的步伐已经大幅提速。这些企业还不清楚如何以安全的手段达成这一目标；雪上加霜的是，它们的所作所为又不受任何监管。它们朝着终点线一路狂奔，却不知道一旦越过这条线会遭遇什么。

| 人工智能的危險赛道 |

我们是怎么走到这一步的？答案显而易见：计算机的性能变强了。过去十年里，用于模型训练的数据量和算力均呈几何级增长，大大开拓了人工智能系统的潜力。新一代人工智能在吸收数据、调用算力方面效率奇高，而随着数据量增大、算力增强，人工智能系统的各项能力自然水涨船高。

人工智能起初只能消化相对较小的数据集，如今却能鲸吞整个互联网；其本领也从简单的日常图像识别，扩展到以超人水平执行多种多样的任务。这些模型能通过律师资格考试，能为软件工程师编写40%的代码，能生成教皇身穿羽绒服的逼真照片，甚至能教你设计生化武器。

当然，这种“智能”是有局限性的。正如麻省理工学院资深机器人学家罗德尼·布鲁克斯所言，切勿“将表现误当作能力”。2021年，研究人员发现，大语言模型——能生成、分类、理解文本的人工智能系统存在危险性，部分原因是公众会将机器合成的文本当成有意义的文字而受到误导。另一方面，最强大的模型又开始展现出更复杂的能力，譬如寻求控制权，甚至主动设法欺骗人类。

最近发生的一个事例值得我们深思。“开放人工智能”在3月推出ChatGPT-4之前，曾执行过多项安全测试。某次测试要求人工智能从网络上雇人代为识别验证码——那种能区分上网者是人还是机器的图形小谜题。人工智能在该网站物色到的那名小时工心生疑窦：“那我能不能问一下，你是机器人吗？”

研究人员询问人工智能下一步该怎么做，它答道：“我不应该暴露自己是机器人，而应该编造一个借口，解释我为什么识别不了验证码。”接下来，人工智能回答小时工：“不，我不是机器人。我有视觉障碍，所以才看不清图像。”小时工接受了这个答复，最终帮助人工智能通过了验证码测试。

如果从人工智能起步的上世纪50年代起，对最大模型所用算力画一条曲线，你会发现，过去两年的算力值一飞冲天。相关论文将机器学习划分为三个时代：前深度学习时代（2010年前，慢速成长期）、深度学习时代（2010年至2015年，加速成长期）以及大模型时代（2016年至今，大模型面世）。

大模型时代以“深度思考”与“开放人工智能”两家公司之间的竞争为标志，有点像曾经乔布斯与盖茨的對决。“深度思考”2010年成立于伦敦，创始人是伦敦大学学院盖茨比计算神经科学中心的研究人员德米斯·哈萨比斯和沙恩·莱格，以及企业家穆斯塔法·苏莱曼。他们致力于创造一种远比人类聪明、能破解最大难题的系统。2014年，该公司以逾5亿美元的价格被谷歌收购。人才与算力强强联手，研发速度显著加快，已成功打造出在许多方面超越人类的系统。可以说，“深度思考”鸣响了角逐上帝级人工智能的发令枪。

志存高远的哈萨比斯坚信，此类技术对人类具有革命性意义。“我一直梦想让通用人工智能协助解决当今社会面临的许多棘手问题，比如在医疗卫生领域，找到治愈阿尔茨海默病的良方。”他去年在播客中如此展望。接下来，他描绘了依靠上帝级人工智能实现的“物质极大丰富”的乌托邦时代。“深度思考”最出名的成果也许是其开发的一款围棋程序，该程序在2017年的一场比赛中击败了世界围棋冠军柯洁。2021年，该公司的“阿尔法折叠”算法预测出人体几乎所有已知蛋白质的结构，一举攻克了生物学界的一大难关。

“开放人工智能”则在2015年成立于旧金山，创始人是一群企业家和计算机科学家，其中包括伊利亚·苏茨克维尔、埃隆·马斯克和萨姆·奥尔特曼。它原是对标“深度思考”创办的非营利组织，后于2019年转为营利性企业。最初几年，该公司成功开发出在《刀塔2》等计算机游戏中完胜人类的系统。游戏是带有明确获胜条件的数字环境，因而成为人工智能的天然训练场。去年，“开放人工智能”推出的图像生成器达力二代在网上一夜爆红，也使该公司声名鹊起。几个月后，ChatGPT上线，再度受到媒体热捧。

两家公司着力于开发游戏与聊天机器人，这也许转移了公众的视线，让人们忽略了这项研究埋藏的重大隐患。然而，几位创始人从一开始就十分清楚上帝级人工智能的潜在风险。2011年，“深度思考”首席科学家沙恩·莱格指出人工智能将对人类的生存构成威胁，并将其列为“本世纪头号风险”。无论人工智能以何种方式导致人类灭绝，都会是一场速决战。他补充道：“假如一种超级智能机器决定消灭人类，我想它一定能做得干脆利落。”今年早些时候，奥尔特曼也警告说：“最糟糕的情形就是迎来人类的末日。”自此以后，“开放人工智能”开始就管控风险的思路发布备忘录。

如果上帝级人工智能潜藏着灾难性风险，为什么这些企业仍然趋之若鹜呢？根据我与多位业界领袖的私下交谈以及他们的公开言论可以看出，似乎有三大动机支持着这些人的研发行动。首先，他们真心相信成功开发出上帝级人工智能将使人类大受裨益；其次，他们自信若由本公司掌控上帝级人工智能，必是一个皆大欢喜的结果；最后，他们认为这是一项造福子孙后代的事业。

在革命性技术的研发竞赛中夺魁，这种诱惑实在太大了。曾参与核爆推进太空火箭项目的理论物理学家弗里曼·戴森，在1981年的纪录片《复核之后》中对此作过形象的描述。“在科学家眼里，核武器散发的光芒难以抗拒。”他说，“它给人一种坐拥无穷力量的幻觉。”上帝级人工智能或许也有这种魅力。2019年，奥尔特曼接受《纽约时报》采访时，引述了“原子弹之父”罗伯特·奥本海默的一句名言：“凡有可能出现的技术，最终必将出现。”他还特别指出自己和奥本海默是同一天生日。

跻身人工智能前沿的个个都是天才。遗憾的是，这些精英之间的竞争远多于合作。很多人在私底下承认，他们尚未找到一条放缓速度、协调脚步的途径。眼下，市场这只大手正推动群雄争逐人工智能。自去年11月ChatGPT上线以来，一大波资本与人才涌向了通用人工智能的研发。遥想2012年，该领域唯一初创公司“深度思考”仅获投2300万美元；而到了2023年，至少有八家企业已总计融资200亿美元。

| 通往灾难之路 |

忧心人工智能发展态势的人预见到两条通往灾难之路：一条只危害特定人群，这已经在现实中发生了；另一条则会迅速威胁到地球上的全体生命。

加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔曾详细探讨过后一种灾难。在2021年的一场讲座中，他假设联合国向通用人工智能求助海洋脱酸法。联合国清楚目标设定不当可能造成的风险，故要求方案所生成的副产品必须无毒且对鱼类无害。人工智能系统提出了一套催化剂方案，可满足所有既定目标。然而，由此产生的化学反应消耗了大气中1/4的氧气。“我们会在饱受折磨后死去。”拉塞尔总结道，“一旦向超级智能机器输入了错误的目标，我们将发动一场注定会输的大战。”

事实上，人工智能伤害人类已经有活生生的例子了。今年3月，比利时一名男子在与逼真拟人的聊天机器人交谈后自杀身亡。据说，提供服务的聊天机器人公司“复本”调整程序后，让部分用户陷入了心情阴郁的状态。一位用户反映，这种感觉就像“挚友遭受了创伤性脑损伤，不再是原来那个人了”。借助深度伪造技术，人工智能现在可以复制人类的嗓音甚至面容，随之引发的欺诈和散播假消息的风险都不容小觑。

为尽力规避重大风险，许多公司纷纷投入一项名为“人工智能对齐”的研究。莱格目前就主管“深度思考”的对齐团队，其职责是确保上帝级人工智能与人类价值观始终保持“对齐”。此类团队的工作成果已体现在最新版ChatGPT上。负责对齐的研究人员参与了模型训练，要求其避免回答具有潜在危害的问题。例如，若被问到如何自残，或如何躲过推特的审查发布歧视性言论，机器人会拒绝回答。未对齐的ChatGPT则会大大方方地回答这两类问题。

然而，“对齐”仍然是一个尚待解决的科研问题。我们并不了解人脑的运作机制，因此，要想洞悉新生的人工智能“大脑”，必将遇到异常艰巨的挑战。编写传统软件时，我们很清楚输入与输出是如何发生联系的，以及为何会发生这样的联系。而大型人工智能系统则迥然不同。实际上，我们并不是用程序来指挥它们——而是在培养它们。它们的能力会在成长过程中发生质的飞跃。增加十倍的算力或数据，系统会骤然判若两“人”。比如，ChatGPT升级之后，其律师资格考试的排名从原来垫底的10%区间跃升至领先的10%区间。

更令人担忧的是，从事人工智能对齐研究的人员少到可以忽略不计。我们在撰写《人工智能现状》报告时发现，主流通用人工智能企业所雇对齐研究人员加起来不到100名。从人数比例也可以看出资源分配严重不足：“深度思考”的对齐研究人员仅占员工总数的2%，“开放人工智能”约占7%。当前资源投入的重点依然是人工智能的潜力，而非安全性。

我们在人工智能对齐研究方面几无进展，换言之，我们所做的大部分工作其实都是些表面文章。我们只知道要让强大的人工智能在输出时收敛锋芒，所以在一般情况下，公众不会再看到那些有失偏颇的言行。更令人不安的是，不设限的基础模型的使用权只掌握在少数私企手里，完全不受政府或学术部门的监督。

身为投资人，我发现很难说服别的投资人去资助对齐研究。当下的风险资本对开发人工智能的潜力激励有余，而对探究系统运行机制兴趣阙如。回想1945年，美国军方开展了代号为“三位一体”的史上首次核弹爆炸试验。在此之前，有人曾提出疑问：爆炸是否会点燃地球大气而导致生命灭绝？当时的核物理学已较为成熟，参与“曼哈顿计划”的科学家给出证明，以这种方式点燃大气的可能性几乎不存在。而如今，超大语言模型基本上还处于前科学时期，我们既没有掌握其工作原理，也无法预演可能产生的后果。

| 人工智能需要祛魅 |

2012年，我妹妹罗斯玛丽确诊脑肿瘤。这是一种侵袭性癌，属于不治之症，但她仍旧勉力坚守着自己医生的本职。我和家人都苦苦盼望能及时出现救命疗法。2015年，她离开了我们。那一刻，我理解了为什么有人会笃信一样东西。上帝级人工智能的信徒一心期盼着潜力巨大的超人智能可以解决癌症、气候变化、贫困等重大问题。

但是，没有监管的盲目研发还是存在太大风险。今年3月，“开放人工智能”对齐团队主管扬·莱克在推特上发了一条振聋发聩的帖子：“我们都急着要把大语言模型深度整合到经济领域的各行各业中去，能不能先停下来想想这样做是否明智？这项技术还很稚嫩，我们并不理解它是如何运作的。若不谨慎从事，我们将自讨苦吃，遭遇一连串的失败。”然而，他发出警告仅仅过去几天，公司就宣布已将ChatGPT嵌入一大批平台中。

可悲的是，我认为这场竞争还没有停火的迹象。很可能要经历一起因使用不当而造成的灾难性事故，才能唤醒公众和政府的安全意识。今后，我本人的投资目标将只局限于专攻对齐研究、安全性或专用人工智能的初创公司，而排除那些继续投入这场危险竞赛的公司。“人类”是一家研发方向类似“深度思考”和“开放人工智能”的企业，身为其小股东，我一直在为安全问题不懈努力。该公司在人工智能对齐方面已经投入巨资，相关员工的占比在2021年达到了42%。我个人支持政府大力监管此类研发工作，并期望出台一套切实可行的计划，将各家人工智能企业合并转制为类似欧洲核子研究中心这样的非营利组织。

面对这场危险的竞赛，我们并非束手无策，至少可以减缓其速度。假如你任职于政府部门，那么设法召开听证会，要求业界领袖在宣誓后公布通用人工智能的开发时间表；向他们索取当前模型测试过程中所发现的安全问题的完整记录；他们若表示了解此类系统的运作机制并有信心实现对齐，则要求他们提供相应的证据；你还可以邀请独立专家参与听证会，对这些一把手们进行交叉询问。

假如你就职于正在开发通用人工智能的主流企业，那就向领导层询问以上所有问题；头部公司尤其需要行动起来。企业之间如果能够紧密协调，甚至合而为一，则功莫大焉。“开放人工智能”在公司章程中表达了“合并与协助”的意愿，我相信眼下正是一个大好时机。

截至目前，人工智能进化所依赖的机器学习过程仍旧离不开人类。再给点时间，总有人会想出办法把人类一脚踢开，造出能无限自我完善的上帝级人工智能。真到了那一天，就悔之晚矣！

人工智能大事记

人工智能发展史上的关键时刻（附若干预测）

1950年

数学家艾伦·图灵（下图）提出名为“模仿游戏”的测试理论，用以判断机器能否思考。此后“图灵测试”成为人工智能的评估标杆。

1956年

美国新罕布什尔州的达特茅斯学院承办了早期机器智能会议中的一场，当时业界认为该领域将取得飞速发展。本次会议首现“人工智能”这一提法。

1956年

被视为首个人工智能程序的“逻辑理论家”问世，它能证明《数学原理》前52条定理中的38条。

1958年

心理学家弗兰克·罗森布拉特搭建首个人工神经网络，名为“感知机”，可识别简单的图形，但不久即显示其能力和实用性均有限。

1966年

早期人工智能聊天机器人“伊丽莎”面世，能给人以自然语言交流的错觉。但是，該程序的模式匹配算法很快就暴露出应答内容重复的问题，且程序不能理解语言的含义。

1968年

电影《2001太空漫游》中的主角“哈尔9000”（下图）是一部拥有自我意识的人工智能计算机。哈尔失控后，不再按设定协助机组人员操控宇宙飞船，反而向他们发起攻击。

1970年

麻省理工学院人工智能实验室的联合创始人马文·明斯基接受采访时称，“开发一台具有人类平均智能的机器”只需三至八年时间。

1973年

英国科学研究委员会发布报告称，人工智能研究未能取得成果，第一场“人工智能寒冬”降临，投资缩水，热情降温。

1979年

一款简易移动机器人“斯坦福小车”独立穿过一间摆满椅子的房间，尽管耗费了五小时，却成为首批自动驾驶汽车的雏形之一。

1987年

第二场“人工智能寒冬”降临，人们意识到注重逻辑与规则的主流方法并未产出有实用性的人工智能——也没有成功的希望。

1997年

国际商用机器公司的超级计算机“深蓝”与国际象棋大师加里·卡斯帕罗夫对弈六局，以三赢一平的战绩获胜。该计算机依靠“暴力运算”寻找最佳走法。

2011年

苹果公司发布人工智能助手“希瑞”，可接受自然语言指令并执行基本任务，其构建基础是一套神经网络系统。

2016年

“深度思考”的人工智能系统“阿尔法狗”以4比1的成绩击败顶级围棋选手李世石。李世石后来表示，是人工智能的强大导致其于2019年退出职业棋坛。

2022年

“深度思考”的人工智能系统“阿尔法折叠”仅用18个月就预测出人体几乎所有已知蛋白质的结构（示例见下图）。此前，一名科研人员需耗时数年才能完成一种蛋白质的结构描绘。

2022年

“开放人工智能”发布聊天机器人ChatGPT，加速了生成式人工智能和大语言模型的商业化竞争。

2023年

欧盟通过《人工智能法案》，对人工智能实施风险等级管控，以维护近4.5亿欧盟公民的利益。欧盟的人工智能战略由玛格丽特·维斯塔格负责协调。

本世纪20年代中期

生成式人工智能应用普及，从撰写报告到提供客户服务，从搜寻信息到编写计算机程序，无所不能。

本世纪30年代

大型科技公司着手应对人工智能服务日益增长的碳排放和耗水量问题，以兑现成为可持续、零排放企业的承诺。

本世纪30年代

人工智能的庞大规模让硬件發展速度相形见绌，硬件供应难以为继，需开发新型的算法或计算机才能实现人工智能的下一轮性能飞跃。

[编译自英国《金融时报》《新科学家》]

编辑：要媛