曾毅：人工智能的风险至少有两种可能

一封“警惕AI”的公开信引发全球高度关注——

国际AI领域非营利组织“人工智能安全中心”（Center for AI Safety）日前在其官网发布一封联名公开信，表达了对一些高级人工智能所带来严重风险的担忧。

目前已有400多名全球人工智能领域科学家、企业高管等签署联名公开信。签署人中不乏人工智能领域的著名学者和高校教授，还包括三家全球顶尖人工智能公司的CEO——ChatGPT之父、OpenAI创始人兼CEO萨姆·阿尔特曼，谷歌DeepMind公司CEO戴米斯·哈萨比斯，以及美国Anthropic公司的CEO达里奥·阿莫代伊。

在签署人名单里，潮新闻记者看到了多位中国高校教授。中国科学院自动化研究所人工智能伦理与治理研究中心主任、国家新一代人工智能治理专委会委员、联合国教科文组织人工智能伦理实施高层专家组成员曾毅就是其中之一。

公开信提到的“人工智能可能带来的人类灭绝风险”，该怎样看待？人工智能领域为何屡屡发出警告？人工智能与人类的边界应如何划定？潮新闻记者日前对话曾毅。

人工智能为何可能带给人类灭绝风险？

这封被众多人工智能领域大佬发声支持的公开信，其实全文只有简短的一句话：Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.（减轻人工智能带来的人类灭绝风险，应该与大流行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。）

话少事大。在曾毅看来，这正是选择联名签署的学者CEO们，出于对人工智能给人类带来潜在生存风险的严重担忧而采取的一次直接行动。

“大流行病、核战争与人工智能可能给人类带来的潜在生存风险的共性是波及范围广，关乎全人类的利益，甚至是致命的。”曾毅分析，关于人工智能对人类造成生存风险，至少有两种可能，一种是对远期人工智能的担忧，另一种是对近期人工智能的擔忧。

针对远期而言，当通用人工智能和超级智能到来时，由于智力水平可能远超过人类，超级智能看待人类如同人类看待蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及人类的生存。

如果说，我们从现在开始研究如何规避其风险，尚有可能应对远期人工智能的挑战，人工智能带来的近期风险则显得更为紧迫。由于当代人工智能只是看似智能的信息处理工具，没有真正的理解能力，也不是真正的智能，因此会以人类难以预期的方式犯人不会犯的错误。当某种操作会威胁到人类的生存时，人工智能既不理解什么是人类，什么是生死，也不理解什么是生存风险，因此极有可能威胁到人类的生存。

曾毅告诉潮新闻记者，还有观点认为人工智能可以利用人类的弱点对人类的生存造成致命危机。而这样的人工智能甚至不需要达到通用人工智能的阶段就有可能对人类造成生存风险。加之这种人工智能很有可能被人恶意利用、误用和滥用，而风险几乎难以预期和控制。

人工智能领域为何屡屡发出警告？

事实上，这已不是人工智能领域的学者专家和顶尖公司发出类似警告。

今年3月，美国的非营利组织未来生命研究所也发表了一封公开信，呼吁暂停研发比GPT-4更强大的人工智能系统至少6个月，并警告人工智能的发展对社会和人类构成的潜在风险。当时，马斯克、苹果公司创始人之一的史蒂夫·沃兹尼亚克、图灵奖得主约书亚·本吉奥等专家、产业高层都在公开信中签名。目前，这份公开信的署名人数已超过3万人，曾毅同样是较早署名的中国科学家。

连续两次在相关的公开信上署名，乃至此次在公开信正式对媒体发布前就签署联合声明，曾毅有自己的考量。

“在人工智能给人类带来潜在生存风险的担忧方面，我和两位发起人观点接近。少数人很难改变趋势，但少数人首先站出来提升公众的意识，最终参与改变现状的就会是多数人。这也是业界不断发出号召的原因。”曾毅说，无论是此前的暂停人工智能巨模型实验呼吁还是此次的人工智能风险声明，都是意识到了目前人工智能发展过程中的风险和失控的可能性。虽然两者应对人工智能风险的方式不同，但其目的都不是阻碍人工智能的发展，恰恰是在探索人工智能稳健发展的途径。

曾毅认为，重视和管控人工智能的安全风险不是阻碍人工智能的发展与应用，而是确保人工智能技术稳健发展。人工智能无疑是社会进步的推进器，然而这并不意味着人工智能没有潜在风险，或者是为了最大化人工智能益处的需求，就可以忽略人工智能的潜在风险。用人工智能造福人类，而不是给人类带来风险，甚至是生存风险，也是绝大多数人对于人工智能发展的愿景。因此公众有权利知道人工智能的潜在风险，人工智能的研发者有义务确保人工智能不给人类带来生存风险，至少要通过人工智能的各种利益相关方最小化这种风险的可能性，并建立人工智能伦理安全的全球协作机制。

人工智能与人类的边界应如何划定？

随着人工智能不断发展，相关新闻也在不断刷新公众对人工智能的认知。

“整个社会中人工智能不应该无处不在。我们在为联合国教科文组织编写人工智能伦理时，就加入了一条‘适度使用原则，即该用人工智能的地方，留给人工智能，该留给人类社会的地方就按照人类的方式去发展。”曾毅说，人工智能应该适度发展、适度和谨慎使用，深度治理。对于那些没有必要使用人工智能的场景，或者使用人工智能带来的益处有限，却有很大的不确定性与隐患，应当秉持能不用则不用的原则。正如作家舒可文在《城里：关于城市梦想的叙述》中指出，城市的发展，一半是野蛮生长，一半是规划，这才叫作城市。人工智能与人类也一样，也需要将一定空间留给人类自己。

曾毅向潮新闻记者表示，由于目前的人工智能仍然是一个工具，并没有能力成为责任主体，应明确区分人与人工智能的界限。人工智能服务于人类时必须做到知情同意，不应被过度拟人化，从而避免人类对于人工智能的过度依赖、过度信任，相应的责任仍应由人类或者相关的研发与使用方承担。

当然，人工智能是重要的赋能技术，应当起到促进全球可持续发展目标的作用。但目前这方面的努力主要聚焦于高利润高回报的领域，例如人工智能赋能教育与健康。然而那些真正关乎人类未来的其他议题，例如促进生物多样性保护、气候行动的实现、减少不平等及增强公平公正等议题，还没有得到太多人工智能技术的关注与赋能。

在曾毅对人工智能未来的设想里，通用人工智能和超级智能很可能如著作《生命3.0》中描述的，成为未来生命的一种形式、人类的伙伴、社会的准成员。“为了不给人类造成生存风险，人类与未来的通用人工智能和超级智能如何和谐共生，这需要提早进行前瞻的设计与准备，不仅仅是技术层面的准备，更是社会、文化认知层面的准备。”

◎ 来源| 杭州网