人工智能存在性风险的伦理应对

王天恩

(上海大学 社会科学学部， 上海 200444)

在人类历史上，从来没有像人工智能的发展那样，于心灵深处“惊动”那么多领域的思想家。人工智能的思想激荡，注定要成为人类历史长河最惊心动魄的波澜。人类进化一直是一个不断创造工具，延伸自身能力，以不断深化人类与外部世界及自身交道的过程，而当涉及人工智能，人类和自己的创造物之间关系的发展形势却在发生根本性的逆转。作为手段的工具逐渐接近人类能力，日益显露出与人类平起平坐，甚至超越人类，成为超级智能存在的前景。人类第一次真正面对存在性风险，而且这种存在性风险源自人类自身。作为可以对整个人类的存在构成威胁的风险，人工智能存在性风险的应对似乎不应当是伦理的，但作为根源于人类自身的存在性风险，更高层次的伦理应对事实上涉及根本。

一、人工智能的道德原则内置及其问题

关于人类的“存在性风险”(Existential Risk)，已经是很多文献普遍使用的概念，剑桥大学早就成立了“存在性风险研究中心”(Centre for the Study of Existential RiskCSER)。尽管现在看来，自然疾病大流行和地球灾难等的可能性也被视为存在性风险，但人工智能所可能带来的风险才是真正意义上的存在性风险。关于人工智能发展的存在性风险，人们早有意识，但“即使在10年左右以前，这种风险意识还不强”(1)Bruce Tonn and Dorian Stiefel，“Evaluating Methods for Estimating Existential Risks”，Risk Analysis，Vol.33，No.10，2013.。首先系统关注并讨论人工智能可能具有毁灭人类风险的是牛津大学“人类未来研究院”(Future of Humanity InstituteFHI)院长波斯特洛姆(Nick Bostrom)。早在上个世纪之交，他就明确阐明这是全球性的、终结性风险的范畴，因而将其称之为“存在性风险”。他认为，存在性风险具有一系列特征，使得通常的风险管理失效，因此有必要将其确定为一个特殊类别。这些特征包括存在性灾难造成极端严重程度的危害，试错方法无效，进化的生物和文化应对方法缺乏，所有子孙后代为共同利益攸关方，主题必定是高度思辨和多学科的，等。鉴于存在性风险不同于可承受全球风险，波斯特洛姆得到一个初步定义：存在性风险是一种有害结果将毁灭地球上起源的智能生命，或者永久地、彻底地大幅缩减其潜能的风险(2)Nick Bostrom，“Existential Risks:Analyzing Human Extinction Scenarios and Related Hazards”，Journal of Evolution and Technology，Vol.9,No.1，2002.。最近他进一步阐明了存在性风险的概念，并提出了一种改进的分类方案，认为“存在性风险是威胁整个人类未来的风险”(3)Nick Bostrom，“Existential Risk Prevention as Global Priority”，Global Policy,Vol.4，No.1,2013.。关于人工智能的存在性风险，目前为止波斯特洛姆的研究最具代表性。

从伦理学视角审视，人工智能的发展及其带来的影响与人的关系，可以从通用人工智能的发展和专用人工智能应用两个方面探索。本文讨论的是前一种情况，所针对的是人工智能的发展可能对整个人类的存在构成毁灭性威胁的风险。人工智能的存在性风险是由人类自身的创造物构成的，标志着人类在通过制造工具创造自身的过程中，使自身存在受到毁灭性威胁的存在性风险，这正是人工智能存在性风险与其他存在性风险根本不同之处。

在一开始，人类依然习惯性地像对待工具那样对待人工智能，希望通过植入人类的道德原则，保证人工智能作为人类工具的安全性。自从阿西莫夫1942年在其科幻小说中提出著名的机器人三原则，人工智能发展风险伦理应对的研究，随着人工智能本身的发展而不断深化。由于主要着眼于在设计上限制人工智能的发展，随着新一代人工智能的到来，人工智能存在性风险有效应对的可能性似乎变得越来越小。现在看来，阿西莫夫的机器人三原则的“安全系数”的确可疑，但在人工智能及关于其与人类关系的认识不断发展的形势下，人类在这方面的努力始终没有放弃。

“机器伦理学”就试图以机器伦理来限制智能系统的行为，以确保这些系统的发展产生积极的社会后果，因此在更深层次涉及智能机器的道德内置。在人工智能伦理规制研究中，美国机器智能研究院(MIRI)人工智能专家尤德科斯基(Eliezer Yudkowsky)不仅在理论上，而且在实践中探索如何将道德原则内置于人工智能。他曾成立人工智能奇点研究院(SIAI)，旨在发展“友好型人工智能”。友好型人工智能，意味着不是简单地给人工智能植入人类规则。人类必须明白，对待发展快速且具有不可预期性的人工智能，必须像对待自己一样。实际上，面对人工智能，在投射的意义上就是在面对人类自己。因为人类进化事实上就是信息体的进化，人实质上就是与人工智能一样的智能体存在。

人工智能发展到一定阶段，人们似乎注定会困于两个极端之间，要么面对存在性风险，要么牺牲人工智能的高层次发展。而人工智能的人类道德原则内置，正是试图超越这种困境。尤德科夫斯基提出，我们给种子人工智能设定的最终目标应该是实现人类的“一致推断意愿”(coherent extrapolated volition，CEV)。“一致推断意愿是我们的这样一种愿望：如果自己知道更多，思考更快，更是自己期望成为的人，便更会共同成长；这样，推断便更趋一致而非分歧，我们的愿望相互一致而非彼此冲突；依照我们所愿去推断，依照我们所愿去解释”(5)Eliezer Yudkowsky，“Coherent Extrapolated Volition”，http:intelligence.orgfilesCEV.pdf.。这就涉及人类智能和人工智能的更深层次关联，从而涉及更广阔的视野。

其实，在这一更广阔视野中，甚至间接规范也可以不用我们做出，人类的任务是尽可能开放地把握超级智能的可能发展，从而明确自己应当怎样做。不建立在此基础上，任何超越人类自身能力的愿望都是没有意义的，包括所谓“一致推断意愿”。况且，道德规则是历史的概念，任何道德原则都只有在特定具体条件下才有意义。因此，必须用发展的眼光看待道德原则。“如果我们要规定一套具体的、不可移易的道德准则，用以指导人工智能，那么我们实际上就将我们现有的道德信念(包括其中的错误)固定死了，排除了任何道德发展的希望”(6)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第269页。译文稍有改动，参见Nick Bostrom，Superintelligence:Paths,Dangers,Strategies，Oxford：Oxford University Press,2013，p.214。。这本身就表明，任何试图脱离所处的特定具体条件，为未来超级智能设置道德原则的做法，都缺乏对道德原则性质本身的深入理解。

为人工智能设置爱护人类的道德程序时，考虑的层次越低，作用越有限。甚至在已具有学科性质的“机器伦理学”中，也可以看到其固有的局限性。对于这种局限性，通过对机器伦理学发展前景的批判性分析，牛津大学人类未来研究院的人工智能政策专家迈尔斯·布伦达格(Miles Brundage)有深刻认识：“虽然机器伦理学在某些情况下存在增进道德行为的可能，但是，由于伦理学的性质、计算信息体的计算限制和世界的复杂性，这一点并不能确保。此外，即使在技术层面得到‘解决’，机器道德也不足以确保智能系统产生积极的社会结果。”(7)Miles Brundage，“Limitations and Risks of Machine Ethics”，Journal of Experimental & Theoretical Artificial Intelligence，Vol.26,No.3,2014.当我们讨论机器道德，所面临的是前所未遇的特殊性。科林·艾伦(Colin Allen)等通过对伦理争论的考察，考虑了“道德图灵测验”(Moral Turing Test)的可能性，他们认为，发展人工道德智能体的理论挑战，既有伦理学家对道德理论本身的争论，也有对这些理论实施的计算限制。类人表现往往包括不道德的行为，这在机器中也许是不可接受的，但是道德的完美在计算上可能无法实现。具有足以评估自己行为对众生的影响并采取相应行动的智能机器的发展，最终可能是人工智能自动机设计者面临的最重要任务(8)Colin Allen，Gary Varner and Jason Zinser，“Prolegomena to Any Future Artificial Moral Agent”，Journal of Experimental & Theoretical Artificial Intelligence,Vol.12，No.3，2000.。道德原则内置不仅具有局限性，而且本身隐含着风险。关于机器伦理学局限和风险的批判性研究表明，要超越道德内置的局限和规避本身的风险，只给人工智能内置传统意义上的道德原则，存在带有根本性的问题。正是由此，人们意识到必须将道德原则与更刚性的措施相结合。在承认人工智能道德原则内置局限性的基础上，出现了一种柔性规则与刚性规律相结合的重要努力。这种努力表明，没有与规律性的内在关联，人工智能的道德原则内置不足以应对其所带来的存在性风险。

在人工智能存在性风险的应对中，可以看作是道德原则规律性关联的策略性尝试之一，就是从单纯通过道德原则内置，到结合强制性遏制手段，以确保人工智能不构成对人类的存在威胁。正是沿着这一思路，赵汀阳考虑到一种阻止人工智能发展越过图灵奇点后伤害人类的最极端方式，即设置“哥德尔程序炸弹”。他深刻地看到，对于超图灵机水平的超级人工智能来说，道德程序恐怕并不可靠。他认为更可靠的办法是设置“哥德尔程序炸弹”，它具有类似于哥德尔反思结构的自毁程序，因此，即使人工智能具有了哥德尔水平的反思能力，也无法解决哥德尔自毁程序(9)赵汀阳：《人工智能“革命”的“近忧”和“远虑”——一种伦理学和存在论的分析》，《哲学动态》2018年第4期。。这是目前为止为防止人工智能的发展伤及人类自身，最充分展示人类智慧的策略之一，正像哥德尔不完全性定理，似乎已经达到人类理性的边界。但这一策略的问题在于，如果不能断绝人类在这方面的好奇心，超越图灵奇点的人工智能迟早会出现，而我们不可能知道在超越人类智能的超级智能那里，“哥德尔程序炸弹”会被怎样处理。也就是说，人类具体条件下的问题，在超级智能具体条件下会不会是同样的性质？鉴于人工智能超越人类智能后可能性空间的开放性，答案只能是否定的。正因如此，人工智能存在性风险的应对，走向限制人工智能发展就完全可以理解。

限制人工智能的发展，只发展专用人工智能，不让人工智能发展越过图灵奇点，使人工智能永远只能是人类的工具，意味着不让人工智能发展到构成存在性风险的水平，这无疑是一种消极应对。这种消极应对事实上是将问题往后推，不仅有一系列消极后果，而且会引出进一步的问题。一方面，怎么限制甚至能不能限制人工智能的发展，这本身又是一个涉及伦理的更严峻问题；另一方面，限制人工智能的发展，对人类发展意味着什么，这又涉及一系列同样甚至更重大的伦理问题。只是这些问题不再属于人工智能存在性风险讨论的范围。

人工智能道德原则内置的研究，始终存在问题，由此人们意识到，所有嵌入式的人工智能人类原则内置，都存在具有根本性的问题，必须从作为道德原则的价值观形成基础入手，进一步深入探究。

阿莫西林通过与细菌青霉素结合蛋白（PBPs）结合，抑制细菌细胞壁合成而发挥杀菌作用，可使细菌迅速成为球状体而溶解、破裂。

二、人工智能的价值观加载及其伦理启示

关于人工智能的人类原则内置，相对比较开放的研究领域是人工智能的价值观加载。在目前的人工智能研究中，价值观加载是一个至关重要同时又是异常艰难的重大课题。人们认识到，通过限制发展控制人工智能的能力，无论是在可行性方面还是在后果方面，都会带来更严重的问题。“对能力的控制最多是一个暂时和辅助的手段。……价值观加载的问题很棘手，但一定要面对”(10)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第233页。。问题不在于是消极地还是积极地面对，而在于是情绪化或想象地还是智慧地面对。就目前发展阶段来说，人工智能价值观加载的思路是清楚的，“人工智能的未来发展应该关注它在特殊领域内的具体应用，并在建造机器的过程中，重视把价值元素内化到技术创新的各个环节，从而规避可能带来的风险”(11)成素梅：《人工智能研究的范式转换及其发展前景》，《哲学动态》2017年第12期。。在这方面，专用人工智能的具体运用没有问题，而通用人工智能价值元素内化的难度，却像其重要性一样难以估量。

给通用人工智能加载人类价值观是一个非常复杂的工程，其复杂性甚至到了我们现在还难以想象的程度。一方面，人工智能价值观加载的技术方法非常复杂。在技术上，人工智能价值观加载的“效用函数”方法具有代表性。“效用函数”是将“决策规则具体化的正式方法”(12)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第234页。，但这种方法的实际运用，甚至连现有数学手段都不能胜任，以至有关专家认为，“解决价值观加载问题是一个研究上的挑战，需要下一代人最高超的数学才能”。关于人工智能的价值观加载，相对单纯的数学方法尚且如此，涉及具体的内容就更为复杂。“我们看起来很简单的价值观和愿望事实上包含了极大的复杂性”(13)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第235页。。另一方面，价值观加载的最终结果很难控制。有些研究表明，人工智能价值观加载的方案设计得再精致，也会存在更难以解决的深层次问题。关于人工智能的人类价值观加载，有些研究的设计精致程度已经达到极致。比如即使设计“建造一个超级智能，其最终价值观只是计算圆周率小数点后有几位数”，“我们也不能轻率地假设它就会将其活动限制在这个范围内，而不去干涉人类事务”(14)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第144页。译文稍有改动，参见Nick Bostrom，Superintelligence：Paths，Dangers，Strategies，p.116。。而且这些问题更难以解决，随着人类自身需要的发展，这种“最终价值观”也会向类人智能发展，从而不可能把人工智能的发展限制在自主进化的可能之外。而人工智能一旦进入自主进化，其发展就不是人类所能限制的。在通用人工智能的价值观加载中，无论数学方法还是价值观内容，都还不是最复杂的，更复杂的还在于价值观加载的前提性预设。通用人工智能应当加载什么样的价值观？依据什么以及谁来做出这样的价值观预设？

很多价值观加载方案所致力于思考的，大都是人类怎样将自己现有的价值观植入到智能机器。而人工智能的发展，恰恰需要人类超越自己具有特定历史局限的视角。如果局限于自然人类的立足点，人类和智能机器的关系就会出现很多悖论性情景。给智能机器内置道德原则，正是其中最典型的例子。“在为超级智能选择最终目标时，我们不得不就整体的道德理论以及关于它的一系列具体主张下赌注，而我们赌赢的概率简直小到令人绝望”。于是一个特别但也可以理解的建议就自然而然地被提出：“与其基于我们目前的理解(可能是非常错误的理解)作出猜测，不如将价值观选择所需的一部分认知工作委托给超级智能。”(15)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第265页。这既是解决人工智能人类价值观加载问题的建议，同时又提出了一个更深层次的问题：超越人类的自然立场。人工智能发展到一定阶段，人类对超级智能作出直接规范，显然不如超级智能自己探索规则，但是人类不能放弃自己的使命，在广义智能进化(16)广义智能进化指的是由两种智能进化构成的更高层次智能进化，即作为人类智能的原生智能进化与作为机器智能的次生智能进化的融合。参见王天恩：《人工智能的信息文明意蕴》，《社会科学战线》2018年第7期；王天恩：《论人工智能发展的伦理支持》，《思想理论教育》2019年第4期。过程中，即使是自然意义上的人类智能，也必定具有自己特定的地位和意义。超越人类的自然立场，明确人类在广义智能进化过程中的历史使命，不仅对于广义智能进化，而且对于自然人类本身意义重大。

关于人工智能的人类价值观加载，目前人们不仅不能确切地知道应当怎么做，甚至连这事做起来有多么难，都还没有一个完全清楚的意识。况且，即使“我们知道了如何解决价值观加载问题，可能就要面对更深入的问题：决定哪种价值观应该被载入”(17)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第259页。。对于我们自己应当拥有什么样的价值观，问题已经够复杂，我们只能在摸索中前行。在摸索中前行，对于人类来说似乎是没有办法的办法，而当涉及智能机器的价值观加载时，就不是能以同样方式处理的问题了。

由此可见，与道德原则内置一样，不仅人工智能的内嵌式人类价值观加载也存在同样的问题，而且其复杂程度远非内嵌可以解决。看来问题的解决还得寄望于对人工智能发展的更深层次理解。人工智能价值观加载的问题表明，要深入理解机器智能人类价值观加载的机制，必须在更深层次理解事实和价值的内在关联。这是一个需要哲学介入，甚至是一个必须在哲学层面才能深入探索和解决的问题。因为无论经验科学还是形式科学，在各自学科领域内都不可能解决甚至深入探索这样一个层次的问题。

由于人工智能价值观加载如此艰难，相关探索所取得的成果不仅尤其难能可贵，而且意义特殊。人工智能的发展越是临近图灵奇点，其价值观内化越重要，因为正如库兹韦尔(Ray Kurzweil)所说，“本质上不存在能对抗强人工智能的绝对保护措施”，必须为不断前进的科学和技术进步维持一个开放自由的市场环境，“强大的人工智能正随着我们的不懈努力而深入到人类文明的基础设施。事实上，它将紧密嵌入到我们的身体和大脑中。正因为这样，它反映了我们的价值观，因为它将成为我们”(18)Ray Kurzweil：《奇点临近》，李庆诚、董振华、田源译，北京：机械工业出版社，2011年，第252页。译文稍有改动，参见Ray Kurzweil，The Singularity Is Near：When Humans Transcend Biology，New York：Penguin Books，2005，p.356。。库兹韦尔在这方面的观点，已经接近价值观加载的社会性致思，这就拓展了人工智能价值观加载的视野，呈现出一个可以更深入探索的广阔空间。正是由于涉及广阔空间，人工智能的价值观加载具有典型的开放性。

把价值元素内化于人工智能设计的开放性，就在于价值观加载既可以类似道德原则内置，也可以是社会化的。由于在更深层次涉及与人类的关系，关于人工智能价值观加载的研究是富有启示性的。正是价值观加载的社会性，对人工智能存在性风险的应对具有重要伦理启示。

真正意义上的人工智能价值观加载必须是一个社会化过程，而其基本根据正在于：通用人工智能的发生和发展是类群进化的产物。类群进化的社会化过程，意味着类亲历意义上的整体性(19)王天恩：《论人工智能发展的伦理支持》。。正是这种意义上的整体性，要求人工智能存在性风险的伦理应对必须建立在新的前提基础之上：基于价值和事实内在关联的认识，作规则和规律一体化探索。而无论价值和事实的关系还是规则和规律一体化，其所意味着的更高层次整体性则表明，人工智能存在性风险的伦理应对，正是一个典型的造世伦理问题。对这一问题的更有效探索，应当在以整体性、类特性和共同性为基本特点的造世伦理层次进行。

三、人工智能存在性风险应对的造世伦理层次

力图通过内置道德原则，确保人工智能的安全性，在专用人工智能发展中是有意义的。面对人工智能发展的通用化，形势发生了根本变化。关于人工智能人类原则内置的研究，尽管直到现在仍大有人在，但人们思考的进一步深入表明，人工智能的存在性风险应对显然不能寄望于道德原则内置。人工智能的价值观加载，似乎晓示着一条唯一可靠的途径，但其艰难程度又出乎人类想象。由此，让超级智能去承担人类不可能完成的任务的观点就自然而然提出。这一观点既具合理性，又似乎是更明智的。人类会面临前所未有的艰难选择，人工智能存在性风险的应对，的确存在一个怎么充分利用超级智能本身能力的问题。人类固然最终主宰自身的命运，但从更合理的角度看问题，似乎还应当把自身的命运主宰，放到更高层次的发展过程之中。这显然是人类将要面对、有待探索的重大问题。而怎样利用人工智能解决其所带来的存在性风险问题，则典型地反映了造世伦理的性质。

在大数据基础上创构，人类无疑是在扮演上帝的角色。在既存世界生存和发展，人类主要是适应环境；而在人工世界的创构中，人类越来越不只是适应而是在创造环境。如果我们把适应这个世界所必须遵循的伦理称之为“适世伦理”，那么，创构世界所涉及的伦理，则可以称之为“造世伦理”。在大数据和人工智能的基础上，可以清楚地看到造世伦理所具有的不同性质，其中最基本的，就是造世伦理的整体性、类特性和共同性。世界的自然进化不存在伦理问题，而世界的人为创构则不仅涉及伦理问题，而且使伦理问题日益具有整体性，从而将伦理研究提升到造世伦理的层次。关于自然进化而来的世界，我们没有办法也没有必要为这个世界的造成追责。而人类创构的世界则完全不同，造世的伦理问题不仅明显存在，而且凸显为最基本最重要的问题。以大数据和人工智能为主要标志的创构时代，不仅“思想改变世界”已成现实，而且已经上升到思想创构世界，造世的伦理责任也成了难以承受之重。如果说适世伦理主要涉及人对既存世界的适应，那么造世伦理则更涉及人类自己所创构世界层次和人的自我创构的伦理后果和责任(20)详见王天恩：《大数据、人工智能和造世伦理》，《哲学分析》2019年第5期。。造世伦理的整体性，不仅意味着价值和事实，而且意味着规则和规律内在关联的凸显。一方面，造世伦理具有整体性；另一方面，人工智能之于人类生存发展的利害深度纠结；两个方面的内在交织，意味着伦理规则和客观规律的一体化。

任何规则都有一个规律性的根源，任何合理的规则都有一个规律性的根据。关于规则和规律，人类在两方面都做了大量工作，大数据和人工智能基础上造世伦理的发展，为二者发展的“合龙”创造了时代条件。

人类发展是在具有自我意识的基础上进行的，在具备反思自己观念的能力之前，就已经形成了复杂的观念，因此常常在错综的精神领域纠缠，以至在认识领域，规则离规律可以很远甚至相互脱节。而人工智能的发展涉及最基本的信息层面，因此规则和规律重归一体化。事实上，所谓“道德物化”就是寻求规则和规律关联的重要努力，道德机器本身就涉及规则的规律化，而大数据和人工智能的进化，则在信息及其进化的基本层次涉及规则和规律的一体化理解问题。不在规则和规律一体化的基础上，人工智能存在性风险的伦理应对，就可能不是一个有意义的话题，而在造世伦理层次，这种应对就不仅至为重要，而且不可或缺。

在人工智能发展风险的应对策略中，规则和规律一体化的基本含义有两个层次：一是通用人工智能特别是超级智能发展的规则制定，必须建立在人工智能发展规律和人类发展规律，特别是二者关系的规律性把握基础之上，以确保相关规则制定符合人类的长远利益；二是专用人工智能发展的规则制定，必须建立在人工智能应用相关的规律性把握基础之上，以确保所制定的相关规则有效而不会反而掩盖风险。

人工智能道德原则内置的问题和价值观加载的困难程度，都表明在人工智能存在性风险应对中，规则的规律性关联探索至关重要。探索规则的规律基础之所以至关重要，基本的原因就在于：对于人工智能这种深及人类未来的科技发展来说，没有落实到规律基础的规则制定，本身就是最大的未知风险。这种风险，只能在更高整体层次的理论基础上才能看到。所处的理论整体层次越高，所看到的可能性就越多，正因为如此，整体观照事关重大甚至涉及根本。反过来，相对于特定情景(语境)，理论整体层次越低，看到的机会就越少，低到一定程度，可能就看不到任何机会。看不到机会就看不到希望，没有机会就没有希望，完全没有希望就是绝望。也许比绝望更可怕的，还在于将致命威胁当作天赐良机。

人工智能价值观加载的探索表明，对于类人智能来说，与人类一样的社会化成长过程，应当是价值观加载的根本方式。关于这一点，库兹韦尔有进一步深入的涉及，在他看来，“在这个领域，纯粹的技术策略是不可行的，因为措施是某一级别智能的产物，但总有与之相比更强大的智能可以找到方法来规避措施。我们正在创造的非生物体将会在我们的社会扎根并反映我们的价值观。这种生物变革阶段包括将非生物智能和生物智能紧密结合起来。这将扩展我们的能力，并且这些更强大智能的应用将会受它们的创造者的价值观所支配。生物变革时代将会被后生物时代所取代，但是我们希望我们的价值观仍然发挥作用”(21)Ray Kurzweil：《奇点临近》，第255页。。对此，波斯特洛姆也已意识到，“至少有一次，进化产生过带有人类价值观体系的有机体。这个事实激励了这样一种信念，即相信进化是一种解决价值观加载问题的途径”(22)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第236页。。将人工智能的价值观加载与进化关联起来，无疑是具有更高整体层次的思考。尽管“进化性选择”方式可能伴随弱肉强食、优胜劣汰的残酷，“当使用进化的方法来产生类人智能时，意识犯罪看起来尤其难以避免，至少这个过程应该看起来像真正的生物进化”(23)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第237页。。智能进化的生物载体形态肯定有特定的问题，但那可能是类人智能价值观形成的唯一可能方式。在这里，波斯特洛姆的思考已经超越了智能的自然进化：“我们成人后所最终形成的价值观还是取决于人生经历。因此我们最终价值观体系的大部分信息内容是从经历中获得的，而不是基因携带的。”(24)尼克·波斯特洛姆：《超级智能：路线图、危险性与应对策略》，第238页。价值观必定由经历而来，只要通用智能进化的类亲历性为类人智能体形成所不可或缺。在根本上说，价值观加载必须是类群亲历过程中的关系内置，而这就不仅使规则和规律关联在一起，而且使人工智能发展的价值观加载与广义智能进化内在联系了起来。

广义智能进化是在人类智能进化基础上的更高层次智能进化，在这一进化层次，人工智能达到类人智能水平。类人智能体形成过程中类亲历性的不可或缺，可以从人类情感关系的形成得到最典型的说明。人类伦理道德关系的形成更是如此，而且，由于基于价值观，由于其特殊性，道德关系的形成和发展过程更有利于理解智能关系的类亲历性，不管是人类智能还是机器智能，抑或人机融合进化的更高层次智能。

总之，造世伦理意味着更高层次的整体性，这是其与适世伦理的根本不同之处。正是造世伦理的更高层次整体性，为人工智能存在性风险的伦理应对呈现了更长远的前景，开辟了更广阔的空间。人工智能存在性风险的造世伦理应对是一个需要系统探索的领域。在造世伦理层次探索人工智能存在性风险应对，首先必须明确基本的伦理原则。

四、人工智能存在性风险应对的造世伦理原则

近来，友好型和以人为本的人工智能等越来越受到人们关注。关于人工智能体的好坏评价，虽然直接决定于人生观、价值观甚至生活态度，但归根到底决定于认识的整体层次。认识的整体层次越高，人工智能存在性风险的预防就越有效。

在人工智能发展风险的应对研究中，“预防原则”(precautionary principle)既至关重要，又至为复杂。作为应对策略，人工智能发展存在性风险的“预防原则”既可以是消极的，也可以是积极的。正如一些权威专家所指出的：“我们不能用试错法来处理存在性危机。对预防原则的解释还存在争议(如果一个行为的后果未知，但是据科学家判断有极小可能会带来巨大的负面风险，这一行为最好不要进行)。但很明显，在我们的战略中需要尽可能提高自信以对抗这种风险。这就是越来越多的声音要求我们停止技术发展的原因之一，这也是在新的存在性危机发生之前将其消除的主要战略。然而放弃并非合适的行为，只会阻止新兴技术带来的好处，而且实际上还增加了灾难性结果的可能性。”(25)Ray Kurzweil：《奇点临近》，第244页。译文稍有改动，参见Ray Kurzweil，The Singularity Is Near：When Humans Transcend Biology，pp.342-343。因而在很多人那里，考虑的不仅不是放弃，反而是怎样尽快走向超级人工智能。在麦克斯·摩尔(Max More)的观念中，甚至预防原则本身都不够积极而应被取代，他阐明了预防原则的局限性，并且主张用源于欧洲的“行动原则”(The Proactionary Principle)来取代预防原则，以平衡“行动”与“不行动”间的风险(26)Max More，“The Proactionary Principle”，in Max More and Natasha Vita-More，eds.，The Transhumanist Reader，Chichester：John Wiley & Sons，Inc.，2013，p.260.。的确，面对人工智能发展所带来的存在性风险，应当是通过积极的行动，在更高层次实现最佳应对。

人工智能发展对人类的存在性风险，既可能发生在“人工智能开始自我完善之前”，也可能发生在其使用各种工具逃避最初限制的起飞期间，或者在它成功接管世界并开始实施其目标系统之后(27)Alexey Turchin and David Denkenberger，“Classification of Global Catastrophic Risks Connected with Artificial Intelligence”，AI & Society：Knowledge，Culture and Communication，No.2,2018.。只要人工智能的发展越过图灵奇点，关于人类命运的悲观和乐观两种观点，就都是有根据的。因为其后果不仅完全取决于人类怎么做，而且取决于人类怎么想。即使人类智能和人工智能不是竞相发展，而是二者交融进化，在一定的发展阶段，人工智能的发展仍然将对人类构成存在性风险。

仅就智能载体而言，由于自然进化优势不再，迭代周期优劣悬殊，基于生物载体的人类智能必遭淘汰。而且，人类更要警惕的，的确是人类自己；人们更应当担心的，事实上也是人对专用人工智能的邪恶利用，这也是目前人工智能发展中人类所面临的最切近威胁。越是远离人类的因素，控制相对越容易；越是涉及人自己，风险越可能失控。正因为如此，在这一风险较大的特殊时期，人类一定要在造世伦理的更高层次，制定规则和规律一体化的人工智能发展原则。这个发展原则就是“道在魔先”，由于就造世伦理层次而言，也可以称之为造世伦理原则，它不仅适用于人工智能，而且适用于所有造世活动的伦理考量。

在人工智能研发中，人类必须做到“道”在“魔”先：面对具有存在性风险的研究进展，必须先有防范之道，才能进入实施。以确保在整个危险期内，对可能出现的威胁做到都有解决预案。潘多拉魔盒打开之前先要有制服之道，解毒剂是毒药准生证(28)王天恩：《人工智能与人类命运》，《教学与研究》2018年第8期。。“道在魔先”意味着将未雨绸缪真正落到实处，而面对人工智能发展的存在性风险，这一点特别重要。“如果我们一直等到大祸临头之后，我们也许最终会制定更加严格和有伤害性的规则”(29)Ray Kurzweil：《奇点临近》，第239页。。在人类应对威胁的长期历史过程中，这方面有不少经验可以借鉴。针对将致命毒素的基因注入诸如普通感冒或流行感冒等容易传播的普通病毒中，阿西罗马会议在商议如何应对这种威胁时，起草了一系列安全和道德准则(30)Ray Kurzweil：《奇点临近》，第243页。。这些安全和道德准则之所以能沿用至今，主要就因为在没有做到“道在魔先”时，不会有人踏出这一步，除非企图得到最大自杀满足的疯子。但这样的疯子不可能掌握这种层次的技术，或者说具有这种创意能力的人不可能处于这样的需要水平。

人工智能研究的“道在魔先”原则，不仅属于内外兼治的方式，而且建立在造世伦理的整体性致思基础上。随着人工智能风险应对研究的深化，这种致思得到越来越明显的体现。

通过对人工生命具有巨大挑战问题的梳理和研究，研究人员得出了“需要在一个基本问题上取得重大进展”的结论，其所探索的途径的确是“有希望的”(31)Mark ABedau etc.，“Open Problems in Artificial Life”，Artificial Life，Vol.6，No.4，2000.，其中最重要的原因之一，就是它具有造世伦理的性质，可以通过更深层次的理论和实践探索，深化目前人工智能存在性风险应对策略的研究。

“道在魔先”原则应当既是可望确保人类整体安全，又是符合任何涉事个人自身安全需要的原则，但一方面必须有更基础的保证，另一方面还有进一步的问题有待解决。“道在魔先”原则不仅需要有得力措施，防范可能出现但又不可预料的失控需要满足行为，而且需要进一步探索两个层次的问题，一是道魔较量，二是人类眼光。“道在魔先”原则除了有来自对人类自身担忧的同样问题，关键是对人类眼光的高要求。要知道魔的利害所在，必须有尽可能长远并不断发展的眼光，这意味着尽可能高的理论整体层次。理论层次越低，眼光越浅近，越难有到位的整体把握，人类也就越是前途难测。“如果人工系统的智能大大超过人类，这将对人类构成重大风险。现在是考虑这些问题的时候了，这一考虑必须包括人工智能的进步和对人工智能理论的洞察”(32)Vincent C Müller，“Editorial:Risks of artificial intelligence”，in Vincent C Müller,ed.,Risks of Artificial Intelligence，Boca Raton：CRC Press-Taylor & Francis Group，2016，p.1.。关于人工智能的“理论洞察”，在某种意义上决定了人类在人工智能发展时代的安身立命甚至前途命运，需要有尽可能高的理论整体层次。

从造世伦理的整体性出发，“道在魔先”原则更需要对人工智能发展可能出现的最高层次结果有尽可能长远的预期。具有远见地尽可能在最高层次俯瞰人工智能的发展，既是“道在魔先”原则的事实依据，也是智能时代哲学重要性的更深刻体现，涉及人工智能存在性风险应对中哲学的地位，特别是“道在魔先”原则的把握。在人工智能发展中，释放出来的“魔”越多，“道”的相应应对挑战性越大。因为“魔”的出现可以是个体性的，而“道”的应对却必须具有整体考虑。不过，这种情景所反映的，是人类的基本处境，人类在宇宙中生存，本身就是在这样的一个处境之中。只是人工智能的发展，将人类的这一基本处境以风险源自自身的方式呈现出来，从而爆炸式地呈现为一个迫在眉睫的严峻问题。进一步深入理解人类处境及其变迁，特别是在尽可能高的整体层次理解人工智能和人类发展的关系，对于人工智能存在性风险的应对至关重要。对于人类而言，人工智能发展的风险和希望深度交织，与其风险的人类应对效果密切相关。关于人工智能发展风险和希望交织深层机理的理解，不仅关系到人工智能存在性风险应对策略的有效性，甚至关乎应对结果是否事与愿违。而这又在根本上取决于人类所处的伦理应对层次，在人工智能存在性风险的应对中，造世伦理的理论和实践地位具有根本性。