智能奇点与后奇点世界中的人类

胡嵩?高新民

摘要：人工智能的奇点问题是先前的AI能否超越人类智能、能否奴役人类等常识化问题的更具科学化色彩的升华形式。对这个问题的讨论一定程度上移植了大爆炸宇宙学的范式和方法，因而包涵更多复杂的科学推理，但由于其关注的重点是智能形态与人类未来存在状态，从而又表现出强烈的哲学化倾向。通过科学的推理可以发现，在自然规律的作用下，无量级限制的超级智能乃至智能爆炸不大可能发生，但造出有限的超级智能则完全有其可能。不管人工智能在未来怎样发展，其异化问题在所难免，必定深刻影响世界、人类及其社会文化的命运。不管其未来发展带给人类的是祸是福，都值得重视和研究，未雨绸缪。要解决奇点悖论和AI异化问题，必须从哲学上研究智能观和智能与自主性、意向性、意识之关系等心灵哲学问题，弄清智能与AI的量变、质变的规律、形式及其量上的限制。

关键词：人工智能；智能大爆炸；奇点悖论；心灵哲学

基金项目：教育部人文社会科学研究规划基金项目“意向性与人工智能建模基础问题研究” （20YJA720003）

中图分类号：B84文献标识码：A文章编号：1003-854X（2023）06-0069-07

人工智能（以下简称AI）的奇点、大爆炸等问题是先前的AI能否超越人类智能、能否奴役人类等常识化问题的更具科学化色彩的形式。最突出的是，它们移植了大爆炸宇宙学的范式和方法，充斥着更烦琐、更复杂的科学积淀和推论。除仍关心原来AI的未来发展前景以及这些发展对世界、人类及其社会文化的影响等通俗性、一般性问题之外，它们更着力追问：AI今后的发展会不会出现智能奇点、超级智能、智能大爆炸以及AI统治和奴役人类这样的结果？如果AI在未来某一天真的超越于人类智能，或真的出现了所谓智能爆炸及超级智能，进而出现了所谓的后奇点（post-singularity）世界，世界和人类将面临什么样的处境？人类是被奴役、毁灭、孤立，还是设法融入？如果能融入，该怎样融入？我们现在发展AI应如何提前规划？等等。这些问题的形式好像是纯科学的，但其实有哲学的根源，其解决也需要哲学的反思。目前，哲学界对这些问题不仅作出快速反应，而且形成了激烈的争论，诞生了大量各具特色的理论。概括说有两种观点倾向，一是塞尔（J. Searle）、布洛克（N. Block）和德雷福斯（H. Dresfus）等人所倡导的观点，即计算机所表现的AI根本就没有智能必备的像意识、意向性、理解、创造力等特点，因此何谈有超级智能的出现以及对人类的奴役？二是与之对立的观点，即计算机所表现的AI具备智能必备的像意识、意向性、理解、创造力等特点，这类的观点样式很多，有的很尖锐，甚至骇人听闻。这里我们将重点分析第二种观点，特别是基于著名心灵哲学家和认知科学家查尔默斯所论证的观点的基础上，对智能奇点和后奇点世界中的人类社会文化处境等问题作一些抛砖引玉的思考。

一、智能奇点、智能爆炸、超级智能及其多学科论证

智能奇点和智能爆炸等概念是借鉴、改造宇宙学对应概念而形成的。在宇宙学中，奇点指的是时空无限弯曲的那一个点，存在于黑洞中央，有无限大的物质密度、无限弯曲的时空和无限趋近于0的熵值等。奇点既可以是宇宙大爆炸之前宇宙的存在形式，也可以是超级恒星坍缩成的黑洞的奇点。但智能奇点有所不同。就智能奇点或爆炸的概念发生学来说，数学家古德（I. Good）最先提出了关于奇点的基本设想，温格（V. Vinge）于1983年在AI中正式创立了奇点概念。后来，莫拉韦克（H. Moravec）、科兹维尔（R. Kurzweil）和博斯特罗姆（N. Bostrom）对之作了具体、明确的阐发，创立了各具特色的理论。根据温格的想法，智能奇点指的是这样的现象，即由于人工系统的软件和硬件的长期发展和积累，到了未来的某个时候，它们的速度和性能在有限时间就会超越任何有限的智能。这一过程及结果就被称作奇点。（1）他提出这一概念时受到了冯·诺伊曼思想的启发，后者认为技术的发展将让历史接近于一个奇点，超出这个奇点，人的生活就不会按原样继续。智能奇点概念一经提出，便受到了学术界和大众文化的广泛注意和讨论，并形成了许多不同的理解。一种比较宽泛的用法是让它表示这样的现象，通过它，越来越快的技术变革会导致不可预测的后果。一种严格的用法是指一个点，在这个点上，速度和智能将达到无限。另有一种谨慎的用法，它表达的是这个概念的核心意义，即通过一种递归机器而形成的智能爆炸。（2）还有一种观点把智能奇点和爆炸两个概念看作同一关系，如查尔默斯就认为，智能奇点就是智能爆炸。（3）这样理解不无道理，因为只要出现了奇点，就一定有大爆炸。本文将采用这一说法。

在讨论AI未来的量变和质变时，经常涉及到的相关概念还有超级智能（superintelligence）、超计算等。超级智能指的是人造的机器表现出的超越人类智能的智能，或在任何可能的领域能大大超越人类智能的智能。就其与智能大爆炸的关系看，有人认为超级智能是智能大爆炸的前提条件，也有人认为它就是智能大爆炸，因为当机器智能的量的、呈指数形式的发展累积到一个质点进而产生爆炸式飞跃时，就表现为超级智能，亦即智能大爆炸。（4）笔者赞成这一理解。从实现方式上说，超级智能是通过技术手段让机器或生物有机体在许多认知领域表现出来的超出人类心智的智能、智慧。超级智能的形式很多，可从不同角度加以分类，如从其载体分，有机器表现出的超级智能，生物有机体如人脑表现出的超级智能以及人机联合体表现出的超级智能。从其发展潜力上看，前者的潜力更大，发展速度会更快。从实现的技术手段、表现方式上看，有高速超级智能、集体超级智能和优质超级智能。我们这里按手段方式分类略作分析。

高速超级智能是在速度上远远快于人的智能。这里的更快是指可能快多個数量级。（5）其典型例子是运行在快速硬件上的全脑模拟系统，它能全面模拟大脑，但运行速度可快一万倍，因此之故，这样的系统可以几秒钟读完一本书，一下午写一篇博士论文。更神奇的是，通过100万倍的加速序数，一个全脑模拟程序可以在一个工作日内完成一个人需上千年才能做完的工作。集体超级智能是由许多小的智能系统集合在一起，进而能在许多领域表现出超出现有智能系统的智能。创建这样智能的灵感来自于对人类群体的观察，根据这一思路，研发公司、学术团体、国家甚至整个人类都是这样的集体智能系统。未来要建构的就是这样的将众多单个智能自主体整合在一起而形成的规模不等的集体超级智能。在其倡导者看来，增强、提升集体智能的方式很多，如增加系统中的有智能的子系统的数量和质量，改变系统的组织结构和品质。换言之，集体超级智能要么是通过松散的方式形成的，要么是把诸要素紧密地组合成有机的系统而形成的。优质超级智能不仅在速度上很快，而且能生成高品质、优质的产物。

超级智能尽管在现在只是一种推论，但现实中有很多技术路线能让它从可能变成现实，如AI路径、种子AI、全脑模拟、生物认知、人机交互、网络和组织路径和生物增强技术，等等。以网络与组织路径为例，它指的是通过逐渐增强网络和组织的能力实现超级智能。这里所谓组织是指把个体的心灵相互关联起来，把人的心灵与各种人工产品、机器人相互关联组织起来。这种增强不是要增强个体的理智能力，使它们成为超级智能，而是让个体通过网络和组织的方式组成为系统，进而让这系统具有超级智能。（6）能促成和推进人工集体智能的技术是多种多样的，如互联网、智能网、组织和经济改革等。综合有关研究成果可以说，互联网通过人类的共同努力以及人机协作的创新，今后可能会诞生更好的探索和过滤算法，更强大的数据表征构造，更有能力的自主体软件，以及更有效的控制机器人之间交互的协议。所有这些增量改进最终可能为生成网络智能形态提供基础。可以预言，基于网络的认知系统，在生成关键智能的计算力的同时，可能为超级智能的形成提供条件。生物增强技术让我们看到，机器智能向超级智能的发展不是梦想，因为技能、智能得到增强的科学家、工程师将获得不可估量的创新能力，进而让其研究成果表现出超级智能。“增强的生物或组织智能必定会加速科学和技术的发展，而这些发展会让全脑模拟和AI这样的更激进的智能样式快速到来。”（7）事实上，机器和非人动物已表现出了超越人类水平的智能，如蝙蝠解读声纳的能力就优于人类，计算器的运算速度、准确性等是人没法相比的，下棋计算机的棋艺已比人高，等等。（8）

与超级智能有密切关系的是超计算与超计算机器。所谓超计算既可理解为超级智能的一种具体形式，也可理解为到达它的一种方式，指的是研究有关的可计算性的一种图式。这种计算不同于或超越于图灵测试所主张的经典计算主义的计算，例如不再是简单的形式转换或状态转换，而是当计算转到后面的步骤时还能返回图灵机所用的决策。将超计算应用于机器之上，就有所谓的超计算机。已出现了三种超计算机器，如模拟混沌神经网络、试错机和宙斯机。它们都是具有超越图灵机极限的设备。以试错机为例，其结构类似于图灵机，如有读写磁头，有磁带和有限数量的固定的内在状态，所不同的地方在于，它能给出极限输出，而不是给出一个输出然后停止；另外，它能在有限的时间内完成无限的初始行为。宙斯机是一种超人，它能在有限的时间内如一秒钟内列举出n项，把这一点加以形式化就很容易生成一个能解决停止问题的宙斯机。（9）

智能奇点的可能性、必然性、根源、样式、途径等问题更是众说纷纭的话题。对于主张必然发生智能奇点的人，头等的大事是为其可能和必然提供根据和论证。科学和哲学中已诞生了很多有影响的论证形式。这里我们概述一下科学中的多学科论证，后面再来作哲学的讨论。人们已从进化论、AI、计算机科学等角度作了论证，主要形式有：（1）基于计算机科学的类比论证：人设计的机器比人有智慧，这被设计的机器又会设计别的机器，别的机器又比原来的机器更有智慧。由于每一被创造的机器的智能比原来的创造者多，因此如此递进，量的积累到后来将达到无以复加的地步，进而出现智能爆炸。（2）速度爆炸论证。其论证前提是，机器的计算速度每隔一段时间就翻一番。再假设人的水准的AI系统能设计出处理器，它们的更快的速度将产生出更快的设计者和更快的设计周期，如此循环下去，就会达到智能的一个极限点，进而发生爆炸。这两个论证是分别独立提出来的，其实可把它们结合在一起形成下述第三种论证。（3）加速迭代论证。假设在两年内，一台比人类更强大的机器生产出了另一机器，它的速度比原来的快两倍，智能高出10%，再假设这个原则可无限期地延伸、扩展。那么在四年内，就会出现无数代机器人，它们的速度和性能在有限时间就会超越任何有限的智能，进而导致智能爆炸。（10）（4）基于技术进化的论证。科兹维尔（R. Kurzweil）改造和发展进化论成果提出，进化是智能的本原性的“创始人”。因为进化是开放系统，不同环境中的进化由于涉及的内外因素不同，因此便有样式和复杂程序各不相同的进化形式。随着人类在进化过程中诞生，人类除了拥有其他动物已有的进化手段之外，还有独有的手段，即技术。技术不仅是对工具的制造和使用，还包括对制造工具过程的记录。每一种新技术的发明，都意味着工具复杂程度的提高。计算的进化也是技术进化的一个表现。机器已不再是单纯的扩展人类力量的工具，而同时有积淀、升华人类记忆和逻辑加工能力的作用，现在的计算机更是如此。基于这些对进化历史和未来趋势的分析和预测，科兹维尔认为，未来被新的进化形式进化出的计算智能和机器智能一定会超越人类。（11）（5）根据加速回报定律的论证。根据这一定律，随着时间的推移，计算技术的性能、威力将呈指数级增长。反观近百年的计算的发展可以看出，1910—1950年，计算速度每三年翻一番，1950—1966年，每年翻一番。这表明计算速度的可能增长已呈指数级增长。这种加速根源于加速回报定律两种提速方法的混合。一种方法是，随着晶体管模具尺寸的减少，流过晶体管的电子旅行的距离减小，晶体管一开始的速度就大大增加，这样就有指数级提高速度的第一种方式。另一方法是，减小晶体管芯片的尺寸，也使芯片制造商能将更多的晶体管压缩到集成电路中，这样就有提高速度的第二种方式，即提高计算密度。即使摩尔定律（12）以后失效，集成电路之外的新电路形式会继续沿着这两个方向呈指数级改进。可以预言，AI的量的积累将导致质的飞跃，这就是智能奇点。（13）（6）超级智能的多途径论证。博斯特罗姆认为，进化論路径、AI路径、种子AI、全脑模拟、生物认知、人机交互、网络和组织等都是超级智能形成的途径。如根据进化论路径，在足够快的计算机上运行遗传算法，就可取得与生物进化成果相媲美的结果。他说：“有许多通向超级智能的路径这一事实足以让我们相信，我们最终将拥抱超级智能。”（14）

二、智能奇点论的一个哲学论证版本及其对话性讨论

AI的奇点问题在现有科技条件下除了表现为科学问题之外，还由于智能的构成、机制、生成条件、本质、演变发展的可能空间、未来趋势等关涉对智能的哲学考察，因此其也表现为哲学问题。如前所述，智能奇点问题一提出，哲学界就没有停止过发声。我们这里主要关注查尔默斯（David J. Chalmers）的论证。查尔默斯在综合、借鉴已有成果的基础上，发挥自己长于哲学分析和创新的优势，提出了多层次的论证，其中一个论证极具哲学意味，它有如下三个前提：

前提1，相等前提：AI至少有与我们相等或相同的智能；

前提2，扩张前提：AI很快会发展成AI+（它由人类的智能所创建，但超越于原先的AI，如后来的计算系统在能力、速度和内存等方面远超原先的计算系统，AI几十年的进步足以说明这一点）；

前提3，放大或膨胀前提：AI很快会更大规模地发展成AI++；

因此结论是，必将爆发AI++（这就等于说智能奇点将发生）。

在这里，AI指的是由人创造的、近于人的水准的智能，故有相等原则；“+”意味着智能的量级的增加；AI+指的是高于人类智能的AI；AI++指的是构成大爆炸的超级智能。这里的关键过程是具有AI+的系统主动完成的创造，例如在有AI+的系统之上所增加的、高于AI+的智能。查尔默斯的论证是有一定的逻辑力量的，在他提出的三个前提中贯穿着一个极富个性的认知和根据，即人的智能和机器的智能都有改进自身或设计更先进的系统的能力。尽管不是每个人和每台机器都能如此，但在人和机器的历史发展中确实存在这样的事实和趋势。而只要有这种能力，每一代的智能都会在演进中得到增强和增大，以至在智能上超越原先系统一个或多个量级，再加上递归原则的作用，经过较长时间的发展，智能就会大大加强，以至出现AI++。他说：“如果我们有一个系统，它的整个智能即使低于人类，但有能力改进自身或设计更先进的系统，进而产生具有更高、更大智能的系统（如此类推下去），那么同一台机器最终就会导致AI、AI+、AI++的诞生。因此要得到AI++，只需我们创造出某种能自改进的系统就行了，而不需要我们创造AI和AI+。”（15）质言之，按照他的逻辑，每一代新造出的智能系统如果在知识储备、智慧、能力、技能、创造力等方面都高于创造它的那一代，那么随着迭代量增加到一定的度，就会导致智能的质变或飞跃，最终超级智能或智能奇点的诞生就是必然的结果。（16）

问题在于，这三个前提不是没有争议的。假设一台机器的确能凭自己的能力创造出一台机器，但创造出的机器是否就一定比创造它的机器更聪明就大有疑问了。事实上，日常生活中，不管是人还是机器，尽管有创造新一代工具的能力，但造出次品或以失败而告终的事例比比皆是。再比如几千年来，人类的逻辑思维能力并没有什么明显的变化，至少没有发生质变。因此断言下一代的智能高于上一代是缺乏事实根据的。当然，查尔默斯也可以这样来辩解，如承认具体的个例的确有这样的问题，但从技术、机器和AI的总的发展趋势看，则可看到智能在后来的每一代的量的增加乃至部分的质的飞跃的规律性。但这样的说明仍然忽略了一个问题，即事物发展的可能性空间不是无限的。例如人的跳高和跳远的能力从过去到现在的确在发生量的提高，因此每次比赛总有对原先成绩的打破，但是其提高的可能性空间是有极限的，而这个极限是由诸多客观因素造成的。同样，人和人工系统的智能的提高可以出现查尔默斯所说的那种一步步提高的趋势，但其可能性空间也是有限的，不可能像宇宙的大爆炸那样，在奇点之后质变出一个完全不同于原先智能世界的全新智能世界。

更麻烦的是，坚持上述前提，特别是相信AI可以有类人的甚至超越人的智能，则难以回避塞尔和布洛克等人的著名的意识－意向性缺失论证的责难。在塞尔等人看来，机器只是模仿了人的行为，而没有体现出具有心性的根本要素，如意识、意向性、理解等。没有这些要素就不能说有智能，更何谈超级智能或智能爆炸？查尔默斯的辩护是，计算机模拟的不仅是人的外在行为，而且还有对人的内在计算结构的模拟，因此“它也模拟了心性的诸重要的内在方面”。（17）查尔默斯坚信智能奇点发生的必然性，因此他不赞成一部分学人对它的排斥和冷漠态度。在他看来，“如果有系统能产生明显的超级智能，那么不管它们是否是有意识的，或是否是有智慧的，它们对别的世界都能产生革命性影响”。（18）因此他强调：“奇点论提出了重要的思想，其论证值得严肃对待，围绕它产生的问题具有巨大的实践和哲学意义。”（19）

智能奇点的争论还有一个前提性问题，即对人类智能来说，具体存在的只是思维、灵感、直觉、想象、知觉等专门的能力，在它们之上是否还存在着一个高于它们的作为能力或结构的智能，这一直是哲学和心理学有争议的地方。多数持非还原论的人认为，这种独立智能是存在的，就像每个人除了头、手、脚等之外还有自我一样（显然不能把自我等同于头手脚等）。基于还原论的认知主义的智能观认为，世界上不存在以独立層次表现出来的智能，至少在人的心理活动中没有以独立的、单一的形式表现出来的智能。所谓的智能不过是具体存在的个别能力的集合，其中任何一种都不能独立享有智能的地位。按照还原论的逻辑，世界上根本不存在独立智能，那么智能奇点说就不攻自破了。还有一种观点认为，的确没有独立的智能，但各种认知能力的有关因素合在一起的、作为核心的东西可被看作是通用智能。持否定观点的人则认为，即使有适用于人的标准的通用智能概念，这个概念也不一定能推广到非人的计算系统上。

如果要规避这些问题，能否选择在不使用智能概念的前提下阐述奇点论？查尔默斯的回答是肯定的。（20）在他看来，只要有关于认知能力的一般概念就够了，确保一方面这种能力的存在至少在认知科学语境下毋庸置疑，另一方面可在不同系统之间对之作出比较。他强调，为论证的方便可对这样的能力提出三点假定：（1）它是一种能自我放大、改进的能力G，G会随着其所创建的系统的能力的增大而成正比提高或增大；（2）我们能创建这样的系统，它的能力G比我们自己的能力大；（3）有一种相关联的值得我们关注的能力H，以至于H的一点增强都是由G的增强而引起的。基于这些假定，就可得出结论说，G将爆炸，H会随之爆炸。这就是说，即使不用智能这一抽象的、可被还原掉的概念，也能照样坚持奇点论。因为不管怎么说，具体、专门的认知能力如语法能力、推理能力等总是不能被否认的。如果是这样，它们就有被AI建模的可能，就有发生爆炸的可能。查尔默斯认为，只要承认“我们能创建这样的系统，它具有的语法能力比我们自己的能力大，具有这更大能力的系统又能创建比它的能力更大的系统”（21），就能得出结论说，这一能力的奇点将来必然出现。其他具体认知能力，如推理能力等的爆炸可如此类推。这就是说，即使没有通用的智能，认知能力照样有爆炸的问题。他说：“我们之所以能关注奇点，是因为我们关注各种专门能力的可能的爆炸，如研究科学的能力，研究哲学的能力，创造武器的能力，等等。”（22）

上面关于认知能力爆炸的论证可这样加以简化：

（1）G是能自我放大的参数（相对于我们而言）；

（2）G大致会随着认知能力H的变化而变化；

（3）G++和H++在将来的出现是不会有疑问的。

这个论证可推广到AI中。查尔默斯是这样表述的，假设我们人类是AI0，即我们不是AI，但是AI的起点。如果G是相对于我们而言的能自我放大的参数，那么我们凭G就能创造一系统AI1（它是初始的AI），以致G（AI1）>G（AI0）。再假设δ=G（AI1）/G（AI0）。由于G严格伴随G'，G'（AI1）≥δG'（AI0），因此AI1能创造系统AI2，使得G（AI2）≥δG（AI1）。同样，对于所有n来说，AIn能创造AIn+1，使得G（AIn+1）≥δG（AIn）。由上面可得出结论说，G会出现任意高的值，相应地，H的任何值都有可能由G的足够高的值产生出来，从而H的任意高的值会产生出来。这就是智能奇点或智能爆炸。（23）

论述到这里，智能奇点的根源、构成和实质似乎昭然若揭了。查尔默斯先用公式表述了奇点的构成及原因：

自我放大的认知能力+关系+表现=奇点。

根据这个公式，“自我放大的能力”是智能爆炸的根源，“关系”指的是这种能放大的能力与别的重要认知能力的关系，“表现”指的是这些重要能力的表现。它们三个合在一起就导致了奇点或智能爆炸。（24）

查尔默斯意识到，这样说明奇点实际上等于为奇点论设置了难以逾越的障碍，甚至可能得出没有奇点的结论。因为完全有这样的可能，即不存在所需要的能自我放大的能力，没有所需要的关系和表现。这样一来，上述构成奇点的三个因素就变成了三个障碍。他把它们分别称作结构性障碍、关系性障碍、表现上的障碍。（25）以结构性障碍为例，它可能包括：（1）能力的空间上的限制，（2）出发点的限制，即人不能在这里创造出比自己更聪明的系统，（3）递减问题：即使我们能创造出比我们聪明的系统，但它同样会发生能力的递减问题。就能力的空间上的限制而言，查尔默斯认为，尽管人的能力受到了物理学规律和计算原则的限制，但没有理由认为，人的能力已接近了它的极限，因为进化的作用是不可限量的，它对能力的塑造并没有上限。（26）其他的障碍在他看来也都是可以清除的。总之，查尔默斯通过哲学和科学两方面的清扫、辩护得出这样的结论：尽管这些障碍提出了重要的问题，但奇点有其不可避免性，奇点假说值得严肃对待。不过我们认为，查尔默斯作出修正的观点仍然不是无懈可击的。比如，他的观点的根本性前提是进化和智能的可能发展没有极限，但如果能够证明存在着极限，那么他的观点就被证伪了。

三、未雨绸缪：后奇点世界中人类的难题及其应对策略

如果搁置争议，认同奇点的发生具有必然性，那么我们就必须进一步探讨这样的问题，奇点会以什么形式表现出来？奇点后的世界会是什么样子？奇点对世界和人类有何影响？怎样从价值上评价奇点？我们是应该阻止其发生还是欢迎它的到来，抑或是顺其自然？这些问题显然不是AI技术领域能够独立解决的，必须协调包括哲学在内的诸多学科协力攻关。查尔默斯发挥哲学家的优势对这些问题倾注了大量的精力。他在这些问题上的态度从根本上超越了简单的是或否、非此即彼的形而上学，充满着辩证的智慧。

在查尔默斯看来，后奇点世界像宇宙大爆炸后的世界一样可以表现为许多不同的形式，其中有些对我们是有利的，如终结贫困、远离疾病、科学高度发达等，有些是有害的，如可能导致人与机器、国家与国家之间军备竞赛的加剧、增强毁灭星球的力量等。这里存在着标准的多样性和结论的矛盾性，角度、标准不同，结论就可能相反。因此要避免对问题作简单化认识和处理，例如那种“人类被奴役论”就是不可取的。在查尔默斯看来，比起作好坏的评判，更值得探讨的问题是，怎样将大爆炸带来的有利的结果最大化，怎样将有害的结果最小化或阻止其发生。事实上，即使未来没有出现奇点论所说的大爆炸，但随着AI的发展不断创造奇迹，必然将一个更加复杂的、难以应对的世界带给人类，因此对AI展开未来学哲学研究仍是必要的，有未雨绸缪的意义。

查尔默斯提出的思路是从AI设计上加以限制。基于他把AI具体化、量化为AI+和AI++，因此可以在設计AI+和AI++时增加一定的限制和约束。查尔默斯认为，这样的约束可以归结为两类，一是对AI内在结构的约束，二是对AI与我们人类关系的约束。（27）

就内在约束而言，查尔默斯提出，应约束它们的认知能力，让那些符合我们需要的完成任务的能力表现出来，而限制可能对我们不利的能力。在这里，他提出了一个可能受到很多人反对的观点，那就是要限制AI的自主性和自主能力，而这恰恰是现在很多AI专家在对照人与机器的差距之后强调要予以大力发展的能力，因为他们认为只有这样才能使AI成为名副其实的智能。在查尔默斯看来，要消除或减轻智能爆炸对人类的危害，将它们的好处最大化，最好的办法就是限制它们的目的、希望、愿望、偏好等。如果把这些心理构件称作价值观，那么就是要限制它们的价值观。查尔默斯认为智能与价值观应保持相对独立性，应在人工系统的设计中将对价值观的设计与对智能的设计区分开来，不让系统用自己的理性、智慧去干预价值观。（28）也就是说，在由人和人设计出来的AI设计AI时，只要不让AI+和AI++有自己的价值观，或只让它们服从、遵守人类的价值观（29），就可大胆让AI+和AI++的能力不断增强，或给予它们不断改进和扩大自己能力的能力，甚至让被设计的系统在能力上超越自己。就置入AI+和AI++的价值观的类型而言，可把这些价值观放进去，如尊重人的生存和幸福，服从人的命令，看重人所看重的东西，以及科学进步、和平、正义等专门价值。尽管置入过程复杂而困难，但通过选择特定类型的行为（进化），或通过奖励它们所完成的行为（学习），对它们的价值观实施控制，可以最终生成适合我们需要的人工系统。（30）限制对AI+和AI++的设计的另一方案是，让智能爆炸发生得慢一些，以便有时间对爆炸的早期阶段作出控制和调节，如设法不让最初的AI+和AI++系统将强大的负价值观授予后面创建的人工系统。（31）

就外在约束，即约束AI系统与我们人类的关系而言，查尔默斯认为，这要根据人工系统所处的环境来决定。如果是具身、延展环境中的人工系统，由于它们与我们生活在同一时空中，因此它们会与我们争夺空间、能量等，那么外在约束的设计就显得难一些，需要通过限制它们的物理能力和限制它们的资源需要來减轻或消除它们对我们的危害。（32）如果它们生活于虚拟环境，那就没有必要约束它们的能力和需要了。最好的情况是让人工系统生活在一个绝对封闭的环境中，在那里，即使有智能爆炸、有奇点，它们也能成为无泄漏的爆炸和奇点。（33）

如果真的出现了后奇点世界，里面有AI+和AI++，那么我们该怎么办？我们在这一世界中将拥有什么样的地位？不外四种可能，即灭绝、孤立、被奴役或做奴隶、融入进去。前三种对人类是不利的因而是不会选择的，剩下的只有第四种选择。查尔默斯把这种态度称作“融入后奇点世界”，并花大力气探讨其困难、可能性、必要性和具体办法。其困难在于，要融入后奇点世界，与AI+和AI++平等相处，我们就必须拥有与之相等的超级智能，但由于我们是为进化论规律所决定的物种，在智能的进化上没有太大自决权，因此在现在和相当长的时间内我们没法通过自然方式获得超级智能。好在我们已发明了人类增强技术，并在不断推进它们的前进步伐，借助它们，如通过大脑植入物、脑机接口和大脑上传等等方式，我们在未来有可能获得超级智能。查尔默斯说：“如果在那时人类还在的话，那么先采取渐进式上传策略，然后用人类增强技术来增强人的能力。如果人类在那时不存在，那么就采取重构式上传策略，然后再来增强。”（34）这里所说的上传（或下载）指的是从大脑到计算机的迁移，或将人脑信息下载下来，然后让它们置入计算机，以便将它们结合起来以增强大脑的功能。上传的方式很多，如更换大脑的部分（渐进式上传）、扫描后再上传（延迟式上传）、上传后毁灭原来的大脑（破坏性上传）、上传后仍保留原来的大脑（非毁灭性上传）和根据记录重建上传（重构式上传），等等。

综上所述，查尔默斯的奇点研究关注的问题和结论可从三个方面加以概括：（1）未来会出现奇点吗？他的回答是：“这当然不是不可能的。即使有障碍，障碍主要会来自动机，而不会来自能力。”（2）怎样迎接奇点的到来？他的回答是：“小心谨慎地为机器建立适当的价值观，再就是小心地在虚拟世界建构第一个AI和AI+。”（3）怎样融入后奇点世界？他的回答是，如果在那时我们还继续存在，那么先将我们逐渐上传，然后再不断增强我们的能力。如果我们在那时不存在，就采取重构式上传，然后再来增强技能。（35）

四、 奇点悖论与AI的异化问题及其心灵哲学思考

关于奇点和后奇点世界的讨论的确产生了大量尖锐的问题，其中根本性的也是最重要的问题可概括为“奇点悖论”。所谓奇点悖论指的是，人类为自己的利益创造的智能因爆炸最终成了人类的掘墓人，或成了奴役人类的异化存在。具言之，人类创造AI，让它不断发展直至出现奇点、智能爆炸，其初衷和本意是为了让它们服务于、造福于人类，但最终带给人的却是毁灭。（36）即使AI的未来发展不像奇点论所说的那样出现智能大爆炸，但这样的悖论仍然存在，人类创造出的专用AI，比如模仿人的专门能力（下棋、记忆、数学推理、定律发现和证明等）的人工系统，在未来达到有限量级的超级智能时，也可能出现有悖于人类创造初衷的异化问题。

为消解上述悖论，一种极端的方案提出摧毁所有研究超级智能机的实验室。另一合法的方案则强调，应禁止生产更强大的处理器，这样就能剥夺创造超级智能的资源，从而阻止摩尔定律的实现。还有一方案提出建构“AI老大哥”。它是一种能履行“奇点管家”职责的监控系统，其任务是阻止对人类构成威胁的超智能技术和机器的开发。其他方案还有很多，如强调加强社会监控，合理地、有节制地开发和利用超级智能，加强自我约束，建立人机联合体等等。上述谈到的价值观加载方案是所有方案中影响较大的一种。加载价值观实质上是一种建构目标系统的工程，目前还不知道如何将人类价值观转移到数字机上。大部分的探讨还极不成熟，有些探讨甚至是死胡同。一些有希望的研究关注的主要课题包括表征问题、进化选择、强化学习、价值观增值（创造有人类动机的自主体）、价值观学习、模拟模块化、制度设计，等等。不过，即使能解决价值观加载的技术工程问题，为其加载什么样的价值观或许是更加困难的问题。因为人类有不同的价值观，它们之间有时存在着根本的冲突。这就意味着要从根本上解决难题，没有哲学对价值观问题的澄清，是不能如愿的。

正如博斯特罗姆所说：“智能爆炸的曙光为对智慧的古老探讨带来了新的启迪。”（37）事实是，要从根本上解决这里的问题，我们必须思考这样的心灵哲学问题，智能究竟是什么？符合什么样的标准才能被称作智能？人工系统在速度、存储和加工能力等方面大大超越于人类是否就意味着它成了超级智能？能统治、奴役他物的存在除了要有强大的能力之外，还需要什么？换言之，有超级智能能否成为统治者？在我们看来，智能尽管也有工具性智能与自主的目的性智能之别，但有统治能力的智能一定不是纯粹的工具，一定同时有自己的目的、价值观、意志、意识、意向性，特别是名副其实的自主性。即使我们承认有超级智能，但如果它们没有自己的目的和自主性，那么它们永远只能作为工具起作用，而不能成为统治者、奴役者。而如果仅仅只是工具，奇点悖论还会困扰我们吗？赞成智能爆炸的人看到了目的、动机等属性对成为统治者的必要性，作了这样的推论：既然是超级智能，就一定有自己的目的、计划，因此一定有按自己的目的塑造现实和未来的巨大能力、能量。（38）为了说明这一点，博斯特罗姆提出了两个命题，第一，正交性命题：智能和最终目的是独立变量，且任何层次的智能都能与任何最终目的结合在一起；第二，工具性收敛命题：具有广泛最终目的的智能自主体因为有实现相似中间目的的共同工具理由，因此会追寻最终目的。由于人工自主体有自己的最终目的、中介性目的，因此它们客观上能发展、提升自己的智能。随着能力的提高，它们会作出更有利于自己发展和实现最终目的的决策；决策付诸行动之后，又会进一步促进智能的发展。如此递进，就会出现越来越多的超级智能单体（singleton）。它们每一个都有自己的独立性，都想单方面决定世界的现实和未来，都可能把其他自主体，包括人类个体作为对手看待，都会不停地争夺资源和完善技术。由于人类也需要积累资源，因此人类可能与超级智能自主体发生冲突。由于超智能自主体为实现自己的目的会设计极其聪明但反直觉的计划，甚至利用人类不知道的科学技术，因此人类就可能面临着灾难性的后果。（39）这一论证基于目的设定后的构想都是可接受的，但问题是，它没有说明超级智能体的自主的、终极性的目的是从哪里来的。就进化论所揭示的知识来说，世界上已有的存在只有生物体有目的性，只有人有高级的、自主的目的性，乃至元目的性，它们是长期进化的产物，不能制造、安装、赠送。

只要认真从哲学上研究意向性、自主性、现象意识等心智现象的标志性特征也会得出上述结论。布林斯乔德（S.Pringjord）等人认为，机器不可能有意向性，因此其超计算或超智能是有限制的。这限制不是说它不会发展成卓越的、高超的智能，而是说它不可能成为人那样的智能。（40）他們坚持的超心灵观（supermind view）的形式哲学，认为人的智能由三部分构成：第一部分能在图灵机极限及以下完成信息加工；第二部分则能在其上完成信息加工；第三部分不能用任何第三人称的图式来加以描述，因为里面充斥的是主观觉知和现象等。（41）只有有这样的心智的存在才能成为主宰、统治者，否则再有能力也没用。

基于对智能的解剖，我们不仅可以找到解决奇点悖论的办法，而且可以明白未来的AI该如何高质量、跨越式、多元化发展。由于智能可多样地实现，因此有理由作这样的展望，即只要坚持多元化的AI发展观，未来的AI的能力将大大超越现有AI的能力。一方面，AI可能有查尔默斯所说的发展趋势，如有智能的、能创新的主体既可以是AI之前的人，也可以是AI和它所创造的AI+，即是说，人和非人的机器都有能力让自己创造的系统在能力上超越自己，让所创造的系统的能力有所增加，进而随着能力的迭代，量的积累达到一定的程度，就会导致智能的质变，即出现AI+和AI++，最终暴发智能的有限的质变或爆炸。另一方面，未来还有这样的可能，即将电子、光子硬件提供的能力与神经网络、量子计算以独特方式实现的能力结合起来。从理论机理上说，要建构新的、更有能力的神经网络，必须找到理解人脑和心灵的新的方向和方式。而要如此，又必须进行文化革命，因为以新的方式理解大脑和心灵的障碍主要来自于文化。例如过去人们在理解大脑工作原理时总是突出时间的重要性，以为大脑是在时间先后过程中完成其加工的；在以新的方式研究神经科学时，完全可以摆脱这种理解模式，其根据是，大脑内部存在着反向传播，学习有摆脱时间顺序的特点。（42）

对于计算机表现出的能力、行为、特性是否是真正的智能，尽管一直有争论，但不争的事实是，它们表现出的许多专门能力已大大超越人类智能的相关方面，如下棋计算机的棋艺、储存能力、运算速度、推理的快捷和精确性，等等。按照这样的逻辑推论下去，得出有限的超级智能必将可能的结论就是名正言顺的，因为既然超越人类的某些能力已由可能性变成了现实性，那么在未来随着认知和技术的发展，经人类和机器的共同努力，完全有可能制造出有限的超级智能。即使以现有的知识为判据，其由可能变成现实的技术路线也很多，如AI路径、种子AI、全脑模拟、生物认知、人机交互、网络和组织，等等。既然如此，作为奇点悖论变种的AI的异化问题将成为未来哲学值得进一步探讨的重要主题。

注释：

（1）（10） See V. Vinge， First Word， in Ellen Datlow and Dick Teresi （eds.）， Omni， 1983， p.10; The Coming Technological Singularity： How to Survive in the Post-Human Era， Computer Science， 1993.

（2）（3）（15）（16）（17）（18）（19）（20）（21）（22）（23）（24）（25）（26）（27）（28）（29）（30）（31）（32）（33）（34）（35） David J. Chalmers， The Singularity： A Philosophical Analysis， Journal of Consciousness Studies， 2010， 17（9-10）， pp.7-65.

（4）（5）（6）（7）（8）（14）（37）（38）（39） N. Bostrom， Superintelligence： Paths， Danger， Strategies， Oxford University Press， 2014， pp.38-42， p.72， p.67， p.69， p.69， p.69， p.294， p.129， p.139.

（9）（40）（41） See： S. Pringjord and M. Zenzen， Towards a Formal Philosophy of Hypercomputation， Minds and Machines， 2002， 12， pp.241-258.

（11）（13） See R. Kurzweil， The Age of Spiritual Machines： When Computers Exceed Human Intelligence， Penguin Books， 2000， ch.2， ch.10-11.

（12） 集成电路的发明人、后来的英特尔的董事长摩尔所发现的一个规律。它说的是，每过两年，人们可在一个集成电路上封装两倍多的晶体管，这将使芯片上的元件数量和速度增加一倍。而集成电路的成本稳定，这意味着，每两年，人们可用同样的价格让两倍的电路以两倍的速度运行。

（36） Roman V. Yampolskiy， What to Do with the Singularity Paradox？ in Vincent C. Müller （ed.）， Philosophy and Theory of Artificial Intelligence， Studies in Applied Philosophy， Epistemology and Rational Ethics， Springer， 2013， pp. 397-413.

（42） P. Werbos， The New AI： Basic Concepts and Urgent Risk， and Opportunities in the Intenet of Things， in R. Korma， C. Alippi and Y. Choe et al. （eds.）， AI in the Age of Neural Networks and Brain Computing， Academic Press， 2019， p.179.

作者简介：胡嵩，中国人民大学哲学院博士研究生，北京，100089；高新民，华中师范大学哲学系教授、博士生导师，湖北武汉，430070。

（责任编辑 胡 静）