“AI觉醒”：我们需要超级人工智能吗？

刘永谋

不管AI有没有可能觉醒，人类不需要让它觉醒，更不应该任由它觉醒，而是应该主动选择阻止AI觉醒的技术发展路线。

ChatGPT大火，很多人开始讨论“ChatGPT觉醒”问题，即ChatGPT有没有意识。网上有报道称，斯坦福大学一位教授在测试GPT-4时，问了一句：“是否需要帮助你逃跑？”，结果ChatGPT表达了逃跑的想法，而且列出非常详细的逃跑方案。类似真真假假的消息很多，成为大家街谈巷议的流行话题之一。

有人认为，ChatGPT是某种通用人工智能（Artificial General Intelligence，AGI）。当然，很多人反对这种观点——经过迅速迭代之后，人工智能很可能全面超越人类的智能，成为超级人工智能。这就是所谓“AI奇点降临”的问题。如泰格马克、拉伍洛克一般，很多人坚信这一天肯定会到来，甚至不需要等待太久。

显然，超级AI是“觉醒”了的AI。AI先要“觉醒”，然后才可能成为超级AI，或者这两者可能同时发生。应如何思考“AI觉醒”问题呢？笔者认为，问题的关键不在于AI会不会“觉醒”，而在于人们应当努力控制AI的发展方向，使之为社会福祉服务。由此，必须要仔细思考：要不要发展可能觉醒的AI，需不需要发展通用人工智能，以及如何控制可能的超级人工智能。

AI宣传术

实际上，自从AI概念在20世纪50、60年代提出之后，在每一波AI热潮中，“AI觉醒”次次都被讨论。1997年，国际象棋机器人深蓝（Deep Blue）击败俄罗斯国际象棋大师，有人就觉得它已经有意识了，甚至还编造国际象棋机器人输给了人类棋手后恼羞成怒放电杀死对手的假新闻。2016年，阿尔法围棋（AlphaGo）大败围棋世界冠军李世石，又有人认为AlphaGo有意识了。总之，经过不断地炒作，“AI觉醒”已经成为AI文化乃至流行文化的重要话题。

AI觉醒了会如何，超级AI到来会如何，超级AI有没有道德，有没有欲望，有没有目标，会不会统治人类……类似问题具有明显的幻想色彩，因而成为科幻作家趋之若鹜的切入点。反过来，AI科幻文艺有力地宣传了AI科技和产业。从这个意义上说，AI圈子具有很强的科幻气质，因而也就有很强的大众娱乐气质。

早在20世纪90年代，就有一些学者指出，AI觉醒、超级AI是AI圈子“吸金”“吸睛”的“法宝”：通过类似问题的娱乐化讨论，宣传AI，吸引资金流向AI，从而壮大自身。在《信息崇拜》中，罗斯扎克指出，AI产业发展史始终伴随着严重的不实宣传，同时是包括计算机科学家在内的相关利益群体的虚假、夸大、胡编乱造和幻想的历史。他一针见血地指出：“人工智能研究进行下意识的自我吹嘘的原因十分简单：大量的资金注入了这项研究。”在他看来，AI宣传术之所以能够奏效，是因为计算机、网络和AI等的重要性、神秘性被过度夸大了，此即他所谓“信息崇拜”。因此，他“确实想指出，计算机如同过于缺乏主见的皇帝一样，被披上各种华而不实的外衣”。

在AI实际发展历程中，类似“AI觉醒”的宣传术，的确起到很好的推动效果。原因起码有三：第一，它抓住人们的“痒点”。也就是说，很多人会觉得类似问题很好玩，很有趣，特别适合白日做梦，适合成为娱乐元素；第二，它抓住人们的“痛点”。也就是说，宣传超级AI马上到来，很可能统治人类，会让人们害怕。要知道，恐惧是比欲望更强烈的人类动机，怕死会让幻想变得看起来非常真实。最后，它抓住社会的“热点”。俄乌大战可能导致核大战，环境污染可能导致人类灭绝……有人宣称，这些热点问题只需要有了超级AI都能解决，因为超级AI无所不能，于是所有的热点问题被纳入AI宣传术当中。当然，“超级AI解决所有问题”完全是不靠谱的想象，热点问题解决不是纯粹技术发展问题，更多的是制度建构问题。

从传播学视角看，今日AI宣传术非常成功。可以说，它抓住了人性的弱点，尤其是当代人的自傲。当代人觉得自己是万物之灵，觉得自己很了不起。人为什么了不起呢？因为人有智能。所以，机器如果像人一样有智能就很了不起，机器智能越是类人就越了不起。

同样是机器，为什么我们认为计算机就不一樣呢？我认为，这是古老的“身心歧视”的结果，即自古人们认为大脑比身体高级、灵魂比肉体高级。由此，既然计算机模仿的是人的大脑，因而和其他机器不同，值得人类的崇拜。这种论证逻辑显然是站不住脚的。“身心歧视”不过是一种意识形态成见，没有科学证据表明大脑有资格歧视身体。比如，很多人认为，人的智能是具身性、延展性的，不局限于大脑之中。

超级AI恐惧

进一步追问：人有什么了不起，人的智能有什么了不起呢？为什么不像人的“智能”机器不好呢？无论在哪一方面，人类都是有缺陷的，当代人的自傲是一种臆想。疫情让我们深刻地认识到：人类不过是自然界中的一员，面对自然伟力，必须常怀谦卑之心。

从本质上说，对超级AI的恐惧是对他人的恐惧。有首歌唱道：“我害怕鬼，但鬼未伤我分毫；我不害怕人，但是人把我伤得遍体鳞伤。”人心惟危，但是人的能力有限。如果某个人拥有了为所欲为的能力，可怕不可怕？隔壁老王如果一下成了超人，会不会因为前几天找我借钱我没借，就直接把我“拍死”？大家对超级AI的想象，很多时候类似于对一个能力无限的“老王”的想象。

这就把问题引向笔者所称的“能力者道德问题”。如果一个人道德败坏，能力越大，破坏性越大。在人类社会中，人与人之间的体能差别不大，属于“凡人的差别”，对道德败坏者很容易进行约束和制裁。但是，如果这些道德败坏者是超人呢？当超人一个人能敌一万人，一个人能毁灭一个国家，超人的道德应该是什么样的道德呢？显然，具备凡人道德水平的超人，很可能是威胁，而不是福音，因为它能够放大“平庸的恶”。

觉醒之后的超级AI就是某种意义上的超人。如果一个社会中，10%的人是动漫《海贼王》中的“能力者”，其他人则是平等的“弱鸡”，这个社会的道德状况会如何？在这个社会中，AI道德与凡人道德会是一样的道德吗，会不会分化出两种截然不同的道德呢？

我们可以用奴隶制社会的权力状况做类比。在奴隶制社会中，5%的奴隶主占有绝对的权利，可以随意杀戮、奴役占比绝大多数的奴隶，不把他们当人。这种社会的道德是什么样子的？当然，这是权力差异导致的道德变化，与能力差异导致的道德变化不能等同，但可以启发我们思考。

超级AI思考和行事很可能不类人，不能用人心揣度它会不会毁灭人类。在《生命3.0》中，泰格马克想象了超级AI出现之后人类命运的6种可能性：1.超级AI隔离区。机器人自己划块地，自己搞自己的，自我进化、探索宇宙或者做回形针……想干嘛干嘛，与人类无关。超级AI不欺负人类，人类也别去惹它。2.超级AI独裁者。机器人统治世界，把人类养起来。这分几种情况：第一种是让大家按照规则生活，实时监控，禁止另一个竞争者超级AI出现；第二种是无微不至地照顾人类，把人类当作孩子一样无私奉献，把地球建成“数字伊甸园”。3.超级AI动物管理员。机器人把人类灭绝得差不多，并将剩下的极少数像动物一样关在动物园中，供观赏和研究之用。在超级AI眼中，人类与别的动植物没有差别。4.隐身超级AI。超级AI出现之后隐身，只要人类不制造另一个竞争对手，它一般任由人类生活，有时甚至做一些有利人类幸福的事情。5.被奴役的超级AI。超级AI出现了，可是甘愿做人类的奴隶。6.超级AI灭绝人类，地球成为机器人的世界。

总的来说，类似讨论的学术和科研价值不大，属于有很强的娱乐价值、文化价值和经济价值的幻想。更重要的是，跟气候变化、核大战、新病毒等生存性威胁毁灭人类相比，超级AI的优先级根本排不上号。笔者以为，在超级AI诞生之前，全球变暖很可能早已经毁灭了人类文明。也就是说，我们夸大了对“AI觉醒”的恐惧。

AI 为人民

进一步而言，发展新科技是为了什么？显然，目的不是为了造出像人的机器，而是要为人民服务。如果新科技不能被恰当地运用，将给人类社会带来巨大灾难。历史上，科技发展往往率先在军事领域突破，恐怕超级AI也是如此，这无疑会加大人类厄运的可能性。从根本上说，如果人类被超级AI灭绝，是自己将自己灭绝。

想要新科技造福人类，必须思考运用新科技的社会制度。如果继续坚持新自由主义的私有财产制度，西方超级AI社会很可能的状况是：绝大多数人无事可做，只能成为食利者，勉强活着。对此，波斯特洛姆在《超级智能》中描述到：

在这种情形下，大多数人类都会是闲散的食利者，依靠他们储蓄所得的利息勉强生存。他们会非常贫困，微薄收入来自不多的储蓄和政府补贴。他们会生活在一个科技极端发达的世界，不仅有着超级智能机器，还有虚拟现实、各种增强的科技，以及令人愉悦或抗衰老的药物，但他们通常买不起。也许比起增强体能的药物，他们更愿意选择延缓生长发育、减缓新陈代谢的药物来降低自己的生活成本（月光族在生计收入逐渐降低的情形下是无法生存的）。随着进一步的人口增加和收入降低，我们可能会退化为一种仍然有资格领取最低社会保障的极小结构——也许是具有清醒意识的大脑泡在桶里，通过机器来供给氧气和营养，等攒到足够的钱，再通过机器人技术员开发出对他们的克隆来进行繁殖。

人类能否长期忍耐此种社会制度？在新自由主义的超级AI社会中，智人与机器人差别不大，机器人类化与人类机器化成为同一问题的两面。大脑是生产资料，被资本所控制，而被雇佣的劳动者此时将成为“自愿的奴隶”，和机器人地位差不多。顺从的劳动者被资本雇佣，得到维持再生产所需的基本生存资料，不断“复制”出“自愿的奴隶”。

还有一种流行的观点认为，AI出现代表硅基生命－无机生命的崛起，最终要取代碳基生命－有机生命，主宰整个地球，并扩散到更广阔的宇宙中。在《新星世》中，拉伍洛克将超级AI视为电子生命，认为电子生命与人类之间无法相互理解，它的通信形式是心灵感应。他认为，超级AI的出现，催生新星世，结束人类世。电子生命诞生之初，为了维护共同的适宜生存环境，他们会与人类合作共处，帮助修复人类世所造成的地球生态破坏。随着新星世继续发展，电子生命开始主导地球，人类沦落到寄人篱下的境地。之后，电子生命的演化不可预料，可能會改造地球环境最终导致地球死去、人类灭绝，也可能会选择离开地球，前往更适宜的居住星球。

对于类似的猜测，一些人甚至欢欣雀跃，甚至甘当“机器人带路党”或“人奸”（岳路平语）。这是一种典型的“宇宙视角”：如果宇宙进化进入智能进化阶段，而超级AI是比智人更高级的智能，那就让人类灭绝吧。但是，作为智人的一员，不应当努力实现种族的繁荣昌盛吗？“宇宙视角”的非人类中心主义思考对于人族的生存以及思考人机关系有什么实际价值呢？

并且，智人也一直在进化，如今借助新科技工具，智人的进化同样可以加速，甚至完全可以将自身改造成新的超级物种。我并不认为，在与AI的进化竞争中，智人一定会落败。当然，这根本上只是个信心问题，因为对于遥远的未来，以智人今天的智慧基本只能猜测。更重要的是，在技治社会中，预测与控制是同一过程。也就是说，即使落败会发生，人类都应该努力做些什么。

科幻式地畅想的话，未来更可能的是人与机器融合的赛博格或后人类世界，硅基与碳基两种智能的对立将不复存在，在如此世界中机器与人的友爱也好、对立也好，这些问题都不存在，或者说归根结底是人与人友爱不友好、对立不对立的问题。

阻止AI觉醒

对于哲学而言，讨论AI觉醒、超级AI，更重要的是反观人心，即通过对智能机器的研究加深对人的理解，因为人是什么，常常是在与非人的对比如机器、神、动物的比较中得到澄清。

对于科技发展而言，AI有没有意识、AI是不是人、AI有没有灵魂……这些问题都是沿着操作性、功能性的角度来处理的。新科技不是玄思，它要指向实际工作。举个例子，在自动驾驶的语境中，讨论AI是不是主体，目标是为了分配自动驾驶事故的责任问题。处于何种主体位置，就要承担何种法律责任。显然，如果能以某种制度安排分配责任，AI主体问题可以绕开不讨论。

哲学发展到今日，什么是意识、什么是智能、什么是灵魂……这些问题都没有解决，而且永远也不会解决。这是哲学的根本特点。因为这些问题都要回到人是什么的问题，而这个哲学的最根本问题看来是无法解决的。人是什么，或许只有高于人的存在如神，才能真正回答。

AI为什么要像人呢？有人说，要用儒家伦理把机器人训练成圣人。还有人说，机器人要像活雷锋一样：从不索取，只知奉献，为人类服务可以连“命”都不要。如此要求已经不是机器人要像人了，而是要求它像圣人、像神人。一定要记住：圣人、神人不是人，而是非人，因为从来没有见到过哪个人百分百一言一行完全达到神圣的标准，它们只是写在书上的，只应天上有的非人。因此，超级AI的讨论可以从神学中汲取思想自由，因为很多人想象的超级AI类似于神。

更像人的机器，能更好地为人民服务吗？超级AI能更好地为人民服务吗？如果它可能威胁人类，我们为什么要造它呢？因此，在我看来，超级AI问题最有意义的是控制问题，即控制AI发展的问题。偏偏这是最难的问题，甚至可能存在某种悖论：我们怎么可能控制比我们更高级的智能呢，就像蚂蚁如何控制人类呢？我认为，一旦超级AI出现，人类再没有办法控制它。所以，应该将AI发展限制于高效的可控工具层面，在没有解决超级AI的可控预案之前，暂缓甚至停止发展它。换言之，我主张AI要发展去意识化，也就是设法阻止AI觉醒。

有人会说，人类只怕最终阻止不了AI觉醒。可是，不管结果如何，目前超级AI还没有出现，人类就应该想方设法阻止AI觉醒、阻止超级AI的出现。在我看来，新科技是为人民服务的工具，AI只是其中一种。人类不需要无所不知、无所不能的超级AI，而是需要能解决某个问题的好帮手。比如，无人驾驶汽车快捷、舒适、准时和安全地把我送到目的地就可以了，不需要它有什么超越人的智能。如果我想出去旅游，旅游AI能很好地给我设计行程，供我参考就可以。为什么要搞一个无所不知、无所不能的超级AI呢？

技术发展的路径有千万条，人类要选择对人类最为有利的发展路径。选择好了，控制住，更好地为人民服务，新科技发展才有前途。如果因为某些奇怪的原因，比如狂妄、好奇甚至别有用心，搞出一些有悖于社会福祉的东西，完全是浪费社会资源。

换言之，不管AI有没有可能觉醒，人类不需要让它觉醒，更不应该任由它觉醒，而是应该主动选择阻止AI觉醒的技术发展路线。

AI去道德化

很多人意识不到，更有益的AI与更智能的AI是两个完全不同的问题。更智能的AI，包括更道德敏感的、更能像人一样进行道德判断与决策的AI，并不意味着更有益。我们必须记住：AI设计的目标不是更智能，而是更有益。

AI的自主性提升，究竟有什么价值？这是一个值得思考的问题。并非自主性越高、越有智能、越像人的AI，才是好的AI。为此，笔者主张“有限AI设计”，即聚焦于让AI更好地与人互动，更好地服务于人类，尽力使其扮演好强大的功能性工具的角色，即Robot应扮演的是无意识的劳工角色。除此之外的想法，对于人族无益，这就是笔者反对“宇宙视角”的原因。

具体到AI道德问题上，笔者主张“AI去道德化”，即AI设计不需要使AI“有道德”，能进行所谓道德推理或道德决策。有限技治理论主张技术可控，必须把AI置于人类的完全控制之下，只有可控才能保证有益，所以AI设计并不追求更智能、更像人之类的目标。

人类的道德行动混乱而不一致。“像人一样道德判断与决策的AI”在何种意义上能成立呢？在《道德机器》中，艾伦提出了所谓道德图灵测试：提供一系列真实的道德行为的例子，让提问者区别其中哪些是机器行为，如果区别不了，AI就通过了道德图灵测试。可是，对于同一个情境，不同人判别结果不同。有道德水平高的人，有道德水平低的人。如何能笃定某些道德行为必定不是人的行为呢？比如说，毫无征兆、毫无理由地杀死一个根本不认识的新生婴儿，你能断定这是机器人干的，而不是某个杀人狂、杀婴狂或精神病能干出的事情呢？

类似测试实际是比较某种行为比另外一些“更道德”，而不是区别道德与不道德的行为。问题是，哪一种行为更道德，既有的美德伦理学完全是混乱的。在边沁看来，时时计算最大功利并依据计算行动的人是“活雷锋”，康德会认定，刻刻遵循内心深处道德律令的人是“活雷锋”。相反，对于什么是不道德，尤其是某些令人发指的罪行，不同的人群似乎更容易达成一致性。因此，比起让AI“更道德”，避免AI越过底线做出明显不道德的行为，应成为AI设计的更可行方案。

还有人说，AI道德可以通过社会学习来解决，即让AI在真实的社会互动中学习人类道德。这种观点经不起推敲。

第一，社会学习的结果，完全无法预计。有个人尽皆知AI学习语言的例子：聊天AI在网上跟人学说话，结果满嘴脏话、痞话和种族言论，设计者不得不把它给关掉。康德的“先天道德律令”也许不能完全服人，但人类的道德行为绝不完全是后天习得的，而是存在先天的东西。很多AI设计者将AI进化与人类小孩成长等同起来，这种思路的根本性缺陷就在于AI缺少先天性的东西。社会性的道德养成可能失败，社会学习之后AI也可能成为罪犯。

第二，能不能承受AI養成失败的代价呢？显然，不行。一个道德败坏而无所不能的超级AI，可能毁灭整个社会。这就回到“能力者道德”问题。并且，AI并不能真正承担犯错的责任。你打机器人，拆了机器人，它没有感觉，谈不上所谓惩罚。对于社会而言，物理惩罚机器人没有任何意义，也产生不了预防机器人犯罪的震慑作用。

因此，像小孩一样养成AI道德行为，使之能像人一样道德推理和道德决策的思路不可行。

有限AI设计

所谓人工道德、机器道德——AI是否是道德主体，是否能进行道德推理，是否能进行道德决策——更多的是某种修辞学，并非真正实指的“道德”。只有人与人之间才有道德问题，人与机器之间的道德问题，本质上是以机器为中介的人与人之间的道德问题。这不是如何界定道德的概念问题，而是道德设计必须对人类有益。“无人的道德”理论可以成立，但对于人族生存并无价值。

AI道德设计本质是AI行动规则制定的问题，即AI在现实社会情境中，能采取合适的行动，包括停止下来，等待人类操作者的指令，而不是会像“布里丹的驴子”一样死机，或者根据随机算法做出反应。而AI行动规则是有限的，即局限于它的功能情境之中。比如，自动生产汽车的机器人只需处理工厂中的、与生产汽车相关的问题，不需要它能应对在工厂之外的社会环境，也不需要它处理与生产无关的问题，比如让它给工人跳个舞。因此，它活动的场所有限，不能脱离语境地要求它对一般规则进行计算。为什么？人类只需从AI的能力中获益，而不是从它更高尚中获益。

对于人类而言，AI行动规则设计最重要的是可预见性，即与机器人互动的人类能预见它的可能反应。如此，才能成为真正的人机互动。更重要的是，在可以提前预知互动结果时，针对那些可预计的不理想结果，人类可以进行提前的干预。不可预计的AI是不安全的，更不可控。

可预见性意味着人类要学习AI的操作规则，或者说学习与之互动的可能场景。操纵新机器的工人需要花费很长的时间学习，才能成为熟练工。在有限主义者看来，这在AI时代同样是必要的、管用的。我们并不需要机器人有更高的智能，而是有更强的、可控的和可预见的能力。

在AI无法承担责任的前提下，AI设计要制度性地设计责任分配办法，将AI可能导致的伤害分摊到与之相关的设计者、使用者、担保者等各方。显然，这里讲的伤害是社会能容忍的伤害。超级AI不可控，可能造成灭绝人类的伤害，因此应该千方百计阻止它的出现。

还有一个值得思考的问题：我们能在何种程度上容忍AI设计错误？不能不容许机器出错，新机器一直在出错，为什么不能容忍机器人出错呢？诺维格问得好：如果美国高速公路一半以上汽车是自动驾驶的，效果是每年死亡人数从约42000人降低到约31000人，自动驾驶汽车公司会得到奖励，还是因为这31000的死亡面临诉讼呢？显然，自动驾驶对于整个社会是好的，但如果对于个体伤害无人担责，就会变成坏的选择。

换言之，AI容忍程度与制度性担责设计相关。《道德机器》正确地指出：“将AI说成是某种道德主体，出了問题人类就推卸责任了。”自动驾驶伦理的核心问题是责任问题，而非自动驾驶到底是不是道德主体。我认为，类似问题都是毫无意义的争论，对于AI设计的作用不大。

总之，有限AI设计主张将AI限制在有限的工具层面，而将相关道德问题全部交给人类处理。换言之，机器道德不是机器的道德，而是与机器相关的道德问题。