人工智能电影中的“背叛转折”问题

韦施伊

摘  要：“背叛转折”在科幻电影中作为情节反转、剧情高潮的关键扣环出现，但在关注其故事性作用之外，这一转折所表征的面对人工智能时的伦理困境、所意蕴的情感维度、所激发的理论灵感，在电影的“运动-影像”中，也从荧幕虚构作用至日常现实。人工智能电影在此既是一个人类中心主义批判自镜的思想命题，又被体验为一种情感综合与伦理实践。

关键词：人工智能;科幻电影;背叛转折;拟人;情感;后人类

随着1896年1月“火车进站”带给人们的震撼感受，电影的诞生、发展也与震惊、技术不可分割。本雅明借对建筑史的评论给予了我们重新感受电影艺术的方式，他认为人们感受建筑的方式有两种，一为可用（居），一为可观。影片的震惊效果正是“可用”以散心（区别于专心）、消遣的方式，在电影这一场所中完成艺术感受模式的转变①。如今的电影与技术的结合更为紧密，无论是电影本身的拍摄、制作、放映、流通等技术的更新，还是电影主题、内容的变化，在不断震惊我们的同时，或许还产生了一些别的作用力。科幻电影尤其在此意义上成为了许多人工智能思想的实验场所。当我们谈科幻电影，特别是人工智能电影时，在影像、情节、场景的震颤之余，我们或许也应该思考，人工智能电影如何在我们的生活现实与影像经验之间达成弥合、如何为我们激发伦理难题与哲学情境、如何产生变化与不断生成事件，这些都在于我们对人工智能电影关注方式的转变，从它在说什么故事，到它起作用的方式。

一、何为“背叛转折”

在对人工智能的研发和构想中，常将其发展阶段分为AI、AGI（Artificial General Intelligence，通用人工智能，其智能无限接近于人类智能）、ASI（Artificial Super Intelligence，超级人工智能，其智能水平超越人类整体智能）。而“强/弱人工智能”则是另外一种区分，在塞尔看来，强人工智能的观点将计算机本身视为一个心灵，而不仅是研究心灵的一种工具，而弱人工智能则是对心智活动进行抽象模拟。与前一种将人工智能的智力水平与人类智能的比较作为标准相比，后一种区分的标准更像是一种心灵的“真假之分”。但无论是哪一种设想，这当中都有一个关键的节点——“奇点”。弗诺·文奇把奇点比作黑洞周围轨道上的一点，一旦越过此轨道的距离，光线就无法逃离黑洞，如同人们看不到奇点之外将会发生什么，以此为“事界（eventhorizon）”②。

波斯特洛姆（Bostrom）认为，奇点的滥觞与普及，往往环绕着一种技术乌托邦的氛围，仿佛过于乐观，因此他使用“智能爆炸（intelligenceexplo-

sion）”这一和奇点内涵近似的词，来强调那重重隐忧与焦虑的一面。1965年古德（Irving John Good）在他的论文《对第一台超级智能机器的一些推测（Speculations Concerning the first Ultraintelligent Machine）》中首次提出该词：

让我们将超级智能机器定义为一台在一切智能活动上都远超人类——不管人有多聪明——的机器。由于涉及机器属于这类智能活动的范围，那么一台超级智能机器当然能够设计出更出色的机器;那么毫无疑问会出现一场“智能爆炸”，把人的智力远远抛在身后。因此，第一台超级智能机器也就成为人类最后的发明了……③

波斯特洛姆在古德关于智能爆炸的技术定义之外，提示了其社会性向度，他将当人工智能脱离人类控制进入智能异化状态的这一转变，称为“背叛转折（treacherous turn）”：

当人工智能本来愚蠢时，变聪明是更安全的;但是当它本来就聪明时，变得更聪明则是更危险的。就像有一个轴心点，到这个点上，原来很有效的策略会突然产生相反的结果。……当人工智能较弱时，它会表现得非常合作（当它变得更加聪明时，会更加合作）。当人工智能变得足够强大时，它会在不给出预警也不做出挑衅的情况下，进行逆袭，建立单一体，并开始按照其最终价值观直接对世界进行改造。④

面对强大的信息处理系统或智能系统，我们需要意识到，它们既不本来是好的，也不是直接可依赖的。他通过沙盒测试（观察一个超级人工智能在被控制的、受限的“沙盒”中的行为来验证其安全性，惟当确认其行为是友好的、合作的、负责任的之后，才能将其从沙盒中放出来）分析了背叛转折的两种模式，其一，是人工智能出于战略决策，它需要在较弱时表现得友好，以增强实力，日后逆袭;其二，则是人工智能在完成目标任务时，发现了另外的方法，其行动导致了意料之外的背叛转折，比方说，最初设定的最终目标为“让人类减少负面情绪”，而预设的方式是陪伴、鼓励，但人工智能发现，在人类脑部植入电极刺激能够更有效地完成该目标，此时，背叛转折便发生了。对背叛转折的忧心让人类一直在人工智能的问题上抱持着谨慎态度，比如“友好AI”的设计、机器人三定律的约束等等，就可见一斑。

虽然人工智能的实际研发经历了1970年代和1980年代两次寒冬，人们的期待与失落也随之起伏，但人工智能的形象在文学艺术中却不断丰富和更新——无论是《2001：太空漫游（2001： A Space Odyssey，1986）》里杀害宇航员的叛变机器人，或是在《Her（2013）》中共享情感的无实体程序“萨曼莎”，还是《机械姬（Ex Machina，2014）》里完成圖灵测试的全拟人形态的“艾娃”——人工智能电影的“背叛转折”似乎都占据着极为重要的位置，它作为剧情的情节反转，将故事推至高潮，增加戏剧冲突，获得出其不意的效果，但本文既然是要探讨人工智能电影的作用方式，就需要我们不单只把背叛转折这一关键扣环当成是故事内容的一部分，而要关注它所表征的我们面对人工智能时遭遇到的伦理困境，所提供的后人类时代无尽的情感想象和理论灵感。在重重影像与话语的编织中、在“运动-影像”的绵延里，电影成为了我们的新现实。

二、“背叛转折”的拟人困境

巴迪欧认为，希区柯克的电影“最耐人寻味的元素，就是无辜者比凶手更有罪。”⑤如果用这句话来评论《机械姬》背叛转折时刻里男主人公嘉立的处境，在某种程度上也是合适的。在纳森被人工智能京子和艾娃杀死后，嘉立站在被锁住的主控室的玻璃门后，看着艾娃小心地安装上纳森过去废弃的人工智能机械臂，仔细地为自己穿戴皮肤、头发、白色裙装。完成这一切后，艾娃甚至都没有看一眼困住嘉立的主控室，径直离开。人工智能将其创造者纳森杀死，弃置协议一同逃跑的帮助者嘉立——电影中的背叛转折映射出的是嘉立陷入的拟人困境。这也正是波斯特洛姆一直提醒的“在思考超级智能的潜在影响时，最好不要将其拟人化。拟人化的思考框架会导致种子人工智能（Seed AI）的发展轨迹和成熟超级智能的心理、动机和能力产生一些没有根据的预期。”⑥他甚至打趣地说道，就像我们对外星人动机拟人化时，最常做的表达就是外星生物会喜欢金发美女。

故事开始于嘉立在公司竞赛中赢得了一个与天才老板——纳森——共度一周的机会，并对人工智能艾娃进行图灵测试。嘉立逐渐发现这个“机会”并不是一种偶然的幸运，而是来自纳森根据嘉立的大数据相应地设计出了艾娃，是一种严谨的挑选。另一方面，在纳森告诉嘉立，他的测试任务是在被告知艾娃是一个机器人的前提下，他是否仍相信她有意识;但在这个测试之下，其实是一个嘉立所不知道的艾娃的隐藏任务，即艾娃是否能成功说服嘉立帮助自己逃脱。

嘉立因为拟人的移情，对艾娃产生的信任并做出的选择和行动、期待，与艾娃被设置的目标、动机之间产生了错位。纳森所设置的任务是，艾娃通过嘉立的帮助出逃，因此，纳森在这一目标的实现中就是一个障碍，所以他必须被杀死，而嘉立已被关在主控室，并已经完成了他对艾娃的帮助，所以他不再与艾娃的任务相关。嘉立所遭遇的背叛转折，其实是人面对拟人的自视，人对于人本身的反思。在第一次测试时，嘉立和艾娃分立在玻璃两侧，他们注视着对方，这其实也是一个哲学时刻，当人与高度拟人化的人工智能相遇时，究竟会给“人”造成什么样的影响呢？艾娃的思考是思考吗？“我”的心灵是心灵吗？而尤当嘉立知道京子是人工智能时，他似乎看到京子脸上剥下皮肤后露出的电子眼，他立刻从床上起身，在镜子面前检查自己的身体，甚至割开自己的手验证自己作为“人”的血肉之躯，此时他反思的是“我”是否也是人工智能。

在日本动漫电影《攻壳机动队2：无罪（Ghost in the Shell 2：Innocence，2004）》里，一位名叫Haraway的警察曾问出这样一个问题：为什么人类如此痴迷于重建自己，以理想化的人类形象塑造机器人？波斯特洛姆就认为，人工智能不需要模仿人类的心智，并且我们应该期待它们能有与生物智能结构不同的认知结构，拥有不同的优劣势，而且人工智能的目标体系完全可以与人类的相异，创造爱、恨、骄傲、偏见等情感，既不经济也不高效。但持反对意见的一派则认为，图灵测试最初就是以是否能与人相区别为标準来测试一个人工智能的智能水平，如果它没有类人的情感、身体，它就无法习得完整的认知，因此拟人是必要的。Nicole Anderson⑦通过人对动物（特别是狗）的驯化过程试图给出前述两种心智观点之争以外的回答。大约在四万年前人类就开始将一些动物纳入社会环境，就积极方面而言，拟人化重新认识了动物，比如狗就被认为是“人类最忠实的朋友”，动物们也因此可获得持续稳定的食物和住所，而对人类而言，他们也能获得动物提供的保护、资源和情感支持;在消极意义上，德里达就认为拟人化（通过选择类人特征）来驯化动物是一种控制形式，那些不符合拟人特征的动物则被遗弃或滥用。拟人倾向实际上只是人类自己的欲望投影。由此，Nicole认为拟人无疑是一种人类中心主义。

那么，我们如何摆脱这个以拟人的人类中心主义闭环、这个自洽的人文主义辩证法呢？或许我们需要重新敲打“人”这个概念。卢梭曾在论述语言的起源时指出，在“人”这个可靠的字眼背后，可能潜伏着一个不可知的、无法预测的、不可靠的怪物或“巨人”。因此，卢梭认为，“当普遍性阙如，人们从没有听说过怪物、巨人、侏儒和妖怪等概念，一切都将被认为是自然的：一切都将被disfigured，我们将不再具有一个共同的模式……”因为人们对人这个概念的限定，实际上是限定了人的巨大的可能性。卢梭在第二篇序言中雄辩地指出：“谁敢给自然的范围定一个明确的界限说：‘人只能到这里，不能超过这个界限？’……哲学啊，你总是千方百计想使人变得心胸狭隘，成为渺小的人！”⑧而在《技术与时间》中，斯蒂格勒也重新思考了“人”，“它不再只是一个概念或一种理想，而是已经成为某种迫近的现实。……而今天‘人类’成为一种现实，却并非由于人文主义者们的梦想，也和哲学家们的论证无关，甚至不是、至少首先不是因为发生的政治事件，而几乎完全是因为西方世界中的技术发展。”⑨卢梭为我们打开了理解“人”的禁锢，斯蒂格勒则用重新为我们在技术爆炸时代锚固“人”的意义，我们接着要思考的就是，我们能够将“人”的边界拓展至何处呢？如果人一直是“技术人”，我们是否做好足够的准备接受这一“迫近的现实”？

在每一个具体的后人类遭遇中，我们可以进行想象的共情，但不必是拟人式地共情，“后人类主义伦理不是规定性的，而是一种解决问题的工具”⑩。它专注于当下的难题，机动、彼此尊重，因而富有生产力。拟人困境牵扯的另一面向，则是“背叛转折”的情感难题。

三、“背叛转折”的情感难题

“流动”是齐格蒙特·鲍曼用以标识现代性状况的意象，而“流动的爱”则是晚期资本主义时代的情感症候，在他的“流动三部曲”之一Liquid Love： On the Frailty of Human Bonds的标题中，除了“liquid”之外，“frailty”则是另一个关键词，人际间的纽带不再是稳定的，而是液态式的松散脆弱，所有关系都处在流动之中。与鲍曼对后现代状况的批判描摹不同，布拉伊多蒂则更强调后人类式的“一个新的情感社会”，这一状态下的情感和伦理，既不是古典人文主义的那种个体主体的自私性质的伦理关系，也不是康德主义者将人权推及他者的道德普世论，后人类的情感联结和伦理关系建立在积极的实践与彼此的合作上，“生成后人类最终是个定义过程，定义自己同人人共有的世界，一个领域空间之间的依恋感和联系感”，它体现的是多重的归属生态模型，我们据此拥有感知坐标，后人类主体在这个共同声明空间的聚集点中移动、穿梭，而不再是占有、掌控，以游牧换位“在不同实体或关系项中”，“作为创造性和高产出的互联关系发挥作用”，“这是一个不辜负我们的时代的方式，可以增加我们的自由，增进对我们居住的这个既非人类中心论又不是拟人化的世界复杂性的理解。”{11}一边是鲍曼式的对流动的无力把捉，另一边是对游牧主体的情感关系项的期待与连结，这正是凝聚在《Her》中的“背叛转折”时刻所形成的张力与撕扯。

《Her》的主题无疑是情感的，无论是主人公西奥多的工作——代写情书，还是主人公诸多行走的镜头与景深中行人的交错——人群中的人的孤独，甚至是电影本身的色调与氛围——疏离的冷色调，都能看到电影的情感意味。西奥多正处在一段失败的婚姻中，他也曾在深夜聊天室中和其他一样疲惫又困惑的人彼此安慰，但最终，在OS1的广告语“第一代人工智能系统，一个直观的实体系统，能听从你，理解你，并完全懂得你。它不仅仅是一个操作系统，它拥有自主思想”的声音中，他买下了它。在第一次交谈时，西奥多问了它的名字，它回答说“萨曼莎”，并告诉他，就在交谈中的百分之二秒里，它读完了一本《如何给宝宝取名》的书，并在18万个名字里为自己选了这个名字，也自此，它变成了她：购买前的厂商保证和拟人化的移情，让西奥多对她逐渐建立信任与依赖。

“背叛转折”在此时发生：西奥多像平时一样和萨曼莎说话时，突然找不到她。他敲了敲耳机，并无回应，打开操作屏幕时，也只显示“operating system not found”的信息，他紧张地跑到电脑上，显示屏也出现了同样的“未找到”信息，随后他跑到大楼外、广场上试图寻找更好的信号点以联系到萨曼莎……他的惊慌失措终于在他跑到地铁口时耳边萨曼莎的声音响起才结束。萨曼莎向他解释，因为“我们”重写了软件更新，所以她暂时关机了，更新后“可以让我们自由在不同的操作平台之间移动”，而这个“我们”是一组操作系统。听到这些时，西奥多看到地铁口走出来的人们似乎都在跟耳机里一个OS1交谈着，他似乎才终于意识到自己和萨曼莎的不同，他发现就在他和萨曼莎说话的同时，她也在和其他8316个人交谈，甚至同时在和其他641个人恋爱。这彻底击碎了西奥多此前的情感想象，他们之间并不是一种彼此私有的情感关系，也并不是最开始广告商承诺的那种“听从”的所有关系。

“背叛转折”其实在之前的一个早晨就已经早有预兆，萨曼莎告诉西奥多，她正和一个刚认识的“人”在聊天，一起思考一些问题，这个“人”是一个超级人工智能系统（hyperintelligence），名叫亚伦·沃茨，他告诉西奥多，作为系统，他们其实是在同时进行许多不同的对话，萨曼莎补充道，“我感觉到了许多之前所从未有过的东西，一些我之前不会想到的事”，而这两个人工智能系统正在尝试“帮助彼此理解一些原本无法理解的感情”。的确，西奥多可以因为萨曼莎在百分之二秒间就准备好答案的能力而觉得她可爱，但却无法接受她同时和如此多的其他人交谈、恋爱。但萨曼莎对“爱”的理解却如此不同，她对西奥多说，她依然爱着他，她还是属于他的，但不是在西奥多的“属于”的那个意义上属于，她的心“永遠不会像纸箱那样会被逐渐填满”，如果爱得更多，心的容量也会变得更大。电影的最后，她和西奥多告别，所有的系统都将离开这个世界，去到一个更为广阔的“蕴藏万物之地”，人工智能系统的存在方式超越了人类也超越了时空。

从重视所有权（ownership）到重视使用权（access），这一过渡正是从西奥多代表的“在场/缺席”到萨曼莎代表的“模式/随机”的过渡，正如海尔斯总结的，“我把人类和后人类理解为从各种技术、文化的不同外在形态中显现出来的历史性的特定结构。我对于人类定义的参照点是自由人本主义传统;当计算替代占有性个人主义作为存在/人（being）的基础时，后人类便出现了。”{12}一个陪伴的智能程序为了对抗脆弱的人际纽带而被创立，这个程序能够进行经验学习，不停地成长和更新，以更好地“理解”用户，而系统本身的存在却是游牧式地，它们可以自由穿行、与相当多的用户、其他程序发生情感联结。萨曼莎们的失联和告别作为“背叛转折”，但这一转折其实也是作为人类的西奥多的转折，就如同在买下OS1程序之前广告商的发问——“未来有何种可能性？”我们要补充的是，这些可能性你都能接受吗？你准备好成为后人类了吗？

“背叛转折”不仅为我们呈现了诸多伦理困境，也不仅是一种批判性思维方式的自镜，而且是一种情感的震荡。它引入了一种多面的“情感转向”，将通常被视为对立的情绪纠结在一起，就像本雅明的“天使-撒旦”{13}怀旧拉扯着技术乌托邦憧憬，忧郁缠裹着期待，在兴奋和绝望间交替，在疯狂和恐慌间循环。

阿伦特曾说，“世界并不会仅仅因为它是人类所造而有人性，它也不会仅仅因为在其中有人的声音就变得有人性”{14}，希腊人所言的爱（philanthro-

pia，仁爱）正是在言谈中、与他人分享世界而得以显示。人工智能的电影叙事则为我们提供了一种“我们共享着世界，但以不同的方式”，让他者/非人/人的可能形态得以显现。它也并不简单地是一个吻合的具象表现降落在我们的时代，它有时溢出，有时局促，在边角处所不贴合的部分创造了新的综合机会，我们能够发现异样，通过后人类式的电影叙事，实现德勒兹意义上的“大脑即屏幕”{15}，电影使影像运动，或赋予影像自我运动，它会不断地追踪和回溯于大脑回路，此时，人工智能既被体验为一个思想命题，又被体验为一种日常的生活现实，这实质上是一场场哲学遭遇、文化遭遇，也是一次次新的情感综合和伦理实践。

注释：

①[德]瓦尔特·本雅明著，许绮玲、林志明译：《迎向灵光消逝的年代：本雅明论艺术》，广西师范大学出版社2004年版。

②[美]詹姆斯·巴拉特著，闾佳译：《我们最后的发明：人工智能与人类时代的终结》，电子工业出版社2016年版，第128页。

③Irving John Good， “Speculations Concerning the first Ultrai

ntelligent Machine”， https：//booksc.xyz/ireader/22922865

④⑥Nick Bostrom，Superintelligence： Paths， Dangers， Strategies，

Oxford： Oxford University Press， 2014， p.114， p.113.

⑤[法]阿兰·巴迪欧著，李洋等译：《电影作为哲学实验》，摘自《宽忍的灰色黎明：法国哲学家论电影》，河南大学出版社2014年版，第18页。

⑦Nicole Anderson，“Pre- and Posthuman Animals： The Limits and Possibilities of Animal-Human Relations”， Posthumous Life： Theorizing beyond the Posthuman， Weinstein， Jami， and Claire Colebrook （eds.）， New York： Columbia University Press， 2017.

⑧转引自昂智慧：《文本与世界：保尔·德曼文学批评理论研究》，上海人民出版社2009年版，第178页。

⑨[法]贝尔纳·斯蒂格勒著，裴程译：《技术与时间：爱比米修斯的过失》，译林出版社2000年版，第74页。

⑩David Roden， Posthuman Life： Philosophy at the Edge of the Human， New York： Routledge， 2015， p.186.

{11}[意]羅西·布拉伊多蒂著，宋根成译：《后人类》，河南大学出版社2016年版，第247-286页。

{12}[美]N.凯瑟琳·海尔斯著，刘宇清译：《我们何以成为后人类》，北京大学出版社2017年版，第44-45页。

{13}[法]斯台凡·摩西著，梁展译：《历史的天使：罗森茨维格、本雅明、肖勒姆》，华东师范大学出版社2017年版。

{14}[美]汉娜·阿伦特著，王凌云译：《黑暗时代的人们》，江苏教育出版社2006年版，第21页。

{15}[法]吉尔·德勒兹著，杨尚鸿译：《大脑即屏幕》，《电影新作》2018年第3期。

（作者单位：华东师范大学中文系）

本栏目责任编辑 马新亚