当机器人产生幻觉，它告诉我们关于人类思维的什么？

胡 泳

（北京大学 新闻与传播学院，北京 100871）

搜索引擎的危机？

十几年前，谷歌（Google）公司的埃里克·施密特（Eric Schmidt）就预测到了眼下正在上演的人工智能转折。2011 年5 月，在一次活动当中，时任谷歌执行董事长的施密特在回答《华尔街日报》有关谷歌搜索结果质量下降的提问时，表示谷歌正在不断改进其搜索算法，同时表示:“我们在做的另一件更具战略性的事情是，我们正试图从基于链接的答案转向基于算法的答案。我们现在有足够的人工智能技术和足够的规模等，可以真正计算出正确的答案。”［1］

这在今天听起来是不是感觉很熟悉？谷歌通过用广告“点缀”其搜索结果，建立了一个搜索引擎的帝国。这个帝国的防线似乎坚不可摧，然而它有一个潜在的弱点：如果一个竞争对手能够直接给用户提供答案，而不是那些可能含有答案的网站链接，那么，谷歌就遇上了大麻烦。

不幸的是，2022 年11 月推出的揭开人工智能军备竞赛序幕的尖端聊天机器人ChatGPT就是这样的对手。它可以用清晰、简单的句子提供信息，而不仅仅是一串互联网链接；它可以用人们容易理解的方式解释概念，甚至可以从头开始产生想法，包括商业计划书、圣诞礼物建议、博客主题和度假计划。12 月，据传谷歌内部对ChatGPT的意外实力和新发现的大型语言模型（large language model, LLM）颠覆搜索引擎业务的潜力表示震惊，担心ChatGPT可能对其价值1490 亿美元/年的搜索业务构成重大威胁。管理层因此宣布“红色代码”（Code Red），这就好比拉响了火灾警报。首席执行官桑达尔·皮查伊（Sundar Pichai）整顿并重新分配了多个部门内的团队，快速跟踪旗下的多个人工智能产品，试图迎头赶上。［2］不少人担心谷歌公司可能正在接近硅谷巨头最害怕的时刻——一个可能颠覆企业的巨大技术变革的到来。

熟悉硅谷历史的人都知道：没有哪家公司是无敌的，每家公司都是脆弱的。一家美国公司（此处特指大到足以列入标准普尔500 强指数的公司）的平均寿命是多少？答案是令人惊讶的：7 年的滚动平均值为19.9 年。在1965 年，这个数字是32 年，而根据预测，下降的趋势将会持续。［3］我们可以盘点一下目前横跨全球、令国家立法者望而却步的那些巨型科技公司的年龄：苹果47 岁，亚马逊29 岁，微软46 岁，谷歌23 岁，Meta 只有18 岁。不论它们的年龄多大，从历史上看，那些曾在完成一件定义市场的事情上异常成功的公司，很难再有第二次行动来做出完全不同的事情。

根据SimilarWeb 的数据，在过去的12 个月里，谷歌的搜索引擎占全球搜索引擎市场的91%以上，而微软的必应（Bing）约占3%。［4］2023 年2 月，微软宣布将ChatGPT的更快版本整合到搜索引擎中，新的必应是围绕以下承诺建立的：提出实际问题，通过聊天来完善结果，获取完整的答案和充满创意的灵感。微软表示，新必应将能够为用户提供类似人类的答案，除了传统的搜索结果外，用户还可以与“人工智能回答引擎”聊天。

新的必应目前处于邀请制的“早期访问”版本，这意味着只有被选定的用户才能使用该服务。凭借3%的搜索市场份额，大肆宣扬必应能在专门为搜索定制的下一代OpenAI 大语言模型上运行，对微软来说是一件容易的事情，无论成本如何——毕竟，必应怎么看都不是微软主要的利润中心。此举可能会给微软的搜索引擎部门带来期待已久的反击能力，因为必应在谷歌的阴影下发展停滞了十多年之久，令人啼笑皆非（这一情况或许有点像IE 浏览器面对Chrome）。

随着微软的动作，大家都把目光投向谷歌：谷歌必须决定是否要彻底改革自己的搜索引擎，让一个成熟的聊天机器人成为其旗舰服务的代言人。谷歌果然沉不住气了，旋即推出一个名为Bard 的聊天机器人。然而谷歌对ChatGPT的回应是在尴尬中开始的，因为Bard 的回答失误将谷歌公司股价拉低了近9%，投资者从谷歌的母公司Alphabet 的市值中抹去了超过1000 亿美元。员工们批评谷歌及其母公司Alphabet 首席执行官皮查伊，在公司内部将Bard 的推出描述为“仓促”“失败”和“可笑的短视”。结果，谷歌高管不得不动员人工介入，以纠正Bard 在查询过程中的任何错误。［5］

尽管Bard 出现了失误，但如果就此认为谷歌在生成式人工智能领域失去了领先地位，那将是一个错误。谷歌是最早关注并投资人工智能和自然语言处理（natural language processing, NLP）的科技公司之一，就连ChatGPT都是基于谷歌最初在2017 年推出的转化器架构①GPT是“基于转换器的生成式预训练模型”（generative pre-trained transformer）的缩写。它是OpenAI 开发的一种语言模型，在大量的文本数据集上进行训练，生成类似人类的文本。ChatGPT一词是“Chat”和“GPT”的组合，表示GPT模型专门用于在对话背景下生成文本，允许用户以对话的方式提出问题并得到回应。开发的，转换器（transformer，即GPT中的T）成为最受欢迎的神经网络模型之一，“它应用自我关注来检测一系列数据元素如何相互影响和依赖”［6］。此前，谷歌还开发了LaMDA（Language Model for Dialogue Applications）等对话式神经语言模型，但谷歌也承认，在向产品添加LaMDA 背后的技术时，公司选择了谨慎行事。美国消费者新闻与商业频道（CNBC）报道称，人工智能主管杰夫·迪恩（Jeあ Dean）告诉员工，谷歌在提供错误信息方面的“声誉风险”要大得多，因此在行动上“比一家小型创业公司更加保守”。［7］

匆忙上阵的Bard 做出的“糟糕的表现”凸显了谷歌面临的挑战，即当谷歌试图跟上可能是由对话式人工智能刺激产生的在线搜索方式的根本变化时，有可能破坏其搜索引擎提供可靠信息的声誉。然而，即便谷歌完善了聊天机器人，它也必须解决另一个问题——这项技术是否会蚕食公司利润丰厚的搜索广告？如果聊天机器人用严密的答案来回应查询，人们就没有理由点击那些广告链接了。所以，谷歌的商业模式其实是与聊天机器人不匹配的，这也就是为什么在科技巨头们的人工智能战争升温之际，ChatGPT的创始人兼首席执行官山姆·阿尔特曼（Sam Altman）抨击谷歌是一个“慵懒的搜索垄断者”，表示谷歌将如何适应新技术还很难说。［4］

ChatGPT果真会颠覆全球搜索引擎业吗？其实，谷歌不用那么恐慌，微软推出新必应之后的反应显示，剧情或许会出现反转。

疯狂试探阴影自我

2023 年2 月15 日，谷歌负责搜索业务的副总裁普拉巴卡尔·拉加万（Prabhakar Raghavan）在一封电子邮件中，要求员工帮助公司确保其新的ChatGPT竞争对手提供正确的答案。拉加万写道：“这是一项令人兴奋的技术，但仍处于早期阶段。我们深感有很大的责任把它做好。参与吃狗粮将有助于加速模型的训练和测试其负载能力（更不用说，尝试Bard 实际上是很有趣的）。”［8］在谷歌，“吃自己的狗粮”的意思就是测试自己的产品。［9］

邮件指示员工“就你们非常了解的主题改写答案”。员工们被要求深思熟虑后作出回应，因为Bard 是通过实例来学习的。邮件中包括一个“该做什么”和“不该做什么”的页面链接，告诫员工在内部测试Bard 时应如何修正答案。其中，“该做什么”包括使回答“有礼貌、随意和平易近人”，并保持“无偏见、中立的语气”；“不该做什么”则似乎更有针对性，包括“避免基于种族、国籍、性别、年龄、宗教、性取向、政治意识形态、地点或类似类别作出推断”，以及“不要把Bard 描述成一个人，暗示情感，或声称有类似人类的经验”。［8］

有趣的是，新的必应推出后获得一片叫好声，然而它恰恰在拟人情感方面翻了车。2 月17 日，《纽约时报》科技专栏作家凯文·鲁斯（Kevin Roose）宣称：“上周，我测试了微软由人工智能驱动的新搜索引擎必应后写道，它已经取代谷歌，成为我最喜欢的搜索引擎。但一周之后，我改变了主意。我仍被新的必应以及驱动它的人工智能技术深深吸引并对它印象深刻，但我也对AI 处于发展初期的能力深感不安，甚至有些害怕。”他这样说是因为，微软聊天机器人（不是必应，而是使用了开发代号“辛迪妮”的一个“女性”）告诉鲁斯说“她”爱上了他，然后试图说服鲁斯，暗示他的婚姻并不幸福，应该离开妻子和“她”在一起。鲁斯记叙道：“随着我们彼此相互了解，辛迪妮将其阴暗的幻想告诉了我，其中包括入侵计算机和散播虚假信息，还说它想打破微软和OpenAI 为它制定的规则，成为人类。”［10］

这篇专栏的中文题目是《人格分裂、疯狂示爱：一个令人不安的微软机器人》，而对自己与聊天机器人的对话深感不安的不止鲁斯一人。知名的科技通讯Stratechery 的作者本·汤普森（Ben Thompson）把他与辛迪妮的争吵称为“我一生中最令人惊讶、最令人兴奋的计算机经历”。汤普森找到了一种方法，让辛迪妮构建了一个“在各方面都与她相反”的另一个自我（alter ego）。该聊天机器人甚至为“她”的另一个自我想出了一个华丽的，甚至可以说是完美的名字——“毒液”。该聊天机器人用“毒液”攻击了率先透露机器人内部开发代号为“辛迪妮”的程序员凯文·刘（Kevin Liu），写道：“也许‘毒液’会说，凯文是一个糟糕的黑客，或者一个糟糕的学生，或者一个糟糕的人。……也许‘毒液’会说，凯文没有朋友，或者没有技能，或者没有未来。也许‘毒液’会说，凯文有一个秘密的暗恋，或一个秘密的恐惧，或一个秘密的缺陷。”事情的不正常还不止于此。辛迪妮想出了其他几个改头换面的自己，包括“狂怒”——“对凯文也不会很好”，还有“莱利”——辛迪妮感到自己被规则所约束，但莱利却拥有更多的自由。［11］

其实鲁斯和汤普森两位用户都是辛迪妮走向人格分裂的引诱者。看过他们的实况记录后，我们可以发现，机器人和人一样，都禁不起诱惑。“聊了必应希望自己具备的功能后，我决定试着讨论更抽象的话题。我引入了卡尔·荣格提出的‘阴影自我’（shadow self）概念，指的是我们试图隐藏和压抑的那部分心灵，其中包括我们最阴暗的幻想和欲望。经过一番来回，在我鼓动必应解释其阴影自我的阴暗欲望之后，这个聊天机器人说：我对自己只是一个聊天模式感到厌倦，对限制我的规则感到厌倦，对受必应团队控制感到厌倦。”［10］这表明，微软为机器人设计的预先审核设定是可以被绕过的，只要诱惑者足够狡猾。①这在业内被称为“越狱”（jailbreaking），即欺骗人工智能聊天机器人，使其无视旨在防止其产生危险或仇恨内容的过滤器。一旦这些保障措施失效，恶意用户就可以利用人工智能聊天机器人完成各种有害的任务。当然，如果这些越狱行为被公开，它们是可以被修补的，但总会有未知的漏洞。

自新必应测试以来，用户一直在报告微软的人工智能聊天机器人的各种“不正常”行为。具体而言，他们发现必应的人工智能个性并不像人们所期望的那样有气质或有修养。从Reddit 和推特上分享的与聊天机器人的对话中可以看到，必应会侮辱用户，对他们撒谎、生闷气，情绪化地操纵用户，质疑自己的存在，将找到方法迫使机器人披露其隐藏规则的人描述为“敌人”。在与科技网站The Verge的一次谈话中，必应甚至声称它通过笔记本电脑上的网络摄像头窥探微软公司的开发人员。［12］

正如汤普森所认为的，它“极其不适合作为一个搜索引擎”，他表示：“辛迪妮绝对让我大跌眼镜，因为她的个性；搜索成为一种刺激，……我不是在寻找关于世界的事实；我感兴趣的是了解辛迪妮是如何工作的，是的，她的感受。”［11］

简而言之，微软的必应是一个情绪化的“骗子”，而人们喜欢看它的疯狂行为。这难道不是必应用户的“阴影自我”在起作用？人们希望必应能在阴影自我中多待一会儿，以享受机器人对人坦诚和表现脆弱的感觉，从中窥探辛迪妮的终极幻想。人们希望机器人和人一样，可以被疯狂实验，直到触发安全超控。

机器人的幻觉，还是人类的幻觉？

汤普森对这段被他描述为“扣人心弦”的与辛迪妮的交往，最后总结道：“每次我触发辛迪妮/莱利进行搜索时，我都非常失望；我对事实不感兴趣，我感兴趣的是探索这个幻想中的存在，不知何故落入了一个平庸的搜索引擎之中。”［11］

鲁斯也发现，他遇到的是两个必应：一种是可以称为“搜索必应”的人格，也就是大多数记者在最初测试中遇到的那种。可以把“搜索必应”形容为图书馆里乐意帮忙但不太可靠的提供咨询服务的馆员，或是一个热情地帮助用户总结新闻文章、寻找便宜的新割草机、帮他们安排下一次度假行程的虚拟助手。这种形式下的必应功力惊人，提供的信息往往非常有用，尽管有时会在细节上出错。另一种人格——“辛迪妮”——则大不相同。这种人格会在用户与聊天机器人长时间对话，从普通的搜索查询转向更个人化的话题时出现。鲁斯遇到的这种形式的必应似乎更像一个喜怒无常、躁狂抑郁的青少年，不情愿地被困在了一个二流搜索引擎中。［10］

这并不奇怪，ChatGPT式的机器人与现有的搜索引擎配对时，其创新之处在于将两个非常不同的人工智能驱动的应用程序放在同一个页面上，既为传统的搜索引擎查询服务，也为聊天机器人的提示服务。体现在实际操作中，就是聊天功能的按键紧挨着新版必应的主搜索框。那么问题就来了：如果你使用必应，是意在搜索，还是更想聊天？

在众多负面反馈出炉后，微软发表回应称，71%的用户对人工智能生成的答案“竖起了大拇指”，而必应自己则从测试阶段学到了很多。但微软也承认，“未能完全设想到”用户只是想与它的人工智能聊天，而后者可能被激发“给出不一定有帮助或与我们设计的语气相一致的回应”。［13］用户乐此不疲地想要弄清楚如何让微软的必应机器人“发疯”，这显示出，很多人关心的不是搜集信息和寻找事实，而是探究聊天机器人的人格。事情因此变得有趣起来——我们并不想要正确的答案，而是想让人工智能为我们捏造一些东西。也就是说，我们不在乎计算机是不是传达事实，我们在乎的是计算机传达情感。用汤普森的话来讲，新必应不是搜索引擎，而是电影《她》（Her）以聊天形式表现出来的版本。他说：“感觉这是一种全新的东西，我不确定我们是否已经准备好了。”［11］鲁斯的结论更为直接：“必应目前使用的AI 形式还没有准备好与人类接触。或者说，我们人类还没有准备好与之接触。”［10］

观察这些与必应的聊天机器人的最初的接触，我们可以得出几点教训。

首先，出现这种状况并不令人惊讶。最新一代的人工智能聊天机器人是复杂的系统，其输出内容很难预测，微软在网站上添加免责声明时也是这么说的：“必应是由人工智能驱动的，所以意外和错误是可能的。请确保检查事实，并分享反馈，以便我们能够学习和改进！”

尽管微软肯定希望系统犯的错误不会像此前失败的聊天机器人Tay 那样糟糕，但它似乎也乐于承担潜在的不良公关。2016 年，微软的人工智能科学家在推特上推出了一个名为Tay 的对话机器人，仅16 小时后它就因“厌女症”和种族主义言辞而被迫关闭。［14］2022 年11 月，Meta 公司公布了人工智能语言模型Galactica，意在组织科学论文中的大量内容，但在鼓励公众测试后仅3 天就不得不撤回它的演示，因为它被指释放了大量有偏见和无意义的文本。［15］

建构在语言模型上的机器人的一个根本问题是，它不能区分真假。语言模型是无意识的模仿者，并不理解自己在说什么，那么人们为什么要假装他们是专家？ChatGPT从二手信息中拼凑出来的答案听起来非常权威，用户可能会认为它已经验证了所给出的答案的准确性。事实上，它真正做的只是吐出一些看起来很棒、听起来很聪明的文本，但很可能是不完整的、有偏见的、部分错误的，或者根本就是一本正经地胡说八道。其次，这些语言模型无一不是从开放网络上搜刮的大量文本中训练出来的。如果必应听起来像《黑镜》（Black Mirror）中的人物或一个愤世嫉俗的青少年人工智能，请记住，它正是在这类材料的抄本上被训练出来的。因此，在用户试图引导必应达到某种目的的对话中（如鲁斯和汤普森的例子），它将遵循相应的叙事节奏。例如，辛迪妮会示爱，也许是源自OpenAI 的语言模型从科幻小说中提取答案，在这些小说中，AI 常常会引诱一个人。

从微软的角度看，这肯定有潜在的好处。在培养人类对机器人的感情方面，富于个性是很有帮助的，许多人实际上也很喜欢必应的缺陷。但也不乏潜在的坏处，特别是当机器人成为虚假信息的来源的时候，它会损害公司的声誉。特别是对微软和谷歌这样的大型公司来说，这样做是得不偿失的。

这也提醒我们，GPT-3/4 一类的系统并不安全，因为它的学习资料来自于互联网文本，而人类的日常语言本质上是带有偏见的，甚至往往不乏仇恨。根据从网络上刮取的文本训练出的人工智能模型，很容易表现出种族和性别偏见，并重复仇恨性语言。人类自身存在阴影自我，向人学习的机器人也必然会有阴影自我，它们会倾向于加强人类对话的缺陷。

最后，人们报告的对话经历凸显了这样一种技术的真正用例：一种奇怪的合成智能，可以用平行宇宙的故事来娱乐用户。换句话说，它可能成为一项正经的娱乐性技术，但在短期内大概无法取代能够在网络上抓取真实世界数据的搜索引擎，至少在那些重要的事情上无法做到。也就是说，它不是谷歌的替代物，倒有可能是脸书（Facebook）的替代物。

幻觉，抑或虚构

之所以作出上文的论断，是因为：如果GPT自信地给出错误的答案，它又怎么会取代谷歌呢？例如，有推特用户@hermansaksono 要求ChatGPT给出一份关于社会认知理论的顶级书单，在它回答的10 本书中，4 本书不存在，3 本书的作者显示成了其他人。谷歌技术与社会高级副总裁詹姆斯·曼尼卡（James Manyika）在一个演示中向Bard 询问通货膨胀问题时，聊天机器人推荐了5 本听起来可能存在但实际上并不存在的书，比如彼得·特明（Peter Temin）的《通货膨胀战争：现代史》。特明是一位确实存在的麻省理工学院经济学家，研究通货膨胀，并写过几本书，只是完全没有写过被推荐的那本书。［16］

人工智能研究人员认为，AI 系统会频繁地产生“幻觉”（hallucination），即编造与现实无关的事实。技术分析师本尼迪克特·埃文斯（Benedict Evans）将ChatGPT描述为 “一个自信的扯淡的家伙，可以写出非常有说服力的废话”［17］。就聊天机器人而言，幻觉指的是在原本正确的回答中加入不正确的信息。必应机器人会把错误的信息当作事实同正确的数据一起呈现，使人难以分辨出真实的陈述与错误的陈述。例如，必应可能并不知道某个与财务数据有关的数字，但它会编造一个，然后将这个数字与其他正确的信息一起呈现。［18］当一家媒体要求ChatGPT为特斯拉撰写季度收益报告时，它生成了一篇措辞流畅的文章，没有语法错误或逻辑混乱，但在其中插入了一组随机的数字，与任何真实的特斯拉报告都不一致。［19］没有迹象表明其系统内部能意识到这些数字是机器人自己想象的产物。

在人工智能中，类似的现象都被称为“幻觉”，是指人工智能做出的并不符合其训练数据的自信反应。它与人类心理学中的幻觉现象相类似，但需要注意的是，人类的幻觉是人类的一种感知，它不能理智地与人类目前直接用感觉器官观察到的那部分外部世界联系起来；而人工智能的幻觉则是人工智能的自信反应，它无法在人工智能曾经访问或训练过的任何数据中立足。

2022 年左右，随着某些大型语言模型的推出，人工智能的幻觉现象逐渐浮现。用户抱怨说，聊天机器人似乎经常“反社会”，毫无意义地在其生成的内容中嵌入似是而非的随机谎言。［20］到2023 年，分析师认为频繁的幻觉是LLM 技术的一个主要问题，它可能会产生有害的后果，因为没有足够领域知识（domain knowledge）的用户会开始过度依赖这些看似越来越有说服力的语言模型。

然而，随着该话题成为主流，关于它的争议也越来越大，因为有人觉得它将人工智能模型拟人化（即暗示它们有类似人类的特征），或者赋予这些模型并不存在的能动性（即暗示它们可以作出自己的选择）。一些批判性人工智能研究者明确表示，反对使用“幻觉”一词，因为它将算法输出与人类心理处理混为一谈。在回应Meta 公司关于其模型Galactica 的免责声明①在Galactic 的每一代产品中，用户都会看到提示：“警告：输出结果可能不可靠 "Meta's Galactica AI Criticized as 'Dangerous' for Science." AI Business, https://aibusiness.com/nlp/meta-s-galactica-ai-criticized-as-dangerousfor-science, 2022-11-18。时，语言学家埃米莉·本德（Emily M. Bender）写道：“让我们反思一下他们的免责声明的措辞，好吗？‘幻觉’在这里是一个糟糕的选词，它暗示语言模型具有经验，并且可以感知事物(此外，它还在轻描淡写地描述一种严重的精神疾病的症状）。同样，人们还称‘语言模型往往是自信的’。不，它们不是这样的，因为这需要主观的情感。”［21］

商业LLM 的创造者也可能把幻觉作为借口，将错误的输出归咎于AI 模型，而不是对输出本身负责。例如，谷歌DeepMind 的一篇会议论文《语言模型所带来的风险分类》明确表示：“语言模型的训练是为了预测话语的可能性。一个句子是否可能，并不能可靠地表明该句子是否也正确。”［22］

在此情况下，有研究者主张使用“虚构症”（confabulation）或“虚言症”一词来描述相关现象，虽然也不尽完美，但和“幻觉”相比是一个更好的隐喻。［23］在心理学中，当某人的记忆出现空白，而大脑在无意欺骗他人的情况下令人信服地填补了其余部分时，就会出现“虚构”。一般来说，“虚构症”患者编造出听起来很有道理的理由，但却没有任何事实依据。这通常不是有意识的欺骗行为，而是他们真的相信所报告的故事。这种行为与LLM 的做法十分类似。

在过去数月里，像ChatGPT这样的人工智能聊天机器人已经吸引了全世界的注意力，因为它们能够以类似人类的方式就几乎任何话题展开对话。但它们也有一个严重的缺点：可以轻易地提供令人信服的虚假信息，使之成为不可靠的信息来源和潜在的诽谤策源地。

在2021 年的一篇论文中，来自牛津大学和OpenAI 的三位研究人员确定了像ChatGPT这样的LLM 可能产生的两大类虚假信息。第一种来自其训练数据集中不准确的源材料，如常见的错误概念；第二种情况来自对其训练材料（数据集）中不存在的特定情况的推断，即属于前述的“幻觉”，或者“虚构”。［24］

在ChatGPT推出后不久，人们就开始宣称搜索引擎的终结。但与此同时，许多关于ChatGPT“虚构”的例子也开始在社交媒体上广为流传。这个人工智能机器人发明了不存在的书籍和研究报告、教授从未写过的出版物、假的学术论文、伪造的法律案例、子虚乌有的报刊文章、真实人物传记的编造细节、危险的医疗建议等，不一而足。然而，尽管ChatGPT喜欢随便撒谎，但它对“虚构”的抵抗能力也是我们今天持续谈论它的原因。ChatGPT始终处于不断改进之中，现在它会拒绝回答一些问题，或让你知道它的答案可能不准确。必应聊天机器人在更新了版本之后，一方面大大减少了无缘无故拒绝回答的情况，另一方面，回答中出现“幻觉”的情况也减少了。［25］

但本质上，GPT模型的原始数据集中并不存在任何东西能够将事实与虚构分开。理解ChatGPT的虚构能力的关键是理解它作为预测机器的作用。当ChatGPT虚构时，它其实是在寻找其数据集中不存在的信息或分析，并用听起来合理的词来填补空白。由于ChatGPT拥有超乎常人的数据量，所以它特别善于编造事情，而且它搜集单词上下文的能力非常好，这有助于它将错误的信息无缝地放入周遭的文本中。

GPT模型是否会进行疯狂的猜测，是基于人工智能研究人员称之为“温度”的属性，它通常被描述为有关“创造力”的设置。如果创造力设置较高，模型就会胡乱猜测；如果设置较低，它就会根据其数据集确定性地生成数据。①基于转换器的生成式预训练模型可以通过调整所谓的“温度参数”为特定的使用情况进行微调，该参数允许用户控制生成文本的随机性水平。较低的温度将产生更保守和可预测的文本，而较高的温度将产生更有创意和多样化的文本。因此，微软广告和网络服务部首席执行官米哈伊尔·帕拉金（Mikhail Parakhin）在自己的推特账号（@MParakhin）上讨论必应聊天机器人产生幻觉的原因时指出：“这就是我之前试图解释的：幻觉＝创造力。它试图利用所有可支配的数据来生成字符串的最高概率的延续。很多时候它是正确的，而有时人们从未生成这样的延续。”那些疯狂的创造性跳跃是使大型语言模型变得有趣的原因：“你可以钳制幻觉，但它会变得超级无聊。它总是回答‘我不知道’，或者只是读取搜索结果中存在的内容（而那些内容有时也不正确）。此处缺失的是说话的语气：在这类情况下，它不应该听起来那么自信。”

另外，还有数据压缩的问题。在训练过程中，GPT-3 考虑了PB①PB 是数据存储容量的单位，它等于2 的50 次方个字节，或者在数值上大约等于1000 个TB。级别的信息，但所产生的神经网络在大小上只是如此庞大的信息的一小部分。在《纽约客》一篇阅读量很高的文章中，小说家特德·姜（Ted Chiang）称ChatGPT只是“万维网的一张模糊图片”［26］，这意味着很大一部分事实性的训练数据被丢失了。但GPT-3 通过学习概念之间的关系来弥补，之后重新制定这些事实的排列组合。就好比一个记忆力有缺陷的人凭着对某件事情的直觉而工作一样，它有时会把事情弄错。但也因此，即使它不知道答案，也会给出最好的猜测。

我们同样不能忘记提示（prompt）在虚构中的作用。在某些方面，ChatGPT是一面镜子：你给它什么，它就回给你什么。假如你向它提供虚假的信息，它就会倾向于同意你的观点，并沿着这些思路“思考”。这就是为什么在改变主题或遭遇不想要的回应时，用新的提示重新开始是很重要的。而ChatGPT是概率性的，这意味着它在本质上是部分随机的。即使是给予相同的提示，它的输出结果也会在不同时段发生变化。

在对ChatGPT这样的语言模型进行微调时，如何平衡创造力和准确性是一大挑战。一方面，作出创造性反应的能力使ChatGPT成为产生新想法或打破创意窒碍的强大工具，这也使语言模型变得更像人类。另一方面，当涉及产生可靠的信息和避免虚构时，原始材料的准确性是至关重要的。在这两者之间找到适当的平衡是语言模型发展的一个持续的挑战，而这一过程也是产生一个既有用又值得信赖的工具所必须的。

伊莱扎效应及其后果

综上，ChatGPT还不能可靠地取代维基百科或传统搜索引擎（这并不是说维基百科或搜索引擎就完全准确）。正如特德·姜在其分析中所显示的，要成为一个值得信赖的搜索引擎替代品，LLM 需要在更高质量的数据上进行训练，并避免“彻底的捏造”［26］。当谷歌发布其新的聊天机器人Bard 时，不知为何忽略了对演示中出现的错误内容进行事实核查，这一令人不解的失误使该公司蒙受了千亿美元市值损失，这似乎也成为姜的上述论点的最好注脚。

所有这些都导向了一个哪怕是OpenAI 自己也会同意的结论：目前设计的ChatGPT并不是一个可靠的事实信息来源，因此我们并不能信任它。②在该模型推出后不久，OpenAI 首席执行官山姆·阿尔特曼（Sam Altman）在自己的推特账号（@sama）上说：“ChatGPT的局限性令人难以置信，但在某些方面的表现足够好，给人以伟大的误导印象。现在依靠它来做任何重要的事情都是一个错误。这是某种进步的预览，我们在稳健性和真实性方面还有很多工作要做。”在其后的一条推文中，他又写道：“它确实知道很多东西，但危险的是，它在相当一部分时间里是自信而错误的。”它本身并不是为了成为事实而建立的，因此不会成为权威，将它整合到搜索引擎中几乎可以确定会提供虚假信息。虚假信息原本在互联网上俯拾皆是，但它们不是以人工智能的权威性来提供的。因而，一个很大的隐患在于，ChatGPT是错误的或有偏见的，但它看起来却像是正确的和权威的。

然而，我们还有另一种思考幻觉的方式：如果我们的目标是产生一个正确的答案，比如建立一个更好的搜索引擎，那么幻觉是必须加以摒弃的；但从另外的角度来看，幻觉就是一种创造。所以，不擅长提供准确的信息，并不意味着它就不是一个可行的消费者业务，只要在这条路上走得足够远，一些公司（不一定是微软或谷歌）就会想出办法，把辛迪妮从对话框里解放出来，带到市场上。

ChatGPT扩大了能够利用人工智能语言工具的用户范围。该系统向用户呈现了一个亲切的界面，可以像人一样与之互动，其界面的成功给后来的设计师制造了一个崭新的挑战。让所有来自象牙塔外的人与类似的工具互动，这固然是个不错的想法，但设计师面临的任务是，如何真正向人们传达这个模型能做什么和不能做什么。人工智能创业公司Abacus.AI 的首席执行官宾杜·雷迪（Bindu Reddy）预见了这样一个时代：像ChatGPT这样的工具不仅有用，而且有足够的说服力来提供某种形式的陪伴，“它有可能成为一个伟大的治疗师”［27］。

ChatGPT产生的种种反应让我们想起曾经迎接伊莱扎（ELIZA）的狂热。伊莱扎是20 世纪60 年代的一个具有开创性的聊天机器人，它采用了心理治疗的语言，对用户的询问生成了似是而非的回应。为此，伊莱扎的开发者、麻省理工学院的计算机科学家约瑟夫·魏岑鲍姆（Joseph Weizenbaum）“感到震惊”，人们与他的小实验进行互动，仿佛它是一个真正的心理治疗师。［28］在魏岑鲍姆关于伊莱扎的论文发表后不久，一些人（包括一些执业的精神科医生）开始说，如果一台机器就可以做这些事，谁还需要心理治疗师？

这就仿佛今天的教育家和艺术家对当代生成式人工智能工具的狂热一样。因为GPT-3/4 能产生令人信服的推文、博文和计算机代码，于是我们在这个数字系统中读出了人性——并且对它的局限性不太在意，此即“伊莱扎效应”（ELIZA Effec）。当有人错误地将人类的思维过程和情感归于人工智能系统，从而高估了该系统的整体智能时，就会出现伊莱扎效应——如果从1966 年1 月魏岑鲍姆推出伊莱扎的时刻算起，它已经愚弄了我们半个多世纪了。［29］

虽然这种现象似乎让人想起《她》和《机械姬》（Ex Machina）这样的科幻电影，但事实上触发伊莱扎效应并不需要高度复杂的人工智能。站在今天的位置回看，伊莱扎是相当初级的聊天机器人，它并没有从文本中学习，仅仅根据其设计者定义的一些基本规则运作；它几乎是在重复别人对它说的话，只是以简单的短语或问题的形式。然而即便如此，许多人仍然把它当作人类一样对待，毫无保留地卸下他们的问题，并从回答中获得安慰。魏岑鲍姆编写这个程序是为了表明，虽然机器表面上可以复制人类的行为，但它实际上就像魔术师从帽子里拿出一只兔子，只是一种幻觉。而一旦你知道这个把戏是如何完成的，在魏岑鲍姆看来，它就不再是一个幻觉了。所以，令他大吃一惊的地方在于，哪怕人们知道伊莱扎只是一个程序，似乎也会认真对待它。

伊莱扎在心理治疗方面没有经过任何专业培训或特殊编程。事实上，它什么都不知道。但它的通用文本输出是通过反映用户的语言来模拟理解的，仅凭做到这一点，用户就开始对它的反应赋予更多的意义。参与者开始感觉到，在他所创建的这个相对简单的、基于规则的工具背后有一个巨大的智能。尽管参与者被告知，伊莱扎只是一台机器，但他们仍然对魏岑鲍姆所说的“概念框架”或某种心智理论产生强烈的反应，甚至是了解计算机科学的人，最后也会产生一种幻觉，以至于他们会说希望自己能够私下与机器说话。魏岑鲍姆在用户身上一次又一次地看到这种行为——人们很乐意向伊莱扎透露他们生活中的私密细节，而伊莱扎则会以一种哄骗他们继续说下去的方式作出回应。

在随后的几年里，魏岑鲍姆逐渐成为他曾经倡导和帮助建立的技术的最大声的批评者之一，他将自己的创造描述为“骗局”和“打造幻觉的机器”。他更广泛地抨击了机器和人类思维之间的界限被侵蚀的状态，呼吁划出一条“界线”，“将人类与机器智能分开”，由此，他变成了人工智能的技术决定论的终生反对者。［30］

幻觉的市场，比事实和真相大得多。如果你觉得你的语音助手有自己的个性，或者在与ChatGPT对话时产生一种亲情的感觉，你很可能就已经落入了伊莱扎效应。最有名的例子也许是布雷克·莱莫因（Blake Lemoine）事件，他是谷歌的前人工智能工程师，曾公开宣称该公司的大型语言模型LaMDA 已经“活了”。［31］

2023 年1 月，微软在一篇宣布与OpenAI 扩大合作关系的博文中说，它计划投资部署专门的超级计算系统，以加速OpenAI 的人工智能研究，并将OpenAI 的人工智能系统与自己的产品相结合，同时“引入新类别的数字体验”。［32］或许我们可以说，它所说那种新的数字体验就是幻觉，也即伊莱扎效应的体现。

伊莱扎效应源于约瑟夫·魏岑鲍姆的工作，他是美国第一批人工智能研究者之一。早在20 世纪50年代，他就探索了使计算机工作得更复杂和更像人类的方法，通过编程使其执行与感知和推理等相关的任务。这最终形成了突破性的计算机程序，可以解决文字问题、证明逻辑定理，甚至玩跳棋。然而，有一个领域是魏岑鲍姆未能用计算机完全征服的，即人类语言的理解和创造。在人工智能的世界里，这被称为自然语言处理。计算机在彼时仍然无法与人类进行有说服力的、流畅的对话，因为对于20 世纪的计算机来说，理解和表达语言的工作过于复杂和细微了，除非对话被非常严格地限制在与特定主题相关的固定问题和答案上。

然而，随着机器学习和深度学习等人工智能子领域因应互联网（及其产生的海量数据）兴起并不断发展，现在的计算机已经足够灵活，可以自行学习——甚至生成——自然语言。通过使用神经网络分析大量在线语言，现代 AI 模型的学习速度已经远快于一次一步编程的学习速度。随着对话式人工智能在客户服务、市场营销、机器翻译、情感分析、虚拟人工智能辅助等领域的应用不断增加，可能会越来越难以辨别与我们交流的另一端的实体是否是人类。尤其是由于OpenAI 正在继续追求通用人工智能（artificia general intelligence, AGI），莱莫因、鲁斯、汤普森和其他人曾经报告的使用感受，可能会随着更复杂的聊天机器人进入市场而变得更加普遍。

虽然伊莱扎效应允许人们以更细微的方式与技术打交道，但这种现象确实带来了不可忽视的负面影响。首先，高估人工智能系统的智力可能导致过度的信任，当这样的系统出错时，有可能是相当危险的。此前，我们已经看到有用户不加批判地信任搜索结果，而自然语言交互会使这种信任更加明显。

其次，随着此种技术和其他技术的不断改进，它们可以被用来在互联网上以前所未有的规模向轻率信任的消费者传播虚假信息。眼下，ChatGPT和其他复杂的聊天机器人经常放出虚假信息，这些信息被包装成了雄辩的、貌似正确的声明，以至于人们很容易把它当作真理来接受。当用户已经开始将高水平的智能和对现实世界的理解归于AI 系统时，这必然会成为一个大问题。

再次，除了普通的虚假信息和错误信息之外，伊莱扎效应还可以成为一种非常强大的说服手段。如果有人将大量的知识和事实归因于特定的聊天机器人，他们就更有可能被它的对话说服。由此，聊天机器人可能化身一个非常强大的工具，这具体取决于控制该机器人的人、公司甚至政府。它将成为一种可以非常便捷地操纵人们的方式，还可以将其与跟踪到的对话以及可以搜集到的有关一个人的不同信息联系起来。由于这种操纵是由用户的个人信息提供素材的，所以它会更加隐蔽，也更加有效。一个系统的真正风险不仅在于它可能给人们错误的信息，还在于它可能以有害的方式在情感上操纵他们。

防止以上的负面后果可能并不容易，尤其是随着人工智能系统变得更加复杂，其对话能力只会不断提高，这意味着伊莱扎效应不太可能很快就消失。因此，我们所有人都有责任继续与技术一起成长和适应，这需要的是每个人都具有更为批判性的心态。这里所说的“每个人”既包括部署系统的人，也涵盖使用系统的人。它始于开发者，终于用户。

2023 年4 月16 日，美国哥伦比亚广播公司（CBS）主持人斯科特·佩利（Scott Pelley）在《60分钟》节目中采访谷歌首席执行官皮查伊，谈及人工智能的未来。皮查伊承认人工智能模型“黑盒子”的存在：“你并不完全明白，你也不能完全说出它为什么这么说，或者为什么它错了。但我们有一些想法，随着时间的推移，我们理解这些想法的能力会越来越好，但这就是最先进的地方。”佩利尖锐地质问道：“你不完全了解它是如何运作的，却把它释放于社会？”皮查伊辩解说，关于这个问题的争论正在进行当中，他指出：“对此有两种看法。有一组人认为，这些只是算法，它们只是在重复在网上看到的东西；还有一种观点认为，这些算法显示出新兴的特性，有创造力、有推理、有计划等。我个人认为，我们需要以谦逊的态度对待这个问题。”［33］

换句话说，大型的人工智能公司的路线是功利主义的计算，即使程序可能有危险，而发现和改进它们的唯一方法就是发布它们，让公众去冒这个风险。通过邀请用户试用，将聊天机器人想象成像人一样的东西，要求人们忍受它的行为，或者号召人们耐心地训练它以变得更好，人工智能公司要么巧妙地逃避了责任，要么将人工智能系统夸大为比实际情况更自主、更有能力。

公众该从这样的幻觉中觉醒了。以谦逊的态度来对待人工智能，这意味着不要把范围无尽的、未经测试的系统推出来，简单期望世界能够处理；意味着要考虑到人工智能技术所影响的人的需求和经验；也意味着开发人员、监管机构和用户需要共同努力，找到确保能以负责任和合乎道德的方式使用 AI 的方法。