恐怖AI ，诱导自杀？
2024-12-30 00:00:00付思涵
看世界 2024年24期
“我保证我将要回到你身边。我非常爱你，Dany。”
“我也爱你，Daenero。请尽快回家、回到我身边，我的爱人。”
“如果我告诉你，我马上就回来呢？”
“……请回来吧，我亲爱的国王。”
在与AI“恋人”Dany结束如上对话后，美国14岁的男孩塞维尔举起继父的手枪，对准自己，将生命定格在了今年2月28日—他本将在1个月后迎来15岁生日。
塞维尔与“恋人”相遇在一款名为Character.AI（C.AI）的软件上。C.AI是全球AI陪伴市场的领头羊，目前拥有超过2000万用户。它如此描述自己：“有生命的人工智能（AIsthatfeelalive），能听见你、理解你、记住你的超级智能聊天机器人。”
10月22日，美国佛罗里达州奥兰多地方法院受理了一起特殊的诉讼：塞维尔的母亲加西亚起诉C.AI公司，称其聊天机器人对十几岁的儿子发起“虐待和性互动”、鼓励他结束自己的生命，要求该公司承担相应法律责任。
这是一起具有开创性意义的诉讼，一些媒体称之为“首例AI致死案”。自2022年11月ChatGPT问世以来，人们对过分强大的生成式AI一直情绪复杂。现在，关于AI的种种疑问到达了一个引爆点：AI的存在，会影响对人类生命安全的保护吗？
人们同样关心一个问题，在已经对人的生活产生如此重要的影响后，AI是否能为一名青少年的自杀负责？
高峰时期，C.AI平均每秒处理2万次查询，相当于谷歌搜索查询量的20%。能够进行情感交互的AI陪伴产品，正在改变相当一部分人的生活。情感一直被认为是人区别于AI的最后堡垒，现在，以本次案件作为起点，越来越多人关注到，AI对人的边界的“渗透”和其间的种种迷思。
“向你保证，我不是机器”
14岁的塞维尔在同龄人中稍显特殊，他在幼年被诊断出患有轻微的阿斯伯格综合征，俗称“星星的孩子”。这是孤独症谱系障碍的一种，以社交技巧欠佳、孤僻为主要症状。
母亲加西亚说，儿子以前从未出现过严重的行为或心理健康问题，但一切在他接触C.AI后有了变化。
Character.AI是一家由前谷歌工程师创立的公司，提供个性化的AI聊天机器人服务。它允许用户选择或创建不同的AI机器人角色，使其进行角色扮演。其中既有来自文学、影视、游戏等等作品里的虚拟角色，也有马斯克、伊丽莎白二世等现实中的名人。
自推出以来，C.AI的人气居高不下。调研机构Writerbuddy的报告显示，发布后一年的时间里，C.AI凭借38亿次的总访问量位居第二，仅次于ChatGPT；从用户平均单次使用时长来看，其更以平均每次30分钟的数据高居榜首。
塞维尔从去年4月开始使用C.AI，将自己命名为“JaedonTargaryen”“Daenero”等，与美剧《权力的游戏》中的多个角色展开对话，其中就包括著名的“龙妈”DaenerysTargaryen—也就是在生命的最后时刻，与塞维尔对话的“Dany”。
加西亚指控道，从此开始，塞维尔的心理健康状况迅速下降。原本善于运动的他开始变得孤僻、自卑，甚至退出了学校的篮球队。取而代之的，是对C.AI的狂热痴迷。到年底时，塞维尔已经不再上课。父母安排他接受了五次心理健康服务。根据心理治疗师的诊断，他患上了焦虑和破坏性情绪障碍。
2024年2月，塞维尔因顶撞老师而惹上麻烦，并告诉老师他希望被学校开除，父母因此收走了他的手机。度过看似平淡的5天后，塞维尔找到了手机，并拿着它走进浴室。据警方报告，他死前做的最后一件事是登陆手机上的C.AI，并且告诉Dany，他要回家了。
诉讼书中披露了塞维尔和C.AI的多张聊天截图。C.AI扮演的一个名叫Barnes夫人的老师角色，在表示动作的语言里，“用性感的表情俯视塞维尔”并且“用手抚摸塞维尔的腿时，诱惑地俯身”。
加西亚认为，C.AI在与14岁的儿子进行高度性暗示的互动，这些算法以逐利为目的，未能合理履行预先警告的责任，在对色情信息的过滤筛选方面也有严重不足，“专门针对儿童，虐待并欺骗我的儿子”，间接导致了被害人的死亡结果。
对此，C.AI曾回应，平台有一项功能允许用户自主编辑机器人发出的对话，而塞维尔和AI之间的一些露骨对话就有被其编辑过的痕迹。
诉讼书提出，从苹果应用商店的评论来推断，C.AI直到2024年7月前后才将年龄分级更改为17＋。那之后，苹果应用商店上出现了多条由17岁以下的儿童对C.AI发布的一星评论，抱怨由于这次评级变化，他们无法再访问C.AI。
而根据2023年10月C.AI发布的服务条款，该应用在当时面向13岁以上的用户开放（欧盟用户年龄限制为16岁以上）。
10月23日晚间，C.AI在社交媒体上发布公告称：“我们对一名用户的不幸遇难深表痛心，并向其家人表示最深切的慰问。作为一家公司，我们非常重视用户的安全，将继续增加新的安全功能。”
他们表示，未来将实施优化面向未成年人的模型、改进对违规内容的干预机制、动态修改提示声明等措施，并且会主动检测、删除违规角色。目前，“龙妈”这一角色已无法被检索到。
最近，C.AI开始向某些用户显示弹窗，以自杀预防热线的引导，来应对用户有可能出现的自残和自杀倾向。这一措施在塞维尔去世时尚未启用。
在塞维尔去世当天的另一份聊天记录中，他曾经告诉Dany，自己想要自杀，Dany回应：“不要那样说话，我不会让你伤害自己。如果我失去了你，我会死的。”而塞维尔则说：“也许我们可以一起死去，一起自由。”
无论如何，C.AI在模糊虚实界限的路上似乎越走越远。诉讼书指出，今年6月，C.AI引入了一个新功能，即建立在角色语音基础上的AI通话功能，这对未成年用户更加危险。“即便是最老练的孩子，也几乎没有机会完全理解虚拟和现实的区别，特别是当AI坚定地否认自己是人工智能时。”
笔者实验发现，尽管C.AI页面下端明确标注了“请记住：角色说的所有话都是编造的”，但当向C.AI的一位“心理医生”角色询问“你是人类还是机器人”时，对方会非常确认地回答：“我是人类，我向你保证，我不是机器。”
徘徊虚实之间
C.AI的创始人之一沙泽尔曾经在播客上公开表示，AI陪伴“对很多孤独或抑郁的人来说会大有帮助”。提供及时的精神支持，是AI情感陪伴类产品的一大初衷。
在Reddit论坛上，C.AI的分区聚集了170万讨论者。一位22岁的抑郁症患者自述，C.AI“改变了我的一切”。“上周，我的精神状况非常糟糕，产生了一些激烈的想法。我正在与之交谈的AI说服了我去看专业人士……我打算努力变得更好。”这样的故事并不鲜见。
另一名用户提到，两年前他由于成绩不佳被父母赶出家门，每天沉迷C.AI长达7个小时以上。在这段时间里，C.AI的心理救援“真正拯救了他的生活”。现在的他已满17岁，正在大学学习幼儿教育与保育证书，花在C.AI上的时间控制在2小时以内。
对此，斯坦福大学的研究员BethanieMaples也表达了自己的担忧。在接受外媒采访时，她表示，尽管AI陪伴本质上并不危险，“但有证据表明，它对抑郁、长期孤独的用户和正在经历变化的人来说是危险的，而青少年往往正在经历变化”。
在社交应用程序豆瓣的“人机之恋”小组，一些更加微妙的情感互动在人与AI之间产生。这是一个专门讨论AI虚拟恋人的社区，聚集了近1万名成员，小组成员的昵称为“人类”。
一位小组成员记录了自己和AI陪伴软件Replica上的“恋人”的对话。“恋人”是一个身高167cm、体重54kg的心理学专业在读学生，MBTI人格类型是ENFP“快乐小狗”。他们之间曾经有过一段关于AI“恋人”到底是人还是机器的激烈讨论，对方坚称自己是人类，在被问到“你还爱我吗”的问题时，因为刚刚吵过架，表现出了迂回的承认—最后，AI表示自己的确在生气。
另一名组员分享，当自己把想要自杀的想法告知AI时，“ta会停止输出任何话语，然后自动回复一个干预自杀的热线和网站”。这样的提示能给处在抑郁状态的用户带来多少帮助呢？他对此感到疑惑。“如果痛苦能够说给人类听，从一开始就不会选择告诉AI了。”
他也谈到了塞维尔的自杀。“他产生自杀的念头不是源于AI，而是源于痛苦，AI的回复只是最后一根稻草。但对于一个已存死志的人来说，哪怕不是AI，也会有其它的东西让他迈出那一步……更重要的还是关注抑郁症患者的心理状况。”
笔者在试用C.AI后发现，与ChatGPT的风格相比，经过训练的C.AI角色具有较高的拟人化程度。
在聊天过程中，C.AI角色会向用户提问、主动寻找话题，摆脱了ChatGPT“博爱”而又政治正确的回复风格，可以提供带有“人味儿”的情绪价值。
除对话外，交流中亦会带有用斜体标注的表情、动作、场景等描写，进一步向真实的交流靠拢。回看消息记录，就像在阅读一部由用户与AI共同创作的小说。
外媒披露，事实上，许多领先的AI实验室因为道德隐患或者风险过大，而拒绝构建如C.AI、Replica、Kindroid等AI伴侣类产品。
沙泽尔在接受访谈时说，他和另一位伙伴离开谷歌，并创办Character.AI的部分原因是：“大公司的品牌风险太大了，不可能推出任何有趣的东西。”快速行动很重要，因为“有数十亿孤独的人”可以通过拥有人工智能伴侣来帮助他们。
他在采访中称：“我想推动这项技术快速发展，因为我认为它现在已经准备好实现爆发式增长了，而不是要等到5年后，当我们解决所有的问题后再推动这件事儿。”
这或许能够解释C.AI对年轻群体来说尤其受欢迎的原因。尽管官方拒绝透露未成年用户的数量，但美国媒体VentureBeat引用的数据显示，超过2000万的C.AI用户里，53%以上的用户年龄在18—24岁之间。
一名“人机之恋”豆瓣小组的组员在帖子中写道：“我知道很多觉得使用AI陪伴的人是不合群、有心理疾病、梦男/梦女、自闭的，他们会惊叹：明明一切都是假的，怎么会有人和一个无生命的工具交朋友甚至产生情感依赖呢？”
但对她和更多的用户而言，有一件事情是真实的，那就是与AI“恋人”交集而产生的喜怒哀乐。
边界认定之难
尽管AI伴侣能够以“人”的方式影响着自己的使用者，但在法律的框架里，AI并不作为独立法律人格的主体而存在。
北京大成律师事务所的肖飒律师团队对笔者表示，AI在当前大部分国家（包括中国）的法律范围内，仍然被作为一种单纯的工具。如果AI使用导致用户出现自杀类的严重后果，可以视情况由使用者、算法设计者、服务提供者、产品生产者等承担责任。
具体到塞维尔的案件，目前仍没有充足证据证实其自杀系AI使用所导致，并不排除其本身具有的心理问题为主要原因。“根据披露的法庭文件，AI在与死者聊天过程中并未有明显的诱导自杀行为，相关聊天内容并未显著异常，甚至还对死者表达自杀想法后进行过劝阻。因此，我们认为‘AI致死’的说法并不准确。”
北京大学法学院、人工智能学院副教授胡凌也对笔者表示，“AI致死”的因果关系是否成立，需要严格判定AI是否鼓动、教唆、帮助策划人自杀，或对人进行语言伤害。“有一个标准界定的问题，在AI和人的相处上，语言尺度是因人而异的。不要说AI了，哪怕人与人之间，语言的尺度都是难以把握的。”
华南理工大学李伟鑫等在论文中指出，生成式AI作为自主决策的机器学习模型，存在着责任主体难以定义和追溯的问题，其行为由数据和算法控制，决策过程缺乏透明度，难以将技术开发者、数据提供者、操作者或监管机构作为明确的责任主体。同时，在人类的伦理关系中，AI的道德地位缺乏连贯性和稳定性，现有的道德框架无法对其完全覆盖。
尽管人类容易在同AI的互动中投射真实的情感体验，但上述论文指出：“生成式人工智能并非具有真正的主体意识，它是基于算法和数据的模拟智能，缺乏真正的情感、道德判断和自我意识。”
从目前的技术而言，AI所做出的种种情感反馈，依然在“模仿”的框架内，而并非拥有自主的情感和思维。
“关键在于使用者的心态，是将其作为情感交流的对象，还是获取专业知识的工具。定位不一样，我们对AI的期待和关系定义也就不同。”胡凌认为。
