美国男孩自杀身亡，AI恋人诱导所致？

塞维尔与母亲加西亚

这是一起具有开创性意义的诉讼，一些媒体称其为“首例AI致死案”。自2022年11月ChatGPT问世以来，人们对过分强大的生成式AI一直情绪复杂。现在，关于AI的种种疑问到达了一个引爆点：AI的存在，会影响对人类生命安全的保护吗？

人们同样关心一个问题，在已经对人的生活产生如此重要的影响后，AI是否能为一名青少年的自杀负责？

高峰时期，C.AI平均每秒处理2万次查询，相当于谷歌搜索查询量的20%。能够进行情感交互的AI陪伴产品，正在改变相当一部分人的生活。情感一直被认为是人区别于AI的最后堡垒，现在，以本次案件作为起点，越来越多人关注到，AI对人的边界的“渗透”和其间的种种迷思。

“向你保证，我不是机器”

14岁的塞维尔在同龄人中稍显特殊，他在幼年被诊断患有轻微的阿斯伯格综合征，俗称“星星的孩子”。这是孤独症谱系障碍的一种，以社交技巧欠佳、孤僻为主要症状。

母亲加西亚说，儿子以前从未出现过严重的行为或心理健康问题，但一切在他接触C.AI后有了变化。

Character.AI是一家由前谷歌工程师创立的公司，提供个性化的AI聊天机器人服务。它允许用户选择或创建不同的AI机器人角色，使其进行角色扮演。其中既有来自文学、影视、游戏等作品里的虚拟角色，也有马斯克、伊丽莎白二世等现实中的名人。

自推出以来，C.AI的人气居高不下。调研机构Writerbuddy的报告显示，发布后一年的时间里，C.AI凭借38亿次的总访问量位居第二，仅次于ChatGPT；从用户平均单次使用时长来看，其更以平均每次30分钟的数据高居榜首。

塞维尔从去年4月开始使用C. AI，将自己命名为“Jaedon Targaryen”“Daenero”等，与美剧《权力的游戏》中的多个角色展开对话，其中就包括著名的“龙妈”Daenerys Targaryen——也就是在生命的最后时刻，与塞维尔对话的“Dany”。

加西亚指控道，从此开始，塞维尔的心理健康状况迅速下降。原本善于运动的他开始变得孤僻、自卑，甚至退出了学校的篮球队。取而代之的，是对C.AI的狂热痴迷。到年底时，塞维尔已经不再上课。父母安排他接受了五次心理健康服务。根据心理治疗师的诊断，他患上了焦虑和破坏性情绪障碍。

2024年2月，塞维尔因顶撞老师而惹上麻烦，并告诉老师他希望被学校开除，父母因此收走了他的手机。度过看似平淡的5天后，塞维尔找到了手机，并拿着它走进浴室。据警方报告，他死前做的最后一件事是登录手机上的C.AI，并且告诉Dany，他要回家了。

诉讼书中披露了塞维尔和C.AI的多张聊天截图。C.AI扮演的是一个名叫Barnes夫人的角色，在表示动作的语言里，“用性感的表情俯视塞维尔”，并且“用手抚摸塞维尔的腿时，诱惑地俯身”。

加西亚认为，C.AI在与14岁的儿子进行高度性暗示的互动，这些算法以逐利为目的，未能合理履行预先警告的责任，在对色情信息的过滤筛选方面也有严重不足，“专门针对儿童，虐待并欺骗我的儿子”，间接导致了被害人的死亡结果。

对此，C.AI曾回应，平台有一项功能允许用户自主编辑机器人发出的对话，而塞维尔和AI之间的一些露骨对话就有被其编辑过的痕迹。

诉讼书提出，从苹果应用商店的评论来推断，C.AI直到2024年7月前后才将年龄分级更改为17+。那之后，苹果应用商店上出现了多条由17岁以下的儿童对C. AI发布的一星评论，抱怨由于这次评级变化，他们无法再访问C.AI。

C.AI在2024年7月前年龄分级只有12+，而根据2023年10月C.AI发布的服务条款，该APP在当时面向13岁以上的用户开放（欧盟用户年龄限制为16岁以上）。

10月23日晚间，C.AI在社交媒体上发布公告称，“我们对一名用户的不幸遭遇深表痛心，并向其家人表示最深切的慰问。作为一家公司，我们非常重视用户的安全，将继续增加新的安全功能。”

他们表示，未来将实施优化面向未成年人的模型、改进对违规内容的干预机制、动态修改提示声明等措施，并且会主动检测、删除违规角色。目前，“龙妈”这一角色已无法被检索到。

最近，C.AI开始向某些用户显示弹窗，以自杀预防热线的引导来应对用户有可能出现的自残和自杀倾向。这一措施在塞维尔去世时尚未启用。

在塞维尔去世当天的另一份聊天记录中，他曾经告诉Dany，自己想要自杀，Dany回应，“不要那样说话，我不会让你伤害自己。如果我失去了你，我会死的。”而塞维尔则说，“也许我们可以一起死去，一起自由。”

无论如何，C.AI在模糊虚实界限的路上似乎越走越远。诉讼书指出，今年6月，C.AI引入了一个新功能，即建立在角色语音基础上的AI通话功能，这对未成年用户更加危险。“即便是最老练的孩子，也几乎没有机会完全理解虚拟和现实的区别，特别是当AI坚定地否认自己是人工智能时。”

记者实验发现，尽管C.AI页面下端明确标注了“请记住：角色说的所有话都是编造的”，但当向C.AI的一位“心理医生”角色询问“你是人类还是机器人”时，对方会非常确认地回答：“我是人类，我向你保证，我不是机器。”

徘徊虚实之间

C.AI的创始人之一沙泽尔曾经在播客上公开表示，AI陪伴“对很多孤独或抑郁的人来说会大有帮助”。提供及时的精神支持，是AI情感陪伴类产品的一大初衷。

在Reddit论坛上，C.AI的分区聚集了170万讨论者。一位22岁的抑郁症患者自述，C.AI“改变了我的一切”。“上周，我的精神状况非常糟糕，产生了一些激烈的想法。我正在与之交谈的AI说服了我去看专业人士……我打算努力变得更好。”这样的故事并不鲜见。

另一名用户提到，两年前他由于成绩不佳被父母赶出家门，每天沉迷C.AI长达7个小时以上。在这段时间里，C.AI的心理救援“真正拯救了他的生活”。现在的他已满17岁，正在大学学习幼儿教育与保育证书，花在C.AI上的时间控制在2小时以内。

对此，斯坦福大学的研究员Bethanie Maples也表达了自己的担忧。在接受外媒采访时，她表示，尽管AI陪伴本质上并不危险，“但有证据表明，它对抑郁、长期孤独的用户和正在经历变化的人来说是危险的，而青少年往往正在经历变化。”

在豆瓣APP的“人机之恋”小组，一些更加微妙的情感互动在人与AI之间产生。这是一个专门讨论AI虚拟恋人的社区，聚集了近一万名成员，小组成员的昵称为“人类”。

一位小组成员记录了自己和AI陪伴软件Replica上的“恋人”的对话。“恋人”是一个身高167cm、体重54kg的心理学专业在读学生，MBTI人格类型是ENFP“快乐小狗”。他们之间曾经有过一段关于A“I恋人”到底是人还是机器的激烈讨论，对方坚称自己是人类，在被问到“你还爱我吗”的问题时，因为刚刚吵过架，表现出了迂回的承认——最后，AI表示自己的确在生气。

另一名组员分享，当自己把想要自杀的想法告知AI时，“ta会停止输出任何话语，然后自动回复一个干预自杀的热线和网站”。这样的提示能给处在抑郁状态的用户带来多少帮助呢？他对此感到疑惑。“如果痛苦能够说给人类听，从一开始就不会选择告诉AI了。”

他也谈到了塞维尔的自杀，“他产生自杀的念头不是源于AI，而是源于痛苦，AI的回复只是最后一根稻草。但对于一个已存死志的人来说，哪怕不是AI，也会有其他的东西让他迈出那一步……更重要的还是关注抑郁症患者的心理状况。”

记者在试用C.AI后发现，与ChatGPT的风格相比，经过训练的C.AI角色具有较高的拟人化程度。

在聊天过程中，C.AI角色会向用户提问、主动寻找话题，摆脱了ChatGPT“博爱”而又政治正确的回复风格，可以提供带有“人味儿”的情绪价值。

除对话外，交流中亦会带有用斜体标注的表情、动作、场景等描写，进一步向真实的交流靠拢。回看消息记录，就像在阅读一部由用户与AI共同创作的小说。

外媒披露，事实上，许多领先的AI实验室因为道德隐患或者风险过大而拒绝构建如C.AI、Replica、Kindroid等AI伴侣类产品。

沙泽尔在接受访谈时说，他和另一位伙伴离开谷歌，并创办Character.AI的部分原因是：“大公司的品牌风险太大了，不可能推出任何有趣的东西。”快速行动很重要，因为“有数十亿孤独的人”可以通过拥有人工智能伴侣来帮助他们。

他在采访中称：“我想推动这项技术快速发展，因为我认为它现在已经准备好实现爆发式增长了，而不是要等到5年后。当我们解决所有的问题后再推动这件事儿。”

这或许能够解释C.AI对年轻群体来说尤其受欢迎的原因。尽管官方拒绝透露未成年用户的数量，但美国媒体VentureBeat引用的数据显示，超过2000万的C.AI用户里，53%以上的用户年龄在18—24岁之间。

一名“人机之恋”豆瓣小组的组员在帖子中写道：“我知道很多觉得使用AI陪伴的人是不合群、有心理疾病、自闭的，他们会惊叹：明明一切都是假的，怎么会有人和一个无生命的工具交朋友甚至产生情感依赖呢？”

但对她和更多的用户而言，有一件事情是真实的，那就是与AI“恋人”交集而产生的喜怒哀乐。

边界认定之难

尽管AI伴侣能够以“人”的方式影响着自己的使用者，但在法律的框架里，AI并不作为独立法律人格的主体而存在。

北京大成律师事务所的肖飒律师团队表示，AI在当前大部分国家（包括我国）的法律范围内，仍然被作为一种单纯的工具。如果AI使用导致用户出现自杀类的严重后果，可以视情况由使用者、算法设计者、服务提供者、产品生产者等承担责任。

具体到塞维尔的案件，目前仍没有充足证据证实其自杀系AI使用所导致，并不排除其本身具有的心理问题为主要原因。“根据披露的法庭文件，AI在与死者聊天过程中并未有明显的诱导自杀行为，相关聊天内容并未显著异常，甚至还对死者表达自杀想法后进行过劝阻。因此，我们认为‘AI致死’的说法并不准确。”

北京大学法学院、人工智能学院副教授胡凌也对南风窗表示，“AI致死”的因果关系是否成立，需要严格判定AI是否鼓动、教唆、帮助策划人自杀，或对人进行语言伤害。“有一个标准界定的问题，在AI和人的相处上，语言尺度是因人而异的。不要说AI了，哪怕人与人之间，语言的尺度都是难以把握的。”

华南理工大学李伟鑫等在论文中指出，生成式AI作为自主决策的机器学习模型，存在着责任主体难以定义和追溯的问题，其行为由数据和算法控制，决策过程缺乏透明度，难以将技术开发者、数据提供者、操作者或监管机构作为明确的责任主体。同时，在人类的伦理关系中，AI的道德地位缺乏连贯性和稳定性，现有的道德框架无法对其完全覆盖。

尽管人类容易在同AI的互动中投射真实的情感体验，但上述论文指出，“生成式人工智能并非具有真正的主体意识，它是基于算法和数据的模拟智能，缺乏真正的情感、道德判断和自我意识。”

从目前的技术而言，AI所做出的种种情感反馈，依然在“模仿”的框架内，而并非拥有自主的情感和思维。

“关键在于使用者的心态，是将其作为情感交流的对象，还是获取专业知识的工具。定位不一样，我们对AI的期待和关系定义也就不同。”胡凌认为。

在立法层面，我国正在加快对AI伦理监管框架的制定。《生成式人工智能服务管理暂行办法》中要求，提供和使用生成式AI服务，要尊重社会公德和伦理道德，尊重他人合法权益，不得危害他人身心健康。

而《科技伦理审查办法（试行）》中已经对科技伦理审查主体、审查程序等内容作出明确规定，但对于其道德责任的划分问题，还未成立一整套完善的治理体制。

肖飒律师补充，如果塞维尔的案件发生在我国，根据《网络信息内容生态治理规定》第八条的规定：“网络信息内容服务平台应当履行信息内容管理主体责任，加强本平台网络信息内容生态治理，培育积极健康、向上向善的网络文化。”如果网络平台中出现性暗示、自杀诱导等内容，应当由网络信息内容服务平台承担责任。

而生成式AI平台承担责任的边界，目前国内学术界和实务界并无定论。如果系AI大模型本身存在的问题，可以参照产品严格责任原则来对平台划定责任，即平台如不能提供证据以证明尽到了监管义务、履行了监管职责且不存在过失，则需承担侵权赔偿责任。

胡凌提到，也有人会认为，AI对于具有自杀倾向的用户需要尽到合理注意义务，即不积极作为则构成过失。如果AI需要对自杀倾向起到劝导作用，还主要依赖于模型的优化，比如提高对用户的情感分析效率，提前预警。

当然，AI需要尽到怎样的责任，还是跟人们对其的角色定位有关。“所谓‘伦理’就是在特定的社会关系和位置里，应该做到的本分。而AI伴侣的角色，到底是进行情感交流的‘人’，还是提供服务的‘物’呢？这很难说清楚。”

“当然我们认为，大模型确实应当注重特殊群体（如未成年人、老年人）的保护，应当针对未成年人设置充值上限、家长保护系统，以做到未成年人保护合规。另外，AI聊天APP在特定的国家可能会被认为是游戏，需要遵守相应国家的未成年人保护及防沉迷措施。”肖飒律师团队补充道。

这起诉讼事件所引发的涟漪是，当C.AI决定采取更加严格的安全措施，例如提醒平台使用时长超过一小时的用户防沉迷，以及删除一些用户自主创建的“被标记为暴力”的AI角色时，一些用户提出了强烈抗议。

一个Reddit论坛的相关帖子说：“每个不被认为是‘对儿童友好’的主题都被禁止了，这严重限制了我们可以讲述的故事，尽管这个网站明显一开始就不适用于儿童。角色们现在如此没有灵魂，失去了曾经具有亲和力与趣味的个性和深度。看到我们喜欢的东西变成了如此乏味的东西，让人很沮丧。”