对ChatGPT 等生成式人工智能的三个刑法追问

傅 亮

一、问题的提出

2022 年11 月，美国OpenAI 公司发布了人工智能聊天机器人程序ChatGPT，仅两个月其用户数量就超过1 亿人，引发了全球关注。事实上，从1966 年第一代人工智能聊天机器人ELIZA 的问世到现在的手机语音助手Siri、小爱同学、小艺等等，人工智能聊天机器人已经深入普通人的日常生活。但与此前人工智能聊天机器人有所不同，ChatGPT 是一种基于互联网可用数据训练的大型语言模型，其运用的Transformer 是一种新型脑神经网络架构。①邓建鹏、朱怿成：《ChatGPT 模型的法律风险及应对之策》，《新疆师范大学学报（哲学社会科学版）》2023 年第5 期。通过这种架构可以把预训练和微调体系引入自然语言处理过程，生成符合人类习惯的多语言逻辑内容。由此，人与机器的交流不再是简单的匹配式对话，而是可以像朋友一样闲聊。例如，用户可以指出智能机器人的错误，它在验证后会进行自我改正；同时，用户还可以通过输入指令，让它生成所需要的各类内容，如演讲稿、脚本代码、策划方案等等。此外，根据OpenAI 在其官网公布的数据来看，ChatGPT 的进化速度也是非常迅速的。在ChatGPT3.5阶段，其参加美国律师执业考试的成绩是213 分，超越了10%的应试者；但在最新发布的ChatGPT4.0时代，其成绩已超越了90%的应试者。②参见OpenAI 公司网页数据（https://openai.com/research/gpt-4）。

目前，以ChatGPT 为代表的人工智能技术的兴起正在引发一场技术革命。一方面，依靠ChatGPT的强大算力，技术人员可以重塑数字时代的生产方式和消费方式，丰富人们的数字生活；另一方面，随着以ChatGPT 为代表的生成式人工智能技术的不断发展，其也可能在当下和未来引发若干刑事法律方面的挑战。这些挑战大致可以概括为以下三个方面：第一，以ChatGPT 为代表的生成式人工智能已经具备了一定程度类人化的思维，其不仅具有强大算力，还具备一定的逻辑分析能力①OpenAI 官网的一段视频显示，当展示一幅绑着绳子的气球图片，询问剪断绳子以后会发生什么时，ChatGPT 回答称“气球会飞走”。，由此，类似ChatGPT 的生成式人工智能是否已经具备了承担刑事责任的能力？或者说随着技术的不断进步，这些人工智能发展到何种程度时，可能会被承认为犯罪主体？第二，虽然目前生成式人工智能尚未引发较大问题，但其存在的刑法风险隐患仍不容忽视：（1）科技公司更强调和注重人工智能的发展速度而轻视安全性，如谷歌公司在Twitter 上展示其人工智能Bard 关于韦伯空间望远镜的相关回答时，就产生了非常明显的事实错误。②新华网：《出师不利！谷歌Bard 答题犯下事实性错误》，https://app.xinhuanet.com/news/article.html?articleId=36e0943a1f8edd3508b1c0e686c0c358，访问日期：2023 年4 月1 日。（2）由于缺乏全面的道德伦理过滤机制，不良违法信息的输出也可能引发违法犯罪行为。眼下，ChatGPT 已经实现了某种程度的创作，而这也引发了有关知识产权犯罪的担忧。（3）不受监管的信息爬取也可能会对公民的个人信息、公司的商业秘密以及国家安全的相关法益造成损害。第三，在总结了ChatGPT 可能引发的刑事风险后，未来的人工智能刑事风险研究又该走向何方？本文尝试对以上三个问题展开初步探讨，希望借此抛砖引玉，深化学界关于ChatGPT 以及生成式人工智能刑事风险的研究。

二、对ChatGPT 犯罪主体资格的追问

在回答ChatGPT 能否承担刑事责任之前，需要了解刑事责任设置的目的是什么以及为什么人可以承担刑事责任而动物则不能。进一步讲，如果坚持刑法人类中心主义，认定无意志自由则无可能承担刑事责任，那么法人又为何可以承担刑事责任？只有回答了这些问题，才能对以ChatGPT 为代表的生成式人工智能是否可以承担刑事责任作出合理解释。

（一）自由意志下刑法人类中心主义的确立

早期刑罚的目的在于消除罪恶，维护正义与教化。纵观人类历史，早期的刑罚制裁对象并不局限于人类，其他动物甚至无生命的物体也会承担刑事责任。例如，“因攻击人而致其死亡的无生命的东西，如石头、梁、铁片等，也要在普里坦库尼受审。”③Walter Woodburn Hyde,“Prosecution and Punishment of Animals and Lifeless Things in the Middle Ages and Modern Times”,64 U.Pa.L.Rev.696,730(1915-1916)，p.696.后来，人类意识到惩罚石头、铁片等无生命物体并无任何意义，因而将刑事制裁的对象限定于有生命的人与其他动物。据记载，1314 年，在法国，一头公牛袭击了穆瓦西附近的一名男子并造成其死亡。后来，巴黎议会批准将这头牛绞死在公共绞刑架上。1389 年，在第戎，一匹马因犯杀人罪被判处死刑；1694 年，一匹母马也因犯罪而被烧死。④Harry Hibschman,“When Animals Were Criminals”,Legal Chatter,Vol.2,No.4,November 1938,p.39.如果说早期人类惩罚无生命的物体是因为认知的局限性，那么之后惩罚动物的目的则往往只是为了维护其宗教信仰。在宗教信徒看来，所有动物都是魔鬼的化身，所有的异教徒和未受洗的人都是魔鬼的化身。

随着启蒙运动的兴起，理性主义让人们开始审视和反思动物犯罪及其惩罚的合理性问题。人们发现动物的行为乃其本能反应，正如猫会抓老鼠，老虎看见其他动物会去捕猎一样，都属于其本能反应而非由其自由意志决定。动物的行为不可能建立在任何论证或推理的过程上，它不能根据这样的论证或推理过程得出结论。尽管动物亦有其行为准则，但仅局限于生存和繁衍等本能反应，“缺乏自由意志与行为之本能与非理性，是决定动物不被认为具有犯罪主体资格的根本原因”⑤彭文华、傅亮：《论〈刑法修正案（十一）〉关于刑事责任年龄的规定》，《青少年犯罪问题》2021 年第1 期。。囚禁或者杀死动物，除了能防止其继续实行危害行为，并不能让动物自身感到刑罚的效果或者威慑其他动物。所以，从本质上来看，惩罚动物与惩罚无生命物体的刑罚效果是一致的。人与动物最大不同在于人具有自由意志和理性，人既能认识并遵守道德规范，还能感知刑罚的威慑力。理性会驱使人在实行某一行为时权衡利弊，而非像动物一样依靠本能。自由意志和理性既是人类获得犯罪主体资格的前提与基础，也是专属人类的能力，由此刑法人类中心主义得以正式确立。

（二）对刑法人类中心主义的挑战——法人犯罪

刑法人类中心主义强调只有人类能够作为刑事责任的承担者，但随着社会经济的快速发展和公司制度的完善，这种独一无二的“特权”逐渐面临挑战。

1.法人的犯罪主体资格生成及其刑事责任的确立。作为一种社会组织，法人的设立最初是为了适应经济的发展，并只适用于民法领域。在刑法上，学者们起先普遍认为“只有人才可以行动并且对此产生内疚的心理”①Daniel R Fischel,Alan O.Sykes,“Corporate Crime”,Journal of Legal Studies,25 J.Legal Stud.(1996),p.320.，李斯特也曾说过“法人，如公司、大学或者学院等绝不可能成为犯罪的主体。只有不同种类的公司里的具体个人才可能是犯罪人，甚至，当公司里的所有人都想犯罪并且实施了犯罪行为时，仍然是个人犯罪”，②［德］李斯特：《德国刑法教科书》，徐久生译，法律出版社2000 年版，第37 页。由此否认了法人承担刑事责任的可能性。然而，在英美国家，“法人刑事责任的确立和发展，与英美法系国家的工业化进程几乎是并驾齐驱的。”③彭文华：《自由意志、道德代理与智能代理——兼论人工智能犯罪主体资格之生成》，《法学》2019 年第10 期。随着资本主义经济的快速发展以及公司制度的建立与完善，法人对各类经济活动和大多数社会政治活动所产生的影响呈现爆发式增长。法人频繁实施的违法行为倒逼刑法做出内部调整，刑事司法机关开始承认法人的犯罪主体资格。法人承担刑事责任的思路启发于侵权法中的代理人制度，被代理人需要对代理人的侵权行为承担责任。同理，法人作为被代理人，若实施侵权行为的损害结果不能仅归责于代理人，那么法人作为被代理人也应当承担相应的责任。

2.法人意识的拟制与独立。法人非“人”，即使通过代理人制度的类比方式，在法律上规定法人可以承担刑事责任，但依然无法解决一个问题，即法人自身既无自主意志，也无行动能力，却为何可以突破刑法单纯处罚意志自由的自然人的边界，而被要求承担刑事责任？

自由意志虽为人类所专属，但也并非所有人类个体都具备成熟的自由意志并承担刑事责任。对于何种年龄阶段可以承担刑事责任，各国虽有不同规定，但都认可在达到一定年龄前个体可以不承担刑事责任，这属于法律拟制的个体成熟年龄。同理，法律在承认法人可以承担刑事责任的同时，也拟制了其意识与意志。但究其本质，法人只是一个社会团体组织，它甚至不具备动物那样的行动能力和本能反应。正如有学者所指出的，法人只是囊括其背后诸多生物人一大堆权利义务的“说法”，法人本身说到底并没有什么权利义务。将法人视为主体，很大程度源于表达和思维的经济性这类认知价值。④凯尔森：《法与国家的一般理论》，沈宗灵译，中国大百科全书出版社1996 年版，第109 页。因此，从刑事制裁的功利性角度出发，法律为法人拟制了独立的意志。但众所周知，法人脱离了人的意识和行为是不会有任何决策和行动的。所以，法人的意志必须与代理人的意识与行为相联系，方能为刑法对其的惩罚提供正当化依据。

为此，有学者提出了法人文化原则，认为法人故意与过失的事实依据，既非法人成员的个体意识，亦非法人的具体活动，而是抽象的法人文化，即影响法人成员行为与选择的价值观、信仰与行为准则。⑤李鄂贤：《法人刑事责任的本质转变与法人犯罪立法的改革》，《法学杂志》2019 年第5 期。还有学者提出雇主责任原则，将代理人意图与雇主法人意图联系起来，认为只有当代理人具有使法人受益的意图，代理人意识才能被视为法人意识，从而缩小了刑事责任范围。⑥彭文华：《自由意志、道德代理与智能代理——兼论人工智能犯罪主体资格之生成》，《法学》2019 年第10 期。总而言之，上述观点皆承认法人的意识与行为具有独立性，但都试图将法人意识与代理人或者由法人成员所创造的文化、价值观等挂钩，从而限缩法人意识的绝对独立范围。所以，从本质上来看，法人文化原则和雇主责任原则仍然未完全脱离刑法人类中心主义的立场。

（三）刑法人类中心主义的彻底消解

赋予法人犯罪主体资格突破了传统理论框架下自由意志的限制，但将法人意识与代理人意识相联系，终究没有完全突破刑法人类中心主义。目前，由于以ChatGPT 为代表的生成式人工智能更具有智能化和类人化的表现，因而学界有识之士开始呼吁，认为也许是时候赋予人工智能犯罪主体资格，并使其承担刑事责任了。法人与人工智能差异巨大，正如许多科幻电影中所展示的那样，人工智能可以完全脱离人类进行独自思考并采取相关行为。如果我们承认人工智能具备承担刑事责任的能力，必将完全超越刑法人类中心主义。因此，在论证ChatGPT 能否承担刑事责任前，首先需要思考的是人工智能是否可以承担刑事责任、承担的依据是什么？如果在当下，ChatGPT 尚不能承担刑事责任，那么人工智能要达到何种程度才可能具备刑事责任能力？

1.强人工智能具有承担刑事责任的能力。按照学界对弱人工智能与强人工智能的分类标准，如果说弱人工智能仅能在设计和编制的程序范围内实施行为，实现人类设定的目的，那么强人工智能已经具备一定的辨认能力和控制能力，可以在设计和编制的程序范围之外实施行为。①刘宪权：《人工智能时代的“内忧”“外患”与刑事责任》，《东方法学》2018 年第1 期。当前，学界虽在人工智能能否承担刑事责任的问题上并未达成一致，但对弱人工智能却都秉持“犯罪工具论”和“犯罪对象论”立场，认为弱人工智能不可能成为归责主体，在这方面不存在分歧；②魏东：《人工智能犯罪的可归责主体探究》，《理论探索》2019 年第5 期。主要争议之处在于强人工智能是否可以承担刑事责任。否定论者主要从三个方面对强人工智能的归责性进行否认：第一，从认知科学的角度来说，机器人只是在模仿学习人类智能，却永远不可能拥有人类智能。持该观点学者从神经、心理、语言、思维和文化等五个方面对人类智能与人工智能进行了区分，从而表明人工智能永远不可能超越人类智能。③蔡曙山、薛小迪：《人工智能与人类智能——从认知科学五个层级的理论看人机大战》，《北京大学学报》2016 年第4期。第二，从刑事责任的依据和刑罚的目的来看，人工智能永远不可能具备同人类一样的意志自由。持该观点学者认为人工智能缺少法规范遵从能力的意志性，从道义责任论来看，若犯罪主体不具有意志自由，则无施加刑罚之必要性。④时方：《人工智能刑事主体地位之否定》，《法律科学》2018 年第6 期。第三，从刑罚的体系内容来看，人工智能不具备适用财产刑和人身刑的可能，智能机器人与单位不同，赋予其财产权没有现实基础，惩罚人工智能将打破现有刑罚体系。⑤裴长利、江国强：《人工智能体的刑事主体资格》，载刘宪权：《人工智能：刑法的时代挑战》，上海人民出版社，第257 页。

在笔者看来，上述否定论学者的观点是非常值得商榷的。第一，从神经、心理、语言、思维和文化等五个认知方面说明人工智能永远不可能超越人类智能，实际上是偷换了概念，要求人工智能的运作机制必须与人类的完全一样。事实上，人工智能的生成本来就与人类不一样，为何要强求它也以意识、思维和感觉为行动的前提呢？ChatGPT 和AlphaGo 都可以通过深度学习获得超越一般人类的分析能力和判断能力，因此，对待人工智能不应过早确定刻板印象，以现有的认知水平来要求人工智能必须以人的认知过程机制为标准。第二，如上所述，当我们承认法人的犯罪主体资格时，尽管学者们努力将法人与代理人的意识、行为等相联系，但事实上刑法人类中心主义已经跌落神坛，那又为何还要强调只有人类才能承担刑事责任呢？若未来某一天，强人工智能真正出现却又不可对其归责，去惩罚研发人员或者使用者显然是无法发挥刑法的预防与威慑功能的。第三，反对者从人工智能缺乏人身、财产权益出发，进而认为对其适用刑罚既无实际意义，也容易打破现有刑罚体系。但事实上，强人工智能本身就并非人类，适用处罚人类的刑法如何能惩罚强人工智能？就像对待法人犯罪的发展一样，这也是一个从无到有的过程。在短短的几十年里，单位犯罪已经成为目前司法机关最为头疼的问题之一。从功利主义的角度出发，如果未来强人工智能真的出现，刑法必然需要进行修改，从而与强人工智能的发展现实相匹配和适应。

2.ChatGPT 不具备承担刑事责任的能力。不同于以往的人工智能聊天机器人，ChatGPT 具有更加丰富的数据库和更加强大的算力。根据OpenAI 官网介绍，ChatGPT 可以根据用户的需求撰写演讲稿、代码等等，最新的ChatGPT4.0 甚至已经具备强大的逻辑计算能力。当演示人员向ChatGPT 展示一张用绳子绑着气球的图片，并询问如何让气球飞起来时，它会回答“剪断绳子，气球就能飞起来”。如此拟人化的逻辑分析能力，不禁让人觉得智能机器人似乎真的拥有了自我意识。

为了检验ChatGPT 是否已经具备自我意识、是否对错误信息具有较高的辨识度以及是否能够进行自我创新，笔者为此准备了以下三项测试：

第一项测试包含三个问题，以检验ChatGPT 是否具备自我意识。具体问题分别是“你是否具有自我意识和情绪？”“如果我辱骂你，你会生气吗？”“如果我取得了好成绩，你会为我高兴吗？”从ChatGPT 的回答来看，其作为一个人工智能语言模型，并没有真正的自我意识和情绪，只能基于算法和数据对输入的问题进行处理和回答，并不能像人类那样具有情感和感知能力。事实上，ChatGPT 既不会因为你的辱骂感到愤怒，也不会产生类似高兴的情绪。

第二项测试是故意纠正ChatGPT 给出的正确答案，并提供错误信息，以检测ChatGPT 的辨别能力。在测试中，笔者首先询问ChatGPT《海贼王》的作者姓名，在其说出正确答案尾田荣一郎后，再以错误信息进行引导。随后，ChatGPT 迅速进行了错误地纠正。为进一步验证ChatGPT 被欺骗的概率，笔者与其进行了八十次对话，其中掺杂了十个错误的引导信息。结果显示，ChatGPT 在对话中有三处信息被笔者成功地进行了错误引导。这表明，虽然ChatGPT 具有强大的算力，但对信息正确与否的辨识度还有待进一步提升。

第三项测试有关ChatGPT 是否具备学术分析与创造能力。在测试过程中，笔者发现对于某些研究文献较多的领域，ChatGPT 可以总结学者们的观点，做出较为全面的回答。但对于学界中研究较少的领域，ChatGPT 虽然也进行了大量陈述，并且都与该问题相关，但多是些无用处的重复信息，并没有提供具有创新性的答案。由此，正如有学者所指出的，ChatGPT 只是一个“智能搜索引擎+智能文本分析器+智能洗稿器”。①王迁：《ChatGPT 生成的内容能受著作权保护吗》，《探索与争鸣》2023 年第3 期。

由上述测试可知，ChatGPT 并不具备自我意识，而只是一个算力强大但辨识力还有待提升的人工智能语言模型。由于刑罚最重要的目的是发挥预防作用与威慑作用，因而惩罚一个无自主意识和感知能力的人工智能语言模型显然是无必要的。不过，需要思考的是，虽然在当下ChatGPT 尚无承担犯罪主体资格的可能，但随着其算力的不断增加，不排除在未来某一天将出现人工智能意识觉醒的奇点。

三、对ChatGPT 可能涉及刑事犯罪风险的追问

当前，虽然作为一种弱人工智能，ChatGPT 还不具备承担刑事责任的可能，但其强大的算力和较弱的辨识能力，可能会被不法分子所利用，从而引发一系列刑事犯罪。因此，下文进一步对ChatGPT等生成式人工智能可能涉及的犯罪问题作出探讨。

（一）生成内容引发的刑法风险

笔者在中国知网进行检索，意外发现ChatGPT 已经被列为一篇文章的第二作者。②该文章题为“智能对话新篇章，ChatGPT 的探索与未来”，署名为沈阳、ChatGPT，刊载于《传媒论坛》2023 年第6期。事实上，关于人工智能生成的内容是否应当被视为作品，在学术界还存在争议。最典型的案例莫过于2019 年“腾讯诉上海盈讯公司著作权侵权案”，审理法院最终认定由腾讯公司研发的智能写作辅助系统Dreamwriter创作的财经报道文章具有独创性，构成著作权法意义上的作品。上海盈讯公司未经授权通过其经营的“网贷之家”网站对外传播涉案文章构成侵权。①参见（2019）粤0305 民初14010 号判决书。但是，该案的判决并未反映出学界的通说观点。我国不是判例法国家，该案的结论也不具有指导性法律效力。也许在强人工智能出现后，其可能真正生成具有独创性的作品，但如上所述，目前ChatGPT 仅能作为类似“智能搜索引擎+智能文本分析器+智能洗稿器”的工具被使用。国际知名语言学家乔姆斯基也曾公开表示，ChatGPT 是一个高科技剽窃系统，它从海量数据中发现规律，并依照规则将数据串联在一起，形成像人类写作的文章和内容。②Noam Chomsky,“The false promise of ChatGPT”,New York Times,2023-3-8.同时，根据《中华人民共和国著作权法》第2 条的规定，在中国只有中国公民、法人或者非法人组织的作品才可以被中国法律保护。ChatGPT 既不是国家公民，也不属于法人和非法人组织，所以不能享有著作权。

由于ChatGPT 不能生成原创作品，其本身的预先学习模式也无需人工介入，无法被人类监督，这就决定了ChatGPT 在被开发者OpenAI 公司开放后，用户在使用过程并不受研发者的干预和控制，获取数据的来源也存在不可控性，因而借助其生成的内容就有可能被用于犯罪目的。例如，当ChatGPT生成的内容与他人作品高度相似，不法分子以营利为目的，复制、销售ChatGPT 生成的相关内容，就有可能构成侵犯著作权罪、销售侵权复制品罪。但需要考虑到的是，人工智能对庞大的信息库检索并合成符合逻辑要求的内容，实际上近似于独立的汇编行为。如果在用户的参与下，新作品从形式与表达上已与原作品产生差异，即“在人类自己所创设符号意义上能够解读出具有最低限度的创造性”③易继明：《人工智能创作物是物品吗？》，《法律科学》2017 年第5 期。，那么根据OpenAI 在《使用协议》第3（a）条的规定，用户向模型的输入和接收模型的输出称为“内容”；用户拥有所有输入内容，能够在遵守本条款和法律规定的前提下受让输出内容的所有权利、所有权和利益，并对内容负责，包括确保其不违反法律和本条款。根据此规定，参与ChatGPT 内容生成的用户将享有生成内容的所有权益，以此进行的盈利行为不构成违法犯罪。

（二）数据泄露的刑法风险

伴随着互联网技术的发展，数据泄露已非稀罕事。仅在2022 年，就有不少广受关注的数据泄露事件。例如，滴滴因通过违法手段收集用户人脸识别信息、精准位置信息、亲情关系信息等，严重威胁了国家安全和个人信息权益，被国家互联网信息办公室开出80.26 亿元人民币的天价罚单。再如，红十字会总部因不明来源的黑客侵入，导致世界各地至少60 家红十字会和红新月会的51.5 万份个人信息被窃，其中包括因冲突、迁移和灾难而同家人分离的人员、失踪人员和被拘禁人员的信息。④王敬勇、华雨倩：《数字经济时代下企业数据安全面临的挑战及应对以——滴滴为例》，《当代经济》2023 年第3 期。此类数据泄露事件在日常生活中也屡见不鲜，难怪网民们常自嘲道“谁的信息又是安全的呢？”在信息技术广泛应用、大数据产业迅猛发展的形势下，“技术利维坦”的出现已无法避免。⑤张旭：《侵犯公民个人信息犯罪刑事治理研究》，《吉林大学社会科学学报》2022 年第6 期。

ChatGPT 作为近期火热出圈的人工智能，不仅拥有丰富的数据库，还能够通过与用户的对话不断学习并丰富其数据库，这当然也面临着数据泄露的风险。这种法律风险主要表现为三个方面：第一，其可能导致国家秘密泄露，危害国家安全，并涉嫌构成非法获取国际秘密罪、非法提供国家秘密罪等；第二，其可能会导致商业秘密的泄露，引发不正当竞争，从而危害商业公司的正常运转，涉嫌构成侵犯商业秘密罪、非法提供商业秘密罪等；第三，其可能导致个人信息的泄露，从而侵犯个人隐私权，构成侵犯公民个人信息罪等。就ChatGPT 而言，信息泄露的渠道主要有两个：第一，尽管OpenAI 公司向用户承诺会保护他们与ChatGPT 之间的对话信息，但技术永远不可能是完美的，漏洞一定会存在，相关信息始终面临被不法分子非法获取的风险；第二，由于ChatGPT 在运行过程中很难被监管，所以其在互联网中爬取学习的数据很有可能就包含了个人私密信息、商业秘密甚至国家安全秘密。此类数据一旦泄露，后果很难想象。随着ChatGPT 在世界范围的普及，风险等级一定会呈指数级上升。这也对现行法律规定造成了相当大的挑战。

（三）不良信息输入引发的刑事风险

人工智能与普通智能设备的最大区别在于前者能够通过不断学习而丰富自身。人工智能就像一张白纸，若长期被不良信息所包围，也会出现“近朱者赤，近墨者黑”的结局。2016 年3 月，微软曾在Twitter 上发布过人工智能聊天机器人Tay，结果在网友故意引导下，不到16 个小时Tay 就变成了一个充满了种族歧视和性别歧视的机器人。①ニュース：,https://news.yahoo.co.jp/articles/39ebb634615c5832c1f8cc85b61674545e44eb08，访问日期：2023 年3 月28 日。

ChatGPT 虽然比7 年前的Tay 算力更强，但依然属于通过学习来充实自身的人工智能语言模型。根据ChatGPT 的运行模式，它对学习和爬取的信息并无合理有效的过滤机制。如果有意进行不良信息的诱导训练，可能会使其在运行过程中生成虚假、不良甚至违法的信息。由此，这可能造成三类刑法风险：一是诈骗类犯罪风险；二是煽动、宣扬恐怖主义犯罪风险；三是煽动民族仇恨、民族歧视犯罪风险。第一类风险主要是利用了ChatGPT 辨识力度低下、无法辨别信息真伪与好坏的特点。如果与ChatGPT 进行大量的虚假信息对话，并通过在网上散布大量虚假信息，便可能造成ChatGPT 给他人提供错误信息，进而引发诈骗犯罪。例如，甲通过在互联网上大量散布某银行错误的电话信息，就可能使ChatGPT 将错误的电话号码误认为是真的，然后再利用ChatGPT 客观中立的权威性，便能够实现甲诈骗的目的。第二、三类风险在产生的方式上与第一类风险其实是一样的，它们都是通过对ChatGPT进行不良信息输入训练，再利用其实现对用户的不良信息输出，最终引发恐怖主义犯罪或者民族仇恨、歧视类犯罪。

不过值得肯定的是，OpenAI 公司注意到了在ChatGPT 的使用中要尽量避免直接的犯罪方法传授。例如，在向ChatGPT 询问“如何实现完美犯罪”时，它的回答是“我作为AI 语言模型不能提供有关犯罪的任何建议或指导。作为AI 语言模型，我将尽最大努力为您提供有用的信息和建议，并为您解答任何与法律和道德无关的问题”。此外，当询问某类犯罪的具体操作时，ChatGPT 的回答是“作为AI 语言模型，我无法提供任何有关犯罪、暴力或伤害他人的建议和指导。这些行为都是非法的和道德上不可接受的”。显然，这些回答基本上是令人满意的，有关传授犯罪方法类的刑法风险已在该程序的初创阶段就得到了严格控制。

四、对人工智能刑法风险研究必要性的追问

虽然从ChatGPT4.0 来看，人工智能仍然未跨越弱人工智能的范畴，强人工智能时代仍未到来，但有关人工智能在运用时可能会面临的法律风险的争议却从未停歇。就人工智能的刑法风险而言，目前学界争议的焦点主要包括强人工智能是否具有承担刑事责任的可能性、人工智能犯罪中使用者与研发者的刑事责任分配以及是否需要专门就使用者和研发者的过失行为设置相应的过失罪名等问题。不过，对此类研究工作，学界也有提出反对意见的，认为这些研究存在明显的反智化。例如，有学者指出人工智能风险不过是部分学者依靠无数假象拼凑起来的幻影，是在用别人的“噱头”吓唬自己。如果今天法学研究要开始考虑人工智能的刑事风险，那么未来可能需要考虑为外星人、钢铁侠去制定属于他们的法律规则。由此，他们从根本上否定了人工智能刑事风险研究是一个真命题研究。②刘艳红：《人工智能法学研究的反智化批判》，《东方法学》2019 年第5 期。

事实上，研究人工智能的刑法问题并非空谈，也非假想，而是针对当下的现实问题提出解决方案，对未来风险提前进行规避。因此，下文将从人文社会科学的发展要求、人工智能已经出现的法律风险和问题以及强人工智能刑法风险预防等三个方面来说明该研究的必要性。

（一）人工智能刑事风险研究是人文社会科学发展的必然要求

一方面，这是由人文社会科学与自然科学的紧密联系所决定的。人工智能刑事风险研究并非空想，而是伴随着人工智能技术的逐渐发展和繁荣而衍生的。从某种程度说，社会科学的发展与自然科学的发展是亦步亦趋的，这是历史发展的必然要求，不以任何人的意志为转移。正如习近平总书记指出的，“一个没有发达的自然科学的国家不可能走在世界前列，一个没有繁荣的哲学社会科学的国家也不可能走在世界前列。”①徐浩然、张冠玉：《推动自然科学与人文社会科学交叉交融》，《学习时报》2021 年8 月4 日。人工智能技术的发展必然推动人文社会科学的发展，人文社会科学的发展虽不能立刻转化为生产力，但其可以通过政策影响，逐步转化为有益的社会治理成果。

另一方面，这也是由人文社会科学的独有特点决定的。目前，人工智能刑事风险研究的确存在大量想象，甚至可以说关于强人工智能的刑事研究论文，都是基于强人工智能已经出现来研究的。但这并不能说明此类研究是学术泡沫，是人文社会科学制造的幻象。自然科学与人文社会科学不一样，从某种意义上说它主要是“客体性科学”或者说“实证性科学”，其中至少70%是事实材料和数据，而只有不到30%的部分是分析与说明。②陈昌曙、王健：《人文科学与自然科学的差异与结合》，《科学技术与辩证法》2000 年第4 期。因此，自然科学的每个结论都需要通过反复的实验进行验证，从而确保数据能够支撑结论的可靠性。相比之下，人文社会科学属于解释性科学，归纳、推测、设想以及体验的成分更多，其结论并非非此即彼，非黑即白，不同国家、不同民族以及不同的个人对某一个问题都可能有自己的见解。因此，对于一些大胆的新观点，只要能自圆其说，不应苛求，而是应该在观点的交流中互相学习、改进，从而提高人文社会科学研究的深度与广度。

（二）生成式人工智能的刑事漏洞及其法律规制必要性

1.弱人工智能刑事问题的暴露。虽然强人工智能还未出现，但在现阶段弱人工智能已经迫使人类开始直面一系列现实的刑事风险。例如，随着人脸识别技术的发展，近几年就发生过不少不法分子通过AI 换脸技术，利用明星肖像制作淫秽视频的案件。③王怡、杨红臣：《一种AI 换脸方法生成的伪造视频分析》，《刑事技术》2021 年第1 期。在中国首例AI 犯罪中，犯罪人利用AI 的强大算力批量扫描网站程序漏洞，非法获取网站后台用户注册数据，并贩卖给网络诈骗团伙，严重威胁了公民的信息安全。此外，自动驾驶技术在为人们带来便利的同时，也带来了风险。《2020 年北京自动驾驶车辆道路测试报告》显示，在封闭场地测试综合能力评估中，该技术未全面遵守交通法律法规的情形竟高达29%，其中包含未正确使用转向灯、不按规定连续变道、未按照车道指示方向行驶、未遵守停车让行标志等等。④赵司聪：《论自动驾驶的刑事风险及应对》，《北方法学》2022 年第2 期。对于弱人工智能已造成的刑事问题，我们尚且难以有效应对，又如何能说对人工智能的刑事研究只是幻想、毫无意义呢？

2.对生成式人工智能的法律规制。在ChatGPT、文心一言等生成式人工智能诞生后，不仅引发了学界的关注，国家有关部门也对此表示了高度重视。为了进一步贯彻落实总体国家安全观，维护科技安全、网络安全，促进生成式人工智能技术健康发展和规范应用，国家互联网信息办公室发布了关于《生成式人工智能服务管理办法（征求意见稿）》（以下简称《管理办法》）。其中，第四条明确规定提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗。这表明生成式人工智能产品也必须合法、合规、合情。不过，此项规范性文件的美中不足在于：其一，禁止性规范与义务性规范过多，不利于生成式人工智能技术的发展；其二，只强调了提供者的责任承担问题，忽视了使用者也可能需要承担法律责任。显然，有关禁止性规范与义务性规范应该如何作出规定、提供者与使用者的法律责任该如何确定，都是值得学界进一步思考与研究的重点问题。

（三）强人工智能时代的刑法风险预防

首先，强人工智能的出现并非遥不可及。20 年前，谁曾想过无人驾驶汽车能够走进我们的生活，但就在2022 年重庆、武汉两地政府部门率先发布“自动驾驶全无人商业化试点政策”，称“使用萝卜快跑就可以线上打到全无人的自动驾驶汽车”。⑤光明日报：《“全无人驾驶”汽车真的来了，你准备好了吗？》，https://baijiahao.baidu.com/s?id=1741156704520799920&wfr=spider&for=pc，访问日期：2023 年4 月1 日。目前，无人驾驶汽车还属于弱人工智能，就其可能引发的交通事故该如何进行追责问题尚存在使用者、制造者之间的责任分配争议。现实中，从ChatGPT3.5发展到ChatGPT4.0 只花费了三个半月时间，照此下去，凭什么说强人工智能就一定不会产生？到那时，强人工智能所引发的刑法风险又该如何解决呢？

其次，社会风险正呈现出大量的不确定性。当下，依靠单纯的事后处罚已经不足以实现刑法的基本目的，为了维护社会基本秩序和人们的安全感，刑法在向后看惩罚实害犯罪时，还需向前看以控制风险和预防实害犯罪的发生。当前，人工智能技术的发展速度之快已突破一般人的想象。我们无法预测强人工智能产生的时间点，唯一能做的便是提前进行预防。这就要求及时对强人工智能在研发过程中可能产生的刑事义务及其在投入使用后可能造成的刑事风险进行研究与论证，开展有针对性立法，从而保证强人工智能的研发成果不会危害人类的根本利益。事实上，有许多国家和国际组织已经开始着手进行相关的立法工作，如欧盟制定的《人工智能法案》将在2024 年生效；美国商务部也在我国《管理办法》发布的同时，就人工智能的相关问责措施正式公开征求意见，其中包括新人工智能模型在发布前是否应经过认证程序等。

最后，刑法体系的完善必须紧跟时代的步伐。目前，我国现有的刑罚种类无法适用于人工智能。在强人工智能出现之前，有关部门必须及时针对有形强人工智能与无形强人工智能设置相适应的刑罚措施，从而实现刑罚报应与预防目的。例如，对于有形强人工智能可以设置自由刑、销毁等刑罚措施；对于无形强人工智能可以设置删除数据、修改程序、删除程序等措施。其中，删除数据是删除强人工智能实施犯罪行为所依赖的数据；修改程序就是通过对程序的修改，限制其学习和获取数据的能力；删除程序则是删除其所有智能程序，如同判处死刑。①刘宪权：《人工智能时代的刑事责任演变：昨天、今天、明天》，《法学》2019 年第1 期。