人工智能时代法律风险及刑法应对——专访华东政法大学刑法学教授、华东政法大学刑事法学研究院院长刘宪权

文//惠宁宁

刘宪权 华东政法大学刑法学教授，博士生导师，现任华东政法大学刑事法学研究院院长，兼任中国刑法学研究会副会长等职。长期从事刑法学的研究和教学。重点研究经济犯罪、涉信息网络犯罪、职务犯罪以及人工智能时代刑事责任与刑罚体系重构等领域。独著或参著《刑法学名师讲演录》《金融犯罪刑法学新论》《刑法学专论》等学术著作共50余部，主编《刑法学》《中国刑法学》等多本教材。发表论文800余篇。曾获“全国杰出专业技术人才”“国家级教学名师”等荣誉称号。

当前，人工智能技术迅速发展，随之出现的智能机器人等新生事物不断给人类社会带来冲击和影响，促进了社会发展，与此同时，一些法律、伦理等方面的风险逐渐显现。其中，刑事方面的风险以及相关责任的认定，是法学界亟待解决的问题。对人工智能进行刑法的规制，引导人工智能向有益方面发展十分必要。为此，本刊专访了华东政法大学刑法学教授、华东政法大学刑事法学研究院院长刘宪权。

《人民法治》：2017年，国务院在《新一代人工智能发展规划》中提出，“建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。请您谈谈对人工智能进行刑法规制的必要性。

刘宪权：随着人工智能时代的到来，这个本来属于纯粹技术问题的新生事物将会在法律、哲学、伦理等方面对人类社会带来极大的影响和冲击，并可能产生相应的刑事犯罪。对智能机器人的合理应用，将会带来许多行业的重大变革，并在较大程度上通过解放劳动力，促进社会的深度和快速发展。但是如果设计者或使用者对智能机器人进行不当利用，甚至将其作为实现犯罪意图的工具，抑或是智能机器人本身在具有独立意志之后产生了犯罪意图，进而实施严重危害社会的行为，将会给人类社会带来极大的威胁，甚至可能会“导致人类社会的毁灭”。

当然，可能会有人认为我的这种说法是杞人忧天、危言耸听。但是，关于人工智能技术对人类社会可能带来的影响，我认为目前我们应该作出以下两个判断：

其一是“相信谁”的问题。时下，以霍金为代表的物理学家曾多次表示，“人工智能可能会毁灭人类”。霍金认为，“人工智能有可能是人类文明史的终结，除非我们学会如何避免危险”。霍金是著名的物理学家，不是科幻小说家，更不是巫师，对于一个科学技术的问题，我们不应该也没有理由不相信一个著名科学家的说法。当然我们也应该看到，现在一些商业经营者认为，智能机器人的智慧永远不可能超过人类，人工智能会威胁到人类的观点纯属夸大其词。我认为，经营者所站的立场与科学家是会有所区别。经营者主要是站在追求经济利益的角度来看待这一问题，他们更希望人工智能技术能够在不受任何限制或者法律规制的状态下自由蓬勃发展，以谋求经营利益的最大化。可能有人会认为，时下也有一些科学家的观点与霍金等人的观点不同，认为强人工智能时代是不会出现的。这里就可能涉及到一个立场问题，即信其有还是信其无的问题。作为一个法学研究者，我更倾向“宁可信其有，不可信其无”的立场，因为信其“有”而最后没有出现，不会对人类社会带来任何危害；但是如果信其“无”而最后又出现了，则会给人类造成很被动的局面。

其二，是否需要未雨绸缪？时下有人提出，即使人工智能技术确实可能为人类社会带来巨大的威胁，那也需要等这种威胁出现之后再去进行刑法规制，刑法研究不能如此超前。我不同意这种说法。历史已经不止一次地证明，科技的发展乃至时代的更迭往往能够超越人类的想象。面对着人工智能技术日新月异的发展状况，这种说法似乎站不住脚。人工智能技术呈爆炸式发展，而法律尤其是刑法的制定则需要漫长的时间。如果等智能机器人的智能全面超过人类，那就不是我们人类用刑事立法去规制智能机器人的行为，而是相反。所以我们现在就必须考虑通过立法，在促进人工智能技术高速发展的同时，严格规制智能机器人的行为。

“宜未雨而绸缪,毋临渴而掘井。”我们应提前预想到在人工智能时代可能面临的刑事风险，明确智能机器人的法律特征和法律地位，并就我国刑法应当如何合理应对人工智能时代所带来的刑事风险展开具体的分析与讨论，提前明晰人工智能时代的刑事责任承担路径。我认为，这并非杞人忧天，而是居安思危。我们只有做好一定的风险防控措施，防患于未然，才能让人工智能技术真正造福于人类而不至于危害社会。

《人民法治》：人工智能作为一个新的领域，其研发和应用的过程存在一定的伦理风险、道德风险和法律风险，请您谈谈现阶段人工智能技术发展所蕴含的刑事风险及其特点。

刘宪权：我认为，在现阶段，也就是人类仍然可以通过设计和编制的程序达到对智能机器人完全控制的情况下，人工智能时代的刑事风险可以分为两类——可能使得部分传统犯罪的危害发生“量变”；可能会导致新的犯罪形式产生。

第一，我们谈一下人工智能可能使得部分传统犯罪的危害发生“量变”的情况。科技的发展带给人类社会的改变总是具有一定的相似性，这种相似性表现在科技发展在改善人类社会生活的同时也增加了社会的风险。从工业时代到互联网时代，每一次人类社会生活时代的更替都可能使得部分传统犯罪插上科技的“翅膀”。我们完全有理由相信，人工智能时代在使得人类社会更加方便快捷高效的同时，也必将增添人类社会的风险系数。一方面，人工智能技术可能使得犯罪行为的危害覆盖面积更“广”。根据相关部门的规划，未来我们国家将实现智能制造、智能农业、智能金融、智能商务、智能家居等全方面智能化社会。这些规划无疑让人兴奋、令人鼓舞，但同时也会使人们产生些许担忧并应引起我们的警惕。人工智能技术覆盖面如此之广，一旦出现问题，很有可能会造成“牵一发而动全身”的危险局面，如果我们没有准备也不做预案，其后果将是不堪设想的。另一方面，从危害“深度”而言，人工智能技术可以使得产品全面智能化，也可以使得犯罪工具以及犯罪手段更加智能，由此犯罪行为所造成的社会危害可能更“深”。也即不法分子完全可以利用人工智能技术全面实现犯罪计划，一旦危害结果发生，很难得到修复。

第二，我们谈一下人工智能可能会导致新的犯罪形式产生的情况。第一种是与大数据滥用结合的新犯罪形式。人工智能的基本原理是利用人工构造的神经网络系统以及一系列编码程序，对大量数据进行深度学习，从而掌握识别甚至决策等技能。对人工智能的滥用很有可能就是对大数据的滥用。数据的集中本身就是一种风险的存在，因为数据越多，包含的信息量就越多，不法分子攻击一次数据库就能获利颇多，从而降低了犯罪成本。更令人胆颤的一点是，人工智能技术往往可以得到超出人类预期的结果，一些数据从表面看来可能不包含关键的敏感信息，但是通过人工智能技术分析海量数据，以及对多个数据库进行综合分析，最终完全可能通过推演得到关键的敏感信息，甚至包括威胁到国家安全的重要信息。与此同时，目前对于数据的安全防护手段无法跟上人工智能技术发展的速度，也就无法及时针对新的犯罪形式作出预警反应。第二种是与“欺骗”人工智能系统结合的新犯罪形式。一方面，不法分子可以通过干扰人工智能系统得以逃脱监控或制裁。人工智能具有识别和决策功能，一旦不法分子改变或控制人工智能中的算法，完全可以使得人工智能系统发生识别或决策错误。未来警方很大程度上会依赖人工智能技术来侦破案件，“人工”的参与度大大下降，那么不法分子只要能够采取一定手段“欺骗”人工智能系统，就能使得自己逃之夭夭，从而给社会安全带来更大的隐患。另一方面，不法分子完全可以通过“欺骗”人工智能系统让自己非法的行为“合法化”。我们完全可以想象，未来人类的社会生活是在人工智能系统的覆盖下进行的，人工智能依赖于计算机算法，而凡是计算机算法就一定会有算法漏洞或缺陷。在过去，黑客对系统进行攻击往往可以通过反复调整同一封邮件或图片来“骗过”安全过滤系统，那么在未来，不法分子也完全可以通过“骗过”人工智能系统来从事非法甚至犯罪活动，例如开展非法的政治活动等。

《人民法治》：人工智能的研究与开发现在正在快速推进，在产生经济效益、社会效益的同时，也存在一些问题与隐忧，在刑事司法实践中，如何依据现有的刑法规定来认定研发者或使用者的刑事责任？

刘宪权：就目前我国刑法的立法状况和人工智能技术的发展现状而言，可以从故意犯罪和过失犯罪两个角度考虑对人工智能研发者或使用者的行为加以规制。

我们先来看一下行为人故意利用智能机器人实施犯罪行为的情况。科技的发展在造福人类社会的同时也为不法分子带来可乘之机，因而不法分子很有可能利用人工智能技术开展犯罪活动，例如具有犯罪意图的研发者完全可以在设计和编制程序的时候植入自己的犯罪计划，使得智能机器人帮助自己实现犯罪目的。这种情形属于行为人故意利用智能机器人实施犯罪行为的情形。我认为，对于故意利用人工智能技术研发或使用相应产品实施严重危害社会的犯罪行为，应当将智能机器人看作行为人实施犯罪行为的“智能工具”，所有刑事责任应当由智能机器人的研发者或使用者承担。例如，不法分子为了实现自己的杀人意图，设计出一个“智能杀手”，“智能杀手”可以通过深度学习，从而自主判断和决定杀人的方式。如果“智能杀手”最终实施了杀人的行为，我认为，此时全部的刑事责任都应当由“智能杀手”的研发者来承担，理由是：此时“智能杀手”实现的是研发者的意志而非自己独立的意志。因而刑事责任承担的主体也应为研发者，智能机器人本身不需要承担任何刑事责任，此时对于智能机器人性质上的理解应当是研发者实施犯罪行为的“智能工具”。

我们再来谈一谈智能机器人研发者和使用者可能要承担过失责任的情况。智能机器人在将来可能产生自主意识和意志。因此，智能机器人完全可能做出人类不可控的行为，对此智能机器人的研发者和使用者是否构成相关过失类犯罪呢？过失犯罪以违反一定义务为前提，如果违反了预见义务，即“应当预见但没有预见”或“已经预见但轻信可以避免”，则成立过失犯罪。我国刑法是以惩罚故意犯罪为原则，以惩罚过失犯罪为例外，也即所有过失犯罪的认定均以刑法规定为限。因此，在现行刑法体系下，对智能机器人的研发者和使用者过失实施犯罪行为的刑事责任追究，也必须以刑法有关过失犯罪的条文规定为依据。我认为，在人工智能环境下，判断智能机器人的研发者和使用者是否对危害结果负有预见义务，主要需要考虑的是研发或使用当时的人工智能技术发展水平。如果研发者和使用者完全可能利用当时的人工智能技术预见危害结果的发生，则人工智能的研发者和使用者负有预见义务。最终导致危害结果的发生，应当认为研发者或使用者没有履行预见义务，并且这种不作为与危害结果之间存在因果关系，研发者或使用者成立过失犯罪。智能机器人的行为与研发者对程序的设计编制和使用者的使用情况紧密相关。智能机器人的研发过程是复杂的，需要经过种种测试与试验，才能保证最终产品符合安全标准。如果检测过程中，研发者“已经预见”了智能机器人在未来使用过程中可能导致危害结果的发生，但可能因为试验所显示该情况的概率较低等原因，研发者轻信这种情况可以避免，那么研发者成立“过于自信的过失”。如果检测过程中，研发者因为没有全面检测等原因“没有预见”危害结果的发生，但实际上如果全面检测是可以发现智能机器人存在缺陷的，那么研发者成立“疏忽大意的过失”。同样地，如果使用者在使用智能机器人的过程中没有按照相关说明操作，最终导致了危害结果，则应当按照具体情况成立“过于自信的过失”或“疏忽大意的过失”。对于智能机器人的研发者和使用者构成的犯罪罪名，应根据我国目前的刑法规定，并结合智能机器人实施的行为和具体造成的危害结果具体定罪量刑。例如，如果因为智能机器人的行为造成了被害人死亡的结果，则研发者和使用者构成过失致人死亡罪。与此同时，法律不强人所难。囿于一定地域内社会历史发展阶段与水平的限制，人类所掌握的人工智能技术完全可能无法彻底消除人工智能的安全风险，也即人工智能的安全系数与标准的提高还有赖于人工智能技术的进一步成熟。在这种情况下，我们就不应当追究研发者和使用者的刑事责任。对于最终导致的危害结果，可以按刑法中的意外事件处理。

《人民法治》：智能机器人是否可以成为刑事责任的主体？

刘宪权：我认为，这个问题需要分情况讨论。完全在人类设计和编制的程序范围内实施行为的智能机器人，具有工具属性，是人类改造世界的工具，不具有在自主意志和意识支配下的辨认能力和控制能力，不可能成为刑事责任的主体。随着科技的发展，有可能出现不受人类设计和编制的程序控制，具有自主意志和意识，可以自主决策并自主实施行为的智能机器人。我认为，这类机器人可以成为刑事责任的主体。理由如下：

第一，与单位相比，能够在自主意志和意识的支配下实施行为的智能机器人的辨认能力和控制能力更接近于“人”的辨认能力和控制能力。单位的意志来源于个人意志，是个人意志的集合，其辨认能力与控制能力需要通过个人的辨认能力和控制能力来体现，因而只能通过法律拟制为“人”，进而成为刑事责任主体。但是，能够在自主意志和意识的支配下实施行为的智能机器人与单位不同，其本身就具备了辨认能力和控制能力，似乎比单位更具有成为刑事责任主体的“资格”。一直以来，单位能否成为刑事责任主体就存在着一定的争论。我认为，能否成为刑事责任主体，关键在于牢牢把握刑事责任主体的基本内涵，也即具有刑事责任能力的主体可以成为刑事责任主体，而刑事责任能力的本质内容和具体表现是辨认能力和控制能力。单位的辨认能力和控制能力来源于单位内部成员的辨认能力和控制能力，而能够在设计和编制的程序范围外实施行为的智能机器人不需要通过其他主体作为表达媒介，由于其本身就拥有辨认能力和控制能力，因而更接近于“人”，更有理由成为刑事责任主体。

第二，承认在自主意志和意识的支配下实施行为的智能机器人可以成为刑事责任主体，有利于巩固刑事责任主体基本内涵的统一性。根据刑事责任主体的基本内涵，我们可以看出，自然人可以成为刑事责任主体最根本的原因是其具有辨认能力和控制能力，单位可以成为刑事责任主体最根本的原因是单位内部成员个人的辨认能力和控制能力可以“凝结”为单位自身的辨认能力和控制能力。能够在自主意志和意识的支配下实施行为的智能机器人的意志是自由的，应当认为其具有辨认能力和控制能力，当然不能也不应该将其排除在刑事责任主体的“大门之外”，否则就会出现在同一个刑法体系下，承认了自然人和单位的刑事责任主体地位，却不承认同样具有辨认能力和控制能力的智能机器人的刑事责任主体地位的矛盾局面。因此，我认为，有必要将能够在自主意志和意识的支配下实施行为的智能机器人纳入刑事责任主体的范围之内，来巩固刑事责任主体基本内涵的统一性。

第三，承认在自主意志和意识的支配下实施行为的智能机器人的刑事责任主体地位，符合罪责自负原则。有人可能会提出，智能机器人既然没有生命，也无法像单位一样拥有财产，让其成为刑事责任主体有何意义呢？我认为，这种说法是不妥当的。一方面，认为智能机器人无受刑能力从而否定其可以成为刑事责任主体的观点似乎违反了正确的逻辑思维顺序。并不是因为一个主体可以接受刑罚，才承认其具有刑事责任能力，进而可以成为刑事责任主体；而是因为一个主体具有刑事责任能力，可能在自主意识和意志支配之下实施严重危害社会的行为，可以成为刑事责任主体，进而在该主体需要承担刑事责任之时，才讨论其受刑能力的问题。另一方面，承认自主实施犯罪行为的智能机器人可以成为刑事责任主体的同时，我们完全可以通过对现有刑罚体系的重构，以适应人工智能时代的“智能机器人犯罪”问题。我建议，在人工智能时代，可以根据现代刑法所承认的罪刑相适应原则、以刑罚目的为导向原则、刑罚节俭性原则等设计智能机器人的刑罚体系。我初步构想的可以适用于智能机器人的刑罚大体有三种，分别为：删除数据、修改程序、永久销毁。与此同时，可能有人会提出，即使智能机器人实施了严重危害社会的犯罪行为，也可以让其研发者或使用者承担责任。我认为，一旦智能机器人实施严重危害社会的犯罪行为，在某些情况下，其研发者或使用者确实不能免责。但是，无论研发者或使用者是否应该为智能机器人的犯罪行为“买单”，都不影响智能机器人可以成为刑事责任主体并承担相应的刑事责任，否则就与刑法中罪责自负的原则相背离了。