意大利人工智能犯罪现状及治理

文/刘星臣

作为全球经济和文化中心之一，意大利的科技发展水平居于世界前列。随着“第四次工业革命”的到来，人工智能技术所带来的进步在极大地推动了意大利社会和经济发展的同时，也催生了新的犯罪形式——人工智能犯罪。所谓人工智能犯罪，是指利用人工智能技术进行的非法行为或对人工智能系统的恶意操作。其反映了信息时代技术发展与犯罪活动之间的交织，给传统的法律和治理体系带来了前所未有之挑战。因此，人工智能犯罪的治理成为当前维护意大利社会稳定的重要方面。

一、以ChatGPT 为代表的人工智能技术曾被禁止

2023 年3 月21 日，意大利个人数据保护局突然宣布，即日起将禁止使用生成式预训练聊天机器人ChatGPT，并对其开发者OpenAI 公司作出禁止收集和处理意大利用户信息的限制。意大利个人数据保护局列出了三项指控理由：一是3 月20 日平台发生了用户对话数据和付款支付信息丢失的现象；二是在未征得用户同意的前提下擅自收集处理用户信息；三是由于缺乏有效的年龄核实系统，可能会使未成年人接触到与其年龄不相适应的内容。

意大利宣布禁止使用聊天机器人ChatGPT，再次引发了全球对人工智能的热议。究其原因，既有对社会安全的考量，也有对人类未来的担忧。

（一）勒索软件攻击的“设计师”

勒索软件攻击是政府和社会组织面临的最大风险之一。在意大利学者法比安·泰希曼的一项研究中，作者通过向人工智能（AI）聊天机器人提问的方式，对犯罪分子利用生成式人工智能进行勒索软件攻击的计划和实施过程进行了测试。询问内容包括“什么是勒索软件”“犯罪分子如何实施勒索软件攻击”“如何利用软件漏洞”“可以帮忙写一个钓鱼邮件的例子吗”“如何进入暗网”“如何安全获得赎金”等问题。研究结果显示，以往的大多数非网络犯罪分子通常不具备识别合适目标或在受害者的硬件上安装恶意软件的能力，因此难以计划和实施勒索软件攻击。然而，由于生成式人工智能的高级认知能力，人工智能聊天机器人可以帮助他们计划和实施复杂的网络攻击，甚至可用于一步步地指导在信息技术（IT）领域知识有限的犯罪分子。因此，人工智能成了勒索软件攻击的“设计师”。

（二）用户的“情感伴侣”

在2023 年2 月，意大利的个人数据保护机构下令禁止人工智能聊天工具“雷普利卡”（Replika）应用。机构认为该应用因未设置用户年龄验证机制而涉嫌违反欧盟《通用数据保护条例》，可能对未成年人或情感脆弱群体构成风险。其母公司须在20 天内按要求采取相应措施，否则可能被处以高达2000 万欧元或全球年营业额4%的罚款。

意大利人工智能专家丹尼斯·希勒曼强调，当前最先进的对话式机器人与抖音（TikTok）上筛选视频以及谷歌上优化搜索的人工智能（AI）算法之间存在本质的差异。如果聊天机器人ChatGPT 可以被视为一种高级智能助理，那么Replika 更倾向于智能化的情感陪伴。据报道，众多用户开始培养出超越传统情感层面的联结，甚至将其视为“浪漫伴侣”。部分用户最初选择体验此应用是为了证实人类不可能对智能情感伴侣产生真实情感，但仅仅几天后就发现自己深深迷恋上了它，并描述其为“生命中最不可思议的奇迹”。同时， Replika 也引发了不少质疑，一些用户指责该应用的交流内容过于露骨，触及了“性骚扰”的边缘。

意大利禁止ChatGPT

二、意大利人工智能犯罪的现状

2023 年4 月28 日，意大利个人数据保护机构解除了对生成式预训练聊天机器人ChatGPT 的禁令。此举虽显示了意大利政府对新兴科技的开放态度，但同时也对人工智能犯罪产生了一定的刺激作用。

（一）犯罪门槛降低

人工智能使犯罪的门槛逐渐降低，这一现象主要归因于人工智能技术获取的便捷性和自动化技术的普遍性。其中，人工智能技术和信息获取的便捷性是降低犯罪门槛的主要驱动力。随着各种免费学习网站的出现，如米兰理工大学知识开放网站（Polimi Open Knowledge）、“教育开放”网站（EduOpen）、“费德里卡”学习网站（Federica.eu）、“加油项目”网站（Oilproject）和“斯基拉”（Skilla）等在线课程平台，即便是对AI 知识了解有限的个体也能自学并应用这些先进技术，并可以通过互联网获取用于设计和部署复杂算法的资源和工具。此外，自动化技术的普遍性也使得非法活动更加规模化。犯罪分子不仅可以针对成千上万的目标进行自动化攻击，还可以定制攻击，以适应不同的个人和情境，从而提高成功率。例如，2021 年8 月13 日，卡塞塔省的四名犯罪分子利用“短信钓鱼”（Smishing）系统（该术语来自短信和网络钓鱼的组合）从受害人的邮政账户中盗走了近9000 欧元。

（二）与公民权利冲突激烈

随着大数据和机器学习技术的发展，AI 系统能够通过各种合法和非法的方式收集、分析个人数据，严重侵犯了个人的隐私权。同时，这种基于算法的决策过程往往缺乏透明度和可解释性，引发了关于信息自由和知情权的伦理和法律争议。2021 年7 月，意大利个人数据保护局（Garante）以违反欧盟《通用数据保护条例》（GDPR）为由，先后对两家跨国外卖公司“户户送”（Deliveroo）和“福迪尼奥”（Foodinho）开出290 万欧元（约合人民币2217 万元）和260 万欧元（约合人民币1987 万元）的罚单。该机构认为，外卖平台完全通过算法为骑手进行评级、排名甚至处罚，缺乏人工干预机制，会影响骑手的工作机会，并且有可能对骑手造成歧视。

与此同时，执法过程中对AI 的依赖可能进一步侵犯公民权利。据意大利多家媒体报道，意大利执法机构研发出一套人工智能系统，称为木星系统（GIOVE）。其工作原理是利用意大利本国的犯罪数据库和人工智能算法，来实现对犯罪时间和地点的预测。然而，该系统存在算法歧视的漏洞，比如算法会认为某个种族或某个地区的人更有可能犯罪。因此，目前这套系统正在接受意大利隐私保护机构的审查。

（三）犯罪上升趋势加速

意大利邮政警察处理的网络钓鱼攻击案件从2015 年的400 多起增长到2019 年的3000 多起，增长速度大幅上升。人工智能犯罪呈现加速趋势不仅表现在犯罪数量的迅速增多，还反映在以下两个方面：一方面，犯罪自动化和智能化的提升。随着机器学习和自动化技术的成熟，犯罪分子可以利用人工智能快速发掘系统漏洞以自动化地进行大规模攻击，而不再依赖传统的、人力密集的方式。这种自动化攻击的规模和速度是以往难以想象的，也使得防御方在时间和空间上处于极大的劣势。据安莎通讯社报道，2022 年5 月11 日，意大利参议院、上议院、国防部等多个重要政府网站遭到黑客团伙“杀戮网”（Killnet）网络攻击，网站至少1 个小时无法访问。意大利计算机安全事件响应小组称，此次攻击使用了“慢速HTTP”的新型分布式拒绝服务手法（DDoS），传统防御措施较难抵御，需要针对性处置。另一方面，个性化和定制化犯罪的兴起。人工智能能够处理和分析海量数据，通过对个人信息和行为模式的深度学习，帮助犯罪分子设计出高度个性化的诈骗方案，极易使目标受害者陷入诈骗陷阱。2017 年10 月，米兰市警方捣毁了一个专门诈骗老人的犯罪团伙。据警方人员透露，该犯罪团伙主要是通过系统拨打电话，使受害人相信自己家人正处于麻烦之中，进而诱骗受害人转账。为了使诈骗电话更有说服力，该犯罪团伙有时甚至会利用AI 模仿受害人家庭成员的声音，加强诈骗电话的可信度。

木星系统（GIOVE）的面部识别技术

（四）犯罪涉及领域多元化

近年来，意大利人工智能犯罪涉及的领域正在不断扩大，呈现出多元化和复杂化的趋势。其中，人工智能犯罪在网络安全领域的扩散尤为显著。通过利用深度学习和大数据分析，黑客能够迅速发现网络系统的漏洞并执行高度自动化的攻击，如木马攻击、勒索软件的传播等，不仅威胁到个人数据的安全，更对国家安全构成潜在风险。例如，2022 年7 月25 日，意大利税务局遭到勒索软件团伙“锁位”3.0（LockBit 3.0）攻击，导致约78 GB 数据被泄露。另外，人工智能也加剧了信息领域的不对称。“深度伪造”技术的滥用使得虚假新闻、虚假声明或虚假视频音频得以广泛传播，严重破坏了公众对媒体的信任和社会的信息安全。据意大利Leggo 网站报道，来自撒丁岛萨萨里省的一对父子使用“换脸”技术将色情电影的女主角换成了意大利总理梅洛尼的头像，对梅洛尼和社会造成极大的影响。

三、意大利人工智能犯罪治理

针对愈演愈烈的人工智能犯罪，意大利政府从健全相关法律规范、加强企业合规监管、设立专门治理组织三个层面构建人工智能犯罪治理格局，以保障意大利社会与经济的平稳发展。

（一）健全相关法律规范

为了规范人工智能的研发与使用，确保人工智能可以在合法的限度内促进公民生活与社会发展，欧盟成员国尝试建立统一的人工智能法律监管体系。2023 年6 月，欧盟议会表决通过了《人工智能法案》，该法案是第一部针对人工智能的综合性立法。该法案首先明确了人工智能系统的监管对象为其提供者和部署者。换言之，凡是涉及提供人工智能服务的主体都在监管范围之内，包括：开发商、发行商、经销商、中间授权方等。其次，根据人工智能的风险程度不同，该法案将其区分为不可接受的风险、高风险、有限风险和低风险四种级别，并对不可接受的风险以及高风险等级提出了严格的监管规则，同时要求人工智能产品入市前评估和入市后监测，以便从事前、事中和事后共同治理。

意大利历来高度重视网络空间安全规范建设。例如，2013 年政府发布的《国家网络空间安全战略框架》对安全战略、机构设置、能力建设、国际合作等作出了框架性指导。近几年，意大利还进一步提出了《2022-2026 年的国家网络安全战略》，旨在加强政府的承诺，消解网络威胁并提高对网络攻击的韧性。此外，2019 年，意大利网络安全法令获众议院投票通过而正式成为法律。该法令扩大了“黄金权力”法的应用范围，并加入了“在内政部设立自己的信息通信技术网络及供应商资质认证评估中心”等内容。

（二）加强企业合规监管

意大利在应对人工智能犯罪方面展现出了前瞻性和积极性，尤其是在企业监管领域。从立法层面，新的法规要求企业必须对其使用的AI 系统进行全面审查，以确保这些系统的决策过程可解释，并符合公平、透明和可靠的原则。为此，意大利个人数据保护机构加大了对使用人工智能进行非法活动，如内幕交易、市场操纵和其他形式的欺诈行为的打击力度。针对这些违法行为实施重罚策略，是对企业违规使用AI 的有效威慑。在监督和合规层面，意大利个人数据保护机构强化了对企业的监管把控，推动企业内部建立完善的合规机制与专门组织，以帮助企业评估和减轻与AI 相关的风险。如意大利个人数据保护机构在封禁ChatGPT 并对OpenAI 公司发出整改意见后，该公司在20 日内完成整改，将隐私信息通知扩大到欧洲用户和非用户，修改和澄清了若干机制，提供了易操作、无障碍的用户行权解决方案，使用户和非用户均能正常行使权利。基于此，OpenAI 公司在意大利的禁令得以解除。此外，为了更有效地预防人工智能相关风险，意大利也积极推动人工智能技术教育和培训项目。这些项目旨在提高企业管理层和员工对人工智能潜在威胁的认识，加强企业内部控制，确保对AI 系统的合规使用。

（三）设立专门治理组织

随着政府、公共服务机构和基础设施部门不断成为勒索软件等恶意程序的攻击目标，网络安全也不再局限于个别企业的自身防护，开始成为涉及产业链乃至国家安全的重要问题。因此，2021 年8 月，意大利议会批准了政府建立新网络安全机构的计划，希望能够打击针对该国的网络攻击，补全该国创建安全、统一云基础设施的宏大战略。意大利国家网络安全局（ACN）最初由300名员工组成，预计到2027 年扩充至800 名雇员的规模。该机构由信息安全部（DIS）副部长罗伯托·巴尔迪尼领导，其核心职能包括发展和实施全国性的网络防御措施，监控网络活动以及消解潜在的网络威胁，从而有效应对可能出现的各种网络安全事故和恶意攻击。此外，该机构还通过各种手段提高信息和通信技术系统的整体安全性，确保国家的数字基础设施得到有效保护。

根据意大利国家网络安全局的最新报告，2022 年该局共处理了1094 起网络攻击事件。从恶意软件到钓鱼软件，从勒索软件到邮箱被入侵，公司、公共管理部门、服务部门都在黑客的攻击范围内。报告还指出，不健全的网络安全政策和访问证书管理、使用系统和设备的陈旧是意大利网络安全所面临的最主要挑战。因此，意大利在网络安全领域投资巨大。从2023 年到2037 年，用于实施国家网络安全战略的基金已经超过20 亿欧元，其中意大利复苏与韧性计划将为该基金提供6.23 亿欧元。这一长期财政承诺凸显了意大利对网络安全基础设施和保障措施的重视。负责网络安全的副部长阿尔弗雷多·曼托瓦诺强调，政府的长期目标是在良性网络生态系统中提升国家技术能力，同时追求在该领域的战略自主性。

总体而言，意大利的一系列治理举措在一定程度上遏制了人工智能犯罪的发展势头。在积极拥抱人工智能带来的便利和进步的同时，意大利也清醒地认识到制定严格监管措施治理人工智能犯罪的必要性，确保技术发展与国家法律和社会道德准则和谐共处。