当“眼见不再为实”,全新风险如何应对

近期，OpenAI发布的文生视频模型Sora引发全球关注，被认为将颠覆视频内容生成方式，也进一步增加了公众识别视频内容真伪的难度，担忧情绪随之衍生。如何应对深度伪造（Deepfake）和AIGC（人工智能生成内容）等新技术带来的安全风险，已成为全球关注的重要议题。

深度伪造已被用于违法犯罪

深度伪造是指技术利用机器的深度学习，实现图像、声音、视频的篡改、伪造和自动生成，产生高度逼真且难以甄别的效果。最常见的方式就是AI换脸，此外还包括语音模拟、人脸合成、视频生成等。

现实应用中，深度伪造技术有其积极一面。业内人士介绍，深度伪造技术开始被用于医疗和教育等领域。比如，通过数据和技术生成立体的身体模型视频，让医生更直观地进行医学诊断和研究;又如，通过技术合成的历史人物影像，让教学视频更有趣味等。

然而，硬币的另一面是深度伪造技术也经常出现在诈骗、色情等违法犯罪活动中。近几年，国内外均出现了利用深度伪造技术实施的诈骗案例，都造成不小的负面影响。

去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用AI换脸技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。

除了诈骗外，深度伪造技术还经常对公众人物造成名誉侵害。今年1月中下旬，香港特别行政区行政长官李家超也成为深度伪造的目标。网上出现了用人工智能伪造的电视节目片段，冒称李家超向市民推介一项高回报的投资计划。特区政府立即严正澄清，称有关影片全属伪造，行政长官从未作出相关言论。

美国歌手泰勒·斯威夫特，最近也深受深度伪造的困扰。这名歌手的大量虚假“不雅照”在社交网络传播，引发关注和议论。这不是她第一次成为受害者。就在“不雅照”事件前不久，一则由AI生成的泰勒·斯威夫特带货广告在海外社交媒体上疯传。这则虚假广告利用深度伪造技术，合成了泰勒·斯威夫特的声音，并将声音及她的形象和某品牌炊具广告片段拼凑在了一起。

“从技术原理上看，公众人物更容易成为深度伪造的受害者。”奇安信安全专家裴智勇表示，由于公众人物的视频、音频、图片资料的公开性质，为AI训练提供了大量素材，被伪造内容更加逼真，从而更容易导致深度伪造技术被非法使用。

随着Sora等模型的开放和应用，AI换脸技术门槛持续降低，别有用心之人利用深度伪造技术可以更轻易盗用、冒充他人身份，越来越多的普通人恐将成为潜在受害者。

技术发展带来多重安全风险

多名专业人士指出，随着AI技术的发展和普及，深度伪造技术被用于违法犯罪活动的比例将提升。“像Sora这类模型工具和相关软件的开发普及，即使是不了解技术的普通人，也能制作深度伪造的内容，而且虚假内容产生的速度更快，也更难被人眼识别。”裴智勇说。

普通人接触和使用AI换脸技术的门槛的确在降低。记者调查发现，尽管“AI换脸”“换脸”等关键词已被多个电商平台屏蔽，但通过“定制视频”等更隐蔽的关键词，仍能找到出售换脸软件、定制换脸视频及教授换脸技术的卖家。在某电商平台，一名卖家通过视频教授AI换脸技术，还提供代码脚本网页，收费只要39.9元。这名卖家告诉记者，根据他发的视频教程就能学会AI换脸操作。

相对当下一些AI换脸软件多适用于拍照场景、影视剧片段的替换合成，这一卖家教授的换脸技术更能“为所欲为”：用于换脸的照片不受限制，可合成的视频片段也不局限于影视作品，包括新闻、私人影片等都可被AI换脸。

“这些游走在法律边缘的AI技术黑灰产业链，大大增加了技术被恶意使用的风险，给公共安全带来更多隐患。”一名互联网企业的网络安全专员表示，现实中，甚至有一些金融机构人脸识别防护墙都被AI换脸骗过，社会安全风险陡增。随着Sora等大模型技术的开发和应用，能实现用更少的人脸数据构造高逼真的特定人臉模型，客观上降低了不法分子制作虚假人脸视频的成本。

目前来看，深度伪造被用于诈骗等犯罪活动的风险不断显现，并呈现日益严峻的趋势。“利用深度伪造内容实施诈骗，实际是传统的诈骗手法利用了新技术的一种混合诈骗方式。从诈骗剧本来看，还是传统的冒充熟人、冒充领导等套路，但其中的面部仿真、声纹仿真使得被害人放松警惕，更容易被骗。”裴智勇说。

结合具体的犯罪案例分析，一名反诈民警告诉记者，深度伪造用于电信诈骗犯罪活动主要表现在三个方面：其一，骗子通过骚扰电话录音等来提取某人声音，获取素材后，利用AI技术进行声音合成，而后用伪造的声音欺骗被害人。其二，骗子用AI换脸技术，伪装成被害人的熟人，再通过视频通话方式，进行信息确认，骗取信任。其三，骗子利用AI程序筛选受害人，分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。“例如，实施情感诈骗时，可以筛选出经常发布感情类信息的人群;实施金融诈骗时，可以筛选出经常搜索投资理财信息的人群等。”

除了网络诈骗外，深度伪造技术的普及，势必将提升虚假音视频的“真实度”，业内人士担心，这或将助长不法分子发展出更多新型犯罪手段，用于金融诈骗、虚假新闻、色情制作、司法干扰等非法场景。

更进一步，深度伪造技术应用不当还会带来更深远的社会危害。华东政法大学刑事法学院副教授房慧颖认为，深度伪造技术产生的虚假影像、声音等内容，不仅会让个人名誉、财产和人身受到损害，还会冲击社会信任、媒体信任，甚至被用于扰乱社会秩序、危害国家安全的违法犯罪活动。

技术和法律共同引导向善

尽管深度伪造等AI技术发展带来了全新的挑战，但受访者们都认为，不能就此因噎废食，而要坚持安全与发展并重的理念，通过完善制度和管理，实现促进技术革新和控制技术风险的目的。

“在技术进步的过程中，其本身就可以用来对抗深度造假行为。”裴智勇说，政府要善于用技术制约技术，加快打造深度伪造信息检测系统。“政府和企业要投入科研力量，研究基于AI生成内容的鉴伪技术，在必要时刻，使政府、企业和公众有能力借助工具进行鉴伪。”

此外，有受访者建议，应要求AI合成内容服务商添加对用户可见的数字水印，来告知用户该图像、音视频内容是由AI生成，以增加用户辨别信息真伪的能力。也有网络技术人员建议，让AI深度伪造技术的服务平台、公司推行隐形水印机制，通过在视频、音频和图像中嵌入不可见的水印保护信息，以快速识别AI合成内容并进行溯源，各个社交平台也应以技术手段加强对于疑似AI生成图、文、视频内容的识别功能。

除了技术解决方法外，法律手段也要有所作为。“总体来看，我国在深度伪造方面的规范性立法做得相对较早。”房慧颖表示，我国主要从信息真实性、肖像权、个人信息保护以及国家安全等层面，对AI深度伪造技术的应用进行立法规制。

深度伪造等AI技术发展，是推动社会进步的动力。如何引导技术向善，是一个需要各方共同探讨和破解的难题。受访者们普遍认为，各国应加强交流合作，通过技术和法律等手段，规避人工智能技术带来的风险隐患，使之健康有序发展。

（摘自《解放日报》邬林桦）