揭穿“AI脸”

2024年的美国大选期间，出现了不少以特朗普、哈里斯两位总统候选人为主角的换脸照片和视频内容。

因为深度伪造技术的不断演进，如今，“眼见为实”这个定律或许要被颠覆了。

深度伪造（Deepfake）是一个由“深度学习”（deep learning）和“伪造”（fake）两词合成的概念。目前最常见的深度伪造是俗称的“AI换脸”，即用深度学习技术伪造的人脸图像或视频。

社交媒体平台X的Premium订阅用户可以体验xAI公司开发的Grok文生图模型，只用几句提示语就能生成马斯克和特朗普同框热舞的动图；直播工具Deep-Live-Cam中，用户只需上传一张人脸照片，就能实时给摄像头拍到的人物换脸；不少软件还能利用AI合成声音、替换口型，让任何人的照片“开口说话”……不可否认，对内容创作者而言，深度伪造是有用的创意工具。

然而，近期由深度伪造引发的恶性事件也层出不穷。8月，韩国“N号房2.0事件”曝光，不法分子把女性的脸替换到色情图片和视频上，再出售牟利；9月，“海伦妮”飓风席卷美国，几张AI生成的避灾者照片伴随各种阴谋论、假新闻，被一些政客用作抨击执政党救灾失责的造势工具；而眼下的美国大选中，以特朗普、哈里斯为主角的换脸照片和视频内容在社交媒体上正不断传播，煽动党派对立……

世界经济论坛发布的《2024年全球风险报告》中，AI生成的虚假信息被列为未来两年全球十大风险之首。奇安信科技集团发布的《2024人工智能安全报告》指出，2023年深度伪造欺诈的增长率达到了惊人的3000％。面对日益猖獗的深度伪造，许多研究者和技术公司也在探索如何通过AI模型检测AI伪造的影像，“用AI打败AI”。

让模型学习辨别真伪

在用AI换脸的图片和视频中，脸部的边界、眼球和嘴唇的运动、整张脸的光线效果等，都可能存在不自然之处。早期的研究者基于这些观察会手工标记出一些特征（如眨眼频率等）交给AI检测，但这些特征往往只适用深度学习模型如何检测深度伪造影像于某几个特定的伪造方法，难以泛化至新的未知的伪造方法上。目前，普遍的解决方案是训练一个深度学习模型，让模型自己学习深度伪造与真实影像在视觉特征上的不同之处，由此实现鉴伪。

然而，生成式AI模型的不断进化使得深度伪造影像表层的视觉瑕疵越来越少，“一个重要的任务是让模型学会提取更加鲁棒（指稳健）的特征”。复旦大学计算机科学技术学院副教授陈静静对《第一财经》杂志说。

AI合成的影像会留下肉眼无法察觉的特定痕迹。相机拍摄图片和视频时会把在物理世界中采集到的信息转化为具有特定分布的数据内容，“但AI生成的图片和视频有不一样的底层特征，它们在微观细节上可能是一串与实拍视频分布不同的数据”，中科睿鉴CTO何覃对《第一财经》杂志说。

中科睿鉴成立于2020年，但实验室已有近20年的相关技术积累，早在十几年前深度伪造技术出现之初就开始研究检测技术，发布了国内首个“AI识谣”平台，开发出多个深度学习模型，用于攻克假新闻、诈骗短信、PS照片等。其中，中科睿鉴于2023年4月推出的伪造检测基模型“睿鉴图灵”，采用混合专家模型架构，基模型首先会提取能区分真伪的多模态底层通用特征信息，然后通过几十个专注学习特定领域的专家模型，如AI换脸检测只关注人脸区域、文生图/视频检测关注全局微观特征分布、PS检测关注篡改区域边缘不一致性等，最后综合鉴别真伪。

对于多模态深度伪造，陈静静的研究团队今年也和数字技术公司中电金信合作，提出了一种参照辅助的多模态鉴伪方法。该方法利用参照视频，学习丰富的身份敏感特征，如特定人物的说话方式、语音特征、脸部特征等作为参照，并同时挖掘跨模态的人不一致性（如嘴形语音不一致、表情语音不一定等）来鉴别真伪。

走出实验室

根据公开资料整理

咨询公司德勤的报告显示，与深度伪造相关的网络攻击损失预计将从2023年的123亿美元飙升至2027年的400亿美元，银行和大企业是此类诈骗的重灾区。今年2月，中国香港警方公布了一起严重的AI换脸诈骗案：诈骗者在一家英国跨国企业香港分公司的电话会议中通过换脸和声音合成冒充该公司高管，谎称公司正在开展一项重要的秘密交易，直接骗走了2亿港元（约合1.67亿元人民币）。

基于与陈静静团队的研究，中电金信已推出了多模态深度伪造检测产品，通过多模态内容理解与对齐技术，来预测图像、音频、视频真实采集的置信度，鉴别出AI生成内容，从而防范身份盗用、侵权欺诈等风险。中电金信称其多模态篡改检出率已达到99.9%以上。目前，该产品处于推广阶段，重点应用领域正是金融行业，适用于身份认证、网络视频电话防欺诈等场景。

而蚂蚁数科旗下的安全技术品牌蚁盾（ZOLOZ），也在为防范深度伪造诈骗研发解决方案。团队从2019年开始研究深度伪造检测，并在今年4月推出了面向B端客户的检测产品ZOLOZ Deeper。蚁盾技术总监姚伟斌向《第一财经》杂志介绍，Deeper不仅有检测多模态深度伪造的强大算法，而且擅长抵抗深度伪造对终端设备的注入攻击。所谓注入攻击，就是可以直接把提前生成好的深度伪造视频，通过某种方式跳过摄像头提交给人脸识别程序。

ZOLOZ Deeper目前主要服务国外市场，专攻开户、支付等在线身份认证场景。姚伟斌说：“在一些东南亚国家，人们的身份信息没有联网，所以人脸和证件都很容易伪造，深度伪造攻击的比例甚至超过了10%。我们的产品能够从系统和算法两大层面防御深度伪造，在这些国家的银行场景应用后，深度伪造攻击比例下降到了1%以下。”

深度学习模型如何检测深度伪造影像

在算法层面，提升模型的泛化性是产品落地的一大关键。泛化性是指模型经过训练后应用于新数据并作出准确检测的能力。简单来说，就是当全新的深度伪造技术出现时，模型仍具备准确检测的能力。

姚伟斌指出，检测深度伪造是一个“攻防”问题，新的伪造技术来袭，模型必须紧跟脚步做出相应的防御，“市场上各种深度伪造的模型，我们都要拿来训练和测试”。蚂蚁数科的天玑实验室会每月模拟各种深度伪造攻击的形式，至今已对Deeper开展超过2万次的“攻防演练”，帮助Deeper检测模型的迭代升级。

除了金融服务场景，中科睿鉴还常常使用其检测产品帮助公安机关侦破深度伪造案件。例如，公司的“睿安深度合成智能检测平台”基于从多维度鉴伪的睿鉴图灵模型，既能检测出涉假信息中存在何种类型的伪造，又能提取出伪造合成痕迹作为证据，还能溯源出这些伪造信息是用哪些工具合成的，以便公安机关精准监管。

泛化性也是睿鉴图灵模型架构的一个优势—基座模型有强大的真伪特征提取和学习能力，所以当新的深度伪造技术出现时，只需微调模型就能高效实现准确检测。何覃表示，今年2月，当OpenAI发布文生视频模型Sora时，就有不少客户前来咨询中科睿鉴现有的技术能否检测出Sora合成的视频，“我们的基模型从来没有‘见过’Sora生成的视频，但最初的检测准确率也达到了70%以上。Sora没有对外开放使用，我们只参考了官方放出来的几十个demo视频，用一两周时间微调模型，准确率就上升到了85%以上。睿鉴图灵模型的参数规模一直在扩大，三四年前只有1亿量级，到去年官宣上线时已经达到了60亿，今年已升级至超过百亿量级。

事实上，从实验室走向市场并不容易。陈静静表示，在实验室训练检测模型时，通常使用的是针对某一类伪造的标准化数据集，训练场景较为单一，“但现实条件要复杂得多，比如影像的亮度、清晰度、场景等，都可能会影响检测的准确率，所以从学术研究中的模型到可落地的产品，中间必须经过多轮微调、迭代”。此外，除了换脸、活化等常见形式，产品开发者也需要敏锐地关注深度伪造的新变体，如虚拟数字人。

为提升深度伪造检测产品应对现实生活中复杂场景的水平，今年的Inclusion外滩大会上，蚂蚁数科参与编写的《虚假数字人脸检测金融应用技术规范》发布，这是中国首个面向金融场景的“AI换脸”检测标准，其中规定了深度伪造检测产品应当具备的一系列功能，并从准确性、鲁棒性、泛化性、响应速度等四个维度量化评估产品性能。“我们希望它能变成一个日益科学的标准，对行业起到示范作用”，姚伟斌说。

深度伪造检测产品的功能和性能要求

资料来源：《虚假数字人脸检测金融应用技术规范》

而近期韩国的深度伪造性犯罪案件警示我们，深度伪造技术的危害已逐渐渗透到许多人的日常生活中，任何人都有可能成为下一个受害者。

中科睿鉴于2022年上线了微信小程序“睿鉴AI”，为普通用户提供免费的AI生成视频、图片、文本检测服务，旨在提升公众的风险意识，提醒他们留意身边可能存在的AI生成虚假信息。

中科睿鉴于今年8月完成了近亿元人民币的融资，用于业务线拓展和鉴伪产品的规模化落地。面向个人用户，公司计划在维持小程序免费开放的同时，推出软件开发工具包（SDK）、App和终端设备等新的产品类型。

海外市场已经出现了带有深度伪造检测功能的终端设备。8月，知名杀毒软件公司McAfee和联想合作，推出了号称“全球首款深度伪造自动检测器”的产品Deepfake Detector，这是一个部署在联想AI PC上的本地工具，能在端侧实时鉴别电脑播放的视频中是否含有AI合成的声音，已在美国、英国、澳大利亚的部分新机型中启动内测。McAfee C TO S teveGrobman在接受媒体采访时介绍，大部分以诈骗为目标的深度伪造视频都含有AI合成的声音，因此从声音入手能够将大多数诈骗扼杀在摇篮中。

陈静静认为，在终端设备中部署深度伪造检测工具是可行的产品创新方向，就McAfee的产品而言，“音频的伪造方式不像视频那么多变，检测方法也相对固定，作为产品不需要频繁、大规模地更新；另一方面，检测伪造音频的模型相对轻量，对算力的要求不高，便携式终端也能运行。”值得注意的是，个人消费者在真正遭遇深度伪造诈骗时才会寻求单次检测服务，供日常使用的检测产品能否唤起他们的消费意愿目前依然存疑，“消费者可能倾向于认为，防范深度伪造的主要责任还是在监管方”。

今年8月1日生效的欧盟《人工智能法案》规定，人工智能技术提供商必须确保合成的音频、视频、文本和图像内容能够被检测为由人工智能生成的内容。9月14日，国家网信办发布的《人工智能生成合成内容标识办法（征求意见稿）》则提出，人工智能生成内容应当添加显式标识（如呈现给用户的文字说明）和隐式标识（如数字水印），并对内容服务提供者、网络信息内容传播平台、互联网应用程序分发平台等多个主体提出了合规要求。

业界很多公司都对《第一财经》杂志表示，打击深度伪造不能只靠个别公司、个别产品。姚伟斌指出，“目前所有针对深度伪造的防御形式都是被动的。模型的鲁棒性、泛化性再强，在日新月异的伪造攻击形式面前，都必须不断迭代，不能一劳永逸。”他认为，从被动走向主动，才是AI鉴伪行业必须面对的关键问题，而这需要立法机关、监管部门和相关企业共同发力。