神经网络水印综述

冯 乐，朱仁杰，吴汉舟，张新鹏，钱振兴

1.复旦大学计算机科学技术学院，上海200438 2.上海大学通信与信息工程学院，上海200444

近年来，飞速发展的信息技术带来了数据量的日益增多以及计算能力的快速膨胀，这为神经网络的研究和应用提供了良好的技术条件和平台。与此同时，对神经网络算法的研究也取得了突破性的进展，比如ReLU[1](rectified linear unit) 激活函数、残差结构[2]、Adam 优化器[3]等的提出。这些算法使神经网络在模式识别[4-5]、自然语言处理[6-7]等领域取得了比传统机器学习（如支持向量机[8]等）更为显著的效果。然而，训练一个性能优越的神经网络往往需要庞大的计算资源、数据量以及丰富的训练经验，这些对于普通的开发者或者消费者而言代价非常大。例如，OpenAI 在2020年推出的自然语言处理模型生成预训练转换器-3(generative pre-trained transformer-3,GPT-3)[9]，包含1 750 亿个参数，仅训练模型就调用了上万块GPU，花费了将近460 万美元的成本。因此，为了降低使用门槛，IBM 公司提出将训练好的神经网络作为一种服务提供给消费者。然而，这带来了一个新的问题即神经网络的版权保护问题。2016年5月，日本政府知识产权战略总部已计划开始对AI 创作的音乐和文学作品进行版权保护。2017年7月，中国国务院印发的《新一代人工智能发展规划》中强调，要建立人工智能技术标准和知识产权体系。2018年11月，欧洲专利局发布了人工智能和机器学习技术的专利性指南。最近，研究人员提出将传统用于保护数字媒体的水印技术用于保护神经网络。

数字水印技术作为一种权益保护技术，可以有效地解决版权保护和内容认证的问题，主要技术手段是将能标识版权信息的数据编码成由0 和1 组成的位串；然后使用水印嵌入算法将位串秘密地嵌入到图像、视频或者声音等数字媒体中；验证时，使用相对应的水印提取算法提取出水印信息。一般地，按照特性划分，可以将水印分成鲁棒水印[10-11]和脆弱水印[12-13]。其中，鲁棒水印是为了保护数字媒体的版权，重点在于确保嵌入在数字媒体中的水印不会受到无意或恶意的攻击破坏，如数据压缩、水印重写等；而脆弱水印则更侧重于检测数字媒体的内容是否被篡改，甚至需要检测出被篡改区域。按照隐藏位置划分，又可以将水印分为频域水印和空域水印。典型的空域水印算法为最低有效位（least significant bit,LSB）算法[14-15]，该算法将水印信息嵌入到数字图像像素的最低位，确保不会影响视觉效果。频域水印则是在频域内嵌入水印，优点在于低的视觉感知和强的鲁棒性，缺点是较高的计算代价，典型的算法包括离散余弦变换（discrete cosine transform,DCT）算法[16-17]、离散小波变换（discrete wavelet transformation,DWT）算法[18]等。此外，文献[19-20]也提出在密文域嵌入水印。

与传统的图像等数字媒体不同，神经网络是一个包含输入和输出的由大量权重参数构成的运算模型。具体的区别在于：1）从功能上讲，传统的数字媒体所需表达的信息能直观地感受到；而神经网络的具体参数是没有意义的，它所表达的信息在于对输入样本的输出反馈上，比如分类结果、目标检测结果等。2）从形式上讲，传统数字媒体的结构是单一的，如图像就是由规则排列的像素组成，而神经网络因为不同的需求而形态各异且不规则，如卷积网络、全连接网络等。这些就使得传统的数字水印技术并不能直接适用于神经网络，因而研究人员提出了大量神经网络水印方案。

本文根据不同的网络结构、网络权限和应用场景，将神经网络水印方案分为4 种：白盒水印、黑盒水印、无盒水印以及脆弱神经网络水印。在白盒水印方案中，验证者在验证网络的版权时可以进入网络的内部并访问权重等信息。因此，文献[21]提出可以将由0 和1 组成的水印信息通过正则化的方式嵌入到网络的权重中，在提取水印时，验证者直接根据相应的提取算法从权重中提取出水印从而验证网络的版权。不同于白盒水印，黑盒水印方案适用于验证者无法进入网络内部而只能通过远程API 接口调用网络的情况，典型的做法[22]是选择一些特殊的样本作为触发集，且触发集与网络的任务无关，然后为这些触发集分配预先设置好的标签，微调网络使其拟合这些触发集。验证时，将触发集提交给远程网络，比较其返回的预测结果与预先设置好的标签，若两者一致，则版权得到验证。无盒水印[23]主要用于生成式网络的版权认证，其策略是训练网络使得所生成的图像包含水印信息，验证者可以直接从生成的图像验证版权。脆弱水印[24]不同于以上3 种，它根据水印被破坏的情况来检测网络的功能是否被恶意篡改，例如是否有注入后门等行为。除了以上4 种神经网络水印方案，本文也给出一些对水印进行评估的指标如鲁棒性、保真度、隐蔽性等。此外，也讨论了针对网络中的水印的攻击，包括去除攻击、模糊攻击。最后探讨了神经网络水印目前存在的问题以及未来的发展趋势。

1 神经网络水印的基本框架和评价指标

1.1 基本框架

神经网络水印的基本框架如图1所示。在嵌入过程中，通过水印嵌入算法将水印信息嵌入到网络中。通常来说，水印信息分为两类，第1 类是主要用于白盒和无盒水印中的由0 和1组成的位串。对于白盒水印，可以将水印位串通过正则化的方式嵌入到网络的权重或特征图中。对于无盒水印，可以将水印位串嵌入到生成式网络生成的图像中。第2 类是触发集形式，主要存在于黑盒水印中，由于验证时无法进入网络内部，只能根据输出结果进行版权认证，因此可以借助于特定的触发样本或触发图案在网络上的特定输出来验证版权。而对于脆弱神经网络水印，两种形式的水印信息方案都存在。

图1 神经网络水印框架Figure 1 Framework of neural networks watermark

经过嵌入过程后可以得到含水印网络，并将该含水印模型分发给用户使用。此时，含水印模型可能遭到移除攻击或模糊攻击。因此所设计的水印嵌入算法应当尽可能地抵抗这样的攻击。最后需要借助相对应的水印提取算法从可能被攻击后的网络中提取出水印信息，从而进行版权认证或完整性认证（脆弱水印）。

1.2 评估指标

1.2.1 保真度

在使用水印方案实现神经网络的版权保护或完整性认证时，基本的要求是水印的嵌入不能对网络原有的性能造成影响。比如对于分类网络而言，不希望为了嵌入水印而退化网络的原有精度。

1.2.2 鲁棒性

鲁棒性要求网络中的水印能够抵抗无意或者恶意的移除攻击。无意的移除攻击包括网络微调和网络压缩。迁移学习场景下，网络可能并不直接适用于新的数据集或任务，这时使用者需要对网络进行微调，但不希望这样的微调移除网络中的水印信息。网络压缩的原因在于神经网络巨大的计算资源和存储资源消耗，现有的压缩手段主要包括剪枝[25]、量化[26]、低秩近似[27-28]和模型蒸馏[29-30]。

1.2.3 隐蔽性

隐蔽性即嵌入的水印是不可觉察的，从而使得攻击者失去了攻击的方向而确保水印是安全的。

1.2.4 水印容量

一定的水印容量可以确保嵌入的水印具有更强的鲁棒性和安全性。当然，一个神经网络所能承载的水印容量是有限的，过量的水印将会影响保真度。

1.2.5 嵌入代价

嵌入代价指嵌入水印进行版权保护时所需要额外付出的计算或存储代价。对于神经网络而言，主要指额外的训练代价。

1.3 攻击手段

目前对神经网络水印的攻击方案主要包括两类：移除攻击和模糊攻击。

1.3.1 移除攻击

顾名思义，移除攻击就是攻击者使用一些手段试图抹除网络中的水印信息，使其无法用于版权认证。上述所说的微调和模型压缩都是移除攻击，只不过是无意的。而恶意的移除攻击也包括以下两种。第1 种是水印重写攻击，即攻击者在网络中重新嵌入一个新的水印从而试图抹除网络中的原有水印，如文献[21]中的方案就无法抵抗这样的攻击。第2 种主要针对以触发集形式存在的水印方案，攻击者通过一定的检测手段，恶意破坏触发样本或网络，使得触发样本失去与网络的相关性，从而无法用于验证版权，代表性的工作见文献[31-32]。

1.3.2 模糊攻击

模糊攻击也称歧义攻击。原理是在网络中重新嵌入一个新的水印，使得网络中同时存在两个水印，这样在验证的时候就无法确定网络的唯一所属人，从而模糊版权。无论是白盒还是黑盒，都可能被攻击。在白盒水印方案中，攻击者可以使用水印重写策略，微调网络在其中重新嵌入新的水印信息。而在黑盒水印方案中，攻击者可以使用反向工程构造出新的触发样本来模糊版权。

2 白盒水印

白盒水印意味着验证时可以进入网络内部来提取水印信息，主要分为3 类：基于权重承载水印信息，基于特征图承载水印信息以及基于新层承载水印信息。

2.1 基于权重承载水印信息

众所周知，神经网络本质上是由大量权重值在一定规则的约束下构成的参数化模型。而基于权重的水印嵌入方案，就是将水印信息直接嵌入到权重中。代表性的工作是文献[21]中的方案。下面详细介绍该方案。

以在卷积神经网络中嵌入长为T的水印B为例，从神经网络中选择一层的权重作为待嵌入水印的载体，记为W ∈RS×S×D×L，其中S,D,L分别为卷积核的尺寸，输入通道的数量和输出通道的数量。沿着输出通道计算权重的均值得到w ∈RM,M=S×S×D。将给定的嵌入矩阵X ∈RT×M与w相乘并由Sigmoid 激活函数激活得到位于[0,1]之间的Y

最后通过正则化的方式将水印B嵌入到Y中，损失函数为

提取时，通过相同的操作得到w′，使用

从w′中提取出水印B′，且

式中：*表示函数的自变量。最后，对比B′与原始水印B就可以验证网络版权。

文献[21]中方案的优势在于鲁棒性较好，能够抵抗网络微调和权重剪枝，同时也具有良好的隐蔽性和可观的水印容量。当然其缺陷也比较明显，如无法抵抗水印重写攻击，攻击者在相同的层以相同的嵌入算法就可以抹除权重中的原有水印。此外，嵌入代价也较高，需要几轮的网络微调。为了弥补这样的缺陷，文献[33]提出了带有补偿机制的量化水印嵌入方案，通过密钥选择待嵌入水印权重的位置，这样水印重写攻击就很难找到位置并抹除水印，同时由于改动的权重相对于整个网络而言占比很小，对网络的功能影响也几乎可以忽略，因此通过补偿机制微调未嵌入水印的权重的代价也非常低。

2.2 基于特征图承载水印信息

不同于直接在权重中嵌入水印，文献[34]提出了可以在网络的中间层的特征图中嵌入水印信息B。这种方案可以很好地抵抗水印重写攻击。具体方案如下：

首先需要确定水印嵌入的类c以及网络层，为了简化分析，这里只考虑嵌入一个类中。然后将所有属于该类的m个样本输入到网络中，得到待嵌入水印的层的特征图fci。接着确定一个与该层特征图尺寸一致且服从高斯分布的给定特征图μ。整合μ并将其与嵌入矩阵X相乘，得

为了将水印B嵌入Y中，且可以由嵌入类的特征图提取出水印，在嵌入时需要添加两个正则化项Lossreg1和Lossreg2。Lossreg1是为了使得所有属于类c的样本在嵌入层的特征图趋近于μ，便于提取时可以通过一小部分属于类c的样本就能近似得到μ，其定义为

式中：μj为其他类的样本在嵌入层的特征图的均值。而Lossreg2则是为了将水印B嵌入Y中，其定义为

在提取水印时，将一小部分属于类c的样本输入到网络中得到嵌入层的特征图，并对这些特征图取均值就可以近似得到μ′，从μ′中使用类似式(3) 中的方法就可以提取出水印。

2.3 基于新层承载水印信息

以上两类神经网络水印嵌入方案都无法抵抗模糊攻击，因此文献[35]提出在网络中添加一种护照层。该护照层的嵌入需要很大的训练代价，使得攻击者伪造护照层的代价几乎等同于从头训练网络，这也就意味着模糊攻击的成本非常大，因此攻击者并不愿意使用这样的攻击。而为了标识护照层的唯一性，会将水印信息嵌入到护照层的参数中，正如文献[35]所提到的。下面将以一个ResNet 网络[36]的残差块为例，阐述护照层的添加和水印的嵌入。

如图2所示，对于其中一个残差块，x1c和x1o分别表示权重为W1的卷积层的输入和输出，ReLU 为激活函数。以第1 个护照层为例，它的参数为(p1γ,p1β)，其操作被定义为

图2 在残差块中添加护照层并嵌入水印Figure 2 Add passport layers to the residual block and embed the watermark

式中：γ1和β1分别为尺度因子和转移偏差。可以看到护照层与网络的权重紧密相关，这也就使得护照层能够决定网络的功能表现，反过来，这将加大攻击者伪造的难度。而水印B将嵌入在尺度因子γ中，最终的损失函数为

式中：左侧第1 项Lossoriginal为网络的原始损失，第2 项则为水印嵌入的正则化损失。

3 黑盒水印

黑盒水印在验证时，嵌入水印的网络被视为一个黑盒。验证的方式是通过一些特定的输入来触发预先设定的输出。触发行为是通过训练来嵌入后门[37]实现的。具体地，嵌入水印后的模型记住了一组特定的输入输出之间的映射关系。相应地，在水印嵌入时需要构造一个触发集，并将触发集添加到训练集中共同训练网络。就图像分类任务而言，触发集中的样本应当被赋予与其图像内容不相关的标签。这样的设置是为了保证含水印网络对于触发样本的输入区别于其他不含水印的网络。当验证版权时，网络所有者掌握的触发集输入到含水印网络中获得预先设定的输出。

考虑到现实场景中，网络所有者不会轻易地给出网络的具体参数与结构，黑盒的认证方式更能让人接受。文献[22]率先提出将神经网络后门用作保护网络版权的水印，进而使用与原始分类任务不相关的抽象图像作为触发样本并随机分配标签。此后，基于后门触发的黑盒水印成为一个研究热点，对黑盒水印方案的改进主要体现在触发样本构造方式、水印信息嵌入容量、鲁棒性和安全性等方面。

3.1 触发样本构造方式

研究人员根据自身对神经网络应用场景的理解提出了不同的触发样本构造方式。文献[38]延续了触发样本应当与训练数据不一致的思路，提出了3 种构造方式，分别是在原始训练图像上覆盖统一的有意义的内容、使用不相关的图像和在原始图像上添加噪声。其观点是与训练数据差异较大的触发样本不会扰乱网络分类功能的建立。而基于水印隐蔽性考虑，文献[39]将对抗样本作为触发样本。由于对抗样本的迁移性，用于触发的对抗样本可以欺骗其他无水印网络，这与含水印网络的表现存在差异，从而成为版权验证的一种方式。

3.2 水印载荷

简单的样本和标签之间的映射关系难以实现较大容量的水印信息嵌入。文献[40]提出将网络所有者的签名转化为一幅包含版权信息的图像，这幅图像会以不可见的方式添加到普通的训练图像上形成触发样本。经过训练，含水印网络能够将触发图像归类为通过简单计算确定的预设标签，而其他不含水印的网络无法识别触发图像中的签名，因此无法提取出水印信息。与文献[22]提出的方法不同，文献[40]的方法不需要指定输入。此外，签名的参与允许相对较大的水印容量，以获得强有力的版权证明。与此类似，文献[41]将版权标志图像通过编码器嵌入到普通训练图像中来获取与原始图像几乎没有视觉差异的触发样本。

文献[42]通过嵌入多个后门信号来增加额外的信息以表示用户的唯一身份。用户掌握的后门信号种类和验证置信度可用于使用者身份的确认和网络版权的管理。

3.3 鲁棒性

因为攻击者会试图破坏模型中的水印，所以鲁棒性就成为所有用于保护版权的神经网络水印的共同指标。当然，水印去除攻击的前提是不能大幅度地损害模型原始任务的性能，以破坏模型功能为代价的水印去除没有攻击意义。

文献[22]的研究表明，训练轮次和嵌入水印的层越多，水印越鲁棒。文献[43]提出提高鲁棒性的方式是采用对比度更强以及更加明显的后门模式来嵌入水印，以达到使水印模型对触发样本的记忆更深刻的目的。文献[44]的方法使用密钥变换的图像作为触发样本进行训练。模型中的水印难以被去除，添加新的水印会降低模型的精度。当然，这些方法的有效性还有待检验，但是将模型本身的性能和水印的准确提取进行正向的绑定或许是一个可行的思路，而关键在于如何设计一种可行的绑定方式。

3.4 安全性

除了在鲁棒性部分讨论的水印去除攻击之外，模糊攻击也是一种普遍存在的攻击方式。在黑盒验证方式中，攻击者可以通过随机试探的方式收集一组模型的输入输出，从而伪造一个触发集。一些包含更丰富版权信息的水印方法[40-45]天然地能够抵抗模糊攻击，只有相应版权信息的配合才能够正确提取水印。而对于触发输入固定的方案，文献[46]提出了一个通用的安全水印协议。协议规定了触发样本和标签分别通过两个单向哈希函数计算得到，反向伪造的触发集不再满足哈希计算的函数关系，从而阻断了伪造攻击。

除此之外，文献[45]提出了两种规避黑盒水印验证的攻击方式：1）通过窃取多个功能相似的模型并构建投票机制，即给定一个查询，返回的预测将是获得最多投票的类；2）对模型的输入进行检测，并拒绝所有疑似的触发输入。

3.5 其他任务

神经网络水印是一个兴起于2018年的前沿研究领域，最为成熟的图像分类网络模型成为最常见的版权保护对象。最新的一些研究将黑盒水印应用于保护输入输出和网络结构更加复杂的神经网络。

文献[47]提出了一种用于保护图像处理网络的黑盒触发式水印。所提的水印方法通过微调的方式让模型将一幅输入图像映射到一幅验证图像上。这幅验证图像是通过简单计算得到的，与网络本身任务下无水印的模型对应的输出相似，但又没有达到任务效果，因此保持了区别从而保证了版权的唯一性。另外，为了更显式化地观测版权信息，该文还训练了一个额外的网络用于从验证图像中提取含有版权归属人信息的版权图像。相对于传统分类网络将一幅图像对应到一个标签，图像处理网络的输出可以对应更大的嵌入容量。

文献[48]提出用于保护对抗生成网络的水印方法。基本的想法是当一个触发图像输入时，模型会生成一个包含水印的图像来声明版权。另外，该方法还配合使用白盒水印技术，通过权重参数的符号来携带有意义信息的二进制序列。

4 无盒水印

无盒水印提出了新的水印验证方式，即通过模型的输出认证版权。在水印验证时不再需要被保护模型的参与，于是本文将这类方法总结为无盒水印。

文献[23]给输出为图像的神经网络设计了一个无盒水印框架。该方法通过在损失函数中添加一项水印损失，使得模型的输出中包含一个不可见水印。水印框架中，与被保护网络一同训练的还有一个受密钥控制的水印提取网络，此网络能够从水印图像中提取出版权图像。此外，任何不含水印的图像或者错误的密钥参与版权认证都会让水印提取网络输出噪声，导致版权认证失败。

无盒水印能够抵抗多种潜在的攻击方式。首先，版权的认证不再依赖于特定的触发输入，而是所有的网络输出中都含有水印，这种特性使过滤触发输入[45]不再是一种成功的攻击方式。其次，水印提取网络可以提取出一幅图像作为版权信息，因为水印信息的容量大，所以无盒水印也能够抵抗模糊攻击。最后，通过篡改样本的对抗训练，无盒水印还可以抵抗对输出图像的裁剪和添加噪声等常见攻击。

文献[49-50]为图像处理网络设计了一个新的水印框架。该水印框架专为抵抗训练替代模型的攻击方式而设计。这种攻击的具体方式是收集大量的正版模型的输入输出作为训练数据来指导一个替代模型的训练，希望替代模型达到与正版模型相同的图像处理功能和相近的性能水平。该文提出的水印框架要求图像处理模型的输出在递交用户之前先使用水印嵌入网络嵌入一个不可见的水印。嵌入了水印的输出能够被水印提取网络提取出版权信息。在替代模型攻击场景下，攻击者只能获取自己的输入和嵌入了水印的输出，其训练的图像处理网络的输出中也会含有版权信息，从而使替代模型攻击失效。

注意到文献[49-50]是第一个不在被保护模型中直接嵌入水印的方案。先前所有的方法，不论是白盒、黑盒或者无盒都是以训练的方式修改模型的参数从而实现水印的嵌入。尽管深度神经网络作为过参数化的黑盒可以同时拟合训练任务和实现水印嵌入，但是在实验中，研究人员还是不得不从多个角度去验证自己提出的水印方案并不会导致模型性能的下降。将水印嵌入在模型之外就避免了这种困境。但是，不得不指出，替代模型的攻击场景更加简单，于是作者不再考虑正版模型丢失之后的白盒攻击方式。

5 脆弱水印

5.1 多媒体的脆弱水印

数字水印技术有广泛的应用，如完整性认证[51]、版权保护[52]、溯源追踪[53]等。其中，脆弱水印[51]用于检测含水印的载体的微小变化。依据对内容的认证要求，脆弱水印可以划分为脆弱水印和半脆弱水印。脆弱水印进行完全级认证，要求对多媒体的所有处理都具有敏感性。半脆弱水印进行内容级认证，要求能够区分偶然修改和恶意篡改，即对一些偶然攻击具有鲁棒性，对恶意篡改具有敏感性。

5.2 神经网络的脆弱水印

最近研究[6]表明神经网络因其过参数化[22]的特性，很容易受到攻击，如数据投毒、后门嵌入和其他微调攻击。攻击者可以使用一些带有不正确标签的样本重新训练模型，来实现降低模型性能或注入后门的目的。文献[6]在交通标志图像数据集上模拟了后门攻击方式，并指出了这种攻击方式的隐蔽性和危险性。因此，确保神经网络模型在部署后的完整性和真实性，抵御对模型的篡改和后门攻击非常重要。

可以研究如何将用于多媒体完整性保护的脆弱水印应用到深度学习模型上。文献[24]提出了一种用于完整性认证的可逆水印算法，作者利用SHA-256 获取整个模型参数的哈希值，然后通过可逆水印算法将哈希值嵌入到卷积层参数中。由于哈希算法的优良特性，无论攻击者在哪里修改模型，新生成的哈希值都会与修改前的值不同，从而实现模型完整性的认证。此外，文献[54]也考虑以白盒方式将秘密信息及其哈希值嵌入模型参数，以实现脆弱水印的功能。

文献[46]首次提出了基于黑盒触发的脆弱神经网络水印方法。该方法在指导模型学习触发集的损失函数中添加一个方差项，使得触发样本靠近模型的分类边界，一旦对模型实施微调或者后门攻击，触发样本的预测标签就会出现明显的变化，这可作为脆弱水印和模型完整性被破坏的标志。

6 结 论

近年来，水印技术逐渐被应用于保护神经网络模型的版权和完整性。上文已经对白盒、黑盒、无盒和脆弱水印相关技术进行了概述，接下来探讨神经网络水印技术的发展趋势。

首先，我们认为黑盒水印与白盒水印配合验证能提供更加合理的版权保护服务。黑盒水印的最大优势在于可以远程验证，其不足在于鲁棒性差。嵌入的水印容易受到重嵌入和水印清除攻击。白盒水印具备更强的鲁棒性，但要求验证者必须掌握模型的内部参数，不可远程验证。两种水印应当是相互配合的关系。黑盒水印可以作为初步的版权验证方式，在黑盒验证成功的基础上可以要求权威第三方进行白盒水印的验证，得到更强有力的版权证明[35,48]。

其次，评价神经网络水印性能需要更全面的指标。到目前为止，一种水印方法的性能主要是通过水印模型在正常输入时性能的下降以及攻击模型时身份验证精度的下降来衡量的，缺乏可靠的分析基础。面对不同的任务，水印嵌入对模型本身功能的影响也缺乏可测指标。

第三，更多任务领域的神经网络需要版权和完整性的保护。目前神经网络水印只适合于分类网络、图像处理网络和对抗生成网络，对语言模型等的神经网络水印设计应当提上研究日程。根据Auguste Kerckhoff的原理，系统的安全性应该依赖于密钥而不是算法的保密性。从这个意义上看，很多现有的方法是不安全的，因为攻击者知道水印算法后，可以反向构造水印，并以此声明版权，因此未来有必要研究具有普适性的神经网络水印协议。