基于纹理特性的能量差调制视频水印算法

刘慧超 王志君 梁利平

摘   要：针对现有视频水印算法复杂度高、鲁棒性差的问题，提出一种基于残差纹理特征的能量差调制视频水印算法. 该算法首先利用视频编码过程得到的残差DCT系数进行区域纹理强度建模，然后依据纹理强度对DCT中高频系数的能量进行自适应调制实现水印的嵌入. 算法在不引入额外复杂计算过程的条件下，针对不同区域自适应地嵌入不同强度的水印信息，保证视频质量的同时提高水印的鲁棒性. 算法以H.264/AVC视频编解码器为测试实例，实验结果表明，本文提出的水印算法在保证视频质量和编码码率的情况下，对重编码、滤波和噪声等攻击具有很好的鲁棒性，水印提取过程满足盲检测应用需求.

关键词：纹理特性;离散余弦变换;能量差;数字水印

中图分类号：TN919.3                           文献标志码：A

Energy Difference Modulated Video Watermarking

Algorithm Based on Texture Feature

LIU Huichao1，2，WANG Zhijun1，LIANG Liping1?

（1. Institute of Microelectronics，Chinese Academy of Sciences，Beijing 100029，China;

（2. University of Chinese Academy of Sciences，Beijing 100049，China）

Abstract：Aiming at the problems such as high complexity and poor robustness for current video watermarking algorithms，a video watermarking algorithm based on residual texture feature is proposed by adopting an energy difference modulation. Firstly，the residual DCT coefficients obtained from the video coding process are used to model the regional texture intensity，and then the energy of the DCT coefficients on the middle and high frequency are adjusted adaptively according to the texture intensity to realize the watermark embedding. Under the condition that no additional complicated computational process is introduced，the algorithm embeds different intensity watermark information adaptively for different regions to ensure the video quality and improve the watermark robustness. The scheme takes the H.264/AVC video codec as a verification example. The experimental results show that，under the premise of guaranteeing video quality and encoding rate，the watermarking algorithm proposed in this paper has good robustness to resist attacks such as re-encoding，filter and noise. Meanwhile，the watermark extraction process meets the demand of blind detection for practical applications.

Key words：texture feature;discrete cosine transform;energy difference;digital watermark

視频，作为一种内容直接、形式丰富的信息，被广泛应用于人们的日常生活中. 据统计，人们每天接收的信息中有80%以上为视频信息. 互联网技术的快速发展，使得人们获取、分享和传播视频资源的速度大大加快，但视频内容的篡改、伪造和非法传播现象频繁发生[1-3]，因此，保护视频版权和内容真实性至关重要. 数字水印技术作为一种有效的途径备受关注. 然而，由于视频信息数据量庞大，其传播和存储过程通常伴随着视频压缩，因此，研究基于视频压缩编码的水印技术意义重大.

一个好的视频水印算法在满足水印不可见性的条件下，应该具有更高的鲁棒性、更低的计算复杂度，同时对视频压缩编码后的码率影响较小[4]. 为减小水印对视频质量和码率的影响，Zhang 等人[5]提出基于人眼视觉阈值（Just Noticeable Difference，JND）的视频水印算法，对满足条件的不同频率位置的DCT系数采用不同的嵌入策略，降低视频质量损失的同时提高水印算法的鲁棒性. 由于所提出的JND模型涉及Canny边缘检测和水印位置信息提取，计算复杂度较高，Deng[6]和Li[7]等人将扩频技术和汉明编码应用到所提出的水印算法中，一定程度上提高了水印鲁棒性，但同时也增加了算法复杂度.        为降低水印算法复杂度，Qiu[8]、Fallahpour[9]、

Abdi[10-11]和Dutta[12]等人通过简单地调制量化后残差DCT系数的幅值大小或奇偶性实现水印嵌入，然而Kim等人[13]通过实验证明DCT系数的此类表征特性在重编码过程中较不稳定，所以基于该类方法的水印算法鲁棒性较差.

为提高算法鲁棒性，张维纬等人[14]利用基于DCT变换的近似Weber定律对视频划分纹理区域，对不同纹理区域执行不同强度的水印嵌入策略，在保证视频质量的同时，大大提高了水印鲁棒性. 但纹理划分过程需要对原视频进行DCT变换，计算量大大增加.

针对以上问题，本文提出一种基于残差纹理的能量差调制视频水印算法. 以应用广泛的H.264/AVC视频编码标准[15]为验证实例，算法首先利用编码器得到的量化后的残差DCT系数建立低运算复杂度的视频纹理强度判定模型;然后根据纹理强度对中高频位置的DCT系数进行自适应能量差调制，实现鲁棒水印嵌入. 整个水印与视频纹理分布一致，嵌入水印对视频质量影响较小;同时，水印嵌入过程无须保存水印位置信息，水印提取过程满足盲检测要求.

1   融合水印技术的视频编码器架构

自H.261视频编码标准起，新的标准在引入先进技术的同时，一直沿用基于预测和变换的混合编码架构[16]. 如图1所示，预测编码利用相邻像素的空间或时间相关性，根据已编码的像素对当前待编码像素进行线性预测，然后对预测值和真值的差进行编码传输，减小待编码数据量;变换编码则将统计上彼此密切相关的空域像素通过正交变换，转化为统计上相对独立的变换系数，减小有效数据量. 之后的熵编码过程通常为变长编码，通过对出现概率大的字符分配短码字，而概率小的字符分配长码字，进一步提高混合编码的压缩效率.

本文主要在DCT域嵌入水印，结构上主要考虑以下几个问题：格式兼容性、算法一致性和水印鲁棒性. 当水印算法设置在DCT变换和量化之间时，由于量化过程是有损的，不可避免地会对水印信息造成破坏，影响水印鲁棒性;当水印模块设置在编码环路以外、熵编码之前时，由于水印算法会改变当前编码块信息，而变化后的值无法通过编码环路反馈到后续编码块的编码过程，导致编解码端的数据不一致. 于是，最佳的方案是将水印模块设定在量化之后、熵编码之前的编码环路中，如图2所示，为融合水印技术的视频编码器结构.

纹理判断模块将视频划分为纹理和非纹理区域，水印嵌入模块根据纹理划分结果实现强度自适应的水印嵌入过程. 与已有文献不同，纹理判断和水印嵌入模块与整个编码过程紧密结合，纹理判断模块直接利用DCT变换和量化后的系数，无需额外运算. 同时，由于水印嵌入模块设定在编码环路内，当嵌入水印后，由水印引起的偏差经过变换和量化的逆过程反馈到重建帧中，用于后续编码过程的参考，从而避免帧内或帧间误差漂移现象的发生，保证了编解码端的数据一致性.

2    基于纹理特性的能量差调制水印算法

视频水印算法一般要满足水印的不可见性和鲁棒性. 为保证良好的水印不可见性，通常选择降低水印嵌入强度，而水印鲁棒性往往与水印嵌入强度正相关，于是水印算法的关键就在于如何调和这一对互为矛盾的需求. 根据人眼视觉特性[17]，人眼系统对视频区域内所包含的高频分量分辨能力较弱，对视频纹理密集区域的变化敏感性差. 本文正是利用该特性对待编码视频进行纹理区域划分，基于能量差法，对视频亮度分量的纹理区域和非纹理区域采取不同强度的调制策略，从而在保证水印不可见性的同时，实现一种复杂度低、鲁棒性强的水印嵌入算法.2.1   基于残差DCT系数的纹理判定模型

以H.264/AVC视频编码为例，混合编码架构中的预测编码分为帧内预测和帧间预测，对应的编码帧称作I帧和P帧（暂不考虑B帧）. 对一个待编码视频序列，I帧作为起始帧包含的信息量最大，可用于嵌入水印的空间也最大. 于是，本文仅对I帧嵌入水印. 对于一个待编码帧，用X表示原始像素集合，P表示最佳预测模式下的预测像素集合，R表示预测残差集合，则有：

若将P视为背景，则R可视为X相对于背景P所增加的细节信息. 由于帧内预测技术主要利用相邻区域的边界信息对待编码区域进行线性估计，除平坦区域外，其余区域的线性预测通常情况下均会产生估计误差，即预测残差，且待编码区域的纹理越复杂，线性估计产生的残差越显著，对残差进行DCT变换后得到的非零系数越多. 对于一个4 × 4残差块，定义量化后的DCT系数矩阵如下：

当假定C中所有系数特性一致时，本文给出一种简洁的纹理判定模型，如式（4）所示：

m1為NZFM的m1-范数，此处表示非零元素的个数;T为设定的阈值门限;TMax为T能取到的最大值. 于是建立起NZFM与视频纹理的一种映射模型，仅仅通过比较矩阵C的NZFM对应的m1-范数与T的大小关系即可实现视频纹理区域的划分，相比于Zhang等人[5]采用的基于Canny算子的JND模型判定算法及张维纬等人[14]采用的基于Weber定律的判定算法，计算复杂度大大降低.

然而，C中不同位置的系数频率不同，在空域表现出的纹理特性也不同，为分析C中每一个变换系数对应到像素域的纹理复杂度，考虑如下的单位系数矩阵UC（系数幅值仅有0和1两种情况）：

为了测试不同位置系数在像素域的纹理复杂度，每次仅设置一个δmn有效，其余系数均置为零，可以得到16个像素矩阵Y. 为每个Y定义水平方向纹理矩阵（Horizontal Direction Texture Matrix，HDTM）和垂直方向纹理矩阵（Vertical Direction Texture Matrix，VDTM），分别表示Y在水平方向和垂直方向的变化特征.

接着，对HDTM和VDMT进行同向冗余消除，即去除同方向上相邻的同类项. 对于HDTM，若同一行的相邻元素值相同，则表示相邻像素的纹理方向相同，于是去除多余项，仅保留一个有效值. VDMT按照类似的方法去除垂直方向的冗余项，最终得到精简的HDTM和VDMT. 根据HDTM和VDMT，本文定义单系数对应像素域的纹理度矩阵如下：

根据式（8），HDTM和VDTM中非零元素越多，像素变化越复杂，纹理度越高.

至此，本文定义加权的NZFM（Weighted NZFM，WNZFM），并沿用式（4），可以得到一个基于WNZFM的纹理判定模型：

对于T的取值，当T值较小时，大部分视频区域均会被判定为纹理区域，嵌入水印后对视频质量影响较大;当T值较大时，只有较少视频区域被判定为纹理区域，嵌入水印后对视频质量影响较小，但因为大部分视频区域被视为非纹理区域而嵌入低强度水印，导致水印算法鲁棒性降低. 为了得到最佳的阈值门限T，可以建立如下的最优化模型：

式中：f（ ）和fref（ ）分别代表本文纹理模型和参考模型核函数;Tex和Texref分别表示利用本文模型和参考模型得到的视频纹理区域划分结果;SIM（T）表示Tex和Texref的相似度;QWm（ ）表示基于纹理划分结果的水印算法的性能评价模型;ρ（T）表示水印算法的性能. 本文以Zhang等人[5]提出的纹理模型为参考，以Foreman视频序列为测试实例，对T值的大小与纹理判定模型精度的关系进行初步测试，如图3所示.

从图3可以看出，以相似度作为模型精度的评价指标，本文提出的纹理判定模型与参考模型相比，相似度值随T的增大呈现出先增加后逐渐减小的变化趋势，这为T值的选择提供了一种依据.

除相似度外，本文纹理判定模型的结果对水印算法的性能如视频质量和水印鲁棒性的影响将在下文中给出分析结果. 理论上，模型精度越高，纹理判定越符合实际情况，基于纹理的自适应水印算法对视频质量的影响就越低，而模型判定出的纹理区域越多，整体水印强度越强，水印鲁棒性就越高.

2.2   基于能量差调制的水印嵌入算法

正如Kim等人[13]所述，即使采用同样的编码配置，重编码过程依然会导致预测模式发生变化，进而在残差DCT系数上引入扰动，使得单纯依靠调制某个系数的奇偶性或零特性等嵌入水印的方法鲁棒性较低. Langelaar等人[18]率先提出基于MPEG/JPEG的差分能量水印算法，张维纬等人[14]将该思想引入到H.264/AVC视频水印算法中，并考虑视频纹理特性，选择4 × 4 DCT系数矩阵的一个低频系数和一个高频系数作为水印嵌入位置. 该方法存在两个问题：其一，DCT变换后信号能量主要集中在直流和低频位置，选择低频系数嵌入水印，对视频质量影响较大;其二，根据Zhang等人[5]的理论分析与实验结果，当进行重量化编码时，DCT变换的直流和低频系数易受影响，而中频和高频系数较稳定，因此，基于中高频系数嵌入的水印鲁棒性更强.

于是，本文选择式（2）中的中高频系数c22和c33作为目标对象，基于2.1节提出的纹理判定模型，实现强度自适应的能量差调制水印算法. 以光栅扫描下的顺序编码为例，水印算法的基本处理单元为水平方向相邻的两个待编码宏块A和B，定义宏块的DCT系数局部能量和为SLE，宏块内第k个4 × 4子块的局部能量为LEblk（k），则：

首先，为降低嵌入水印对视频质量的影响，对于纹理块，选择调制系数集合{c22，c33};对于非纹理块，选择调制系数{c33}. 假定待嵌入的水印信息是长度为L的二进制序列W={wi}，当水印比特wi为1时，利用式（12）中的调制规则a）增加A宏块内各个子块的局部能量，利用调制规则b）降低B宏块内各个子块的局部能量，使得A宏块的局部能量和大于B宏块;相反地，当wi为0时，使用规则b）调制A宏块、规则a）调制B宏块，使得最终结果满足A宏块的局部能量和小于B宏块.

2.3   基于能量差调制的水印提取算法

水印提取为水印嵌入的逆过程. 首先对嵌入水印的压缩视频码流进行部分解析，得到量化的DCT变换系数;之后，按照公式（11）计算水平方向上相邻宏块A和B的局部能量和SLEA与SLEB，通过比较二者的大小实现水印提取. 具体提取规则如下：

3   实验结果与分析

为验证本文所提水印算法的有效性，以H.264/AVC编码器为验证实例，采用JM8.6软件编解码器参考模型为实现平台，对16个不同场景、不同运动幅度的CIF（352×288）格式的标准序列进行测试，每个视频序列均按照帧率为30 fps、I帧编码周期为15、I帧量化参数QP=28的配置进行编码，总编码帧数为150帧，水印信息仅嵌入在I帧中. 同时，本文采用随机生成的水印信息进行测试，避免水印序列本身对实验结果的影响.

本文从峰值信噪比（Peak Signal Noise Ratio，PSNR）、结构相似度（Structure Similarity Image Measurement，SSIM）[19]、水印鲁棒性（Robustness，R）、编码比特率增加（Bitrate Increase Rate，BIR）4个方面分析阈值门限T对所提水印算法性能的影响. 同时，为分析水印算法的普适特性，对不同视频序列的测试结果求取平均值.

式（14）中：M、N表示视频分辨率;PSNR和PSNR′分别表示嵌入水印前后视频的峰值信噪比;ΔPSNR为嵌入水印后PSNR的变化. 式（15）中：μ和σ分别为视频帧的均值与标准差，σxy为x和y的协方差;C1、C2是为避免分母趋于0导致测量值不稳定而定义的小常数. 式（16）中：Nc和Nt分别表示正确提取的水印数量和嵌入的水印总数量. 式（17）中：BR和BR′分别为嵌入水印前后视频编码的码率.

3.1   纹理门限对视频水印性能的影响分析

如前文所述，基于WNZFM的纹理判定模型的精度与阈值门限T的大小直接相关. 當T值较小时，视频中较多的真实纹理区域被正确检测出来，同时，较多的非纹理区域被判定为纹理区域;反之，当T值增大时，纹理密集度高的区域被正确检测，而纹理密集度较低的区域被判定为非纹理区域. 根据2.1节的分析，阈值门限T的取值范围为0～48. 本文首先分析了T对嵌入水印后视频PSNR和BIR的影响，如图4和图5所示.

从图4可以看出，本文算法与张维纬等人[14]所提水印算法均会对视频PSNR造成轻微的损失. 对于实验中采用的16个不同的视频序列，在T = 1时，本文算法对视频PSNR的影响最大，平均降低0.681 dB，相比之下，张维纬等人[14]所提算法中PSNR平均降低0.595 dB. 随着T值的增大，本文算法造成的PSNR损失逐渐减小并低于文献[14].

图5给出了本文算法与张维纬等人[14]所提算法对视频编码比特率的影响. 整体上，本文算法与张维纬等人[14]所提算法对视频编码比特率的影响量级相当，均可忽略不计.

此外，本文重点分析了所提水印算法的鲁棒性特征，以常见的4种数字信号处理攻击算法为例：高斯滤波、循环均值滤波、高斯噪声和椒盐噪声. 其中，高斯滤波器窗口大小为5 × 5，Sigma参数为0.3;循环均值滤波器辐射范围Radius为0.5;高斯噪声均值为0，方差为0.001;椒盐噪声密度为0.001. 图6给出了本文算法与张维纬等人[14]算法在4种不同的数字信号处理攻击算法下的鲁棒性测试对比结果.

从图6中可以看出，当阈值门限T的取值不超过一定范围时，本文水印算法的鲁棒性均优于文献[14]. 对于4种攻击算法，张维纬等人[14]所提算法的鲁棒性平均值分别为82.18、82.28、78.73和79.11，本文算法在T = 1时的鲁棒性平均值分别为96.44、96.45、93.04和92.76. 不仅如此，测试过程中发现，对于不同的视频序列，本文水印算法的鲁棒性较稳定，而张维纬等人[14]所提算法的鲁棒性对不同测试序列表现出较大的差异性.

3.2   水印算法性能比较

除数字信号处理攻击外，重编码也是一种常见的攻击算法. 重编码过程主要包括两步：1）正常解码;2）采用不同的QP重新编码. 本文水印算法与已有相关文献的性能比较结果见表1.

不难发现，相比于[5][7][12][14]，本文提出的水印算法鲁棒性更强. 这是因为本文在嵌入水印时选择了稳定性更强的中高频系数，重编码产生的影响较小;同时，本文采用基于局部能量和的能量差嵌入水印，具有较强的不变性. 而文献[12]采用的嵌入对象为中低频系数，根据文献[5]的分析，中低频系数更易受重编码的影响，导致水印鲁棒性相对较差;文献[14]虽然也是基于差分能量嵌入水印，但与文献[12]类似，也涉及到低频系数，所以二者的鲁棒性相近. 文献[5]和[7]本质上均采用调制系数奇偶性的方式嵌入水印，文献[13]已指出此类方法的稳定性缺陷，尽管文献[5]和[7]分别引进了精确的JND模型和扩频通信与汉明编码技术用来保证鲁棒性，但是，当采用较大的量化步长重新编码时，水印鲁棒性迅速降低，QP为32时，文献[5]中的水印鲁棒性已降低到50以下，而本文算法鲁棒性仍在85以上.

此外，对于水印提取过程，本文算法满足盲检测要求，而文献[5]和[12]中的算法需要在水印嵌入过程中保存水印位置信息用于水印提取过程，当位置信息丢失或局部出错时，会发生同步失真而导致水印提取失败，实用性较差.

对于水印算法的计算复杂度，本文算法只涉及判断WNZFM的m1-范数大小以及DCT系数的幅值运算，计算复杂度极低;而文献[14]的纹理判断模型需要额外引入大量的DCT运算，文献[5]中基于Canny算子的JND模型更是涉及到高斯滤波、Sobel边缘检测和滞后边缘跟踪等复杂过程，计算复杂度大大提高.

4   结   论

本文提出了一种基于纹理特性的能量差调制视频水印算法，在视频压缩编码的过程中，以量化后的残差DCT系数的WNZFM的m1-范数为纹理判定依据，通过调制两个相邻宏块的残差在DCT域的中高频系数局部能量和的大小，实现自适应强度的水印嵌入，相比于已有的基于视频纹理的水印算法，计算复杂度大大降低. 算法以H.264/AVC视频编码为验证实例，实验结果表明，本文所提算法在保证视频质量和编码比特率的条件下，对重编码、滤波和噪声等攻击具有较强的鲁棒性;同时，本文算法无需保存水印位置信息，符合水印盲提取要求，具有较强的实用性.

参考文献

[1]    NOORKAMI M，MERSEREAU R M. A framework for robust watermarking of H.264-Encoded video with controllable detection performance[J]. IEEE Transactions on Information Forensics and Security，2007，2（1）：14—23.

[2]    潘蓉，高有行. 數字图像水印技术研究[J]. 湖南大学学报（自然科学版），2002，29（2）：117—123

PAN R ，GAO Y X. Study on digital image watermarking technology[J]. Journal of Hunan University（Natural Sciences），2002，29（2）：117—123. （In Chinese）

[3]    朱宁波，李晋国. 一种基于遗传算法的DCT域鲁棒性水印技术[J]. 湖南大学学报（自然科学版），2011，38（4）：77—82.

ZHU N B，LI J G. A DCT-based robust watermarking using genetic algorithms[J]. Journal of Hunan University（Natural Sciences），2011，38（4）：77—82. （In Chinese）

[4]    ASIKUZZAMAN M，PICKERING M R. An overview of digital video watermarking[J]. IEEE Transactions on Circuit and Systems for Video Technology，2018，28（9）：2131—2153.

[5]    ZHANG W，LI X，ZHANG Y，et al. Robust video watermarking algorithm for H.264/AVC based on JND model[J]. Ksii Transactions on Internet & Information Systems，2017，11（5）：2741—2761.

[6]    DENG H，ZHANG C H，YU H Z，et al. Design method of H.264/AVC video watermarking based on intra prediction coding[J]. Applied Mechanics and Materials，2014，644/650：4257—4260.

[7]    LI Y，WANG H X. Robust H. 264/AVC video watermarking without intra distortion drift[J]. Multimedia Tools and Applications，2019，78（7）：8535—8557.

[8]    QIU G，MARZILIANO P，HO A T S，et al. A hybrid watermarking scheme for H.264/AVC video[C]// Proceedings of the 17th International Conference on. Cambridge，UK：IEEE，2004：865—868.

[9]    FALLAHPOUR M，SEMSARZADEH M，SHIRMOHAMMADI S，et al. A realtime spatio-temporal watermarking scheme for H.264/AVC[C]// Instrumentation & Measurement Technology Conference. Minneapolis，US：IEEE，2013：872—875.

[10]  ABDI L，ABDALLAH F B，MEDDEB A. A robust video watermarking algorithm in H.264/AVC compressed domain[C]// Acm Symposium on Applied Computing. New York，US：ACM，2015：1291—1293.

[11]  ABDI L，FATEN B A，MEDDEB A. Real-time watermarking algorithm of H.264/AVC video stream[J]. Intermational Arab Journal of Information Technology，2017，14（2）：168—174.

[12]  DUTTA T，GUPTA H P. A robust watermarking framework for High Efficiency Video Coding （HEVC） - Encoded video with blind extraction process[J]. Journal of Visual Communication and Image Representation，2016，38：29—44.

[13]  KIM D W，CHOI Y G，KIM H S，et al. The problems in digital watermarking into intra-frames of H.264/AVC[J]. Image and Vision Computing，2010，28（8）：1220—1228.

[14]  張维纬，张茹，刘建毅，等. 基于纹理特征的H.264/AVC顽健视频水印算法[J]. 通信学报，2012（3）：82—89.

ZHANG W W ，ZHANG R，LIU J Y，et al. Robust video watermarking algorithm for H.264/AVC based on texture feature[J]. Journal on Communications，2012（3）：82—89. （In Chinese）

[15]  WIEGAND T，SULLIVAN G J，BJONTEGAARD G，et al. Overview of the H.264/AVC video coding standard[J]. IEEE Trans Circuit System Video Technology，2003，13（7）：560—576.

[16]  刘慧超，王志君，梁利平. 一种高效多标准视频解码器架构研究与设计[J]. 湖南大学学报（自然科学版），2019，46（10）：117—124.

LIU H C，WANG Z J，LIANG L Q.Research and design of an efficient multi-standard video decoder architecture[J]. Journal of Hunan University（Natural Sciences），2019，46（10）：117—124. （In Chinese）

[17]  侯春萍，李浩，岳广辉. 局部和全局特征融合的色调映射图像质量评价[J]. 湖南大学学报（自然科学版），2019，46（8）：132—140.

HOU C P，LI H，YUE G H. Quality Assessment of tone-mapped imagesusing local and global features[J]. Journal of Hunan University（Natural Sciences），2019，46（8）：132—140. （In Chinese）

[18]  LANGELAAR G C，LAGENDIJK R R. Optimal differential energy watermarking of DCT encoded images and video[J]. IEEE Transactions on Image Processing，2001，10（1）：148—158.

[19]  WANG Z，BOVIK A C，SHEIKH H R，et al. Image quality assessment：from error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13（4）：600—612.