图像可逆信息隐藏研究发展综述

欧 博 ，李晓龙，倪蓉蓉，赵 耀

(1.湖南大学 信息科学与工程学院，长沙 410082；2. 北京交通大学 计算机科学与技术学院，北京 100044)

可逆信息隐藏(又称可逆水印)诞生于20世纪90年代，是一项用于保护多媒体数据(本文以数字图像为例)版权和内容完整性的隐蔽通信技术.通过此技术，发送者可以对指定载体嵌入秘密信息后，将其混入到公共信道中与正常载体一起传输，隐藏嵌入行为.可逆信息隐藏的最大优势在于能够无损恢复原始内容，使得嵌入提取操作不会对载体造成永久性的失真，在司法、医学、军事等强调载体内容精确性的应用领域具备重要价值.因此，可逆概念一经提出就受到了学界重视，相关研究蓬勃发展.到今天为止，可逆算法已趋于成熟，技术流派分支明显，在图像真实性认证、医学图像处理、视频纠错恢复、立体图像编码、工程矢量图像恢复等方面有了初步应用.

本文作者将通过回顾经典文章来介绍可逆算法设计的基本框架和技术基础，总结当前图像可逆信息隐藏的主流方法和模型，归纳各类算法技术特点，综述当前可逆研究所面临新形势和新动态，以求为研究者提供一个按图索骥的探索路径，最后就面向人工智能的可逆研究新成果推断未来的发展方向.

1 发展历程与代表技术

1.1 发展简述

可逆水印的版权保护机理如图1所示，若含密图像遭遇篡改或干扰，隐藏的信息将遭破坏，即可判定图像被篡改或不可信；若图像在传输过程中未受任何损失，即可提取秘密信息并消除因信息嵌入导致的图像失真，重建原始图像.在过去近30年的时间里，可逆信息隐藏技术的研究由小到大不断发展，成果繁多，积淀深厚.其设计机理简明，数学论证清晰的特点深受广大研究者喜爱.从发展历程看，可逆概念的提出得益于数字化生活兴起所引起的版权保护意识提升，具体算法设计则来源于其他学科的经典知识迁移变化.可逆信息隐藏技术研究的发展依托于前人工作，大体呈现出渐进式、螺旋式上升的趋势，表现为理论与实际不断融合、深化的过程.追求原始内容的恢复是可逆研究的目标和本质，在整个发展过程从未改变.为了更好地梳理发展脉络，本文将可逆研究划分为三个阶段.

图1 可逆信息隐藏功能示意图Fig.1 Schematic diagram of RDH

早期阶段：完成零的突破[1-18].这一阶段实现了从无到有的变化，不仅解释了什么是“可逆”，也提出如何实现“可逆”的具体算法.这是一个开创性的时期，算法设计受益于其他经典理论和算法，由设计者迁移设计而成.如Tian[2]受数学哈尔小波变换启发，提出了针对像素对差值的差值扩展(Difference Expansion, DE)方法.Ni等[5]观察了像素统计特性，创造性地提出了直方图修改(Histogram Shifting, HS)方法.此方法也是本领域目前影响最深远、引用次数最多的方法.HS的思想被后续多类方法采用，已经作为可逆算法设计的基本框架和研究的基石.Thodi等[8]提出了预测误差直方图扩展(Prediction-Error Expansion, PEE)方法，利用预测器来去除图像冗余、辅助可逆修改，它将原本像素域的修改投射到了残差域这一更适宜的特征空间，大幅提高了嵌入效率.目前来看，在嵌入容量vs.峰值信噪比(Peak Signal to Noise Ratio，PSNR)这一评价指标上，PEE的嵌入方案性能最好，研究也最多.Coltuc等[9]提出了整数变换(Integer Transform, IT)方法，基于特定数学变化，对多个像素联合修改完成嵌入.除此之外，直接利用无损压缩算法来压缩图像特定特征(如像素最低有效位)也能实现可逆的嵌入和提取.以上方法的思路沿用至今，奠定了可逆研究的基础.

中期阶段：实现理论深化[19-36].相比前期阶段，这一时期的算法设计更为精细、灵活，这得益于继任者将可逆嵌入过程更进一步地抽象出来，在数学上定性、定量地描绘了失真和容量间的制约关系，清晰地指明了算法优化方向和路径.相关研究沿此方向，循序渐进，推进很快.基础理论丰富发展则催生了有深度且卓有成效的新算法.其中Li等[30]提出了自适应嵌入理论，并设计了若干实际算法，如扩展PEE为二维映射[31-32]、提出像素排序(Pixel-Value Ordering， PVO)[33]、多直方图[34]等技术.Zhang等[35-36]继承发展了Kalker和Willems的率失真优化思想，提出了编码与可逆融合的先进算法，使得嵌入性能在特定条件下可以逼近理论极限.这一时期研究指明和解决了可逆设计中“什么是好”和“怎么达到好”的问题，理论贡献显著.

当前阶段：寻求深度融合、应用创新.此阶段任务更重，难度更大.从创新上说，容易受限于旧的框架和理念，形成思维定势.从增量上说，研究需要由点到面扩大范围，需要更多的研究力量投入.尤其在当前新工业革命的大背景下，各类新技术、新观念层出不穷，大浪淘沙，新陈代谢快，可逆研究要与之呼应，找到合适切入点融合，面临困难和挑战.值得庆幸的是，经过长期发展，可逆研究群众基础较为夯实，国家支持力度不断增强，可以承担长期的技术攻关和探索.这种研究基础也表现在代表性文献总体引用次数不断攀升，从事可逆研究的人数在持续增加，学科突破开始出现在新闻报端，社会影响力在扩大.

1.2 经典算法解读

虽然图像格式各异，但可逆嵌入算法的思想大体相同，只在细节上略微变化.本文将以空域BMP格式的图像为代表，介绍相关成果.一般而言，可逆性之所以能实现是因为自然图像中像素间相关性高，存在大量冗余.这意味着图像可以被高度压缩，以更小的体积表达出来.可逆算法只是通过嵌入这种特殊方式来 “压缩”图像，将水印信息填补在压缩空间上.因为嵌入方式是基于可推导的数学公式，所以在提取时，像素经历反向操作后即可各自恢复为原来的状态.其中可逆嵌入过程中存在“变”与“不变”两种属性.即嵌入前后像素值是在变化的，而像素的空间位置、多个像素间的统计关系等则被保留下来，是不变的.“不变”的属性保证可逆性，“变”的属性用以满足容量嵌入的要求.

就BMP图像处理而言，可逆实现的代表性框架共有三类：第一类是基于无损数据压缩(Lossless Compression，LC)设计而成的.该方案从图像中选取合适的特征，然后交由成熟的编码压缩技术来完成数据压缩，空出空间并直接填补上隐密信息.第二类方案受哈尔小波变换启发设计而成，取名为差值扩展算法(DE)，并逐步衍生为后续的整数变换(IT)、预测残差扩展(PEE)算法.第三类框架是对图像直方图进行移位(HS)，通过直接改变图像的统计特性来完成信息嵌入.现有可逆算法设计的4个基本框架见图2.下面分别对这三类算法的典型嵌入过程做简要描述.

图2 现有可逆信息隐藏算法设计的4个基本框架Fig.2 Four fundamental design frameworks of existing RDH algorithms

1.2.1 基于数据压缩的可逆算法(LC)

早期可逆算法是直接利用编码领域成熟的压缩算法来实现原始载体的无损恢复.例如，研究者选择将一幅灰度的图像分解为对应的二值位平面，然后对像素最低有效位(Least Significant Bit， LSB)进行压缩.Celik等[4]提出了一种一般化的LSB压缩算法用以可逆信息隐藏，利用条件熵编码将图像中未修改的部分作为辅助信息来提高压缩算法的效率，因而能得到更高的嵌入容量.显然，这类算法的性能取决于无损压缩算法的性能，即压缩率越高，嵌入的容量就越大.然而对位平面压缩可以提供的嵌入容量比较有限，且容易产生明显的噪声，降低图像质量，因而这类算法后来很少被采用.随后，Zhang[27]结合当前主流的嵌入技术和压缩思想，提出了更为高效的算法.该算法先对图像解相关提取出一个能量集中的特征，然后对其做压缩.结合率失真模型，压缩类算法能够在嵌入过程中利用已经修改的图像部分来优化当前的嵌入，从而得到一个接近最优嵌入的修改方式.

从编码角度来看，可逆信息隐藏问题可以理解为载体在嵌入前后的信息熵变化问题.在这个过程中，编码压缩算法迫使载体先熵减，熵的减少是因为压缩后码字变少了，转为更紧凑的表达形式，但解码后信息熵是没有变化的，然后再引入水印信息(一般为加密后的随机序列)迫使其又向无序方向变化，即熵增.一减一增的过程，即是可逆嵌入的实质.但能减到何种程度、是否能对应地增加，则是需要探索优化的难点问题.其困难在于增减过程还必须保持载体中大部分数据间的原有联系，即图像语义.增减变化太大，载体的语义信息即被破坏；增减太小，则容量不足.大多数情况下，折中是最好的选择.完美的折中表现为算法性能具备平衡性，它依赖于设计者对应用场景、图像的充分理解，进而巧妙地设计算法来如实满足.显然，算法设计与实际的人为偏差也会导致熵的增减，影响性能.

1.2.2 差值扩展算法(DE)

差值扩展算法隶属于第二类框架，它将图像元素单个处理，依次完成像素或像素向量的可逆修改，从而保证全图的可逆性.DE采用的是整数哈尔小波变换的思路，以两个像素的均值为水印嵌入的基准，在此基础上微小改变像素值与均值间的差值，来兼顾水印嵌入和图像语义表达.具体而言，基于差扩展的可逆嵌入算法的主要思想是对某个像素对的差值做扩展操作，然后将1比特信息替换扩展后的差值的最低有效位.在提取时，依照相对于扩展时的反操作，对差值做除法所得的商就能得到原始的差值.此时，余数就是嵌入的比特信息，然后利用相邻像素间的关系恢复出原始像素值.

DE可逆变换最先由Tian[2]引入到可逆信息隐藏中，以水平方向的每两个相邻像素为嵌入单元.因为两两像素互为参考，所以每对像素嵌入1比特信息，单次嵌入率约为0.5bpp.然而DE算法的一个缺陷在于嵌入时无差别的处理像素对，容易造成失真过量.此外，算法需要存储一个位置图作为额外信息占用水印嵌入空间.在个别图像上，位置图占比偏大，明显降低有效嵌入率.为此，Hu等[14-15]提出了纹理排序的方式来优先完成平滑区域像素的修改，并设计了更易于压缩的位置图，从而降低在中低容量嵌入时的图像失真.

1.2.3 整数变换(IT)

DE考虑的是每两个像素作为一个基本嵌入单元，若考虑更多像素，则可以推广为更一般的情况.整数变换给出的是多个像素联合修改的数学变换方案.多个像素联合考虑后，它们的均值更稳定，不易受到水印嵌入的扰动.所以这类方法可以承担更多的水印嵌入.从另一个方面看，同等条件下，若减少水印嵌入，则该方法会表现出较强的鲁棒性.

基于整数变换的可逆算法主要优势在于较低的计算复杂度和较高的容量嵌入能力.这类算法将两个或者多个像素作为嵌入的基本单元，利用数学上的整数变换公式实现可逆的嵌入和提取.Coltuc等[9]最先引入了一种快速有效的整数变换，只需改变像素的最低有效位就可完成高嵌入容量.Weng等[13]提出了一种基于像素对奇偶不变特性的整数变换算法，巧妙地实现可逆嵌入提取，并极大地压缩了位置图大小来提升嵌入性能.

1.2.4 预测残差扩展(PEE)

PEE算法性能优异，是目前研究较多的一类算法.完成一个PEE算法设计可以包含两个步骤.第一步是特征选取，在PEE中，嵌入特征不再是简单的像素差值，而是预测残差.这相当于对差值做了一个评分，选择“好”的差值将有利于后续的水印嵌入.在以PSNR为主导的评价体系中，像素改动越小，算法性能越优异，因而预测更准确，让残差接近于0便是“好”的标准.这个步骤也是重新构建嵌入特征的过程，即把原有的像素分布转为预测残差分布.因残差分布近似于拉普拉斯分布，图像信息表达变得更紧凑，实现了有效熵减.第二步则涉及如何统计性地修改残差，通过选择水印信息的嵌入点来完成优化问题.PEE算法最先由Thodi等[8]提出，作为DE算法的更为普遍的形式，它先利用某个特定的预测器得到像素预测误差，然后结合直方图移位的思想，将所得的预测误差直方图划分成两个区域后分别做扩展和移位操作.算法的嵌入容量等于扩展区域内的预测误差数量.因为PEE算法设计模块丰富，性能优越，可改进空间大，改进算法不断涌现.其中一个方向在于优化嵌入顺序.如Sachnev等[18]提出像素排序技术，对所得预测误差重排，使得绝对值较小的预测误差优先用于嵌入，从而在小嵌入率时所引起的失真要明显小于其他算法.事实证明，这种排序技术是降低失真较为有效的方法，也是当前大多数PEE算法所必采用的嵌入策略.另一个改进的方向在于提升预测准确性，从而得到分布更为集中的预测误差直方图.如Luo等[19]提出利用插值技术来预测像素，通过动态分配不同的权重来优化预测结果的思想.这说明预测值并不唯一，调整修改预测值等嵌入特征是可以改善后续嵌入性能的.不同于传统提升预测性能的思路，Li等[23]提出对平滑和纹理像素采取不同的嵌入策略，即对平滑区多嵌入信息，而对于纹理像素则少嵌入信息.这个观点逐步发展为自适应嵌入理论[28-29].事实证明，自适应嵌入理论数学描述精确、清晰，能够更好地利用图像各区域差异性，提升嵌入性能，可扩展空间较大.

1.2.5 直方图移位(HS)

HS是一个基于简单图像统计特性来完成可逆嵌入提取的成功设计.它的成功说明可逆研究并不一定要依赖艰深的数学推理，有时凭借敏锐的灵感，依托于经典技术，也可以完成行之有效的算法设计.HS在得到直方图后须选择两个嵌入点，然后对满足该条件的像素嵌入水印信息，其余像素相应联动.HS算法由Ni等[5]提出，他们以灰度直方图为嵌入载体，选择用频率最高的两个灰度值像素分别向左、向右移动来表达水印信息，并对其余像素移位以保证可逆性.因为在HS算法中单次嵌入的最大修改量为1，所以能够得到高保真的含密图像.在HS嵌入过程中，图像的总体统计特性不会大幅改变，因而能够作为可逆参考的基准，也能够保持图像语义.整个嵌入过程简单、有效，迁移性强.凡事基于统计类、全局性修改的算法设计都可以借鉴它，甚至直接使用它.

1.3 现有突破进展

1.3.1 加密域可逆信息隐藏

加密域可逆信息隐藏是将可逆概念与传统加密算法在大数据、云计算环境下成功融合的典型，最早由Zhang[37-38]提出.此工作开创性地提出了加密可逆概念，设计了简明易行的解决方案，产生很强的示范作用和引领效果.在此之后，相关工作[39-52]如雨后春笋般层出不穷，展现了此方向强大的生机与活力，也带动了可逆研究向社会生活更深、更广的层次迈出了坚实的一步.在后续改进算法中，Hong等[39]提出了边缘匹配方法，将解码错误率近乎完美地从1.21%降为0.34%.Ma等[40]提出了预留空间的方式来处理可逆嵌入的信息，将加密操作与可逆嵌入操作分开处理，解决了加密算法对可逆嵌入的干扰问题，消除了解码错误.因为可逆操作不再与加密操作捆绑，可逆嵌入能力得到释放，嵌入容量明显提升.事实证明，这一解决思路行之有效，被后续大多数加密可逆算法所认可和采用.至此，加密域可逆信息隐藏的基本框架(如图3所示)形成，分别为加密中嵌入信息和加密前预留空间嵌入两类.随后，Cao等[41]提出了适用于加密图像的稀疏编码技术，能够让更多的载荷嵌入到加密图像中去，并明显改善解密图像的视觉质量.Qian等[42-43]将加密可逆推广到了更为底层的码流信息修改上，设计了面向压缩域图像载体和流加密图像码流多信源编码的可逆嵌入技术.这两个工作说明加密可逆算法可以利用较少的图像冗余，处理更为底层的、接近于机器理解的信息表达，因而有很大的启示意义.Xiang等[50]提出了基于同态加密的可逆嵌入算法，允许图像的加密、可逆操作顺序不再局限于固定次序，提升了加密图像的操作灵活性，展现出更广的应用范围.

图3 加密可逆信息隐藏的两类主流嵌入框架Fig.3 Two current mainstream embedding methods for encrypted RDH

1.3.2 二维可逆信息隐藏

近年来，受益于计算资源的不断增强，研究者开始设计更为复杂、有序的可逆嵌入算法[53-79].其中，二维可逆信息隐藏就是典型代表[31-32,76-79].它将两个相邻的像素联合考虑，协同修改来完成多比特信息嵌入.二维可逆嵌入不仅考虑了图像像素本身的灰度相关性，也利用空间相关性将像素配对来进一步地去除了相关性.它的基本原理和思路如图4所示.Li等[31]提出了基于二维差值直方图概念，随后Ou等[32]提出了基于像素对的可逆信息隐藏(Pairwise PEE).这两个工作明确了二维可逆信息隐藏的概念.其中Pairwise PEE用二维的观点重新解释了经典的可逆映射，用更高维度的视角去设计嵌入方式，取得了明显的性能提升.He等[76]针对PVO排序预测的特性，发现非均等像素对修改时存在的不足之处，提出了双重Pairwise PEE的实现方法来改进嵌入性能，进一步降低了失真.这一方法从另一个侧面说明，可逆信息隐藏通过多次校正预测，采用诸如二次配对和二次预测的策略可以进一步提升性能.Ou等[77]提出了基于自适应像素对配对和混合维度嵌入修改方法.生成一维和二维两种形态的直方图，实现混合嵌入.该方法能够进一步提升二维可逆水印的性能，并有效解决不同维度下嵌入修改的兼容性问题.Xiao等[78]首次提出了针对JPEG图像的二维可逆算法.该方法利用交流系数的特点来配对二维单元，结合混合维度、多直方图修改和自适应映射三种技术优势设计可逆嵌入.Chang等[79]提出了自适应映射生成的二维可逆算法，该方法最大的特点是能够更为充分地考虑映射寻优空间，以较小的计算代价换取更大的寻优空间.其中算法寻优时所提出的逐点优化思路能够兼顾时效性，实用性强.

图4 二维可逆信息隐藏设计的基本原理Fig.4 Fundamental design principle of two-dimensional RDH

2 思考与展望

当前，人工智能的推广与应用使得机器能够更加自主地去完成繁琐、重复的验证性工作，其发展壮大已势不可挡.可逆研究的未来发展，如何与之有效结合是当前亟待解决的问题.结合人工智能技术，可逆算法设计有望摆脱以人工为主的图像理解，而转变为一个智能化、有大数据量处理能力的 “可逆嵌入智能体”.该智能体以过去经典的算法为经验，通过不断试错，更新改进经典算法，形成环路，降低面对新图像算法设计时所需的人力投入和先验知识.

在人工智能技术的推动下，可逆信息隐藏研究已经出现了许多新的应用场景，这些场景下版权保护、载体恢复的需求依然存在.总结当前已有的新成果和应用的新趋势，本文展望未来可逆信息隐藏研究可能的新方向(如图5所示)如下：

1)可逆视觉迁移：所谓视觉迁移，就是将一幅图本有的风格转为特定的艺术风格，实现“以图藏图”将原图转为内容不同的含密图像，并在特定条件下实现无损恢复.其中嵌入信息本身就是一幅富含语义的图像.

2)可逆隐写：该技术从传统隐写技术引申而来，在兼顾安全性的同时，提供载体的无损恢复功能.因为只是微小地嵌入信息到载体之中，可逆嵌入根据安全代价函数来重新设计，嵌入位置和规则的设计将会更加灵活.

3)可逆对抗：该技术用以修补深度伪造等人工智能时代出现的安全漏洞.其核心思想在于将水印作为一种干扰噪声事先嵌入到训练样本中，干扰神经网络伪造图片，提高造假者的成本.此外，可以强调嵌入水印的鲁棒性，使经由含水印的训练样本伪造生成的图片依然具备水印特征.

4)可逆图像处理：该技术旨在用可逆的方式模拟特定的图像处理操作，如对比度增强、JPEG压缩等，增加可逆信息隐藏算法的功能.如可逆对比度增强算法，在完成可逆嵌入的同时，也完成了所需的图像处理操作.

图5 可逆信息隐藏研究未来的潜在方向Fig.5 Potential research directions for RDH

3 结论

可逆信息隐藏是用以兼顾图像恢复和水印提取的特殊技术，相比于传统水印技术，它将图像本身的信息价值看成与水印同等重要，实现了无损恢复能力由仅仅恢复水印到恢复载体本身的扩展.在今天强调信息即财富、追求图片高分辨率的时代下，可逆信息隐藏有很强的应用价值.从可逆研究近三十年的发展来看，其研究无论高潮低谷从未中断，说明该研究是充满活力、富有生机的.当前，人工智能浪潮兴起，可逆技术与之结合并发展的趋势依然展现，新的问题亟待研究，机遇与风险并存.