图像空域可逆信息隐藏研究进展

武晓帅，徐明，乔通*，潘彬民，廖鑫

1. 杭州电子科技大学网络空间安全学院， 杭州 310018； 2. 湖南大学信息科学与工程学院， 长沙 410082

0 引 言

信息隐藏是一种可用于隐蔽通信、版权保护和内容取证的有效手段(张新鹏 等，2016；张新鹏和殷赵霞，2017)。如图1所示，密码学将秘密信息加密为不可理解的乱码，容易引起攻击者的注意。而信息隐藏通过对载体做适当修改，能够将秘密信息嵌入到诸如文本(吴国华 等，2019)、图像和音视频等多媒体文件中，从而隐藏秘密信息的存在。

具体地讲，隐写术和数字水印是信息隐藏技术的两个重要分支(见图2)。隐写术不仅考虑秘密信息的不可感知性且考虑其不可检测性，即强调嵌入秘密信息的同时隐藏嵌入行为的存在，主要用于隐蔽通信。与隐写术对立的技术，即隐写分析(彭伟 等，2020)，目的是检测秘密信息的存在，定位秘密信息的嵌入区域，甚至提取或替换秘密信息。而数字水印可进一步分为鲁棒水印和脆弱水印。鲁棒水印优先考虑健壮性，强调水印信息经过滤、加噪和压缩等处理后仍可被识别，主要用于版权保护。脆弱水印与鲁棒水印相反，强调水印信息随载体改变发生相应改变，主要用于内容取证。

图1 密码学与信息隐藏比较Fig.1 Difference of cryptography and data hiding ((a)cryptography; (b)data hiding)

图2 信息隐藏技术分类Fig.2 Data hiding technology classification

可逆信息隐藏(reversible data hiding，RDH)也是信息隐藏技术的一种(Shi等，2004)，不仅能从含密载体中提取秘密信息，还能无损地还原原始载体。隐写术的载体只是承载秘密信息的一个工具，仅要求能够隐蔽传递秘密信息。同样地，传统的数字水印也很少关注载体的还原问题。在对数据认证要求较高的同时又不允许原始载体永久失真的医学、军事和法庭等场合中，一些信息隐藏技术的应用推广受到限制。RDH很好地解决了上述难题，不仅可以提取秘密信息，而且可以无损还原原始载体。以远程医疗诊断(Coatrieux等，2009)为例，由于医生诊断的需求，要为患者的医学图像附加一些额外秘密信息，如患者的身份信息和病历信息等。没有密钥的接收者只能得到含密的医学图像，但无法提取秘密信息；拥有密钥的接收者在提取秘密信息后，还能够无失真重建原始医学图像。

RDH技术最早是为了实现脆弱认证(Barton，1997)，通过比对嵌入和提取出的认证信息来判断载体是否被篡改，若未经篡改，则可以无失真地还原原始载体。一般地，RDH是一种脆弱隐藏技术，如果含密载体产生永久性失真，则不能实现无损还原原始载体。二十多年来，基于这种可逆恢复的特性，RDH不仅用于媒体标注和完整性认证，还与其他研究结合，出现如可逆隐写术(Hong等，2015；Zhang和Zhang，2015；Hou等，2018b)、鲁棒可逆水印(Coltuc和Chassery，2007)、可逆对抗样本(Liu等，2018；Yin等，2021b)和可逆图像转换(Hou等，2016a，2016b，2018a)等新的研究范畴。

随着云计算和大数据的蓬勃发展，人们越来越重视隐私保护和数据安全。在云存储等需要隐私保护的场景中，图像加密技术虽然能够有效保护图像的内容不被泄露，但如何安全高效地对加密信号进行处理又成为一个难题。因为加密后图像的信息熵增大，相邻像素间的相关性减弱，即数据冗余减少。同时解密之后需要能够得到原始的明文图像，传统的信息隐藏方法很难用于加密图像，于是密文域可逆信息隐藏(reversible data hiding in encrypted images，RDHEI)应运而生。RDHEI是一种结合图像加密与可逆信息隐藏的新技术，即由内容所有者对载体图像进行加密，然后再传递给信息嵌入者。信息嵌入者在不知道载体图像原始内容的情况下来嵌入附加信息，以实现对加密数据的管理、检索和认证等处理。以云端存储为例(Qian等，2019)，内容所有者无法确信云存储服务是否可信，为了避免图像内容泄露，在上传图像时首先对其加密。云存储管理者在不知道原始图像内容的情况下，为加密图像附加一些必要的标注信息。RDHEI将这些附加信息加密后嵌入到加密图像中，不仅降低误匹配的风险而且降低服务器的存储开销，在提高数据安全性的同时，方便了对加密图像的管理和检索。

综上所述，根据载体图像是否被加密，可逆信息隐藏研究可以分为明文域RDH和密文域RDH，下文将简单以RDH和RDHEI来区分。RDHEI在RDH的基础上发展而来，能够实现载体内容保护和秘密信息传递的双重效果。本文主要介绍面向图像空域的可逆信息隐藏研究，此处的空域相较于变换域而言，故将明文图像与密文图像都包括在内。

1 明文域可逆信息隐藏

早期的RDH方法主要基于无损压缩技术(Fridrich等，2002；Celik等，2005)，其核心思想是把原始图像的低有效位(least significant bit，LSB)收集起来进行无损压缩，然后将待嵌入信息与已压缩的LSB一起替换原始图像的LSB。这些方法往往因为LSB平面的局部相关性太弱，不能提供较高的嵌入容量。此外，当嵌入容量增大时需要收集多个LSB平面，造成较大的嵌入失真，无法很好地平衡嵌入容量和嵌入失真。

本节主要介绍后续的几种经典方法，包括差值扩展(difference expansion，DE)、直方图平移(histogram shifting，HS)、预测误差扩展(prediction-error expansion，PEE)和多直方图修改(multiple histograms modification, MHM)4种方法及其改进版本。图3展示了这几种方法之间的关联，多数方法的思想都源于DE和HS方法。PEE方法和整数变换方法在DE方法的基础上改进而来，具有更高的嵌入容量，但在低嵌入容量下往往造成嵌入失真的增加。同时期另一经典方法HS被提出，在低嵌入容量下减少了嵌入失真。后续，PEE方法通过借鉴HS方法在直方图上平移操作的思想，在嵌入容量和嵌入失真方面取得了不错的平衡。在此基础上，不同的预测误差生成方式和二维直方图修改方式均能提高PEE方法的性能。MHM方法将整幅图像划分为多个“载体”，通过在各个子直方图应用PEE方法，性能得到进一步提升。

图3 RDH方法之间的关联Fig.3 Correlation between the RDH methods

1.1 RDH一般框架与衡量指标

RDH主要涉及两类参与角色：发送者和接收者。整个过程可以细分为3个阶段：信息嵌入阶段，信息提取阶段和图像还原阶段，其框架如图4所示。首先，在信息嵌入阶段，发送者将秘密信息嵌入到原始图像中。另外，在嵌入之前可以选择对秘密信息使用密钥加密以来提高安全性。然后，将嵌入阶段处理得到的含密图像在无损信道上传输。最后，接收者可以进行信息提取和图像还原。经信息提取阶段可以提取秘密信息，经图像还原阶段可以无失真重建原始图像。

图4 RDH框架Fig.4 Framework of RDH

RDH的衡量指标有秘密信息的嵌入容量和含密图像的视觉质量。嵌入容量以“bit”或“bit/像素”为单位，前者表示可在原始图像中嵌入的比特总数；后者表示可在原始图像每个像素中嵌入的平均比特数，即嵌入率。视觉质量一般以含密图像和原始图像之间的峰值信噪比(peak signal-to-noise ratio，PSNR)来度量，高的PSNR值意味着低的嵌入失真，即含密图像与原始图像更相似。设计尽可能高嵌入容量且高PSNR值的RDH方法，一直是明文域RDH的研究重点(Kalker和Willems，2002；Lin和Chung，2012；Zhang等，2013，2015)。但是嵌入容量与PSNR值往往是负相关的，要获得更高的嵌入容量往往导致更低的PSNR值。通常情况下，给定相同嵌入容量，通过比较含密图像的PSNR值来衡量嵌入性能。

1.2 差值扩展 DE

图5 DE示例(Ke 等，2020)Fig.5 Illustration of DE(Ke et al.，2020)

在信息嵌入阶段，首先计算像素对中像素X和像素Y的取整平均值l和差值h，即

(1)

式(1)的逆变换可以写为

(2)

通过式(1)和式(2)，建立起(X,Y)和(l,h)之间一一对应的关系。

接着对该像素对的差值进行乘2操作，然后使用1 bit信息替换扩展后差值的LSB，即

h′=2h+m

(3)

(4)

式中，h′代表扩展并嵌入信息后的像素差值，m∈{0,1}是所嵌入的秘密比特，X′和Y′是更新后的含密图像像素值。

在提取信息时，对差值h′模2运算得到嵌入的秘密比特m，计算为

h′=X′-Y′

(5)

m=mod(h′,2)

(6)

在还原图像时，对差值h′除以2得到的商就是原始的差值h，计算为

(7)

(8)

相比基于无损压缩的方法，DE在取得相同嵌入容量时，提高了含密图像的PSNR值，即减少了嵌入失真。DE方法的理论嵌入率可达0.5 bit/像素，但是对部分像素值的修改程度比较大，会产生边界像素值溢出的问题。为了应对此问题，需要构造一个表明当前像素对是否可以扩展的定位图。例如，1表示当前像素对扩展后不会出现像素值溢出问题，能用来嵌入信息；0表示当前像素对扩展后会出现像素值上溢或下溢，不能用来嵌入信息。一般对稀疏定位图进行无损压缩，然后将其作为辅助信息并和秘密信息一同嵌入。在接收端可以先提取辅助信息，然后利用得到的辅助信息提取秘密信息。对于一个复杂纹理图像，压缩后的定位图大小甚至超出总嵌入容量，使得DE方法无法使用。即便定位图被有效压缩，它们也会占据有效载荷的一部分，即压缩的定位图大小也影响了方法的性能。因此，提高定位图的稀疏性，减小压缩后的定位图大小是一种有效的优化方法(Hu等，2009)。

此外，Alattar(2004)基于广义的整数变换将DE方法从像素对推广到任意大小的像素块，即n个像素最多可嵌入(n-1) bit。但这样会导致像素值修改程度增大，不能有效控制嵌入失真，进而无法取得良好的嵌入性能。

1.3 直方图平移 HS

Ni等人(2003，2006)提出直方图平移HS方法，统计整个原始图像中每个像素值的出现频次，对像素统计直方图进行可逆的修改来实现秘密信息的嵌入。本文选取两对峰值及其对应零值对该类方法进行阐述。

在信息嵌入阶段，首先选择出现频次最高的两个像素值。为方便说明，此处把较小的像素值记为a，较大的像素值记为b。另外在a的左边找到最近的一个出现次数为零的像素值记为c，同理在b的右边找到次数为零的像素值记为d，如图6(a)所示。为方便理解，在图6中把整个平移分解为两个过程(图6(b)和图6(c))，实际上它们是可以同时进行的。接着分别对像素值a和c、像素值b和d内部的像素值进行减1和加1操作，使得a-1和b+1的像素值被清空，如图6(b) 所示。然后再按照一定次序依次扫描整幅图像，若遇到像素值a或b，当嵌入的秘密比特为0时，则保持不变；当嵌入的秘密比特为1时，则分别进行减1或加1操作，如图6(c)所示。整个过程可以表示为

(9)

式中，I(i,j)是原始图像像素值，I′(i,j)是含密图像像素值，m∈{0,1}为嵌入的秘密比特。

在提取信息时，按照之前扫描图像的次序，遇到像素值a或像素值b时提取为0；遇到像素值a-1和像素值b+1时则提取为1，即

(10)

在还原图像时，可以使用逆变换

(11)

图6 HS示例Fig.6 Illustration of HS((a) original pixel value distribution；(b) pixel value distribution after shifting；(c) pixel value distribution after embedding；(d) pixel value distribution after recovery)

相比于DE方法，HS方法对每个像素值的改动最多为1。在最极端的情况下，即每个像素值都变化1，此时均方误差(mean square error，MSE)为1。经理论推导，可得PSNR=10×lg(255×255)≈48.13 dB，这意味着HS方法有更好的不可感知性。该方法虽然能够取得较低的嵌入失真，但嵌入容量不高。为了提高这种方法的嵌入容量，对图像进行多次嵌入是一个解决方案，即把含密图像作为载体再次进行嵌入操作。然而，多次嵌入会使得含密图像的质量显著下降。另外生成一个较小方差的直方图也是一个很好的思路，这衍生出后来HS与PEE相结合的方法(见1.4.2节)。

1.4 预测误差扩展 PEE

按照预测误差扩展PEE方法的发展脉络，本小节将其细分为原始的PEE方法、结合HS的PEE方法(PEE-HS)和改进的PEE-HS方法。

1.4.1 原始的PEE

Thodi和Rodriguez(2004)首次提出PEE方法。与DE方法只考虑两个相邻像素的相关性不同，PEE方法考虑更多像素之间的局部相关性，使用预测误差替代像素差值来嵌入秘密比特，带来嵌入容量的显著提升。

(12)

图7 MED预测器示例Fig.7 Illustration of MED predictor

除了图像第1行和第1列的像素值需要保持不变外，其余的像素值都可以得到一个对应的预测值。然后计算原始像素值和预测像素值的差值，即

(13)

e′=2e+m

(14)

最后生成的含密图像像素值更新为

(15)

在提取信息时，对预测误差e′模2，从而得到嵌入的秘密比特m，计算为

(16)

m=mod(e′,2)

(17)

在还原图像时，对预测误差e′除以2得到的商就是原始的预测误差e，计算为

(18)

(19)

相比于DE方法，PEE方法的嵌入率在理论上可达1 bit/像素，但像素值溢出和高嵌入失真的缺点仍然比较明显。

1.4.2 结合直方图平移的PEE-HS

为改善上述问题，Thodi和Rodriguez(2007)将HS方法与PEE方法相结合。图像Lena的预测误差直方图和像素统计直方图的分布如图8所示。预测误差直方图是以0为中心的类拉普拉斯分布，相比于像素统计直方图更为陡峭，具有更小的方差。在预测误差直方图上进行平移操作，相比于传统的HS方法，可以显著提高嵌入性能。

图8 预测误差直方图与像素统计直方图比较Fig.8 Difference of prediction error histogram and pixel value histogram

在信息嵌入阶段，使用一个预测器及对应的参考像素值得到预测值，然后计算预测误差e。通过统计预测误差，生成一个预测误差直方图。类似于HS方法，在此直方图上选择出现频次最高的两个预测误差值a和b，对a和b做扩展来嵌入秘密比特m。然后保持a和b内部的误差不变，对外部的误差做平移。修改后的预测误差变为

(20)

(21)

在提取信息时，根据含密图像像素值与其预测值之间的差值e′可得秘密比特m，计算为

(22)

在还原图像时，可以使用逆变换，即

(23)

这种HS与PEE相结合的方法兼顾两者的优点，从而达到更小程度的像素值修改和更高的嵌入容量。对于像素值溢出问题，因为像素值改动最多为1，只需将真边界像素值255与0预处理改为254与1。尽管仍需要将定位图作为辅助信息的一部分嵌入到图像中，但因为更少的像素值改动，提高了这个溢出定位图的稀疏性，在一定程度上缓解了像素值溢出问题。

1.4.3 改进的PEE-HS

为提高性能，得到更小方差的预测误差直方图，Sachnev 等人(2009)提出菱形预测器(rhombus predictor)，如图9所示。当前像素x(i,j)的预测值为

(24)

图9 菱形预测器和双阶段嵌入Fig.9 Rhombus predictor and double embedding

实验证明,这种4邻域均值预测器的预测性能要优于之前的预测器，但为实现完全可逆，必须在此基础上引入双阶段嵌入机制。将整幅图像的像素值划分为灰白两类，呈棋盘状。每个阶段仅有一类用于嵌入，周围的另一类用于预测且保持不变。比如，先利用白色像素来预测灰色像素，对灰色像素嵌入一部分信息；在得到的中间图像上，再利用修改过的灰色像素来预测白色像素，然后对白色像素嵌入剩余的一部分信息。该机制保证了像素值的完全可逆，使用已经正确还原的参考像素值获得当前像素的预测值，即整个过程中每个像素值的预测值能够保持不变。

Li等人(2013a)还提出结合像素值排序预测的PEE方法，减少了部分像素值的无效平移(Jia等，2019；Kim等，2019)。首先将整幅图像分为大小相同的块，接着对每个像素块的像素值做升序排列。然后用次大值预测最大值，用次小值预测最小值。最后使用预测误差绝对值为1的像素值扩展嵌入秘密比特，预测误差绝对值大于1的像素值向两边做平移操作。虽然进行分块会降低总的嵌入容量，但在小嵌入容量下能够得到较高质量的含密图像。例如块内像素数n≥4时，最大修改程度为最大像素值加1且最小像素值减1，理论推导得PSNR=10×lg(255×255/(2/n))≥10×lg(255×255×2)≈51.14 dB。因此，衍生出一系列基于像素值排序的高保真RDH研究(Peng等，2014；Ou等，2014；Qu和Kim，2015；He等，2017；Weng等，2017，2019；Pan等，2020；Kaur等，2021)。Dragoi和Coltuc(2019)还提出用预测误差排序替代像素值排序，取得良好的嵌入性能。

通过扩展和平移操作修改1维的预测误差直方图，能够实现可逆嵌入，但简单地将高维像素空间映射到1维空间难以充分利用冗余。Li等人(2013b)和Ou等人(2013)为了更好地利用图像冗余，将 1维的直方图修改扩展到2维空间，即把邻近的两个预测误差作为基本的嵌入单元，成对地修改预测误差。通过制定2维直方图的可逆修改规则，将预测误差对朝着低失真的方向做扩展和移位操作，进一步提高了嵌入性能。随后，基于菱形预测和像素值排序预测的2维直方图修改都得到了快速发展(Ou等，2016；Gao等，2019；Xiao等，2019；He和Cai，2020，2021)。另外，各种PEE方法都引入了自适应机制(Kamstra和Heijmans，2005；Li等，2011)，即通过排序或像素选择，优先筛选平滑区域的像素来构建陡峭的预测误差直方图；根据目标嵌入容量来选择扩展的位置或者对数，以实现更少嵌入失真或更高嵌入容量。这种自适应思想也影响到了后面的MHM方法。

1.5 多直方图修改 MHM

Li等人(2015)在PEE方法的基础上，引入一个复杂度概念，有效区分了位于不同纹理区域的像素值，继而将不同复杂度像素的预测误差放在多个直方图上进行可逆修改。MHM方法提高了对于目标嵌入容量的自适应性，更加有效地控制扩展位置参数的选择，减少不必要的像素修改。即减少无效平移所带来的失真，以得到更高质量的含密图像。

计算像素xi的复杂度时所需参考像素如图10所示，其复杂度ni为

ni=|v2-w3|+|w3-w6|+|v3-w7|+
|v4-w4|+|w4-w8|+|w1-w2|+|w2-w5|+
|w5-w9|+|v4-w2|+|w3-v3|+|v3-w4|+
|w4-w5|+|w6-w7|+|w7-w8|+|w8-w9|

(25)

图10 复杂度计算所需参考像素 (Li等，2015)Fig.10 Reference pixels for complexity calculation (Li et al.， 2015)

该方法的性能取决于扩展位置的选择(下称其为参数)，其目的是在满足目标嵌入容量的同时最小化无效平移失真。给定目标嵌入容量，通过合适的“容量分配”，即在每个子预测误差直方图中选择最优的参数，以达到减少失真的目的。假设一个预测误差直方图有-1、0和1，且这3种误差值的频次分别为4、10和5，如图11所示。给定10 bit秘密信息，扩展嵌入所造成的失真由秘密信息本身含1的个数决定，即嵌入0时无失真，嵌入1时失真为1。使用PEE方法时，选取误差0和-2为一对峰值和零值，平移所造成的失真为4。使用MHM方法时，将原本整个直方图根据复杂度划分为3个子直方图。然后选择在H1和H2分别嵌入6 bit和4 bit信息，总的平移失真为2+1=3。最优的MHM划分如图12所示，此时平移所造成的失真减少至0。

图11 MHM划分示例Fig.11 Illustration of multi-histogram generation

图12 最优的MHM划分示例Fig.12 Illustration of optimal multi-histogram generation

Li等人(2015)提出的是一种简化的扩展位置选择方案，通过穷举选择局部最优解，耗费大量的计算时间。而且在单个直方图中只涉及到一对扩展位置的选择，其嵌入容量还有待提升。后面Ou和Zhao(2020)以及Qi等人(2020)提出在每个直方图中选择多对扩展位置来提高嵌入容量并各自优化了参数选择的算法。Wang等人(2020a)将多个参数的选择问题比做率失真优化，并用遗传算法求解。该文还提出基于多特征的复杂度测量方法，提高了预测误差和复杂度之间的相关性。从而更好地区分纹理程度，得到接近最优的MHM划分。出于同样的目的，Weng等人(2021a)通过计算新的特征并用K-means聚类算法来划分多个子直方图，并改进纵横交叉算法在所有的解空间里寻找各个子直方图的最佳嵌入点。Qin等人(2019)和Chang等人(2021b)将2维直方图修改与多直方图修改相结合，性能进一步提升。

1.6 明文域方法小结

以Lena图像为例，表1列出了嵌入容量为10 000 bit时部分明文域方法的性能比较。菱形和像素值排序预测是使用较多的两种预测器。其中单直方图修改方法通过不断改进像素值排序来计算预测误差，而多直方图修改方法则多使用菱形预测来计算预测误差。Wu等人(2020c)和He等人(2021b)将像素值排序预测用于多直方图修改，能够获得相较于单直方图修改更优的性能。另外，2维的直方图修改展现了它在失真控制方面的优势，越来越多的方法结合2维直方图修改来减少嵌入失真。大部分低嵌入失真RDH方法包含3个步骤:1)依靠相邻像素计算预测误差；2)聚类复杂度相近的区域来生成多个2维预测误差直方图；3)制定修改规则对直方图做可逆的修改。因此，设计更准确的像素值预测方法(He等，2020b，2021a；Hu和Xiang，2021a；Chang等，2021b；Wang等，2021a)、提出更优的直方图生成方式(Wang等，2019；Hou等，2021)、制定更合理的自适应修改规则(Ou等，2019；Zhang等，2020)是RDH目前主要的研究思路。

2 密文域可逆信息隐藏

RDHEI用于加密图像的方式可分为非对称加密和对称加密。非对称加密RDHEI主要利用公钥加密的同态特性进行信息隐藏，如Paillier同态(Chen等，2014；Zhang等，2016b)、基于LWE(learning with errors)的全同态(Ke等，2018，2020)。此类方法的安全性较高，且允许在密文域直接操作数据(进行加或乘运算)，但一般会伴有高的计算开销和严重的数据膨胀等问题。

表1 明文域方法的性能比较Table 1 Performance comparison of RDH methods

本节主要关注计算开销较低的对称加密RDHEI。现有方法按照利用冗余的方式主要可以分为3类：在加密后腾出空间(vacating room after encryption，VRAE)、在加密前预留空间(reserving room before encryption，RRBE)和通过加密腾出空间(vacating room by encryption，VRBE)。图13展示了这几类方法之间的关联，其根本区别在于冗余利用的方式。基于VRAE的方法由信息嵌入者腾出空间。内容所有者使用常规的加密方式直接加密图像，如流加密、分组加密和同态加密等。基于RRBE的方法由内容所有者预留空间。为了充分利用原始图像的冗余和相关性，内容所有者需要在图像加密前进行预处理。基于VRBE的方法首先由内容所有者使用特殊的加密方式加密图像，然后信息嵌入者利用加密图像保留的冗余来腾出空间。下文仅对各个方法的嵌入过程进行说明，因为提取和还原操作在一定程度上可看做是嵌入操作的逆过程，不再进行详细论述。

图13 RDHEI方法之间的关联Fig.13 Correlation between the RDHEI methods

2.1 RDHEI一般框架与衡量指标

RDHEI主要涉及3类参与角色：内容所有者、信息嵌入者和接收者。整个过程可以分为4个阶段：图像加密阶段、信息嵌入阶段、信息提取阶段和图像还原阶段，其框架如图14所示。内容所有者首先对原始图像进行加密，然后将加密图像传递给数据嵌入者。数据嵌入者在不知道图像内容的情况下来为加密图像嵌入附加信息，以实现对加密图像的管理、检索和认证等处理。最后根据接收者所拥有的密钥实现访问控制的功能，信息隐藏密钥能够提取附加信息、图像解密密钥能够重建原始图像。其中虚线箭头表示部分方法需要结合解密密钥和隐藏密钥才能无失真重建原始图像，依靠解密密钥仅能获得高质量的含密图像。

图14 RDHEI框架Fig.14 Framework of RDHEI

RDHEI的衡量指标在不同的发展时期有不同的标准。早期的RDHEI研究与明文域研究思路相似，仅靠对加密图像的低有效位修改来嵌入信息。该时期的衡量指标包括秘密信息的嵌入容量和直接解密后含密图像的视觉质量。由于加密图像本质上是一种特殊的噪声信号，因此对加密图像的高有效位修改，可以大幅度提升嵌入容量，同时满足完全可逆性。因为解密后经还原操作能够重建原始图像，所以后期的衡量指标主要为嵌入容量。

2.2 加密后腾出空间 VRAE

根据信息提取和图像还原过程是否独立进行，基于VRAE的方法又可分为联合和可分离的方法。联合方法的信息提取和图像还原需要同时进行，即先解密图像才能提取信息，然后边提取信息边重建图像。而可分离方法能够分别进行信息提取和图像还原，根据接收者所拥有的密钥实现访问控制的功能，拓展了RDHEI的应用场景。

2.2.1 联合的VRAE

在解密图像后，联合的VRAE方法一般利用自然图像的像素相关性来提取信息并重建原始图像，但在图像的非平滑区域存在误码率。Puech等人(2008)使用AES(advanced encryption standard)分组密码加密原始图像，可以在一个4×4的像素块中嵌入1个秘密比特。在解密时通过分析局部标准差来提取信息并重建图像，但是嵌入率只有1/(4×4)≈0.063 bit/像素。Zhang(2011)使用流密码逐比特异或加密原始图像，然后将加密图像分成不重叠的块，每一块又分成两个集合。通过翻转其中一个集合的3个LSB实现比特嵌入。翻转第1个集合表示嵌入0，翻转第2个集合表示嵌入1。通过比较解密后图像的块波动函数值能够重建原始图像并提取信息。Hong等人(2012)通过使用新的块波动函数和边缘匹配技术，降低了提取和还原时的平均误码率。Li等人(2014)摒弃块分割思想，为了充分利用自然图像中的局部相关性，使用随机扩散和精准预测策略来降低误码率。Liao和Shu(2015)综合考虑Zhang(2011)和Hong等人(2012)方法的不足，对不同位置的像素使用不同的波动函数，进一步降低平均误码率。Zhou等人(2016)通过密钥调制实现信息嵌入，而不是翻转多个LSB。一个加密的图像块平均可嵌入多于1 bit的秘密信息，大大提高了嵌入率。但该方法需要借助SVM(support vector machine)分类器区分加密和非加密的图像块，增加了计算开销。

以上方法存在两个问题，一方面信息提取和图像还原需要同时进行，也就是说，在提取信息之前必须先对加密图像进行解密;另一方面，当嵌入容量提高时，可能会导致信息提取和图像重建出错。

2.2.2 可分离的VRAE

针对上述第一个问题，为了提高实用性，Zhang(2012)提出一个可分离的方案。在信息嵌入阶段，通过无损压缩加密图像中部分像素值的多个LSB来为信息嵌入腾出空间。最后可以分别进行信息提取和图像还原，利用解密密钥和隐藏密钥得到不同的结果。该文(Zhang, 2012)考虑了在接收端的3种场景：当拥有两个密钥的情况时，可以提取秘密信息并无失真重建图像；当只有隐藏密钥时可以提取秘密信息，但无法得到原始图像；当只有解密密钥时，只能得到一个类似原图的高质量图像。该方案扩展了RDHEI的应用场景，更加符合实际需求，使得可分离性成为后续研究的重点环节。

另外一些方法也是通过压缩加密图像的位平面腾出嵌入空间。Zhang等人(2014a)用低密度奇偶校验码(low density parity check code，LDPC)无损压缩加密图像第4个LSB平面来腾出空间。Qian和Zhang(2016)受分布式信源编码启发，使用LDPC码对所选中加密像素的3个高有效位(most significant bit，MSB)进行Slepian-Wolf编码，增加了腾出的空间。Zheng等人(2016)首先将加密图像分块，然后将块中所有像素的3个LSB重组为一个比特流序列。通过灵活选择和使用比特流之间的汉明距离，依次将每3 bit无损压缩成2 bit来腾出空间。

对于第2个问题，因为基于VRAE的方法直接对图像使用常规的加密方式，加密图像的信息熵接近最大，导致较低的嵌入容量。所以为了提高嵌入容量，出现一系列基于RRBE或VRBE的方法。

2.3 加密前预留空间 RRBE

基于RRBE的方法通过在图像加密前做一些预处理操作，不仅保证了图像的可逆性，而且大大提升了信息的嵌入容量。根据RRBE方法的发展脉络，本小节将其划分为低有效位修改和高有效位修改两种方式。其中，基于高有效位修改的RRBE方法又分为标记和编码两种，其区别在于加密图像后是否自嵌入标签信息。

2.3.1 基于低有效位修改的RRBE

Ma等人(2013)首先提出基于RRBE的方法，调换以往先加密后腾空间的次序，可达到0.5 bit/像素的嵌入率。首先使用传统的RDH方法将原始图像特定像素的多个LSB嵌入到其他像素中来提前预留空间。对预处理图像加密后通过替换加密图像中的指定的LSB来嵌入信息。Zhang等人(2014b)提出一种基于预测的方法，计算部分像素的预测误差并替换其像素值，在预留1和-2的空间后将[2,125]及少部分0调整为[2,127]；将[-124,-3]及少部分-1调整为[-127,-3]。并且使用常规方式加密其余像素，如分组加密或流加密。根据加密图像的预测误差直方图，可以嵌入额外的信息。Cao等人(2016)提出将原始图像中相关性较高的局部像素用稀疏编码表示，平均嵌入率可达0.8 bit/像素。因为稀疏编码是一种近似解，所以编码残差和字典也被嵌入到加密图像中，从而保证图像能被无损还原。Shiu等人(2015)将Paillier同态加密与传统RDH技术相结合，在进行图像加密之前，引入改进的差值扩展方法对原始图像做预处理，达到降低计算复杂度的目的。

2.3.2 基于高有效位标记的RRBE

之前的方法大多是在多个LSB平面上进行修改，为了更好地利用明文图像像素之间的局部相关性，Puteaux和Puech(2018a)提出对MSB平面进行替换。虽然在嵌入操作之后丢失了MSB平面，但可以利用保留的参考像素，迭代预测还原出每个像素原来的MSB。因为预处理期间标记了加密图像中可以嵌入信息的位置，所以能够完全可逆地实现信息提取及图像还原的可分离操作。首先预测每个像素值的MSB，其中预测出错的像素值在标签图中标为1，否则为0，从而生成一个稀疏矩阵。未经压缩的标签图较大，该文没有直接将其无损压缩再嵌入，而是采取一种标记操作，称之为“highlight”，如图15所示。将像素值按8个一组进行遍历，在发现预测出错后，将其前一组和后一组的MSB全换成1作为标签。由此可以判断，两个标签中间存在预测出错的像素值，能够有效区分预测出错和未出错的像素值。除了两个标签及其内部的像素值，其余像素值可进行MSB替换，实现秘密信息的嵌入。事实上，若不对嵌入的比特采取额外的纠错处理，一组嵌入比特全部为1的概率近似为1/28，在提取还原时有较低可能将嵌入比特作为标签处理，从而产生误码。

图15 highlight标记示例(Puteaux和Puech，2018a)Fig.15 Illustration of highlight (Puteaux and Puech， 2018a)

Puyang等人(2018)、Puteaux和Puech(2018b)随后都对该方法进行了改进，有效地提高了嵌入容量。Puyang等人(2018)发现不仅MSB可以用来替换，two-MSB也存在较强的局部相关性，即利用两个MSB平面。Puteaux和Puech(2018b)提出迭代地使用各个平面进行替换，直到无法标记。Puteaux和Puech(2021a)不再使用“highlight”操作，而是将预测误差值列表和可嵌入空间以一个结束标志隔开，达到标记可嵌入位置的效果。Mohammadi等人(2020)在分块置乱后使用局部差分预测器，计算预测误差后为每个块添加一个块标签，根据块标签可以完成信息的嵌入，从而有效利用相邻像素的相关性。

Yin等人(2020b)提出多个MSB预测，将当前像素值与其预测值从MSB开始到LSB逐比特进行比较。相同比特的个数记做标签值t，则接收者可以根据当前像素标签值t还原像素的前t+1位。因为前t位是相同的，那么第t+1位肯定是不同的，如图16所示。因此每个像素值可以腾出(t+1) bit空间(t=8时，腾出8 bit空间)。预留的空间可以用做替换来嵌入秘密信息，但需要把整个标签图作为辅助信息先一步嵌入到加密图像中。为减少标签图的编码长度，引入哈夫曼编码对其进行压缩。为方便解码，使用固定的码字根据统计得到的概率从高到低依次表征。但是无论是隐藏操作还是提取还原操作都需要提前获取当前像素值的标签。基于上述考虑，部分像素的标签值需提前嵌入到第1行和第1列的参考像素中。最近，Yu等人(2021)将预测误差绝对值划分为小、中、大3种类型，并用不同的标签进行标记。继而提出了分层标签图生成的技术，并预嵌入压缩后的标签图用于指导信息嵌入、提取与图像还原，显著提高了嵌入容量。Qiu等人(2021)和Ma等人(2021)考虑到预测误差的分布特点，设置阈值将预测误差分为不同的种类，然后建立最优哈夫曼树来标记可用的预测误差，嵌入容量大大提升。

图16 像素标签生成(Yin等，2020b)Fig.16 Illustration of pixel labeling (Yin et al.，2020b)

2.3.3 基于高有效位编码的RRBE

图17 4种重排方式(Chen和Chang，2019)Fig.17 Four types of rearrangement (Chen and Chang, 2019)

Chen等人(2021)提出一种压缩多个MSB平面的算法，包括迭代MSB预测、相邻位平面异或和块变长编码。经迭代MSB预测和相邻位平面异或处理后，高位平面有更多连续的0，更利于进行块变长编码，从而提高压缩比。与之类似的思想，Yin等人(2020a)在Chen和Chang (2019)的基础上进行改进。在对位平面编码之前，首先计算每个像素值的预测误差，从编码像素值位平面转为编码预测误差位平面。因为预测误差的高位平面相对于原始像素值的高位平面有更多连续的0，提高了压缩比。随后，Wu等人(2020a)在Yin等人(2020a)的基础上改进编码方式，短的比特流使用哈夫曼编码，长的比特流使用游长编码，进一步提高了压缩比。Yin等人(2021a)在计算预测误差之后，将预测误差的位平面分为均匀的块和非均匀的块，然后对不同类型的块采取不同的编码方式，取得相当的压缩比。

2.4 通过加密腾出空间 VRBE

基于VRBE的方法通过使用特殊图像加密方式，使得加密图像保留一定的冗余，但同时可能会牺牲一定安全性。本节将总结VRBE方法常用的几种特殊加密方式，并包含了基于秘密共享技术的方法。

2.4.1 早期的VRBE

Qian等人(2013)利用直方图重排映射对置乱后的图像加密，然后通过调整加密图像的直方图来嵌入秘密信息。Yin等人(2014)将原始图像分块，先对每个图像块进行置乱，再对每个图像块内的像素进行置乱来完成图像加密。然后使用局部直方图平移方法来嵌入秘密信息。然而，映射变换和仅改变像素位置的加密方式存在较高的图像信息泄漏风险。Yin等人(2015)采用密钥调制操作来增强图像加密的安全性，但不适用于加密含有边界像素值0或255的图像。Yin等人(2017)仅对置乱后图像的多个MSB平面进行流加密，通过对剩余未加密的LSB平面使用局部直方图平移方法来嵌入秘密信息。Zhang等人(2016a)提出使用可逆的图像转换来加密明文图像，能够实现依托明文域RDH方法嵌入秘密信息的目的。相比于传统的加密方式，加密图像仍然保持明文状态，理论上更加安全。但事实上，该技术生成目标明文图像的质量还有待提升。

2.4.2 基于块异或和块置乱的VRBE

Huang等人(2016)提出基于块异或和块置乱的加密方式，加密后的图像块保留一定的冗余，因此也能够实现使用明文域RDH方法嵌入秘密信息。Tang等人(2019)使用类似的块异或和块置乱加密图像，然后计算每个加密图像块中最小像素与其余像素之间的差值，通过压缩差值为信息嵌入腾出更多空间。Wang等人(2021b)在使用块异或加密图像后又进行多次块置乱，每个加密图像块保留了一定的冗余，然后通过块内无损压缩来腾出更多空间。Yi和Zhou(2019)提出一种像素块置乱和像素值调制的特殊图像加密算法，加密图像块内的像素仍旧保持一定的相关性，故可使用二叉树标签来一对一地标记块内像素与其参考像素值的差值。Wu等人(2020b)随后还把此方法从VRBE改为RRBE，从利用加密图像块保留的冗余转为利用整个明文图像的冗余，为隐藏信息预留了更多的空间。Wang和He(2021)使用自适应的多个MSB预测将所有加密块分为可用块与非可用块，然后为每个可用块添加相同MSB个数的块标记并记录剩余的LSB残差，最后重排可用块与非可用块以便于区分和确保可逆。

2.4.3 基于冗余转移的VRBE

Liu和Pun(2018)提出一种冗余转移的图像加密算法，包括位平面置乱、块置乱和像素置乱，如图18所示。位平面置乱将原始图像多个MSB平面的冗余转移到LSB平面。然后块置乱将LSB平面冗余转移到小的图像块中。最后每个图像块内进行像素置乱，从而完成图像的加密。因为加密图像保留了一定的冗余，结合稀疏矩阵编码能够有效提高嵌入容量。Qin和Huang(2019)提出基于冗余转移的改进方法，针对加密图像中不同的LSB块，使用改进的稀疏矩阵编码来提高解密后含密图像的质量。Xiang等人(2021)对冗余转移加密的安全性进行了分析及优化，并进一步改进了稀疏矩阵编码来增加腾出的空间。

图18 冗余转移加密Fig.18 Illustration of redundant transfer encryption

2.4.4 基于秘密共享的VRBE

Wu等人(2018)提出使用Shamir(k,n) 门限秘密共享算法(Shamir，1979)将原始图像加密成n份共享。然后通过差值扩展或差值直方图平移方法来嵌入信息，若接收者得到少于k份共享则无法重建原始图像。Chen等人(2019)利用多秘密共享的加法同态实现信息嵌入，且通过将像素值作为多项式的系数进一步降低计算复杂度。但上述两种方法是联合的，信息提取过程与图像还原过程存在依赖关系。Ke等人(2021)利用中国剩余定理的加法同态来嵌入信息，实现信息提取和图像重建的可分离性。Chen等人(2020)引入多方信息嵌入的概念，使得图像无损重建具有一定的鲁棒性，即便个别数据中心被破坏，只要从未损坏的数据中心收集足够的共享仍然能重建原始图像。Yi等人(2021)结合秘密共享与哈夫曼编码，提出适用于分布式云存储的方法，通过减少每份共享的尺寸来降低存储开销。

2.5 密文域方法小结

以Lena为例，表2列出了部分密文域方法的性能比较。采用VARE方法生成的加密图像，其信息熵逼近最大值，往往导致嵌入容量低于1 bit/像素，且提取的信息和重建的图像存在误码。RRBE方法虽然需要内容所有者在图像加密前做一些预处理操作，但却带来高嵌入容量的收益，目前的研究结果表明已突破3 bit/像素。为了降低预处理操作带来的计算开销，越来越多的学者开始研究基于VRBE的方法。该类方法通过设计特殊的图像加密算法，并分析加密图像保留的冗余，同样能够取得高于VRAE方法的嵌入容量。但其未能充分利用原始图像的像素相关性，因此嵌入容量略低于RRBE方法。总体而言， RDHEI的早期研究主要集中在低有效位修改，这部分方法往往可以获得较高的解密图像质量，但可能无法完整还原原始图像，同时嵌入容量受到限制。由于加密图像本身是一种特殊的噪声信号，因此对加密图像的高有效位修改，可以大幅度提升嵌入容量，同时满足完全可逆性。然而，高嵌入容量RDHEI在安全性和计算开销方面的表现不尽如人意，而且相关的理论研究比较匮乏。

3 结 语

可逆信息隐藏技术的研究根据图像是否被加密可分为明文域和密文域。因为图像空域保留了自然图像的大部分冗余，以图像空域为载体的方法率先得到了迅速发展。其中，明文域的研究越来越趋向于减少嵌入失真，而密文域的研究越来越趋向于提高嵌入容量。相比于此，其在鲁棒性及安全性方面的进展则相对缓慢。如今存在的难题不仅包括图像不可感知性与嵌入容量之间的平衡，而且包括鲁棒性与不可感知性之间的平衡，同时含密图像的安全性也是一个待探索的领域。综上所述，本文简单罗列了当前研究面临的主要问题。

1) 载体多元化。目前的研究主要以灰度图像为载体，然而彩色图像及压缩图像的使用更为广泛。另外，以图形(Peng等，2019，2020，2021a)、音频(Bobeica等，2018)、视频(Yao等，2016；Long等，2018)、变换域(Yao等，2021)和3D模型(Jiang等，2018；Yin等，2019；Tsai，2021；Peng等，2021b)为载体的研究已取得初步进展。虽然基于灰度图像设计的方法可以移植到其他类型载体，但难以考虑到新型载体自身的特点。例如，人眼对绿色最为敏感，对蓝色并不敏感(杨杨 等，2021)。若直接将基于灰度图像的算法应用于彩色图像的每个颜色通道，可能难以兼顾不可感知性与嵌入容量。

表2 密文域方法的性能比较Table 2 Performance comparison of RDHEI methods

2) 有损信道传输。多数方法通过修改载体图像的低有效位来嵌入信息，能够实现较高的不可感知性。但含密图像需要在特定的无损信道上传输，其鲁棒性往往较差，基本难以抵抗图像后处理攻击。在实际应用中，若含密图像通过有损信道传输，图像可能遭受不可恢复的有损攻击。如JPEG压缩过程中采用了量化操作(Zhu等，2019；Qiao等，2021)。添加噪声使得像素的低有效位发生不可逆的改变(项世军和杨乐，2018；梁幸源和项世军，2020)。旋转缩放改变了原始像素的位置信息(Hu和Xiang，2021b)。打印扫描过程中，经过数/模及模/数转换，导致图像失真(彭飞 等，2018)。针对上述有损信道攻击，目前多数方法不仅无法无损重建原始图像，同时也难以提取秘密信息。

3) 图像安全性。目前多数明文域方法安全性的度量仅仅依赖PSNR值，鲜有方法考虑秘密信息的不可检测性。特别是基于直方图平移的方法，峰值点处像素的平移造成像素统计直方图出现明显的修改痕迹(Zhou等，2020)。同样地，基于预测误差扩展的方法，其预测误差直方图的分布形状也有明显改变。原始的预测误差直方图呈类拉普拉斯分布，而嵌入信息后的预测误差直方图呈不规则分布(Dong等，2020)。目前多数密文域方法仅仅考虑图像内容的安全，而往往忽略秘密信息的安全(Dragoi和Coltuc，2021)。一方面，因为密钥复用现象的存在，单纯的异或加密难以抵抗唯密文攻击(Khelifi，2018)。而保留冗余的特殊加密算法并未最大化加密图像的信息熵，在提高嵌入容量的同时可能造成图像内容的泄露(Jolfaei 等，2016；Qu等，2021a，b；屈凌峰 等，2021)。另一方面，将加密后的噪声信号嵌入到加密图像中，理论上并不会影响秘密信息的安全(Puteaux和Puech，2021b)。然而一些方法在加密图像后又嵌入了大量的标签信息，标签的存在则显著改变了原本像素统计直方图呈均匀分布的特点 (Wu等，2021)。

针对以上问题，可逆信息隐藏未来的研究趋势可能有如下几个方面：

1) 彩色图像和JPEG图像的可逆信息隐藏研究。对于彩色图像，需要挖掘各个颜色通道之间的相关性，同时，为不同通道分配嵌入容量的策略也值得研究(Yang等，2021；Li等，2021)。进一步，若考虑到人眼对不同颜色通道的敏感程度不同，此时客观图像质量评价指标PSNR或许不再适用，可能需要采取主观评价指标或者为不同通道像素定义不同的失真度量。对于JPEG图像，其可以利用的冗余更少，一般通过修改量化表、DCT(discrete cosine transform)系数或变长编码来嵌入信息，可能会增加文件的存储大小，因此嵌入容量、嵌入失真和文件膨胀率之间的平衡需要考虑(He等，2020a；Sheidani等，2021)。另外，不仅仅是图像，例如图形、音视频、3D模型和行为信息(Zhang，2016)等都有研究的价值与必要，可能成为未来研究的热门载体。

2) 鲁棒性与不可感知性的平衡。为抵抗某些攻击，允许牺牲一定的含密图像质量。在无损信道下，能够正常地可逆还原图像和提取信息；而针对有损信道，虽然不再能无失真地还原原始图像，但希望能够高保真地重建图像，同时低差错地提取秘密信息。一种思路是直接构建鲁棒嵌入域，比如增加直方图的平移步长(Liang和Xiang，2020)或修改像素的多个MSB(Kumar和Jung，2020；Xiong等，2021)。另外一种思路是基于两阶段嵌入框架，先嵌入鲁棒信息，再可逆嵌入不同于原始图像的补偿信息(Coltuc，2007)。此时造成的失真由鲁棒嵌入失真和可逆嵌入失真两部分构成，为避免可逆嵌入影响鲁棒性，可以将两部分信息分别嵌入到互不影响的域(Wang等，2020b)。另外，为了对抗几何攻击，第2阶段会产生难以直接嵌入的大量补偿信息，需要优化压缩以减少补偿信息后才能做可逆嵌入(Hu和Xiang，2021c)。

3) 安全性探索。针对明文域研究，尝试借鉴隐写术的修改代价，图像的纹理复杂区域更适合隐藏信息，而平滑区域是不适合修改的，所以需要为不同位置的像素定义不同的失真度量(Hou等，2018b)。通过为光滑区域赋予相对较高的修改代价，从而提高秘密信息的不可检测性。针对密文域研究，将信息隐藏与密码学深度融合，提出适用于图像加密和信息隐藏的安全加密方案，如已出现的可逆图像转换和秘密共享技术。另外，图像内容自适应的加密密钥可能也是一种增强图像内容安全的有效解决方式。还需要注意的是标签信息对安全性的影响，通过保持噪声信号到噪声信号的嵌入方式，从而保证所嵌入信息的不可检测性。

现有图像空域可逆信息隐藏方法在满足可逆性的前提下，性能评估主要为嵌入容量和嵌入失真方面的率失真。明文域的最新研究已接近理论率失真的边界，但仍有提升的空间。而密文域的部分研究只追求嵌入容量，往往忽略了对直接解密后含密图像质量的要求。随着算法复杂度的提升和解空间的扩张，各方法的计算开销也在增加，效率评估通常为简单的运行时间比较。从该研究发展的角度来看，倘若一成不变地仍在部分指标上寻求突破，容易与实际脱轨。科学地评价各种方法的性能与效率，才能促进不同的方法共同发展。总之，可逆信息隐藏的研究已开展二十多年，而在面向实际应用需求时(Hou等，2019；Zhang等，2021；You等，2021；Huang等，2021)，其有效性、实用性仍有待提高。为满足不同的需求，未来可逆信息隐藏的研究应该开放包容，不能局限于可逆性、嵌入容量和不可感知性之间的平衡，还需要考虑计算开销、鲁棒性及安全性等。所以可逆信息隐藏的方法应该更加多样化，亟需学者提出新的理论支撑与评价体系。