基于多支持区域局部亮度序的图像伪造检测

颜普 苏亮亮 邵慧 吴东升

摘 要：圖像伪造检测是目前数字图像处理领域中的一个研究热点，其中复制粘贴是最常用的伪造手段。由于伪造区域在粘贴前会被进行一定的尺度、旋转、JPEG压缩、添加噪声等操作，这使得检测伪造区域具有一定的挑战性。针对图像复制粘贴伪造技术，提出一种基于多支持区域局部亮度序模式（LIOP）的图像伪造检测算法。首先，利用最大稳定极值区域（MSER）算法提取具有仿射不变性的区域作为支持区域;其次，利用非抽样Contourlet变换得到不同尺度、不同分辨率和不同方向的多个支持区域;然后，在每个支持区域上提取同时具有旋转不变性和单调亮度不变性的LIOP描述子，并利用双向距离比值法实现特征初匹配;接着，采用空间聚类将匹配的特征进行归类，进而用随机抽样一致性（RANSAC）算法对每个归类进行几何变换参数估计;最后，使用必要的后处理等操作来检测出伪造区域。实验表明，提出的算法具有较高的伪造检测精度与可信度。

关键词：图像伪造;复制粘贴检测;多支持区域;非抽样Contourlet变换;局部亮度序模式

中图分类号：TP391.41

文献标志码：A

Image forgery detection based on local intensity order and multi-support region

YAN Pu1，2*， SU Liangliang1，2， SHAO Hui2， WU Dongsheng2

1.Anhui Provincial Key Laboratory of Intelligent Building and Building Energy Conservation （Anhui Jianzhu University）， Hefei Anhui 230022， China;

2.College of Electronic and Information Engineering， Anhui Jianzhu University， Hefei Anhui 230601， China

Abstract：

Image forgery detection is currently one of the research focuses of digital image processing， and copy-move forgery is the most frequently used techniques in it. The forgery region is subjected to the operations of scale， rotation， JPEG compression， adding noise and so on before the image moved in， thus detecting the forgery becomes hard. Aimming at the image copy-move forgery technology， an image forgery detection algorithm based on Local Intensity Order Pattern （LIOP） and multiple support regions was proposed. Firstly， the affine invariant regions were detected as support regions by Maximally Stable Extremal Region （MSER） algorithm. Secondly，  multiple support regions of different scales， resolutions and directions were obtained by NonSubsampled Contourlet Transform （NSCT）. Thirdly， the LIOP descriptors invariant to monotonic intensity change and image rotation were extracted on each support region， and the initial feature matching was implemented via bidirectional distance ratio method. Fourthly， spatial clustering was used to classify the matching features， and geometric transformation parameters were estimated for each cluster by using RANdom SAmple Consensus （RANSAC） algorithm. Finally， the essential operations like post-processing were performed to detect the forgery regions. The experimental results show that the proposed algorithm has higher forgery detection accuracy and reliability.

Key words：

image forgery; copy-move detection; multi-support region; Nonsubsampled Contourlet Transform （NSCT）; Local Intensity Order Pattern （LIOP）

0 引言

数字图像在当今通信过程中有着非常重要的角色。随着数字图像处理软件和修改设备的发展，数字图像可以轻易地被篡改而不留下任何明显的篡改痕迹[1]，即使非专业人员都可以很容易利用图像编辑工具（如Photoshop）来修改已有图像。图像操控和伪造的数量也在快速增长，这给人们判断一幅图像的原创性和准确性带来极大的困扰，特别对判断司法鉴定中作为证据图像的真伪更加具有挑战性[2]。 因此，鉴定图像是否被伪造是至关重要的，可以广泛应用在犯罪现场勘测、司法鉴定和许多其他领域[3]。

图像伪造检测技术是指在没有任何先验知识的情况下可以确认原始图像的可信度。常见的数字图像伪造方法有重采样、拼接、复制粘贴等，其中复制粘贴伪造是最简单和最常见的数字图像篡改方法。复制粘贴伪造是指图像中任意形状和大小的区域被复制然后放置在图像的另一区域[4]，其目的是通过增强图像的视觉效果来掩盖图像的重要数据或影响识别图像的真实目标[5]。由于复制区域来自同一图像中，其本质属性如噪声、颜色、纹理等都和整体图像一致，这导致鉴别过程异常麻烦。同时复制区域在粘贴前会进行一定的尺度和旋转操作，这使得检测伪造区域具有一定的挑战性。

近年来图像复制粘贴伪造检测是图像鉴别中最活跃的研究课题之一。在过去的几十年里， 许多图像复制粘贴伪造检测方法被提出，这些方法主要被归为两大分支：基于块的伪造检测和基于特征点的伪造检测[3]。基于块的图像复制粘贴伪造检测方法首先重叠划分图像得到重叠的图像块，然后对每个图像块进行特征提取，最后对相似区域进行排序来寻求伪造痕迹[6]。在基于块的方法中，用于描述区域块的特征主要有离散余弦变换 （Discrete Cosine Transform，DCT）系数[7]、矩不变量[6]、离散小波变换 （Discrete Wavelet Transform，DWT） [8]、奇异值分解（Singular Value Decomposition， SVD）[9]等特征。尽管这类方法对JPEG压缩、加性噪声和模糊变换是鲁棒的，但很难很好地处理尺度变换和旋转变换。

另外，基于块的图像复制粘贴伪造检测方法从任意重叠块区域来提取局部特征，这不仅导致这类方法具有较高的时间复杂度，而且往往会出现假阳性错误，很难构建对亮度区域不变的特征描述[10]。因此，近年来基于特征点的图像复制粘贴伪造检测方法越来越被重视，这类方法在许多图像变换下被证实具有更强的说服力。基于特征点的图像复制粘贴伪造检测方法主要考虑特征点所在区域并利用特征描述子来表示可疑区域，常用的特征描述子有尺度不变特征变换（Scale-Invariant Feature Transform， SIFT）[4，11]和加速鲁棒特征（Speeded-Up Robust Feature， SURF） [12-13]。然而这些方法为了使构建的特征描述子具有旋转不变性，必须计算支持区域的主方向并按照该方向对支持区域进行校正，这不仅大大增加了算法的计算复杂度，而且不可避免地会产生误差。此外，这些方法利用归一化操作使得构建的特征描述子对线性亮度变化具有一定的不变性，但却不能很好地处理非线性亮度变化问题（如单调亮度变化）[14]。

为了解决上述问题，提出了一种基于多尺度局部亮度序模式（Local Intensity Order Pattern， LIOP）的图像伪造检测算法。所使用的LIOP描述子利用全局亮度序对支持区域进行划分，这种划分不需要计算支持区域的主方向，不仅节约计算量，而且在理论上能够保证所构造描述子具有真正的旋转不变性。另外LIOP描述子利用局部亮度序对划分区域进行描述，以使LIOP描述子对图像单调亮度变化具有不变性。然而LIOP描述子是在单支持区域内构造的，单支持区域不足以保证后续的特征点匹配有很高的准确率，因此利用非抽样Contourlet变换（Nonsubsampled Contourlet Transform，NSCT）[15]得到不同尺度、不同分辨率和不同方向的多个支持区域来提高LIOP描述子的鉴别力。可见，所提算法创新点为：1）利用同时具有旋转不变性和单调亮度不变性的LIOP描述子进行图像伪造区域检测;2）利用NSCT得到不同尺度、不同分辨率和不同方向的多个支持区域来提高LIOP描述子的鉴别力，从而提高了图像伪造区域检测算法的鲁棒性。

1 相关知识

1.1 LIOP描述子

图像伪造技术会让图像局部亮度模式发生改变，而LIOP是一种基于亮度序的图像局部特征描述子，LIOP使用了两种亮度序：全局亮度序和局部亮度序，全局亮度序用于划分检测区域，局部亮度序用于生成局部描述子。相对于传统描述子，LIOP描述子有众多优点。首先该描述子不需要计算支持区域的主方向，这不仅大大降低了计算量，而且大幅减小了因计算主方向产生的误差;其次该描述子具有真正的旋转不变性，而不是通过旋转支持区域的主方向而获得旋转不变性，对旋转变换更加鲁棒;最后该描述子是利用局部亮度序来构建特征描述向量，对非线性亮度变化（单调亮度变化）具有不变性，能很好地处理亮度变换问题。LIOP描述子主要分为预处理、特征区域检测、区域划分和特征描述子的构建。在本文中，预处理主要利用高斯滤波器消除噪声的影响。特征区域检测利用最大稳定极值区域（Maximally Stable Extremal Region， MSER）算法[16]提取图像的最大稳定极值区域作为支持区域，该区域具有仿射不变性，这是SIFT和SURF算法所不具备的。为了后续检测伪造区域的需要，检测的特征点需要具有一定的密度，可通过调整MSER算法的区域最小尺寸参数来完成该过程。区域划分是对支持区域内所有亮度值进行非降排序，将支持区域按照亮度值大小等间隔地划分为B个子区域。

划分区域后接下来便是计算LIOP描述子。对于一个特征点X0，其支持区域是R，在该支持区域内任意一像素点X∈R，均可以建立一个旋转不变的坐标系，即以X0X 为x轴，垂直于X0X为y轴，則在旋转不变坐标系下，在单位圆上以正y轴上为起点，等间隔得到像素点X的N个邻域点（即距离X最近的N个点），如图1所示，在旋转不变坐标系下得到X的4邻域，本文根据文献[14]的建议，设置邻域点个数为4。这N个邻域点的亮度值按照坐标轴逆时针顺序进行排序，得到K（X）=（I（X1），I（X2），…，I（XN）），其中X1，X2，…，XN是像素点X的N个邻域点，I（X1），I（X2），…，I（XN）是X1，X2，…，XN所对应的亮度值。定义一个映射γ：

‖Uxy1-x′y′1‖2<ε（14）

其中：xy1和x′y′1是匹配特征點的齐次坐标系，‖·‖2表示2-范数操作，阈值ε取3，U是类间的单应矩阵，本文使用仿射变换估计，即：

U=a11a12sxa21a22sy001（15）

其中a11a12a21a22是控制坐标变换中旋转和尺度等变换，sx和sy是坐标变换中x和y轴的平移量。最后进行必要的后处理，即对类内一组特征点计算最优凸包、连接边界和进行形态学运算，得到伪造区域。

3 实验结果与分析

实验使用文献[3]所提供的图像复制粘贴伪造数据库，该数据库常被用于验证复制粘贴、重采样和JPEG压缩等伪造检测算法。该数据有48个基准图像，从这些基准图像中选择感兴趣的伪造区域。选择的伪造区域经过不同程度的操作（如旋转和尺度变换、添加不同强度的高斯噪声、JPEG压缩等）后复制粘贴到原基准图像中，形成伪造图像。

图像复制粘贴伪造检测算法最常用的评价标准时准确

率 （precision） 和查全率（recall），其定义如下：

precision=TP/（TP+FP）（16）

recall=TP/（TP+FN）（17）

其中：TP代表被正确检测为伪造图像的个数，FP代表被错误检测为伪造图像的个数，FN表示伪造图像未被检测到的个数。

LIOP描述子的时间复杂度与区域划分和计算每个像素的LIOP值有关。LIOP描述子利用亮度序进行区域划分，即对支持区域内所有亮度值进行排序，将支持区域等间隔地划分为B个子区域，而对支持区域内所有亮度值进行排序的复杂度是Ο（N log N），其中N表示支持区域内的像素个数。按照文中第1.1节所述，计算每个像素的LIOP值需要计算N！个排列，因此所需复杂度是Ο（N3）。

为了验证本文算法的优越性，把基于特征点的图像复制粘贴伪造检测常用的几种方法作为对比算法：基于SIFT耦合特征点集群的图像复制粘贴伪造检测算法[11]、基于SIFT的图像复制粘贴伪造检测算法[4]和基于SURF的图像复制粘贴伪造检测算法[12]。统计结果如表1所示，可以看出，无论准确率，还是查全率，本文提出的算法比其他几种算法性能更优，这是由于多支持区域LIOP描述子的优越性所决定的。图5是4种算法在图像复制粘贴伪造数据库中的几个例子。可以看出，本文所提出的算法具有很高的准确率和可信度，基于SIFT耦合特征点集群的算法紧随其后，与本文算法的性能较为接近，而基于SIFT和SURF的算法不仅正确匹配对有所减少，而且精度也有待提高。

4 结语

针对现有图像复制粘贴伪造区域检测算法大多数受图像旋转变换、尺度变换和亮度变化的影响，提出了一种基于多支持区域LIOP描述子的图像复制粘贴伪造区域检测算法，利用NSCT得到不同尺度、不同分辨率和不同方向的多个支持区域，在每个支持区域上计算同时具有旋转不变的和单调亮度不变的LIOP描述子。实验结果表明：本文算法相对于SIFT算法和SURF算法具有较高的准确率和查全率。但所提出的算法仅仅针对图像复制粘贴伪造技术，在后续的工作中将进一步改进所提算法以用于更加复杂的篡改手段。

参考文献

[1]REDI J A， TAKTAK W， DUGELAY J. Digital image forensics： a booklet for beginners [J]. Multimedia Tools and Applications， 2011， 51（1）： 133-162.

[2]周萌萌，杨鸿波，高晶敏，等. 基于快速分块的复制粘贴图像检测算法[J]. 计算机应用， 2016， 36（S1）： 117-121. （ZHOU M M， YANG H B， GAO J M， et al. Copy-move image detection algorithm based on fast blocking[J]. Journal of Computer Applications， 2016， 36（S1）： 117-121.）

[3]CHRISTLEIN V， RIESS C， JORDAN J， et al. An evaluation of popular copy-move forgery detection approaches [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（6）： 1841-1854.

[4]AMERINI I， BALLAN L， CALDELLI R， et al. A SIFT-based forensic method for copy-move attack detection and transformation recovery [J]. IEEE Transactions on Information Forensics and Security， 2011， 6（3）： 1099-1110.

[5]LI J， LI X， YANG B， et al. Segmentation-based image copy-move forgery detection scheme [J]. IEEE Transactions on Information Forensics and Security， 2015， 10（3）： 507-518.

[6]RYU S， KIRCHNER M， LEE M， et al. Rotation invariant localization of duplicated image regions based on zernike moments [J]. IEEE Transactions on Information Forensics and Security， 2013， 8（8）： 1355-1370.

[7]林晶，黃添强，赖玥聪，等.采用量化离散余弦变换系数检测视频单帧连续多次复制粘贴篡改[J].计算机应用，2016，36（5）：1356-1361.（LIN J， HUANG T Q， LAI Y C， et al. Detection of continuously and repeated copy-move forgery to single frame in videos by quantized DCT coefficients [J]. Journal of Computer Applications， 2016， 36（5）： 1356-1361.）

[8]ZIMBA M， SUN X. DWT-PCA （EVD） based copy-move image forgery detection [J]. International Journal of Digital Content Technology and Its Applications， 2011， 5（1）： 251-258.

[9]KANG X， WEI S. Identifying tampered regions using singular value decomposition in digital image forensics [C]// Proceedings of the 2008 International Conference on Computer Science and Software Engineering. Piscataway， NJ： IEEE， 2008： 926-930.

[10]KAKAR P， SUDHA N. Exposing postprocessed copy-paste forgeries through transform-invariant features [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（3）： 1018-1028.

[11]柴建伟，刘婷.改进的SIFT耦合特征点集群的图像伪造检测算法[J]. 西南师范大学学报（自然科学版），2018，43（3）：34-41.（CHAI J W， LIU T. Image forgery detection algorithm based on improved SIFT coupled feature point clustering [J]. Journal of Southwest China Normal University （Natural Science Edition）， 2018， 43（3）： 34-41.）

[12]SHIVAKUMAR B L， BABOO S S. Detection of region duplication forgery in digital images using SURF [J]. International Journal of Computer Science Issues， 2011， 8（4）： 199-205.

[13]陈辉映，张大兴，杨珊珊，等.基于SURF的图像多区域复制粘贴篡改检测[J].计算机工程与设计，2018，39（8）：2593-2597.（CHEN H Y， ZHANG D X， YANG S S， et al. Image multiple copy-move forgery detection based on SURF algorithm [J]. Computer Engineering and Design， 2018， 39（8）： 2593-2597.）

[14]WANG Z， FAN B， WU F. Local intensity order pattern for feature description [C]// Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 603-610.

[15]邹玮刚，周志辉，王洋.基于非降采样轮廓波变换的图像修复算法[J].计算机应用，2017，37（2）：553-558.（ZOU W G， ZHOU Z H， WANG Y. Image inpainting algorithm based on non-subsampled contourlet transform [J]. Journal of Computer Applications， 2017， 37（2）： 553-558.）

[16]MATAS J， CHUM O， URBAN M， et al. Robust wide-baseline stereo from maximally stable extremal regions [J]. Image and Vision Computing， 2004， 22（10）： 761-767.

[17]FAN B， WU F， HU Z. Rotationally invariant descriptors using intensity order pooling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（10）： 2031-2045.

[18]勾承甫，陈斌，赵雪专，等.基于随机一致性采样估计的目标跟踪算法[J]. 计算机应用，2016，36（9）：2566-2569.（GOU C F， CHEN B， ZHAO X Z， et al. Object tracking algorithm based on random sampling consensus estimation[J]. Journal of Computer Applications， 2016， 36（9）： 2566-2569.）

This work is partially supported by the National Natural Science Foundation of China （61672032）， the Natural Science Foundation of Anhui Province （1908085QF281）， the Doctoral Scientific Research Foundation of Anhui Jianzhu University （2017QD13， 2015QD07）.

YAN Pu， born in 1986， Ph. D.， lecturer. His research interests include computer vision， pattern recognition.

SU Liangliang， born in 1986， Ph. D.， lecturer. His research interests include video image processing， pattern recognition.

SHAO Hui， born in 1979， Ph. D.， associate professor. Her research interests include machine learning， image processing.

WU Dongsheng， born in 1966， Ph. D.， professor. His research interests include electromagnetic field theory， data mining.