基于HSV和HE的复制粘贴篡改检测算法

甘 玲，王 凯

(1.重庆邮电大学 计算机科学与技术学院,重庆 400065；2.重庆邮电大学 软件工程学院,重庆 400065)

0 引 言

当前，数字图像的传播越来越广泛，相应的图像编辑与处理软件也普及应用，这使得人们可以轻而易举的伪造和篡改图像。各种恶意篡改的图像不仅颠覆了人们“眼见为实”的传统观念，而且对于新闻摄影、保险理赔、刑事审判、军事情报等方面带来了诸多负面影响，所以，针对图像篡改检测研究具有重要意义。

复制粘贴篡改[1]是图像篡改中最常见的手段之一，复制粘贴篡改检测的目的是检测一幅图像中是否具有多个相似区域，也就是检测图像是否经过篡改或伪造。目前针对同幅图像复制粘贴篡改的检测方法主要分为2种：①图像点匹配方法[2]；②图像块匹配方法[3]。基于点匹配的方法依赖于所提取特征点的数量，当处理平滑的背景区域时，检测到的特征点数量比较少，所以，如果篡改过程中使用复制背景来隐藏复制粘贴区域，点匹配方法的检测效果较差。基于块匹配的方法将图像分成较小的重叠子块，检测准确率高，且能够更精确地检测不规则的边界区域。近年来，产生了很多性能优异的基于块匹配的复制粘贴篡改检测算法。Ryu等[4]提出基于泽尼克矩的复制粘贴篡改检测算法，其在灰度图像下提取泽尼克矩特征，利用kd树[5]搜索全局最优最近邻块，该算法具有较好的鲁棒性，但是其丢失了图像的颜色信息，且特征匹配阶段块的匹配效率低，算法时间长。Cozzolino等[6]将PatchMatch算法应用到复制粘贴篡改检测中，其在RGB(red，green，blue)颜色空间下提取基于圆谐波变换[7]的特征，利用PatchMatch算法的局部一致性搜索近似最近邻块，该算法不仅保留了图像的颜色信息，而且缩减了块匹配时间，但是其忽略了直接对待测图像进行特征提取时，自然相似区域与平滑区域会引起大量的漏检与误检像素的问题。

针对Cozzolino等提出的算法不能较好地应对图像中自然相似区域与平滑区域特征提取的问题，本文提出一种基于HSV(hue，saturation，value)颜色空间和直方图均衡化算法的复制粘贴篡改检测方法。

1 理论基础和方法

1.1 HSV颜色空间

HSV和RGB是图像色彩空间中常采用的表示方法，面向显示设备的颜色空间一般采用RGB颜色模型，在RGB颜色空间中，R，G，B3个分量是独立的。而HSV颜色空间的表示方法与人类感知颜色的方式类似，并在计算中保持简单性，HSV颜色空间中包含色调、饱和度、明度3个分量，其中，色调H代表色彩的基本属性，饱和度S代表色彩的纯度，明度V表示色彩的明亮程度。对于R,G,B∈[0,255],H∈[0°,180°],S,V∈[0,1]，RGB颜色空间到HSV颜色空间的映射过程如下。假设M=max(R,G,B),N=min(R,G,B)。

当M≠N时，定义

(1)

则

(2)

(2)式中，

(3)

为了降低篡改图像中蓝天、无纹理的墙壁等自然相似区域的误检[8]，采用HSV颜色空间中的明度V信息进行加速稳健特征(speeded up robust features, SURF)特征提取，检测结果明显比RGB颜色空间好，但是只使用V通道进行特征提取，会丢失图像的颜色信息，因此，针对面积较小区域，会因为无法提取到足够的特征点而造成检测效果较差。

1.2 直方图均衡化

直方图均衡化[9](histogram equalization, HE)又称为直方图平坦化，其中心思想是把原始图像的灰度直方图变换为均匀分布的形式，增强图像像素灰度值的动态范围从而达到增强图像整体对比度的效果。针对大小为M×N的灰度图像G，任意图像位置(x,y)(1≤x≤M,1≤y≤N)所对应的像素灰度值大小为g(x,y)(0≤g(x,y)≤L-1)(这里的L是图像灰度级总数)，不同灰度级出现概率pi(0≤i≤1)可表示为

0≤i

(4)

采用直方图均衡化方法对灰度图像G进行增强，表示为

0≤i

(5)

(5)式中，函数f(i)=(0≤i≤L)表示增强前图像灰度级i与增强后灰度级i′=f(i)之间的映射关系，直方图均衡化中常用的灰度级映射表达式为

0≤i

(6)

将HE算法分别与SIFT算法、ASIFT算法相结合进行图像特征匹配[10]，这种特征提取方法对于经过模糊处理的图像和恶劣照明条件的图像能够提取到更多的特征点。

2 本文方法

文献[6]提出的基于圆谐波变换特征的块匹配检测方法没有充分考虑复制区域与粘贴区域具有相同颜色信息、自然相似区域和平滑区域易导致漏检与误检的问题，本文使用直方图均衡化对图像HSV颜色空间的V通道明度信息进行特征增强，以保证特征提取阶段能够准确提取图像自然相似区域与平滑区域的特征，既保持了原算法鲁棒性较好的特点，同时又克服了其缺点。

2.1 改进的特征提取方法

本文特征提取阶段充分利用HSV颜色空间前2个通道的颜色信息以及第3个通道明度信息提取图像特征。图像非平滑区域，纹理信息丰富，能够准确提取特征，但面积较小的非平滑区域在丢失颜色信息后依然难以准确提取特征，所以，为应对面积较小的非平滑区域的特征提取，本文保留图像的颜色信息，图像平滑区域，纹理信息较少，本文采用HE算法对HSV颜色空间的V通道进行特征增强，以使得图像的平滑区域能够较准确地提取特征，故本文采用基于HSV与HE的特征提取方法。使用HSV与HE对待测图像进行处理的过程如图1。

图1 基于HSV与HE的图像特征增强Fig.1 Image feature enhancement based on HSV and HE

经过HSV颜色空间转换与直方图均衡化之后，使用B×B像素的滑动窗口对图像进行滑动分块，然后对得到的图像子块进行特征提取构建特征向量，本文使用基于圆谐波变换(circular harmonic transforms, CHT)的特征进行特征提取，因为其具有畸变不变性。设图像在极坐标中的定义为I(ρ,θ),ρ∈[0,],θ∈[0,2π],则圆谐波变换的系数计算式为

(7)

(7)式中，Kn,m(ρ,θ)为基函数，定义为

(8)

将基函数Kn,m(ρ,θ)代入(7)式得到

(9)

采用不同的径向函数可以得到不同圆谐波变换，本文在特征提取阶段分别使用泽尼克矩(Zernike Moments, ZM)、极坐标余弦变换(polar cosine transform, PCT)、傅立叶梅林变换(Fourier-Mellin transform, FMT)3种特征，泽尼克矩的径向函数定义为

(10)

(10)式中：ρ∈[0,1]；Cn,m,h为保证基函数的正交性的系数。

极坐标余弦变换的径向函数定义为

Rn(ρ)=Cncos(πnρ2)

(11)

(11)式中：ρ∈[0,1]；Cn为归一化系数。

傅立叶梅林变换的径向函数定义为

(12)

(12)式中：ρ≥0时，函数非零，且函数在原点处发散；ν=2nπ/log(ρmax/ρmin)。

2.2 PatchMatch算法图像块匹配

为了保证在匹配准确率较高的情况下，又能缩减图像块的匹配时间，本文不再使用kd树算法或者局部敏感哈希算法[11]来搜索最近邻块，而是采用基于局部一致性的PatchMatch算法[12]搜索最近邻块。PatchMatch算法是一种最近邻搜索算法，其主要用来在特征匹配阶段通过快速随机搜索得到稠密的最近邻匹配，该算法的主要步骤如下。

步骤1初始化。随机初始化一个偏移量

δ(s)=U(s)-s

(13)

(13)式中，U(s)是一个二维随机变量，去除δ(s)=0,‖δ(s)‖

步骤2邻域传播。使用光栅对图像从上到下，从左到右进行扫描，每个像素s的当前偏移量更新为

(s+∅))

(14)

(14)式中，ΔP(s)={δ(s),δ(sr),δ(sc)}，sr和sc表示光栅沿着行和列扫描时像素s之前的像素。该算法在偏移量更新的过程中会检查当前偏移量是否提高了匹配质量。因此，如果具有恒定偏移区域的给定像素具有良好的偏移量，则其会很快传播，然后填充整个区域的下方和右侧。为了避免偏差，扫描顺序在每一次迭代中都是颠倒的，即从下而上和从右到左。

步骤3随机搜索。上述传播步骤是一种贪心算法，其效果取决于随机初始化的偏移量，为了降低陷入局部最小值的风险，在使用(14)式更新偏移量之后，采用随机搜索，该阶段主要对当前偏移量进行随机采样，设候选偏移量为

δi(s)=δ(s)+Ri,i=1,…,L

(15)

(15)式中，Ri为二维随机变量，均匀分布在半径为2i-1的正方形网格中，但不包括原点，经过随机搜索阶段后，偏移量更新为

(s+∅))

(16)

(16)式中，ΔR(s)={δ(s),δ1(s),…,δL(s)}。

2.3 滤除误匹配与篡改区域定位

由于噪声、压缩、几何变换和光照变化等原因，特征匹配阶段得到的部分偏移场是无序的，所以，通过特征匹配阶段得到的稠密偏移场不能完全确定图像是否存在篡改。因此，需要使用有效的方法来调整偏移场和降低误检。由于PatchMatch算法的隐式过滤使得特征匹配阶段的偏移场足够规则，本文采取文献[6]中基于稠密线性拟合的方法，即通过线性模型在像素s的适当N像素邻域中拟合真实偏移场δ(s)，下面列出具体的处理步骤。

1)在半径为ρM的圆形窗口上进行中值滤波；

2)通过最小二乘线性模型计算半径为ρN的圆形邻域的拟合误差ε2(s)；

4)去除较接近TD像素的区域对，TD表示匹配区域对的距离，相似的背景区域通常比较接近，但可能会被错误地匹配；

5)去除小于TS像素的区域，TS表示匹配区域的面积，当匹配区域面积较小时，相似的信息较少，可能是错误的匹配；

6)使用半径为ρD=ρM+ρN的圆形作为结构元素进行形态学中的腐蚀和膨胀等操作实现篡改区域的标识定位。

2.4 算法流程

本文算法具体流程如下。

步骤1输入图像，将待测图像从RGB颜色空间转换到HSV颜色空间，分别提取H，S，V分量，并采用HE算法对V分量进行特征增强，合并H，S，增强后的V分量，得到特征增强后的图像；

步骤2采用矩形窗口对步骤1得到的图像进行滑动分块，并分别提取笛卡尔坐标系下的泽尼克矩和PCT、极坐标系下的泽尼克矩和PCT、对数极坐标系下的FMT，构建特征向量，依次对各个特征构建的特征向量重复进行步骤3—步骤5；

步骤3使用PatchMatch算法对构建的特征向量进行快速随机搜索得到稠密的偏移场；

步骤4对特征匹配阶段得到的偏移场应用稠密线性拟合算法，滤除可能出现的错误匹配；

步骤5使用形态学操作定位出篡改区域，并输出结果。

3 实验结果及分析

3.1 实验环境及评价指标

本文实验所采用的硬件设备配置：CPU Intel i5-6310H，内存为8 Gyte，操作系统Windows 10，仿真软件为MATLAB 2016a，为验证本文方法的可行性和有效性，实验使用的数据集为GRIP图像库和FAU图像库，均来自文献[6]。

为了更好地对比本文方法的有效性，在特征提取阶段，本文分别采用了多种不同的图像矩来构建特征向量，包括笛卡尔坐标系下的泽尼克矩、极坐标系下的泽尼克矩、笛卡尔坐标系下的PCT、极坐标系下的PCT、对数极坐标系下的FMT，特征提取阶段相应的参数设置具体参考如表1。

表1 不同图像矩的相应参数设置Tab.1 Corresponding parameter settings for different image moments

特征匹配阶段，本文采用PatchMatch算法来搜索图像块之间的最近邻匹配，主要目的是减少特征匹配阶段的图像块匹配时间，经过大量实验，在特征匹配阶段设置迭代次数Ni=8。

通过PatchMatch算法得到稠密的偏移场之后，采用稠密线性拟合的方法滤除误匹配，根据文献[6]中所述，本文实验中滤除误匹配阶段的参数设置具体参考表2。

表2 滤除误匹配阶段相关参数设置Tab.2 Parameter settings of filter out false matches phase

从像素层面来衡量复制粘贴篡改检测算法的性能时，通常采用以下评价指标

(17)

(18)

(19)

(17)—(19)式中：Precision表示检测准确率；Recall表示检测召回率；F-Measure表示综合评价指标；TP表示篡改图像中被正确检测到的篡改像素数量；FP表示篡改图像中未篡改部分被检测为篡改的像素数量；FN表示篡改图像中未被检测到的篡改像素数量。准确率和召回率是评价算法综合性能的2个重要指标，这2个评价指标相互制约，在某些情况下又互相矛盾，F-Measure综合考虑了准确率与召回率，F-Measure值越大，则认为算法的性能越好。

3.2 GRIP图像库

GRIP图像库中有80幅复制粘贴篡改图像，分辨率为1 024×768，分别与文献[3，5-6]进行对比实验，部分实验结果如图2。

图2 GRIP图像库中文献[6]与本文实验效果对比图Fig.2 Comparison of experimental results in the literature[6] and this article in GRIP

图2b为文献[6]检测结果，图2d为本文检测结果，文献[6]在检测带有平滑区域或自然相似区域的图像时，会出现误检区域，最终导致大量的误检像素，而本文方法能够较准确地检测与定位出真实复制粘贴篡改区域，GRIP图像库实验对比如表3。

表3 GRIP图像库的实验结果对比Tab.3 Comparison of experimental results of GRIP image database %

从表3可以看出，本文中将待测图像转换到HSV颜色空间，通过直方图均衡化算法对V明度信息进行特征增强后，提取极坐标下的泽尼克矩构建特征向量的检测方法的检测结果均优于其他文献。另外，采用本文改进的特征提取方法，分别提取笛卡尔坐标系下的泽尼克矩和PCT、极坐标系下的泽尼克矩和PCT以及对数极坐标系下的FMT构建特征向量的检测方法的检测结果均优于文献[6]中相对应的检测方法。

3.3 FAU图像库

FAU图像库中有48幅复制粘贴篡改图像，分辨率为3 000×2 400，每幅图像的篡改区域占整个图像的6%左右，分别与文献[3，5-6]进行对比实验，部分实验结果如图3。

图3b为文献[6]检测结果，图3d为本文检测结果，本文的检测结果优于文献[6]检测结果，对FAU图像库实验对比如表4。

图3 FAU图像库中文献[6]与本文实验效果对比图Fig.3 Comparison of experimental results in the literature[6] and this article in FAU

从表4可以看出，采用本文改进的特征提取方法，对待测图像提取极坐标系下的泽尼克矩特征构建特征向量的检测方法的检测结果中准确率为95.99%，召回率为96.78%，综合评价指标F-Measure为97.56%，实验效果最好。

4 结束语

针对Cozzolino等所提出的算法在复制粘贴篡改检测过程中处理面积较小区域、自然相似区域与平滑区域时，容易出现漏检和误检，从而导致检测效率不高，本文提出了一种改进的特征提取方法，结合图像的HSV颜色空间，保留图像的颜色信息，能较好地适应面积较小区域的特征提取，同时使用直方图均衡化算法对HSV颜色空间的V通道明度信息进行特征增强，以适应自然相似区域与平滑区域的特征提取。实验结果表明，本文方法能够降低面积较小区域、自然相似区域和平滑区域的误检和漏检像素数量，从而提升算法的检测结果。在检测图像分辨率为3 000×2 400的FAU图像库时，由于待测图像的分辨率较大，每幅图像的平均检测时间为200 s左右，所以下一步工作需要在保证提升实验检测结果的同时，缩减算法的检测时间。

表4 FAU图像库的实验结果对比Tab.4 Comparison of experimental results of FAU image database %