基于局部区域模式噪声的数字图像源辨识算法

胡 达， 胡永健， 刘琲贝

（华南理工大学 电子与信息学院，广东 广州 510640）

0 引 言

数码相机的普及使得数字图像大大地丰富了人们的日常生活和学习。然而，人们可以通过功能强大的数字图像处理软件很容易地修改图像内容而不留下任何视觉上的痕迹，使得数字图像内容不再是眼见为实。在法律诉讼、新闻媒体及科学发现等一些领域，需要确定数字图像内容的可信度，因此数字图像取证研究随之兴起［1－3］。

数字图像源辨识是数字图像取证的重要分支之一，其目的是对数字图像来源进行认证。由于数码相机传感器各像素点将光信号转换为电子信号的能力各有不同，使得相机成像过程中不可避免地引入了光响应非均匀模式噪声（Photo－response Nonuniformity Noise，简称PRNU），统称为模式噪声。模式噪声相对稳定、不易消失，而且每种相机拍摄的图片都含有该相机特有的模式噪声，因此，模式噪声可以作为相机指纹实现数字图像源辨识［4］。文献［4］最早提出使用模式噪声实现数字图像源辨识；文献［5］使用一种基于小波的滤波器对数字图像进行去噪，得到其噪声残余，通过平均某相机拍摄的多幅图像的噪声残余来提取该相机的模式噪声，最后使用相关性检测器检测测试图像中是否含有该模式噪声来确定测试图像是否由该相机所拍摄。由于模式噪声容易被图像纹理细节污染，多位学者对文献［4］中所提算法模式噪声的提取方法和利用进行改进。文献［6］认为相机模式噪声中的较大分量更值得信赖，因此使用模式噪声中较大的分量进行相关性检测。文献［7］认为只使用一个颜色通道获得的相机模式噪声不能完全反映相机传感器特征，因此把文献［6］中大分量的思想用在彩色图像的3个颜色通道上。具体做法是，分别提取R、G、B 3个通道的模式噪声的大分量。对于某一像素位置，取3个分量中较大值作为该位置的模式噪声。文献［8］提出了6种数学模型对模式噪声进行改善，一方面增强模式噪声，另一方面也抑制图像内容对模式噪声的影响。文献［9］从频域改善模式噪声，并认为图像纹理细节和插值会在某些频率范围内产生较大的傅里叶幅值，因此只利用模式噪声中的相位信息实现图像源辨识。文献［10］认为图像边缘信息对模式噪声的污染比较严重，因此剔除了边缘处的噪声残余作为待检测信号。实验证明，上述改进算法均能在一定程度上改善检测效果。

本文通过分析图像内容对模式噪声的影响，利用一个评估函数对测试图像内容进行评估，选取其中亮度高纹理简单的区域，从所选择区域中提取模式噪声进行图像源辨识。

1 算法思想

目前，在基于模式噪声的数字图像源辨识方法中，均采用对图像进行滤波后得到噪声残余作为其含有的模式噪声。文献［5］提出的基于小波分析的去噪算法是目前使用较广泛的模式噪声提取工具，然而该去噪算法对图像内容有较大的依赖性。由Canon IXUS 500相机拍摄的图片如图1a所示，对图1a的绿色通道进行滤波得到的噪声残余如图1b所示。在检测过程中，该噪声残余作为模式噪声使用，从图1b看出，原图中天空区域纹理平滑，其噪声残余也比较光滑，而原图中草地和树木区域的细节纹理比较多，其噪声残余中也含有很多细节纹理印迹。因此，不同区域的模式噪声被图像内容污染的情况会不同，其反映源相机固有特性的能力也不同。在检测测试图像是否含有某相机模式噪声时，如果只使用测试图像中被污染较轻的模式噪声，则更利于对测试图像的检测。

图1 图像内容对噪声残余的影响

文献［11］研究了图像内容对模式噪声的影响。首先对噪声残余进行建模，即

其中，W为噪声残余；I为图像；K为模式噪声因子；I·K为模式噪声分量；ε为图像随机噪声和滤波算法引入的噪声。

利用多个噪声残余，使用最大似然法估计参考相机模式噪声因子为：

其中，Ik为第k幅图像；Wk为其噪声残余。K的Cramer－Rao下界为：

其中，σ2为ε的方差。

（3）式说明了何种类型的图像适合提取模式噪声。当图像数量一定时，亮度值Ik应尽可能的高，但不能饱和，因为饱和区域的模式噪声很弱甚至没有。同时Var（K）与σ2成正比，因此平滑的区域模式噪声更好。综上所述，亮度高纹理简单区域的模式噪声质量更高。

2 相关算法

文献［12］根据纹理和亮度将图像分为以下4类：低亮度复杂纹理、中等亮度复杂纹理、高亮度简单纹理和饱和亮度中等纹理。理论分析证明第3类模式噪声的质量更好，因此只利用这类区域的模式噪声。

文献［12］算法的关键是从一幅图像中筛选出第3类图像区域，具体做法是：首先定义了2个分别反映图像纹理和亮度的特征。使用大约20000个32×32的图像块，计算每块的特征值，得到20000个二维特征向量。然后使用模糊聚类算法将这些特征向量聚为4类，分别代表上述4类图像，得到每类图像块的中心点。当需要从某图像中选取亮度高纹理简单的区域时，将该图像进行分块，计算每个块的特征向量到第3类图像中心点的距离。选取距离较小的那些图像块作为选择出的亮度高纹理简单的区域。

为验证文献［12］将图像分为4类的假设的合理性，选取大约25000个大小为32×32且内容丰富的图像块。采用文献［12］的方法，计算每个图片块的特征向量，这些特征向量的分布如图2所示，其横坐标和纵坐标分别代表2个特征。从图2中可见，这些特征向量并没有很明显地聚成4类，说明将这些图像块分成4类的假设并不合理。

图2 文献［12］算法中的特征分布

文献［12］在实施上存在一定的缺陷。首先需要大量的训练图片块获取每类图像的中心向量，这一方面增加了训练样本个数，另一方面增加了算法时间复杂度。同时，使用不同的图片块求得的每类图像的中心向量可能不同，导致最后选择的区域也不同。因此对所使用的训练图片块有一定的依赖性。

3 基于局部区域模式噪声图像源辨识算法

3.1 亮度高纹理简单区域的选择

针对以上分析，本文提出了一种选择图像中亮度高纹理简单区域的方法。对图像的亮度和纹理进行综合评估，其公式为：

其中，I（i，j）为图像（i，j）处像素值；Icrit为提取模式噪声的最佳像素值，对于像素值大于或小于Icrit的像素点的模式噪声质量逐渐衰减［11］；m和n分别为图像的高和宽；V（i，j）为以（i，j）处像素为中心的周围5×5邻域的方差，其公式为：

其中，μ为邻域均值。

F1为图像中所有像素点周围邻域的方差的平均值，可以用来评估图像纹理。纹理越简单，F1值越小；纹理越复杂，F1值越大。F2用于评估图像的亮度，当图像像素值越接近Icrit，则F2越大；反之F2越小。（4）式中F值与F1成正比，与F2成反比，故F可以对图像的纹理和亮度进行综合评估。当图像的纹理越简单，亮度值越接近于最佳像素值时，F值将越小。而对于纹理复杂亮度低的图像，其F值就越大。

选择亮度高纹理简单的区域时，将测试图像分成32×32的不重叠块。由于模式噪声是乘性的，太暗区域的模式噪声很弱，同时由于像素值范围有限，亮度饱和区域的模式噪声也很弱甚至没有，因此首先计算每个块的均值，将均值大于253或小于30的块剔除，设置这些块的F值为无穷大。然后利用（4）式对剩下的每个块进行评估。根据文献［11］，设置Icrit＝250、τ＝6，计算出每个块的F值。最后将所有块的F值进行升序排列，则F值较小的若干个块对应区域即相对的亮度高纹理简单的图像区域。

本文方法使用评估函数直接对测试图像进行预处理来选取亮度高纹理简单的区域，而文献［12］需要使用额外的训练图片来节约训练样本个数。

3.2 模式噪声的提取

文献［4］提供了一种常用的参考相机模式噪声提取方法。首先使用滤波器［5］对某相机拍摄的N幅图像进行滤波，获得其噪声残余，然后对这些噪声残余进行平均，即得到相机的模式噪声为：

其中，W为模式噪声；Wk为第k幅图像噪声残余。

通过对多幅图像的噪声残余进行平均，不仅可以抑制图像内容对模式噪声的影响，而且可以增强模式噪声。

在提取测试图像模式噪声时，首先对测试图像I进行相同的滤波，得到整幅图像的模式噪声Wt。然后利用3.1的方法选择出测试图像中亮度高纹理简单的区域，并记录其位置。选取Wt对应位置的模式噪声组成序列¯Wt，即作为测试图像的模式噪声。

3.3 相关性检测器

本文通过检测测试图像是否含有某相机的模式噪声来判断测试图像是否由参考相机拍摄。相关性检测器为：

由于只使用测试图像部分区域模式噪声，因此在进行相关性检测时，参考相机的模式噪声也应该选取相对应区域的部分，而不应该使用全部的模式噪声。综上所述，本文算法实现流程如图3所示。

图3 算法流程图

4 实验结果与分析

4.1 算法可行性研究

为了验证本文选择亮度高纹理简单区域方法的有效性，本文从原始图像的左上角剪切出尺寸为1024×1024的区域作为实验图像，且只选择图像的绿色分量。FujiFilm Finepix S602相机拍摄的图像如图4a所示。将该图像分成大小为32×32的块，则一共1024个块。采用本文算法选择300个F值较小的块，选择的区域如图4b所示。

由图4可以看出，亮度较高且纹理平滑的地面被保留，而纹理复杂的建筑却被排除掉，同时像素值趋于饱和的天空也被排除在外。这说明本文算法确实可以选择出亮度高纹理简单的区域。

图4 选取亮度高纹理简单区域方法测试

在利用相机模式噪声实现图像源辨识过程中，为了确定图像是否为某参考相机所拍摄，首先提取参考相机模式噪声和测试图像的测试模式噪声，然后对它们求相关性值。当测试图像是由参考相机所拍摄时，称该相关性值为同类相关性值，否则称为异类相关性值。当相关性值大于某一阈值时，则接受测试图像是由参考相机所拍摄的假设，否则拒绝。因此，该检测过程是一个二值检测，而且2类相关性值之间距离越大，越有利于检测。

为验证只使用测试图像中亮度高纹理简单区域的模式噪声作为检测信号的优越性，首先分别使用FujiFilm Finepix S602和Canon IXUS 500拍摄50幅天空图像，提取其相机模式噪声［4］。然后利用本文方法，选取图4a中100～1024个F值较小的块，依次提取这些块对应的测试模式噪声，并与上述2种相机的相应区域的模式噪声进行相关性计算，得到若干个2类相关性值，观察相关性值与所选块数量的关系。

本文之所以选择块的数量大于100个，是由于选取模式噪声序列太短可能会使得相关性值没有意义。而当选取的块数是1024个时，则选取的是整幅图像。使用本文和文献［4］算法时，2类相关性值与所选取块的数量的关系如图5所示。尽管文献［4］计算的相关性值并不是块的数量的函数，但为了便于比较，依然用直线表示，表明相关性值是一个常量。

从图5可看出，当选择的块数量为300～500时，本文算法的同类相关性值大大高于文献［4］的算法。而此时，2种算法的异类相关性值却基本接近，这说明本文算法相比于文献［4］算法可以大大拉开2类相关性值的距离，更有利于检测。实验结果表明，选取测试图像中亮度高纹理简单的区域的模式噪声更有利于检测。

这是由于小波去噪算法［5］得到的噪声残余容易被图像中的纹理细节部分所影响。而亮度高纹理简单的区域的边缘细节部分较少，从这些区域提取的模式噪声被图像内容污染的并不严重，其用来实现源辨识的能力更强。

图5 2类相关性值与图像块数量的关系

4.2 图像源辨识实验结果

为了验证本文算法的有效性，将本文算法与文献［4］和文献［12］算法的实验结果进行比较，结果表明，文献［12］和本文算法均选择40%的亮度高纹理简单的区域的模式噪声。

实验使用了多种参考相机，本文仅列出以FujiFilm Finepix S602和Nikon COOLPIX L3为参考相机时的实验结果。利用参考相机拍摄的50幅天空图片，使用本文提取参考相机模式噪声。对参考相机和Canon IXUS 70分别拍摄的150幅包含各种纹理的图片进行测试，得到150个同类相关性值和150个异类相关性值。以FujiFilm Finepix S602和Nikon COOLPIX L3为参考相机时的2类相关性值的散点图分布如图6和图7所示。

图6 以FujiFilm Finepix S602为参考相机下不同算法的相关性值散点图

图7 以Nikon COOLPIX L3为参考相机时不同算法的相关性值散点图

使用不同算法时，2种参考相机下的2类相关性值的统计量见表1和表2所列。其中，M11和S11分别为同类相关性值的均值和标准差；M12和S12分别是异类相关性值的均值和标准差；D为2类相关性值的均值间的距离。

由图6和图7可看出，3种算法均能将参考相机与测试相机分开。从表1和表2可以看出，与文献［4］相比较，文献［12］和本文算法大大增加了同类相关性值，尽管也稍微增加了异类相关性值，但依然较大地拉开了2类相关性值距离，说明利用测试图像中亮度高纹理简单区域的模式噪声更有利于实现图像源辨识。

当以Nikon COOLPIX L3为参考相机时，本文算法的2类相关性值的距离大于文献［12］。当以FujiFilm Finepix S602为参考相机时，本文算法与文献［12］结果相近。值得注意的是，在从测试图像中选取亮度高纹理简单的区域时，文献［12］需要使用额外的训练图片获取每类图像的中心点。而本文直接使用评估函数对测试图像直接进行预处理，因此本文算法节约了训练样本数，且克服了文献［12］算法对用于获取每类图像中心点的图像的依赖。

表1 FujiFilm Finepix S602为参考相机的统计量

表2 Nikon COOLPIX L3为参考相机的统计量

5 结束语

本文使用图像中亮度高纹理简单的区域的模式噪声实现数字图像源辨识，提出利用评估函数直接对图像进行预处理的方法选择亮度高纹理简单的区域，克服了同类算法中需要额外训练样本且依赖所选额外样本的缺陷。实验结果证明了本文算法比同类算法的优越性。

［1］Hu Y J，Li C T，Zhou C H.Selecting forensic features for robust camera identification［C］／／ISC 2010：The 2010International Computer Symposium，2010：506－511.

［2］Fridrich J，Soukal D，Lukas J.Detection of copy－move for－gery in digital images［C］／／Proceedings of the Digital Forensic Research Workshop，Cleveland，OH：USA，2003：272－276.

［3］谷宗运，吕皖丽，罗 斌.基于Tchebichef不变矩的数字图像被动认证算法［J］.合肥工业大学：自然科学版，2011，34（6）：848－852.

［4］Lukas J，Fridrich J，Goljan M.Digital camera identification from sensor pattern noise［J］.IEEE Transactions on Information Forensics and Security，2006，1（2）：205－214.

［5］Mihcak M K，Kozintsev I，Ramchandran K.Spatially adaptive statistical modeling of wavelet image coefficients and its application to denoising［C］／／Acoustics，Speech and Signal Processing，2009：3253－3256.

［6］Hu Y J，Yu B H，Jian C.Source camera identification using large components of sensor pattern noise［C］／／International Conference on Computer Science and Its Applications 2009，Jeju，South Korea，2009：1－5.

［7］Hu Y J，Jian C，Li C T.Using improved imaging sensor pattern noise for source camera identification［C］／／IEEE International Conference on Multimedia and Expo，Singapore，2010：1481－1486.

［8］Li C T.Source camera identification using enhanced sensor pattern noise［J］.IEEE Transactions on Information Forensics and Security，2010，5（2）：280－287.

［9］Kang Xiangui，Li Yinxiang，Qu Zhenhua，et al.Enhancing source camera identification performance with a camera reference phase sensor pattern noise［J］.IEEE Transactions on Information Forensics and Security，2012，7（2）：393－402.

［10］Matsushita K，Kitazawa H.An improved camera identification method based on the texture complexity and the image restoration［C］／／International Journal of Hybrid Information Technology，2010：17－28.

［11］Chen M，Fridrich J，Goljan M，et al.Determining image origin and integrity using sensor noise ［J］.IEEE Transactions on Information Forensics and Security，2008，3（1）：74－90.

［12］Gharib F，Akhlaghian F，Ravanjamjah J，et al.Using the local information of image to identify the source camera［C］／／The IEEE Symposium on Signal Processing and Information Technology，Luxor Egypt，2010：515－519.