图像梯度与谱残差结合的显著性检测方法

邓 亚 蒙(天津大学 应用数学中心，天津300072)



图像梯度与谱残差结合的显著性检测方法

邓 亚 蒙(天津大学 应用数学中心，天津300072)

摘要：针对图像显著性检测方法中存在的边界模糊、显著性目标不准确等问题，提出一种图像梯度与谱残差结合的显著性检测方法，图像梯度可以提取出图像的边缘和结构信息，而视觉显著性可以将梯度图中琐碎和复杂的背景过滤掉，两者结合可以快速地得到精细的显著性图，提出的算法简单、高效，实现了图像中显著性区域的准确定位与均匀突出，所得显著图可以更加方便地应用于后续的图像处理中.

关键词：显著性检测；图像梯度； 谱残差；精细显著图

图像显著性检测在计算机视觉领域占据着越来越重要的地位，其主要目的就是估计出图像中显著目标所在的位置，并输出一幅灰度显著性图.越来越多的图像数据给人工处理带来了挑战，可靠的显著性区域检测可以帮助我们在海量的视觉信息中迅速发现“感兴趣”和“有意义”的目标，在后期处理中就可以将显著性不同的图像区域予以不同层次的分析.显著性检测在数字图像处理的诸多领域都有着广泛的应用，如基于内容的图像检索[1]、图像自动裁剪[2]、图像视频压缩[3]，以及在不同尺寸的显示设备上调节图像大小[4-5]等.目前显著性检测研究的重点是在复杂的背景下得到边界清晰、均匀突出、分辨率高的显著性目标，同时降低时间复杂度.

1相关工作

早期研究中最为经典的显著性检测方法是Itti等人根据生物框架创建的显著性模型[6]，为了较快速地检测这些多尺度的图像特征，Itti等人仅在一些粗糙的层次上计算了特征图，生成了视觉显著性图，并且该模型不能很好地抑制图像中的非显著区域.随后Harel等人提出一种基于图论的显著性分析算法(GBVS算法)[7].这种方法在Itti算法的基础上进行了改进，它对输入图像提取特征后采用Markov链的方法计算显著性值.Achant等人提出一种显著图模型(AC算法)[8]，这种算法中定义显著值是通过比较图像的一个局部区域与它的周边区域，得到这个局部区域与它周边区域的平均特征向量的差.Hou等人基于傅里叶变换幅值谱的“残谱(Spectral Residual, SR)”在频域进行图像显著性分析[9]，所得到的显著图与人眼感知具有一致性，而且速度和准确度也得到提升.Achanta等提出了一种新的基于对图像空间频域分析的显著性检测算法(FT算法)[10]，这种算法得到的显著图的分辨率与原图相同.

2图像梯度与谱残差结合的显著性检测方法

本文结合图像梯度和视觉显著性来衡量一个像素的显著性值.图像梯度表示边缘和结构的存在，而视觉显著表示图像区域的视觉吸引力，在某些情况下，由于梯度会被琐碎和重复的结构所误导，而均质区域有可能是我们所关注的视觉显著区域.结合这两种测试方法，即当一个区域既有边缘结构又是视觉显著性区域时，我们认为它有较高的显著性值，从实验结果可以看到，本文的方法可以快速地得到精细的显著性图.

2.1图像梯度计算

图像梯度是数字图像处理的重要内容，梯度算法的实质是提取出图像中重要目标与背景之间的显著变化.图像梯度常用于边缘检测，它最重要的性质是，梯度的方向在图像灰度的最大变化率上，这恰好可以反映图像边缘上的灰度变化.图像边缘检测可以大幅度的减少数据量，剔除不相关的信息，保留图像中重要的边缘结构.具体计算方法如下：

图像函数f(x,y)在点(x,y)的梯度(即一阶微分)是一个具有方向和大小的矢量，设Gx,Gy分别表示沿x方向和y方向的梯度，那么这个梯度矢量可以表示为：

(1)

这个矢量的幅度为：

(2)

方向角为：

(3)

梯度的方向是f(x,y)函数变化最快的地方，图像在边缘处往往具有较高的梯度值；而在较平滑的区域，灰度值变化较小，一般有较低的梯度值.图像处理中常把梯度的模简称为梯度，由图像梯度构成的图像称为梯度图像.

2.2谱残差显著性检测方法

Hou等人提出的谱残差算法(SR算法)是最具有代表性的基于频域的显著性区域检测方法[10].有效编码假说指出：信息分为冗余部分和变化部分，人类视觉对变化部分更敏感，通过去除输入信号的冗余信息，就可以获得图像中重要的信息，即我们所关注的显著目标.

图像在频域和空间域有相同的统计特征，具有尺度不变性，即1/f法则，也就是自然图像集合的平均傅里叶谱的幅值A(f)服从分布：E{A(f)}∝1/f.考虑输入信息的统计相似性可以极大地减少冗余的视觉信息，对于不同的图像数据，其log谱却有相似的分布趋势且曲线满足局部线性条件.因此，在不同的log谱中只需要关注差异部分(即图像中变化剧烈的区域)就可以得到显著性区域.首先计算输入图像I(x)的2维离散傅里叶变换，将其从空间域转换到频域，对幅值取对数后得到log谱L(f)：

均值化的频谱：A(f)=R(S[I(x)])

(4)

相谱：P(f)=φ(F[I(x)])

(5)

其中S代表傅里叶变换，φ代表相位，P(f)为I(x)的相谱.

对数频谱：L(f)=log(A(f))

(6)

由于log曲线满足局部线性条件，所以用局部平均滤波器hn(f)对其进行平滑，谱残差R(f)(Spectral Residual)为log谱与其进行均值滤波后的差：

R(f)=L(f)-hn(f)*L(f)

(7)

将谱残差和相位P(f)进行2维离散傅里叶反变换：

S(x)=|F-1{exp[R(f)+P(f)]}|2

(8)

最后进行高斯模糊滤波就可以重构出一幅图像，用来表示原图像中各像素的显著性值，所得图像称为显著图.

2.3图像梯度与谱残差结合的显著性检测

本文结合图像梯度和视觉显著性来衡量一个像素的显著性值.图像梯度可以反映出边缘和结构信息的存在，视觉显著性表示图像区域的视觉吸引力，当一个区域既有边缘结构又是视觉显著性区域时，我们认为它有较高的显著性值.

令I为输入图像，首先计算图像的梯度值.

(9)

为了避免奇异样本数据和后面数据处理的方便，我们对图像梯度值进行了归一化处理使其在0～1之间，然后利用谱残差显著性检测方法获得图像的显著性值.

我们定义新的显著性图为：

W=Wg×Ws

(10)

图1　图像梯度与谱残差结合的图像显著性检测方法示例

其中:Wg是归一化后的图像梯度值，Ws是SR方法得到的显著性值，如图1所示. 从实验结果可以看出，本文得到的显著图可以将梯度图中琐碎和复杂的背景过滤掉，并且显著目标有更加清晰的轮廓.我们在多种自然图像和人工图像上进行了实验，结果表明，本文的方法能够迅速地检测出与人类视觉注意结果一致的显著区域，并且在具有复杂背景的图像中也能取得很好的检测效果.

3实验结果与讨论

图2　本文方法与其他方法生成的显著图结果比较

与Itti和SR的方法相比，本文的方法可以得到更加精细的视觉显著性图.图2、3显示了更多的实验结果.

图2中的第1列是输入图像；第2列是Itti等人的方法生成的显著性结果图；第3列是SR方法生成的显著性结果图；第4列是本文的方法生成的显著性结果图.

为了便于比较，将部分图像的第3列和第4列放大.图3的左侧是SR方法生成的显著性结果图；右侧是本文方法生成的显著性结果图.由图2可见，Itti模型虽然能够检测出人类所感兴趣的人或物体，但存在较高的误判率，不能很好地抑制图像中的非显著区域，很多图像的背景也被检测出来，如图2中第1和第4个样本，背景在显著图中占据了大部分面积，以至于对显著目标的检测失效.SR方法较Itti模型有了较大改进，运算速度较快，能够剔除一些简单的背景，获得相对满意的结果，但精确度不够高.由图3可见，本文方法相比SR方法显著性目标轮廓更加清晰、准确性更高，所获得的显著图更加接近显著目标的真实外观，具有很好的抗干扰能力，算法实现时间与SR算法实现时间相当，较Itti算法有很大提升.

图3　SR显著图与本文显著图比较

4结语

本文的显著性计算模型有以下特点：能够准确定位图像中显著区域，抑制图像中非显著区域；检测出的显著性目标轮廓清晰，边缘信息准确.实验结果表明本文提出的算法在图像显著性检测上相比于已有模型取得了更优或相当的性能，并且本算法可以得到更加精确的显著性分析结果，所得显著图可以更加方便地应用于图像处理的后续工作，具有更高的工程应用价值.

参考文献：

[1]TIAN Q, SEBE N, LEW M S,etal. Content-based image retrieval using wavelet-based salient points [J]. The Imaging Science Journal, 2011, 59(4): 219-231.

[2]SHAMIR A, AVIDAN S. Seam carving for content-aware image resizing [J]. ACM Transactions on Graphics - TOG, 2007, 26(3): 10.

[3]GUPTA R,CHAUDHURY S. A scheme for attentional video compression [J]. Pattern Recognition and Machine Intelligence, 2011, 6744: 458-465.

[4]KIMW,KIMC.Anovelimageimportancemodelforcontent-awareimageresizing[C]//18thIEEEInternationalConferenceonImageProcessing, 2011. 2469-2472.

[5]WANGYS,TAICL,SORKINEO, et al.Optimizedscale-and-stretchforimageresizing[J].ACMTransactiononGraphics(ProceedingsofSIGGRAPH2008Asia), 2008, 27(5): 32-39.

[6]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis.IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[7]SCHIKOPFB,PLATTJ,HOFMANNT.Graph-basedvisualsaliency[J].AdvancesinNeuralInformationProcessingSystems, 2006, 19: 545-552.

[8]ACHANTAR,ESTRADAF,WILSP, et al.Salientregiondetectionandsegmentation[J].LectureNotesinComputerScience, 2008, 5008: 66-75.

[9]HOUX,ZHANGL.SaliencyDetection:Aspectralresidualapproach[C]//IEEEConferenceonComputerVisionandPatternRecognition, 2007. 1-8.

[10]ACHANTAR,HEMAMIS,ESTRADAF, et al.Frequency-tunedsalientregiondetection[C]//IEEEConferenceonComputerVisionandPatternRecognition, 2009. 1597-1604.

Salient detection based on image gradient and spectral residual

DENG Ya-meng

(Center for Applied Mathematics, Tianjin University, Tianjin 300072, China)

Abstract：In view of the problem that the boundary is indistinct and the prominent target is not accurate, a new salient detection algorithm based on image gradient and spectral residual has been proposed. The gradient indicates the presence of image edge, while the trivial and repeated background could be filtered out by the saliency measure. By combining these two measurements could quickly output the saliency maps with well-defined boundaries of salient objects. The proposed algorithm was simple, efficient and yields the accurate positioning and uniform prominent saliency maps. The extracted saliency map could be more easily applied in subsequent image processing.

Key words：salient detection; image gradient; spectral residual; accurate saliency map

中图分类号：TP391

文献标识码：A

文章编号：1672-0946(2016)01-0080-04

作者简介：邓亚蒙(1991-)，女，硕士，研究方向：图像处理.

收稿日期：2015-04-08.