基于双层超像素对比度融合的显著区域检测

吴 清，商常青，石陆魁，连翠叶

（河北工业大学 计算机科学与软件学院，天津300401）

0 引 言

近年来，研究者们已经提出大量关于显著区域检测的方法，但是随着互联网的快速发展，大量的图片出现在互联网中，这些旧有方法仍然无法达到快速处理的要求，因此提出一种快速、准确、有效的方法是目前急需要解决的问题。

本文主要目的是提出一种能够自动检测图像中显著区域的方法，其能够被应用于解决图像处理领域中其它的问题。通过采用自底向上、数据驱动的方式提出一种基于超像素 （super pixel）对比度融合的显著区域检测方法。利用超像素之间的对比度差异来计算像素的显著性值，取而代替了利用每个像素之间的特征差异来计算图像中像素的显著性值，最终产生具有全分辨率的显著性图。本文方法主要包括3大步骤：①采用超像素分割方法将图像分割为多个区域，使相同区域里的元素具有相似的特性；②通过利用不同区域中颜色的差异和空间的相关性来计算不同分割区域的显著性值；③根据相似特性聚合原理将初始的显著图做相似类聚合，并通过自适应阈值增加显著区域与非显著区域之间的对比度，最终产生一个具有多分辨率的显著图。本文中最重要的部分在于分割方法的选取和显著值的计算方法。目前SLIC［1］（simple linear iterative clustering）超像素分割方法以其简单的分割思想、准确的分割效果受到研究人员的青睐，故采用SLIC 方法作为预处理分割方法。受Achanta等［2］的启发，本文在Achanta等提出算法的基础上进行了改进并作为计算显著值的计算方式。

为评估本文提出的方法的有效性和准确性，在Achanta等［2］和程明明等［3］提供的公共测试图像集上对本文提出的方法进行测试，比较经典方法以及人工标注的参考数据，实验结果表明，本文方法在查准率 （precision rate）和召回率 （recall rate）方面有明显提高。

1 相关显著性检测方法

本文主要关注自底向上、数据驱动的显著性检测方法及相关分割方法，这类方法多是在生物学原理的基础上，利用图像固有的属性：颜色、亮度、梯度等通过利用数学计算的方法来计算某个区域的显著度。在Koch等［4］早期的工作中提出的生物启发模型的基础上，Itti等定义图像的显著性、提出视觉注意理论。在基于该理论的基础上提出基于图像特征对比度的方法，目前主要分为两种计算方法：基于局部对比度和基于全局对比度的方法。

基于全局对比度的显著性区域计算方法是用每一个像素和整个图像的对比度来计算该像素的显著性值，基于局部对比度的显著性计算方法则是用每一个像素和其周边一定区域范围内的像素的对比度来计算该像素的显著性值。前者需要计算图像中所有像素之间的对比度，当图像较大时，虽然可以准确的计算出图像中每个像素的显著度值，但是计算速率会大大降低，同时需要占用较大的计算空间；后者，当计算的局部范围较小时，可以达到较快的计算速度，但是由于只对比一定范围内像素的对比度，无法从整个图像分析该像素在图像中所具有的显著值，所以计算的结果无法突显出在整个图像中的显著性，最终导致计算结果具有较大的局限性和差异。

图像分割作为计算机视觉领域的基本问题，图像分割是获取显著区域的一种方式，图像分割的准确度决定了最终获取显著目标的精确性。选取一个比较好的分割方法对达到显著区域监测的目的起着重要的作用。Ren等［1］提出超像素的感念，所谓的超像素：就是相邻区域中具有相似颜色、亮度、纹理等特征像素组成的图像块。它利用相邻像素之间的相似程度将像素归类分组，将图像分成不同的区域，减少了图像的冗余信息，为后期的二次处理提高了速度。Achanta等［1］提出一种基于超像素的图像分割方法SLIC，由于其算法思想简单、计算快的特点应经被应用到多个领域。

2 基于超像素分割的显著性检测

人类观察周围环境时，往往对周围环境中局部区域与背景环境产生较大对比差异、颜色或形状比较奇异的区域产生较大的关注，据此我们采用了基于对比度的方法来计算图像的显著性。CIELab 颜色空间将亮度和颜色单独分开，它的L分量密切匹配人类亮度感知，这有助于我们更好独立的调节各个分量，从不同的角度来分析各个分量对视觉显著的影响。所以本文以下的对比度均采用在CIELab颜色空间来进行计算。

一个图像往往具有数万个甚至千万个像素，如果采用基于全局对比度的方法来计算每个像素的显著性，这极大的增加的计算的复杂度，通过将图像进行分割可以达到降低计算的复杂度，但是分割图像的个数太小，计算得到的结果不准确，分割图像的个数太大，既不会降低计算的复杂度，又不能够通过最大化的方式将相似的区域分割到一个区域。所以本文中通过将图像进行两次分割：一次粗分割即较少个数的分割个数、一次细分割即较多个数的分割个数，并利用两次分割计算得到的显著图进行融合的方式来计算图像的最终显著性图，这样既可以最大化的将相似属性或显著的部分区域分割到一个区域，同时又降低了计算的复杂度。由于两次分割计算显著值的方法相同所以一下只详细的介绍一种计算方法。

本文中首先对要处理的图像采用超像素分割，分割后的超像素图像利用基于全局对比度的视觉显著性方法计算每个超像素的显著值。对生成的初始的显著图采用自由竞争的方式，减少显著图噪声，对显著图中相近的超像素进行聚合，最后采用自适应阈值的方法对超像素中非显著的区域进行背景化，增强并保留显著区域的部分结构，最终产生具有全分辨率的显著图。整个显著图的产生过程如图1所示。

图1 本文方法的流程

2.1 超像素对比度的显著性算法

利用SLIC超像素分割方法对要处理的图像I进行超像素分割为图像I′。定义I′中任意两个超像素Pi和Pj，Pi中包含m 个像素，Pj中包含n个像素，则这两个超像素Pi和Pj在Lab颜色空间中在颜色对比值Cij，其公式

式中：i≠j，ui——超像素Pi中m 个像素在Lab颜色空间L、a、b颜色的平均值，ui——超像素Pj中n 个像素在Lab颜色空间L、a、b颜色的平均值。·2表示欧式空间距离

式中：i≠j，vi——超像素Pi中m 个像素在Lab颜色空间坐标的平均值，vj——超像素Pj中n个像素在Lab颜色空间坐标的平均值

通过利用式 （1）～式 （4），并将Lij规格化到 ［0，1］来计算超像素Pi和Pj的之间显著值oij其公式

式中：作为控制空间距离作用的影响因子。越小空间距离对结果的影响越大，导致较远区域的对比度会对当前区域显著性造成较大的影响。在实验中我们采用 ＝0.4来计算超像素之间的显著值。

Goferman等［1］提出的原方法中，只考虑K 个最相似的图像块，忽略了该点在整个图像中的显著性，在本文中通过在Goferman等提出的算法的基础上，通过考虑像素Pi在整个图像中的显著性并根据下面的公式计算超像素Pi的显著值Oi

2.2 双层超像素显著性的融合

由于对图像进行单一个数的超像素分割无法获取到相对完整的显著区域。粗分割可以将比较显著的区域分割到一个区域，但是又会包含有比较大的噪声，通过再进行细分割可以把图像中更加细节的部分分割到一个比较小的区域，通过将粗分割和细分割的结果进行融合，既保留了部分细节的信息，同时最大化的将显著区域聚合到一个区域。所以我们利用式 （6）对图像进行不同程度的分割，并计算出相应分割情况下的显著性。通过利用不同的分割效果得到的显著图进行融合最终获取到图像的显著性图。本文中利用超像素个数spnum＝15 和spnum＝200 的计算结果利用式 （7）进行融合得到最终的显著图

式中：O（spnum＝15）和O（spnum＝200）——利用式 （6）在超像素分割个数15 和200 下计算得到的具有全分辨率显著性图。SV ——O（spnum＝15）和O（spnum＝200）融 合 得 到 的 最 终 的 显 著性图。

对于背景和前景比较单一的图像，利用本文的方法可以获得较好的显著图，但是对于背景复杂的、纹理结构多样的图像无法准确的得到理想的结果，为获取到更加精细的显著图，减弱背景区域对显著区域的影响，在以上算法结果的基础上，通过阈值分割的方法对显著性图中背景和前景区域进行分割，对低于阈值的非显著区域进行背景化，保留高于阈值的显著区域的部分结构信息，最终获取图像的显著性图，由于固定的阈值无法达到较好的分割效果，所以本文采用基于最大间类方差法OTSU［4］阈值分割方法来获取一个比较合适的自适应阈值。本文中方法的最终实验结果如图2中第9列所示。

图2中从左到右依次为：原图、由Achanta等提出的AC［2］、Goferman等提出的CA［5］、由Achanta等［6］提出的FT、由Itti等提出的IT［2］、由Zhai等提出的LC［3］、由Ma等提出的MZ［5］、由Cheng等提出的HC［3］方法及本文的方法计算得到的显著图和由人工标注的显著图。

3 实验结果及比较

实验中，为更加准确的突出本文的方法和其它方法的不同，在Achanta等提供的MSRA1000和程明明等提供的THUS10000的公共图像数据测试集上测试了本文的方法，据我们所知此测试集包含了大量由人工精确标注的显著性区域。本文中所有的图片都是在一台Pentium? Dual－Core CPU T4300主频2.1 Hz的个人电脑生成的，本算法是在Windows系统环境下基于Matlab程序设计语言编写的。为了更加全面的测试本文算法的准确性，通过利用人工精确标注的显著图作为验证各个算法的查准率 （precision rate）、查全率 （recall rate）的标准

式中：Tp——正的样本，Fp——正的负样本，Fn——负的正样本。图3是利用式 （8）、式 （9）计算得到的本文方法和 HC［3］、FT［6］、LC［3］、SR［7］、AC［2］、CA［3］、GB［8］、IT［2］、MZ［5］和RC［3］等 方 法 在MSRA1000 数 据 集 下 的PR（precision recall）曲线，从曲线图中可以看到本文的方法明显优于其它的方法。分别计算了其它方法和本文方法的查准率查全率曲线，从图4可以明显的看见我们的方法比其它的方法具有更高的准确度。

由于在一般情况下Precision和Recall是相互矛盾的，对一副图像来说，如果所找到的小区域显著区域正好完全属于图中的显著目标区域的极小一部分，那么Precision就为100%，但此时Recall的值就会很低；如果把图中显著目标的区域比较小，计算得到的区域比较大并且已包含图中的显著区域，那么此时Precision 会比较小，而Recall是100%。因此就有必要综合考虑Precision和Recall之间的关系，这里采用F－measure作为综合评价一个算法的优良

图2 不同方法的视觉显著区域效果对比

图3 不同方法的PR 曲线图和综合性能比较

式中：Precision和Recall为采用自适应阈值对显著图进行分割后的所有显著图计算得到的均值。由于我们通常更加侧重关注查准率的大小，所以和Achanta等［1］的一样，本文中用β2＝0.3来使查准率的权值高于召回率。从图3和图4中不同方法的PR 曲线的比较结果中看出，用本文的方法获取的显著图的准确度明显优于其它的方法。从图3和图4里的PRF直方图可以看出本文的方法综合评价相比以前的方法更准确。

图3 （a）和图3 （b）是IG［3］、AC［2］、CA［5］、FT［6］、GB［8］、HC［3］、IT［2］、LC［3］、MZ［5］、RC［3］、SR［7］、SF［9］以及本文中的方法计算得到的PR （precision recall）曲线图，图3 （c）是不同方法的Precision、Recall和F－measure直方图。以上图的计算结果都是在MSRA1000的公开测试集4上计算得到的。

图4 不同方法在THUS10000测试集上的PR 曲线图和综合性能比较

图4 中从上到下，上面的两个图分别是AC［2］、AIM［10］、CA［5］、FT［6］、 GB［8］、 HC［3］、IM［11］、IT［2］、LC［3］、 MSS［12］、 SEG［13］、 SeR［14］、 SR［7］、 SUN［15］、SWD［16］以及本文中的方法计算得到的PR （precision recall）曲线图，下面的是不同方法的Precision、Recall和F－measure直方图。

通过考虑计算所得到的显著性图像有助于显著目标分割，传统的分割方法是由人工选中矩形区域来进行初始化操作，而本文在提出的显著性计算方法的基础上通过利用自适应阈值OTSU 方法来改善显著图的分割结果，从而将显著目标区域分割出来，分割结果如图5所示。

图5 显著目标分割

4 结束语

本文中提出一种基于双层超像素对比度融合的方法来检测图像的显著性区域的检测方法，本文的方法计算简单、并且可以产生相对较好的显著结果。在Achanta等［2］提出的公共数据库上测试了本文的方法，并和近几年来比较经典的显著性检测方法进行了比较，实验结果及比较结果表明本文的方法在查准率和查全率上都优于其它方法。

由于我们提出的方法是在超像素分割的基础上提出的，所以对图像进行超像素分割对获取目标的显著区域起着重要的作用，SLIC方法虽然目前是比较好的分割方法，但是分割的结果仍然无法达到较满意的分割结果，导致最终获取的显著区域有时候包含一些噪声。加之由于有些图像背景较为复杂且部分显著物体的颜色与背景颜色极为相近并且背景颜色多样化，本文的方法在处理较复杂结构的图像时准确率无法达到期望的高度。在未来的工作中我们计划提高分割效果的精确度，进一步考虑多重高级因素，研究出能够处理具有复杂纹理结构的显著性检测方法，以克服本文现有算法在处理这类情况中存在的缺陷。

［1］Achanta R，Smith K，Lucchi A，et al.Slic superpixels［R］.Technical Report，EPFL，Tech Rep 149300，2010.

［2］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation ［G］.LNCS 5008：International Conference on Computer Vision Systems，2008：66－75.

［3］Cheng MM，Zhang GX，Mitra NJ，et al.Global contrast based salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：409－416.

［4］Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （2）：353－367.

［5］Goferman S，Zelnik－Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［6］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2009：1597－1604.

［7］Hou X，Zhang L.Saliency detection：A spectral residual approach ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2007：1－8.

［8］Harel J，Koch C，Perona P.Graph－based visual saliency［C］／／Advances in Neural Information Processing Systems，2006：545－552.

［9］Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：Contrast based filtering for salient region detection ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2012：733－740.

［10］Bruce NDB，Tsotsos JK.Saliency，attention，and visual search：An information theoretic approach ［J］.Journal of Vision，2009，9 （3）：5.

［11］Murray N，Vanrell M，Otazu X，et al.Saliency estimation using a non－parametric low－level vision model ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：433－440.

［12］Achanta R，Susstrunk S.Saliency detection using maximum symmetric surround ［C］／／17th IEEE International Conference on Image Processing，2010：2653－2656.

［13］Rahtu E，Kannala J，Salo M，et al.Segmenting salient objects from images and videos［G］.LNCS 6315：Computer Vision ECCV.Berlin：Springer Berlin Heidelberg，2010：366－379.

［14］Seo HJ，Milanfar P.Static and space－time visual saliency detection by self－resemblance ［J］.Journal of Vision，2009，9（12）：15.

［15］Zhang L，Tong MH，Marks TK，et al.Sun：A Bayesian framework for saliency using natural statistics［J］.Journal of Vision，2008，8 （7）：32.

［16］Duan L，Wu C，Miao J，et al.Visual saliency detection by spatially weighted dissimilarity ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：473－480.