基于颜色和空间融合的显著图算法

陈春红，张晓林

（中国科学院上海微系统与信息技术研究 所仿生智能微系统实验室，上海200050）

基于颜色和空间融合的显著图算法

陈春红，张晓林

（中国科学院上海微系统与信息技术研究 所仿生智能微系统实验室，上海200050）

针对计算机视觉模型中显著图求解的问题，本文提出了基于颜色和空间融合的显著图算法。首先对图像进行超像素分割，再根据图像颜色对比度及空间信息，计算颜色显著图和空间显著图，最后根据区域连通性和动态阈值自动去除非显著区域，完成显著性目标计算。将本文算法在MSRA10K_Imgs_GT数据集上得到的结果和几种主流算法进行比较，通过人眼观察以及准确率、召回率、F-measure值指标评判，结果表明本文算法的显著性目标计算更为准确。

显著图；颜色；空间；全局对比；动态阈值；准确率-召回率曲线

近年来，面对计算机技术的迅速发展和视觉数据的迅猛增长，如何从如此大量的图像、视频中获取有效的视觉信息，成为计算机视觉特别是双目立体视觉的首要任务。视觉显著图作为双目立体视觉的重要研究部分，在非监督性图像分割、图像增强、注视点预测、显著目标检测和识别等领域发挥越来越大的作用，高质量的显著图是很多应用的基础，如：基于内容的图像处理[1-2]，非照相写实主义的三维渲染[3-4]，图像场景分析[5-7]，自适应图像压缩[8]，伪造犯罪检测[9-10]。

视觉显著图的求解模型分为两种：一种是自底向上的、刺激驱动的模型；另一种是自顶向下的、任务驱动的模型。研究结果[11-12]表明，前者更加符合生物视觉系统对图像和场景的理解。

目前自底向上的、刺激驱动的模型发展迅速，Itti等人基于纹理、颜色、方向3种特征信息提出经典的Itti-Koch模型[13]，该模型能够快速得到图片中的“显著区域”，但该显著区域不符合物体的实际形状。Ko和Nam通过训练图像分割特征得到支持向量机从而得到显著区域，然后合并这些显著区域提取显著性目标[14]。Han在马尔科夫随机场中建立颜色、纹理、边缘特征的模型[15]，通过对显著图中的种子值得到增长的显著目标区域。Achanta等通过mean-shift得到的分割图像的平均显著值，利用自适应的阈值来找到显著目标[16]。程明明等人基于区域级别的对比度建立模型得到显著目标区域[17]。

上述算法虽然能大致描述图像中显著性目标，但是所求显著图通常是灰度图，无法准确表达显著性的目标区域。

1 算法描述

1.1 算法流程

文中提出了基于颜色和空间融合的显著图求解算法（CSF-Color and Space Fusion）算法，算法首先采用SLIC超像素分割算法对目标图像进行分割，计算分割图像中每块区域Lab空间的平均颜色值，并根据阈值对相邻相似区域进行合并；其次在颜色和空间上基于全局对比度分别建立显著图，同时进行归一化处理；然后基于图像边缘的非显著性目标假设，以图像的边缘区域作为初始种子区域、以全局特征建立动态阈值，去除显著图中的非连通区域；最后以颜色显著图为基准，合并空间显著图的连通区域，求得最终的二值化显著图。算法总体框架如图1所示。

1.2 SLIC分割及基于动态阈值的相似区域合并

1.2.1 SLIC分割

SLIC算法[18]是一种超像素分割算法，其本质是K-means聚类算法，该算法可以良好的保持图像的边缘特征，是目前使用十分广泛的图像分割算法。

图1 算法的总体框架图

算法的基本步骤[18]如下：

1）将RGB图像转换为LAB图像；

2）均匀分布种子点，将种子点的5维特征值LABXY作为分类的中心点特征值存入种子向量中；

3）对整张图像进行局部的K-Means聚类，生成超像素；

4）对生成的初步超像素图像，合并孤立超像素。

1.2.2 基于动态阈值的相似区域合并

对图像进行SLIC分割后，如果相邻区域的颜色值的差值小于阈值，则合并该区域，即：

其中ri表示第i个分割区域，ri和rk是两个相邻的区域。

确定动态阈值Ta采用如公式（1）的方式对相邻的相似区域进行合并。

其中Ta为相似区域合并阈值，Ns为分割区域个数，分别为第i个分割区域ri的平均L、a、b值。

对于每个合并之后的区域ri，对应的图像的像素个数为Nm（i），其中i=1…Nm，Nm为合并之后的区域个数，其区域的颜色值为所有待合并的区域的颜色值的平均值，即：

其中，Ni为与第i个区域ri合并的区域个数，labeli表示需要与第i个区域ri合并的区域的原始标号。

对输入图像进行SLIC分割以及相似区域合并平均的结果图如图2所示：

1.3 基于颜色对比度的颜色显著图求解

测为表示图像中显著性目标的颜色稀缺性信息，文中基于颜色特征的全局对比度确定颜色显著图，对于每个合并之后的分割区域ri，对应的图像的像素个数为Nm（i），其中i=1…Nm，Nm为合并之后的区域个数，每个区域的全局颜色对比度特征C（ri）按公式（4）计算。

图2 SLIC分割及相似区域合并结果图

其中Dc（ri，rk）表示每个图像区域中的颜色值与所有其他区域的图像颜色值的加权平均距离，W是图像宽度，H为图像高度。

对每个区域的全局颜色对比度特征归一化到[0，1]，然后基于图像边界非显著的假设，利用连通图的合并算法，将边界点处的相似区域合并为非显著区域，获得每个区域ri对应的颜色特征C0（ri），即颜色显著图。

1.4 基于空间信息的空间显著图求解

文中根据图像中显著性目标的空间位置信息确定空间显著图，对于每个合并之后的分割区域ri，i=1…Nm，每个区域的空间特征S（ri）按公式（6）计算。

其中Ds（ri，rk）表示每个图像区域中的空间位置值与所有其他区域的图像空间位置的加权平均距离，W是图像宽度，H为图像高度，表示区域ri的平均位置坐标。

将每个区域的全局空间信息特征归一化到[0，1]，基于图像边界非显著的假设，利用连通图的合并算法将边界点处的相似区域合并为非显著区域，进而获得每一区域ri对应的空间位置特征Sn（ri），最终按公式（8）计算空间显著图S0（ri）：

1.5 颜色显著图及空间显著图合并算法

由于人眼对于颜色特征的对比度比较敏感，本文提出了一种基于颜色显著图，融合空间位置特征的显著图求解算法，算法的具体实现方法如下：

1）基于显著区域的连通特性，去除颜色显著图以及空间显著图的非连通区域；

2）以颜色显著图为基准，合并空间显著图中的显著区域，即：

颜色显著图中非显著，但空间显著图中显著的区域ri，若在颜色显著图中，其邻域范围中有显著区域rj，并且其颜色距离满足公式（1），则增加该区域为显著区域。

按照上述算法，求解最终的二值显著图。

2 算法结果及分析

文中在MSRA10K_Imgs_GT数据集[17]上测试结果的性能，MSRA10K_Imgs_GT数据集是程明明等人针对显著性目标检测提出的具有代表性的数据集，该数据集中的每幅图像均包含一个非模糊的显著目标，并且在相应的显著目标区域周围均有像素大小的标准显著图标号。利用文中算法在该数据集上测试出的有代表性的结果如图3所示：

图3 显著图测试结果图

将文中算法的显著图求解结果与目前其他相应算法做比较，结果如图4所示：

图4中（h）是利用本文提出算法计算出来的结果，（i）是显著图的标准结果，从图4中可以看出本文的算法能够很好地描述图像中的显著区域，与图4中其他算法比较优势明显，并且与标准结果相差不多。

图4 各种算法的显著图结果比较图

根据参考文献[16，17]，文中通过计算准确率-召回率曲线以及F-measure值，来比较算法的优劣。准确率Pr公式（9）用来反映被分类器正确分类的样本的比重；召回率Rr公式（10）用来反映分类器分成的正样本中被正确分类的样本的比重。F-measure值Fβ按照公式（11）来计算：

其中设置β2=0.3，来保证对精确度更高的要求。

在数据集上测试的结果如图5：

图5 不同算法的准确率比较

从图5（a）中可以看出，本文提出的算法（CSF）的准确率-召回率曲线更趋近于（1，1）点，表明本文算法具有明显优势。从图5（b）中可以看出在固定阈值下准确率、召回率、F-measure值的取值，文中算法（CSF）均有明显的优势。

3 结 论

文中研究了视觉显著性模型，并基于颜色、空间的全局对比度的方法，提出了基于颜色和空间融合的显著图算法，实验结果表明该算法效果良好，可以较准确的提取图像中的显著性目标。

[1]Panozzo D，Weber O，Sorkine O.Robust Image Retargeting via Axis-Aligned Deformation[C]//Computer Graphics Forum. 2012:229-236.

[2]Mai L，Le H，Niu Y，et al.Rule of Thirds Detection from Photograph.[C]//2013 IEEE International Symposium on Multimedia.IEEE，2011:91-96.

[3]Rosin P L，Lai Y K.Artistic minimal rendering with lines and blocks[J].Graphical Models，2013，75（4）:208–229.

[4]Han J，Pauwels E J，Zeeuw P D.Fast saliency-aware multimodality image fusion[J].Neurocomputing，2013，111（6）: 70-80.

[5]Borji A，Sihite D N，Itti L.What stands out in a scene?A study of human explicitsaliencyjudgment.[J].Vision Research，2013，91（15）:62-77.

[6]Zhang C，Li X，Ruan X，et al.Discriminative generative contour detection[C]//British Machine Vision（BMVC）.2013: 74.1-74.11.

[7]Zheng S，Cheng M M，Warrell J，et al.Dense Semantic Image Segmentation with Objects and Attributes[C]// Computer Vision and Pattern Recognition（CVPR），2014 IEEE Conference on.IEEE，2014:3214-3221.

[8]Deng C，Lin W，Cai J.Content-Based Image Compression for Arbitrary-Resolution Display Devices[C]//Communications（ICC），2011 IEEE International Conference on.IEEE，2011:1-5.

[9]Fu H，Cao X.Forgery Authentication in Extreme Wide-Angle Lens Using Distortion Cue and Fake Saliency Map[J]. IEEE Transactions on Information Forensics&Security，2012，7（4）:1301-1314.

[10]Li-Qian M，Kun X，Tien-Tsin W，et al.Change blindness images[J].IEEE Transactions on Visualization&Computer Graphics，2013，19（11）:1808-1819.

[11]Itti L，Baldi P.Bayesian surprise attracts human attention [J].Vision Research，2009，49（10）:1295–1306.

[12]Koch C，Ullman S.Shifts in Selective Visual Attention:Towards the Underlying Neural Circuitry[J].Human Neurobiology，1987，4（4）:219-227.

[13]Itti L，Koch C，Niebur E.A Model of Saliency-Based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，20（11）:1254-1259.

[14]Ko B C，Nam J Y.Object-of-interest image segmentation based on human attention and semantic region clustering[J]. Journal of the Optical Society of America A，2006，23（10）: 2462-2470.

[15]Han J，Ngan K N，Li M，et al.Unsupervised extraction of visual attention objects in color images[J].IEEE Trans. circuits Syst.video Technol，2006，16（1）:141-145.

[16]Achanta R，Hemami S，Estrada F，et al.Frequency-tuned Salient Region Detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition（CVPR 2009）. 2009:1597-1604.

[17]Cheng M，Mitra N J，Huang X，et al.Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on.IEEE，2011:409-416.

[18]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].Intelligence IEEE Transactions on，Pattern Analysis&Machine 2012，34（11）:2274-2282.

A saliency map algorithm based on color contrast and region connectivity

CHEN Chun-hong，ZHANG Xiao-lin
（Chinese Academy of Sciences Shanghai Institute of Microsystem and Information Technology，Shanghai 200050，China）

This paper researched on the problem of saliency map in computer vision model，we proposed an automatic saliency region detection algorithm based on Color and Space Fusion.Firstly，the image is segmented，then according to the image color contrast and spatial information，the color saliency map and spatial saliency map are calculated.Finally，the non-salient regions are automatically removed based on regional connectivity and dynamic threshold.The results obtained from the MSRA10K_Imgs_GT data set and several main algorithms are compared.The results show that the proposed algorithm is more accurate and more accurate.

color；spatial；global contrast；saliency map；precision-recall curve

TN919.82

A

1674－6236（2016）24-0154-04

2015-12-08 稿件编号：201512079

上海张江国家资助创新示范区专项发展资金（ZJ2015-ZD-001）

陈春红（1989—），女，河北衡水人，硕士。研究方向：双目视觉、显著图分析。