基于颜色与梯度布尔特征融合的图像显著性检测

逄铭雪， 叶西宁， 凌志浩（华东理工大学信息科学与工程学院，上海 200237）

基于颜色与梯度布尔特征融合的图像显著性检测

逄铭雪， 叶西宁， 凌志浩
（华东理工大学信息科学与工程学院，上海 200237）

图像显著性检测存在区域不均匀、显著性值低的问题，本文在对BMS（Boolean Map based Saliency）模型进行研究的基础上提出了基于颜色与梯度布尔特征融合的显著性检测模型（Boolean Map of Color and Gradient based Saliency，BMCG）。根据Gestalt前背景分离的原则，通过随机阈值化颜色通道和梯度通道产生含有图像拓扑结构的二进制布尔新息图，进一步生成视觉注意图并进行线性融合，经过后处理形成显著性图。仿真结果表明BMCG算法比BMS算法的召回率提高了2.12%，准确率提高了4.56%。

布尔特征；前背景分离；视觉注意

随着互联网时代多媒体数据的指数式增长，人们对以图搜图、虚拟现实等技术的要求不断提高，面对复杂多样的图像，较短时间内人们的视觉注意焦点往往集中在最能表达图像内容的部分，即显著性区域。显著性区域的检测能有效减少冗余的图像块，加权目标区域，适用于苛求质量和效率的大数据时代，可广泛地应用于目标检测和识别、图像检索、图像和视频压缩、照片拼贴和视觉跟踪等方面。

自从Itti和Koch［1］于1998年提出基于中央-周围准则的自底向上的生物启发模型以来，涌现出了大量运用对比度、稀疏性、对称性等图像特征或在频域构造显著性模型的检测方法，它们在一定程度上检测出了显著性目标，但是对具有高对比度、稀疏性的或者杂乱的背景区域却无能为力。神经学研究发现，人类随意一瞥，大脑就自动实现了目标-背景的标定［2］。Gestalt学派断言，在一个特定的知觉领域里，有些对象突出形成易于被感知的图形，即显著性目标；而其他对象则退居次要地位，即背景。显著性目标是由其轮廓和背景相关的不同亮度和颜色间隔所决定的，图形尺寸、闭合轮廓、凸性和对称性等都将影响前景、背景的分离［3］。运用该认知原则，Zhang等［4］提出了BMS模型，利用其闭合轮廓线索检测显著性，能有效地过滤掉虚假“目标”区，但由于只采用了全局颜色拓扑结构信息，在保留目标边缘信息和均匀地突出目标整体方面仍有所欠缺。本文在对BMS模型进行分析研究的基础上提出了融合颜色与梯度布尔特征的显著性检测模型（Boolean Map of Color and Gradient based Saliency，BMCG）。梯度拓扑结构信息的增加能进一步突出显著性目标边缘，采用的多是位计算，保证了检测效率，建模出人类视觉注意期望的全分辨率显著性图，可很好地作为后续图像处理工作的输入。

1　基于布尔图理论的显著性检测

自然视觉是二进制编码形成的宏观表现，图像在微观上是一系列二进制数据的表征，由随机阈值化的颜色通道产生，因此布尔特征提供了一种很好的视觉图像分析途径。

视觉注意是有选择的视觉处理过程，突出了人类视觉注意力焦点。在布尔特征图中，将一个视觉场景分为两块互补的分区空间表示：被选择的区域和不被选择的区域［5］。布尔图将视觉场景按特征进行了二值化。布尔图可以通过选择特征来创建，这个特征可以选择显示范围内所有的特征维度，比如，物体在颜色值和方向值上都有变化，可以选择颜色值或者方向值来创建布尔图。如图1（c）所示，三维灰度图中间有完整闭合轮廓的凸起或凹下比较明显的区域是视觉注意目标，用不同阈值的横切面对其进行切割并阈值化，得到一系列映射到特定特征维度上的布尔图；反推过来，只有通过某维度上多特征布尔图的叠加，才有可能将不同的布尔图层的显著性特征属性融合，检测出显著性目标。

图1　三维灰度空间布尔图理解Fig.1 Boolean map theory of 3-D gray image

2　BMCG算法

2.1BMCG算法模型的建立

BMCG算法根据布尔图理论和Gestalt认知原则，用布尔图来描绘观察者对场景的即时理解。其思想是：对一幅输入图像I，首先利用颜色和梯度布尔特征图的拓扑结构线索，通过随机阈值化颜色和梯度特征通道分别产生颜色布尔图Bcolor（·）和梯度布尔图BGrad（·）；然后分别对颜色和梯度布尔图进一步处理生成视觉注意图A（B），激活那些具有闭合轮廓的区域；最后根据式（1）［4］融合一系列视觉注意图生成全分辨率的显著性图SA。

其中p（B|I）是图像布尔图的先验分布值。

算法的具体过程如图2所示，步骤如下：

（1）给定一幅图像I，通过随机阈值化颜色和梯度特征通道，计算得到颜色布尔图Bcolor=（Bcolor1，Bcolor2，…，Bcolorn）和梯度布尔图Bgrad=（Bgrad1，Bgrad2，…，Bgradn）。

（2）基于Gestalt前背景分离原则，计算每幅布尔图的视觉注意图Ai。

（3）将颜色和梯度特征视觉注意图融合，经后处理后输出显著性图S。

2.2颜色和梯度特征布尔图的生成

BMCG根据颜色和梯度特征通道的先验分布设置阈值，产生多通道布尔图：

图2　BMCG生成显著图过程Fig.2 Saliency map producing in BMCG

式中：C（I），G（I）分别为输入图像的颜色和梯度通道特征图；pC，pG，pθ，pφ分别为C（I），G（I），θ，φ的先验分布。若特征值大于阈值，则该通道像素值设为1；反之，则为0。阈值θ，φ是［0，255］上的均匀分布，任意阈值的累加分布函数F（θ，φ，Ichannel）相当于将255F－1（·）映射到每个特征通道上。给定一幅图像I，所选择的颜色空间和特征通道的先验分布很大程度上决定了布尔图的结构。颜色通道C（I）反映图像的全局信息，CIE Lab颜色空间能很好地以颜色之间的差异体现人眼感觉到的色差大小，视觉上具有良好的连续性，有利于形成良好的颜色通道特征图。将Lab颜色空间每个颜色通道归一化到［0，255］范围内，保证处理效果的一致性。将Lab颜色空间三通道在视觉认知上发挥等同的作用作为先验知识，枚举三通道值，并通过一个固定的步长δ来采样阈值θ将它们二值化，得到一组颜色布尔图C（I）=（Bcolor1，Bcolor2，…，Bcolorn），如图3（a）所示（由于选择阈值的随机性使生成多张布尔图，此处仅列出几张加以说明）。

由于颜色对像素方向、大小等变化不敏感造成闭合区域内目标的显著性值下降，而在图像梯度空间中，梯度反映了图像灰度最大的变化率，很大程度上反映出图像边缘上的灰度变化。运用这一性质，弥补颜色特征值的缺陷，分别在图像灰度空间和RGB颜色空间内使用［－1，0，1］的掩膜计算像素x、y方向的梯度gx和gy，对RGB颜色空间来说取最大的颜色通道梯度值作为该像素的梯度值。合并后形成的梯度特征图G（x，y）=d xi＋d yi=min （|gx|＋|gy|，255），通过φ阈值化形成一组梯度布尔值GRGB（I）=（Bgrad1，Bgrad2，…，Bgradn）。实验发现，在RGB颜色空间形成的梯度布尔图比灰度空间能够更好地提取出目标轮廓，因此生成RGB颜色空间内的梯度布尔图，如图3（b）所示。接着对C（I）和GRGB（I）进行反二进制阈值化，形成反颜色和梯度特征布尔图（I）和RGB（I），以防止阈值选取过高时漏检显著性目标，分别如图3（c）和3（d）所示。最后采用内核为ωd1的开运算去除特征布尔图内的噪声。

2.3视觉注意图生成

给定颜色和梯度特征的布尔图，BMCG基于格式塔原则的前背景分离理论计算视觉注意图：显著性目标很大程度上具有完整闭合的轮廓，而背景往往是无序的。颜色和梯度特征的布尔图中被包围区域是值为0或1的连通区域，具有完整闭合的轮廓，只有图像边界是缺少完整轮廓的。为计算视觉注意图，BMCG将被包围区域置为1，其余置为0，可利用flood fill算法快速掩膜出与图像边界连通的像素，保留具有闭合轮廓的部分，最终得到了一系列的视觉注意图｛A1（B1），A2（B2），…，Al（Bl）｝，如图4所示。

在多层视觉注意图融合之前先进行归一化处理以保留小的视觉注意区域。BMCG在其L2范数范围进行归一化处理，与L1范数相比较而言，L2范数对极小的显著性区域并不敏感，对融合过程产生较深的影响。为进一步惩罚具有小的、分散的显著性区域的视觉注意图，在归一化之前对其进行内核宽为ωd1的膨胀操作。

2.4显著性图生成

如何有效地融合图像信息一直是显著性检测中的关键问题，显著性检测模型常用的融合方法有均值、相乘、平方、最大值、对数法等，近年来，建立逻辑回归器、条件随机场等学习权系数进行融合的方法非常流行，但受训练数据的影响很大。总的来说，线性融合方法应用最为广泛，但融合结果与权系数的选择息息相关。文献［6］通过输入93维的特征数据和显著性得分学习融合器f（A1，A2，…，Al）=，运用最小二乘法化损失函数得到κm，它同时也采用平均线性融合方法进行融合，最后发现取得的效果和学习的融合器几乎没有差别。受此启发，充分考虑到生成的视觉注意图注意区域的互补性和数量的随机性，本文采用线性平均融合，最后生成的显著图如图5所示。

图3　生成的一系列颜色和梯度布尔图Fig.3 Generated Boolean maps of color and gradient

图4　生成的一系列视觉注意图Fig.4 Generated visual attention maps

图5　生成的显著性图Fig.5 Generated saliency map

3　仿真结果与性能分析

3.1显著性检测结果

为了验证BMCG模型检测显著性的有效性，在提供了人工标注的精确显著性目标的MSRA10K公开测试集上进行验证，在Pentium（R）Dual-Core CPU E5800 3，20 GHz，4 G内存的OpenCV运行环境下，对本文提出的BMCG算法以及当前流行的FT［7］、CA［8］、SR［9］、HC［10］、RC［10］、BMS［4］显著性检测算法进行了仿真研究，仿真结果如图6所示。图中第1列（左起）是输入的原图，第2列（Ground truth）是人工标记的结果图，再往右各列分别是BMCG、BMS、RC、HC、SR、CA、FT算法的仿真结果。

对比第2列人工标记的显著性目标可以看出：SR、CA只是检测出了模糊的显著性目标边缘。FT检测出的显著性目标显著性值与背景相近，难以分割出显著性目标。HC对高对比度的背景区域不敏感，如图6中第4和第6原图中，由于天空和大地之间的高对比度，HC检测效果图中亦将大地作为了显著性目标，增加了误检率。RC方法过度强调颜色纯粹的局部特征，如图6第3和第5原图中，由于显著性目标（国旗和标志牌）中颜色对比度较高，使得国旗中的蓝色和标志牌中的箭头显著性值大大降低，破坏了显著性区域的均匀性。BMS中颜色特征对像素方向等变化不敏感，降低了某些区域（如图6中第1图中的塔尖，第5，6图中标志牌的黄色区域）的显著性值，使得整个显著性目标变得不均匀。BMCG结合了像素颜色和梯度两种布尔图，像素梯度布尔值能弥补因颜色布尔值变化较小时引起显著性值降低的缺点（如图6中第1、2、5、6图），获得的显著图最接近人工标注的显著性目标的外观，检测出了高亮、均匀的显著性区域，而且其平均处理一幅图像耗时接近0.39 s，并不损害用户体验。

图6　不同显著性检测方法效果图Fig.6 Saliency maps generated by different models

3.2算法性能分析

为了进一步评估BMCG算法的性能，参考文献［10］提出的评估方式，通过精度（Precision）-召回率（Recall）曲线图以及精度、召回率、F-measure柱状图对算法的性能进行评估。精度反映的是被显著性检测模型判定的显著性目标中真正的显著性目标的比重，召回率反映的是被正确判定的显著性目标占总的显著性目标的比重。精度与召回率越高说明算法的显著性检测效果越好，但是，一般来说，精度与召回率不可能两全其美，高的召回率是以降低准确率为代价的。本文通过阈值化二值显著图产生的各种算法的精度-召回率曲线（PR curve）如图7（a）所示，由图7（a）可以看出，BMCG算法在保证71.98%的召回率情况下取得了88.01%的精度。

除了通过精度和召回率研究算法的性能之外，本文还通过计算F-measure的方法来评估，F-measure指数越高，效果越好。

其中β2=0.3以使正确率的权重高于召回率。

通过仿真得到的各种算法的精度、召回率、F-measure的柱状图如图7（b）所示。由图7（b）可以看出，相比较目前其他的流行算法，BMCG的效果最好，由图中可得到BMCG算法比BMS算法的召回率提高2.12%，准确率提高4.56%。

图7　各类显著性检测方法的PR曲线（a）和P-R Fβ柱状图（b）比较Fig.7 PR curve and P-R Fβbar of different models

4　结 论

本文根据Gestalt图形原则，利用布尔图理论，提出了融合颜色和梯度二值特征的布尔图显著性检测模型，充分利用了目标轮廓信息来进行前背景分离，像素的梯度布尔值的融入增加了颜色布尔值的方向变化信息，促进了轮廓检测的连贯性，检测出显著性得分高的区域；图像特征空间的处理都是布尔特征空间中的位操作，保证了检测效率。在MSRA10K数据库上的仿真结果表明该算法取得了好的检测性能，在保证71.98%的召回率下精度高达88.01%，得到的显著性全分辨率图可大大简化后续图像处理工作的复杂度。

［1］ ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transaction on Pattern Analysis&Machine Intelligence，1998，20（11）：1254-1259.

［2］ KIMCHI R，PETERSON M A.Figure-ground segmentation can occur without attention［J］.Psychological Science，2008，19（7）：660-668.

［3］ PALMER S E.Vision Science：Photons to Phenomenology ［M］.USA：The MIT Press，1999：233-240.

［4］ ZHANG Jianming，SCLAROFF S.Saliency detection：A Boolean map approach［C］//IEEE International Conference on Computer Vision.USA：IEEE，2013：153-160.

［5］ HUANG Liqiang，PASHLER H.A Boolean map theory of visual attention［J］.Psychological Review，2007，114（3）：599-631.

［6］ JIANG Huaizu，WANG Jingdong，YUAN Zejian，et al.Salient object detection：A discriminative regional feature integration approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA：IEEE，2013：2083-2090.

［7］ ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequencytuned salient region detection［C］//IEEE Conference on Computer Vision and Pattern Recognition.USA：IEEE，2009：1597-1604.

［8］ GOFERMAN S，ZELNIK-MANOR L，TAL A.Contextaware saliency detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，34（10）：2376-2383.

［9］ HOU Xiaodi，ZHANG Liqing.Saliency detection：A spectral residual approach［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis：IEEE，2007：1-8.

［10］ CHENG Mingming，ZHANG Guoxin，MITRA N J，et al. Global contrast based salient region detection［C］//2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2011：409-416.

Saliency Detection Based on Color and Gradient Boolean Features

PANG Ming-xue， YE Xi-ning， LING Zhi-hao
（School of Information Science and Engineering，East China University of Science and Technology，Shanghai 200237，China）

There exist non-uniform areas and low saliency score problems in image saliency detection. By analyzing the model of Boolean map based saliency，this paper proposes the Boolean maps of color and gradient based saliency model（BMCG）.According to Gestalt principle of figure-ground segregation，the Boolean maps with the topological structure are generated via the random threshold color channels and gradient channel.Furthermore，these Boolean maps are refined into the attention maps of visual and are linearly combined to generate the saliency map via post-process.The simulation results show that BMCG algorithm is better than BMS algorithm，improving the recall rate of 2.12%and precision rate of 4.56%.

Boolean feature；figure-ground segregation；visual attention

TP391.4

A

1006-3080（2016）01-0091-06 DOI：10.14135/j.cnki.1006-3080.2016.01.015

2015-04-13

逄铭雪（1991-），女，山东人，硕士生，主要研究方向为图像处理、机器学习。E-mail：mingxue_p@163.com

叶西宁，E-mail：yexining@ecust.edu.cn