融合区域对比与稀疏低秩的显著性检测

肖 锋，李茹娜，胡秀华

(西安工业大学 计算机科学与工程学院，西安 710021)

人类在观察世界时，会将目光集中在部分信息上，使感知具有选择能力.显著性检测正是在这种人类视觉注意基础上提出并发展起来的，通过捕获最吸引人眼兴趣的目标区域，以去除图像中的冗余信息，其在目标检测与识别[1]、图像分割[2]、图像检索[3]、自适应压缩[4]等领域有着广泛的应用.

在显著目标检测方法中，文献[5]提出的基于生物启发模型和特征整合理论的方法是最早的显著性计算模型之一，该方法不能得到全分辨率的显著图.人类视觉系统具有将事物组合成简单单元的倾向，随后研究者采用计算感知单元之间的对比度来度量不同特征的显著值.文献[6]通过计算以某像素点为中心的矩形区域与周围矩形区域的颜色直方图间的欧氏距离来表示显著性；文献[7]通过计算一个感知单元的颜色和亮度在不同邻域的局部对比度来实现多尺度显著性计算；文献[8]以图像块为基本单位，在多层次上结合局部特征和全局特征估计块的显著性，得到了较好的结果.上述使用图像均匀分块的方法存在问题，若块过小，不能体现出像素的结构特性，同时降低计算效率；若块过大，导致不同特征的像素划分到同一区域.这类方法得到的显著图更趋向于突出边缘特征，而非一致地强调整个显著目标.为了解决上述问题，越来越多的算法采用基于区域对比的方法计算显著性.文献[9]将基于图的分割算法运用到显著性检测中，在区域颜色对比度的基础上引入空间信息并结合基本元素大小来计算图像的显著性，可以一致突出显著目标，检测结果精度高且全面，但其缺陷在于过分依赖颜色特征，对颜色差别不大或高纹理图像得到的显著图中包含较多非显著信息；文献[10]提出一种基于多尺度超像素的显著性目标检测算法，在多尺度超像素分析的基础上，通过计算局部对比度和中心偏差，并利用贝叶斯增强的方法进行不同尺度融合，得到了高质量的显著图；文献 [11]将低秩表示(Low-Rank Representation,LRR)模型应用到显著性检测上，将一幅图像表示为低秩的背景部分和稀疏的显著部分，应用颜色、纹理等底层特征和高层的先验知识得到较好的效果.

文中拟提出一种融合颜色区域对比度与稀疏低秩的显著性检测方法，在超像素分割的基础上分别计算区域颜色对比度和纹理对比度，根据人类视觉注意力容易集中在中心位置，结合空间位置分布得到初始显著图，利用稀疏低秩分解来进一步抑制非显著信息，得到最终显著图.

1 显著性度量

文中提出的显著性检测方法主要步骤为：① 利用SLIC方法对原始图像进行超像素分割，得到轮廓清晰的超像素；② 计算分割后图像的区域颜色对比度、纹理对比度和空间位置分布，并将三者得到的显著信息进行融合得到初始显著图；③ 对初始显著图进行稀疏低秩分解来抑制非显著信息，以提高最终显著图的质量.

1.1 超像素分割

人类视觉关注的是图像中梯度变化较大的区域，传统均匀分块方法在一定程度上破坏了图像的边缘特征，超像素分割可以有效捕捉代表图像中层的结构化信息，大幅度降低后续对比度计算的复杂度.

SLIC(Simple Linear Iterative Clustering)[12]是一种采用聚合分类基本思想的算法，该算法将RGB彩色图像转换到CIELab颜色空间，利用亮度和有关色彩的两个分量以及XY坐标构成5维特征向量，通过梯度下降方法不断进行聚类，直到所有像素分类完毕.SLIC方法可以自由控制超像素数目，图1给出了将一幅大小为400*300的图像在3个不同尺度下进行超像素分割的结果，分割数目越多，计算越精细，但同时会增加计算量.文中将每幅图像分割为400个超像素，由图1中可以看出花瓣边缘信息保存完整，有利于显著性检测的后续操作.

图1 SLIC超像素分割结果图Fig.1 SLIC super-pixels segmentation results

1.2 颜色区域对比度

对人类视觉系统的研究表明，人眼对于周围物体颜色差异非常大的部分感知更为强烈[13]，因此，图像的显著性就可以由区域间的颜色对比反差来度量.CIELab颜色空间将亮度和色度分量分开表示，在Lab空间上计算的颜色距离符合人类视觉对不同颜色差异性的感知.

由于同一超像素内的颜色差异较小，计算超像素在Lab空间上的L、a、b平均值作为该超像素的特征描述，对于超像素pi和pj，它们之间的颜色差异定义为：

dcolor(pi,pj)=‖Im(i)-Im(j)‖

(1)

式中：Im(·)表示区域的颜色均值；‖·‖为两个超像素在CIELAB空间的欧氏距离.图2为获取显著图过程，其中图2(b)给出了通过区域颜色对比度得到的显著图.

除了颜色对比度之外，空间关系在人类视觉注意力方面也起到一定的影响，文献[9]提出相邻区域的高对比度比很远区域的高对比度更易导致一个区域引起视觉注意，即两个区域颜色相差越大，且平面距离越近，越容易引起视觉注意.

利用超像素的聚类中心来计算空间距离，将空间距离作为衡量区域颜色对比度的权重，得到区域的显著度为

(2)

(3)

其中N为超像素数目，dspace(pi,pj)为两超像素的聚类中心距离.σ2控制空间距离的强度，σ2越大，空间权重影响越小，文中σ2的取值范围为[0.3,0.6].图2(c)为引入空间距离权重后得到的显著图，可以看到显著部分得到了增强.

1.3 空间位置

人眼在观察图像时注意力由中央向周围递减，照相选景也总是将所关注的物体或部位放在取景器的中央位置，这表明图像的重要性一般是由中央向周围递减的.本文将图像区域位置信息引入到显著性检测过程中，通过计算超像素到图像中心的距离来度量显著性，距离越远，表示离图像中心的偏离程度越大，成为背景部分的可能性就越大，显著值就应该越小，距离越近则相反.空间位置显著值的计算方法定义如下：

sal2(pi)=1-‖Ci-Ccenter‖

(4)

式中：Ccenter表示一幅图像的中心位置；‖·‖表示某超像素聚类中心到图像中心的欧氏距离.图2(d)为根据空间位置得到的显著图，可以看到显著性由图像中心依次向周围递减.

1.4 纹理特征

纹理特征是一种不依赖于颜色或亮度的反应图像中同质现象的视觉特征.人类视觉系统对不同频率的信号和方向具有不同的感受，Gabor滤波器对于图像的边缘敏感，能够提供良好的尺度选择和方向选择的局部结构信息.

文中在4个尺度3个方向上采用Gabor滤波器响应得到12个图像纹理特征，然后将不同尺度的特征图取平均值得到3个不同朝向的特征图，再通过取平均值合并得到图像的纹理特征向量，由每个超像素的纹理特征向量构成矩阵T={t1,t2,…,tN}.纹理可通过相邻像素间的相关性来表示，基于前面的超像素分割，定义超像素间的纹理对比度为

(5)

式中：sal3(i)为超像素pi的纹理对比度；‖·‖2为向量的2范数；N为超像素的数目.

1.5 特征融合

在显著性检测中，不同特征可以从不同方面反映图像的显著性，通过综合考虑颜色区域对比度、空间位置、纹理特征后，将它们进行融合，以更好的适用于不同场景.将每部分得到的显著值都归一化到[0,1]，采用式(6)的融合公式，得到的显著图如图2(e)所示.

sal(i)=sal1(pi)*sal2(pi)*sal3(pi)

(6)

1.6 稀疏低秩分解

由图2(e)可以看出，初始显著图可以粗略的区分显著部分和背景信息，但显著部分中存在着部分非显著信息，本文采用稀疏低秩分解的方法来进行抑制，以提高显著图的质量.

在对图像显著性的先验假设中，显著部分的特征往往具有低规律性且冗余度低，可以进行稀疏表示；背景部分的特征冗余度高，其结构具有很大的相似性，可以进行低秩表示，这样对于一幅图像，可以将其表示为稀疏部分和低秩部分，即X=Z+E.一个矩阵数据可以被分解为冗余部分和稀疏部分，但当低秩矩阵和稀疏矩阵间有很强一致性时，矩阵分解性能下降，图2(e)得到的初始显著图中只含有少量非显著性信息，对其进行稀疏低秩分解，如下：

(7)

式中：P为输入图像矩阵;Z和E分别对应低秩部分和稀疏部分.由于这是一个NP-Hard的问题，需要将(7)式转化为如下优化问题，式(8)可通过增广拉格朗日(ALM)的方法进行求解.

(8)

式中：X为初始显著图，XZ对应于图像背景冗余部分；E为图像的显著部分；‖·‖*为矩阵的核范数，即矩阵所有奇异值之和，‖·‖2,1为矩阵的L2,1范数.λ为平衡低秩和稀疏两部分的系数，实验中取λ=0.01.经过低秩矩阵分解得到的最终显著图如图2(f)所示，花上方的背景信息得到较为明显的抑制.

2 实验结果与分析

为了验证文中算法的效果，在国际上公开的MSRA数据集上随机选取1000张图片作为测试集进行实验，该数据集提供了由人工精确标注的显著性区域(Ground Truth)供评价使用.在实验中，采用主流的数据评价方式全面的评价文中算法.

2.1 主观评价

将文中方法与GB[14]、SR[15]、LC[16]、FT[17]、CA[8]、RC[9]6种比较流行的显著性检测方法进行比较，从数据集中挑选7幅图像来进行对比实验，原始图像及各种方法的实验结果如图3所示.

图3 7种显著性检测算法比较结果

基于人眼的主观感受，由图3显著性检测结果可以看出，GB和SR算法能标识出显著目标的位置，得到的显著图边缘轮廓较模糊.LC和FT由于其方法的单一性，对于个别图像检测效果较好，但不能有效排除背景中的干扰信息.CA算法检测效果类似于GB算法，但相比于GB能明显突出显著目标边缘，且含有较少的背景信息，但不能完全突出图像中的整个显著性区域.RC算法能够一致突出整个显著性目标，但这种方法过分依赖于颜色，对于背景复杂或颜色差别不大的图像检测效果欠佳，比如图3中第六、七幅图像.相比之下，使用本文算法得到的检测结果和ground Truth最相近，对于第六幅那种背景复杂的图像，我们的方法仍然能够突出整个显著目标，同时抑制背景信息，产生更加合理的显著图.从主观视觉效果角度来看，本文算法要优于其他六种传统经典算法.

2.2 客观分析

实验一 不同几种算法平均准确率、平均召回率和F-measure值比较以及PR曲线比较.对实验结果进行定量评价，使用文献中的查准率P(Precision)和查全率R(Recall)两个指标[18]来比较各种算法所生成的显著图与基准图的差异，采用F-measure[19]值来综合两种评价标准，使两者之间保持均衡，各指标计算公式如下：

(9)

(10)

(11)

式中：Sd为算法检测得到的显著区域；Sg为基准；β用来确定精确率对于召回率的重要性，一般设置β2=0.3使得精确率略高于召回率.

为了更加直观有效地反应显著性检测结果，采用自适应阈值分割方法对得到的显著图进行二值化处理，计算得到精确率、召回率和F值三个指标如图4所示.使用固定阈值对显著图进行分割得到精确率-召回率(PR)曲线如图5所示.

图4 不同算法的Precision、Recall和F-measure值

图5 不同方法PR曲线对比

文中算法的精确率、召回率和F-measure值分别为90.81%、87.63%和90.06%.从图5中看出PR曲线最靠近右上方，在相同召回率的情况下，相比其他几种算法具有更高的精度，表明文中算法的检测结果优于其他几种对比算法.

实验二 颜色区域对比度中空间距离权值系数σ2对实验结果的影响如图6所示，文中使用式(11)的F-measure来测试σ2变化时对实验结果的影响.当σ2=0.4时，F-measure取得最大值，检测结果最佳；当σ2>1时，其变化对算法影响较小，此时相当于空间距离权值在区域颜色对比度中没有起到作用；当σ2<0.3时，空间权值对实验结果的影响较大，会导致得到的显著图只有一小部分.每幅图像的显著部分占整个图像大小的比例不同，结合图6，当空间距离权值系数σ2的取值范围位于[0.3,0.6]时，F-measure取得较大值，且较稳定.

图6 F-σ2曲线

实验三 比较基于颜色区域对比度特征的显著性结果、融合三种特征后的显著性检测结果以及经过稀疏低秩分解后的显著性检测结果，得到相应PR曲线如图7所示.

图7 PR曲线

由图7可知，采用多特征融合(曲线2)比基于单个颜色区域对比度(曲线1)的方法提高了算法的准确率，在经过稀疏低秩分解(曲线3)后，由于部分非显著信息被抑制，使得算法的准确率有了进一步的提升.

3 结 论

文中针对现有显著性检测算法在突出显著目标的同时对背景非显著信息抑制效果不佳的问题，提出一种采用区域对比度和稀疏低秩分解相结合的方法，该方法将多种特征融入显著性区域检测方法中，生成更加符合人类感知的显著图；采用稀疏低秩分解去除初始显著图中的背景信息，使得文中方法在处理背景较复杂的图像上，改进效果明显，得到更高质量的显著图，有利于场景与图像的进一步分析与处理.

实验结果表明，与其他6种算法相比，文中算法在精确率、召回率和F值上都有所提高，相比于检测效果较好的RC算法，F-measure提高了2.78%.然而，如何对不同尺度下的场景图像互补以及复杂场景下多目标检测仍然是需要研究的问题.