基于优化查询的改进显著性检测算法

王慧玲, 宋鑫怡, 杨 颖

(阜阳师范大学 计算机与信息工程学院, 安徽 阜阳236037)

0 引 言

图像显著性检测即模拟人的视觉注意机制, 从一幅图像中找出最重要的目标区域, 并为图像的后续处理提供更有效的信息, 其结果应用在很多领域, 如图像分割[1-2]、 物体识别[3]等。 显著性检测算法通常分为局部显著性检测与全局显著性检测。

Liu 等[4]利用条件随机场融合图像的显著性特征从背景中分离出显著性物体。 Ma 等[5]提出基于局部对比度和模糊增长模型相结合的方式进行显著性分析。 Goferman 等[6]利用图像上下文信息获得最终的显著图, 该方法在利用图像局部颜色对比度的基础上, 结合高层语义信息提高检测的效果。 局部对比度方法在边缘特征的提取上能获得较好的结果, 但常忽略图像全局特征。

全局对比度方法利用图像的全局结构特征计算其显著性值, 可均匀地突出整个显著性目标。 Zhai 等[7]利用当前像素与其余像素的差异定义像素级的显著性。 Achanta 等[8]计算当前像素与整个图像的平均色差得到显著性值。 Cheng 等[9]提出同时考虑空间关系和特征对比度, 以获取显著性的直方图加速算法。

相较于基于对比度的全局算法与局部模型, 近些年利用图模型进行图像的显著性检测也获得了很好的检测结果。 Jiang 等[10]对图像进行超像素分割, 利用吸收马尔可夫链进行显著性检测。 Zhang等[11]将图像边界的超像素块作为背景计算基于种子点的流行排序, 构造显著图。 但此方法将单层图像的4 个边界作为背景的假设过于理想化, 当显著性物体大部分接触图像边缘时, 会造成检测结果不完全。

为此, 笔者提出一种改进算法。 在传统的流行排序算法检测出的显著性结果基础上, 根据自适应阈值分割, 挑选出更优化的种子点, 以提高算法检测的准确率。

1 经典的基于图的流行排序算法

经典的基于图的流行排序算法流程如图1 所示, 其基础是图构型的构建。

图1 MR 算法的流程图Fig.1 Flow chart of MR method

给定图像X 的点集X={x1,x2,…,xn} ∈Rm×n, 构建基于X 的图模型G =(V,E), 其中V 是顶点集,E 是边集。 设xi为查询点, 则yi=+1, 否则yi=0, 构成y =[y1,y2,…,yn]T。 排序函数如下

2 改进算法

笔者从优化查询的角度对算法进行优化, 利用MR[11](Manifold Ranking)算法的结果作为查询, 提高种子点选取的准确率。 其流程图如图2 所示。

图2 笔者算法流程图Fig.2 Flow chart of our method

2.1 抽 象

为了充分利用图像中层信息, 对原始图像进行超像素分割, 在保持相对结构的同时抽取不需要的信息, 每个元素在局部范围内聚集具有类似属性的像素成为同一区域。 超像素[12]分割算法比较符合人类的视觉感知, 并且包含较少的冗余。 笔者使用SLIC(Simple Linear Iterative Clustering)算法作为图像中层信息的特征提取提供的空间支持, 将其划分为均匀且紧凑的多个超像素块, 且分割数量从原算法的200调整为300, 超像素分割结果如图3 所示。

图3 超像素分割结果图Fig.3 Result of super-pixel segmentation

2.2 优化种子点选取

MR 算法在计算显著值时, 仅将图像边界处的节点作为背景种子点, 因此背景种子点选取直接影响后续两个阶段的显著值计算。 笔者在对图像进行超像素分割的基础上, 利用传统的流行排序算法计算第1 阶段的显著性检测结果, 利用自适应阈值获取对应图像的种子点如下

分割结果对比如图4 所示。

图4 2 种算法前景种子点对比效果图Fig.4 Foreground saliency maps of two methods

从图4 可以看出, 笔者算法选取的前景种子点更准确, 也有利于最终显著性检测结果准确率的提高。

2.3 生成最终显著性图

对式(1)求导, 使其结果为0, 得到关于排序函数的最优解, 使用非规范化的拉普拉斯矩阵, 优化后的公式为

图5 两种算法最终结果图Fig.5 Final saliency maps of two methods

根据式(3)分别计算基于前景与背景的显著性初始值Sf和Sb, 并对其进行归一化处理, 使归一化后的显著值在[0,1]之间。 笔者算法最终显著图如图5 所示, 从结果看出, 由于笔者算法优化了种子点的选取, 使图像检测的效果更优, 更趋向真值图。

3 实验结果

为客观评估笔者算法的结果, 在2 个标准数据集CSSD( Complex Scene Saliency Datase) 和ECSSD(Extended Complex Scene Saliency Datese) 上进行实验验证。 对比实验选用与笔者算法相关的8 种当前流行的显著性检测算法, 分别是: FT[8]( Frequency Tuned)、 CA[6]( Context Aware)、 RC[9]( Region-based Contrast)、 BS[13](Bayesian Saliency)、 IM[14](Information Maximization)、 SR[15](Spectral Residual)、 SF[16](Saliency Filters)、 MR[11]。

3.1 数据集

CSSD 数据集: 由200 幅包含场景的图像组成, 并有人工标记的真值图。 由于在其中有些图像目标混杂于背景或包含多个目标, 且目标间差异较大, 因此增加了显著性检测的难度。

ECSSD 数据集: 包含1 000 幅大小在480×320 像素左右的图像, 其中有些图像包含多个目标, 且背景较为复杂, 是被公认的十分具有挑战的数据集。

这2 个数据集均提供有精确标注的真值图, 有利于进行客观评价。

3.2 定量分析

为了客观评估笔者算法的效果, 笔者进行了2 个实验。

实验1 计算准确率-召回率(Precision-Recall)曲线。 依次选取0 ～255 为阈值, 对各算法获得的显著图进行二值化, 将二值化后的结果图与数据集提供的Ground Truth 进行比对, 计算相应的准确率与召回率。

图6a 为8 种显著性检测算法在CSSD 数据集上P-R 图, 从图6a 中可看出, 笔者结果优于经典的FT、CA、RC、SF、SR 全局显著性算法,也优于传统的基于图的流排序算法 MR 算法。 另外, 笔者算法也在ECSSD 标准数据集上对检测结果进行了验证, ECSSD 数据集是针对复杂场景图像的一个数据集, 实验结果如图6b 所示, 可见笔者算法的结果获得了更高的准确率。

图6 多种算法P-R 曲线比较Fig.6 P-R curves of different methods

实验2: 由于准确率PPrecision和召回率RRecall存在相互影响的情况, 因此, 通常对图像进行自适应阈值分割策略, 计算F-measure 衡量算法好坏的整体指标。F-measure 公式如下

在笔者实验的参数设置中,α2= 0.3,β2= 0.3, 强调准确率( Precision) 在计算结果中的占比。实验结果如图7 所示, 可见笔者算法获得更高的F-measure 值。

3.3 视觉效果分析

通过视觉效果在多种方法的实验结果可知(见图8), FT 方法能突出图像中具有特殊像素的区域, 但突出显著性区域不够完整。 HC 算法能突出图像中颜色对比度高的区域, 但会出现错误地将对比度高的背景识别为显著性物体。 CA 方法在显著性区域的边缘会产生高的显著值, 但显著性区域的内部却无法完整突出。 BS、 SR 和MR 显著性检测在完整性上有较大改进, 但对背景的抵制较差。 笔者算法能统一且均匀的突出整个显著性目标, 同时也更好地抵制了图像中的非显著性区域。 对于背景先验所产生的问题有很好的改善, 具有更高的准确率。

图7 多种算法F-measure 值比较Fig.7 F-measure histogram of different methods

图8 多种方法的显著图对比Fig.8 Saliency maps of different methods

4 结 语

笔者从优化传统基于图的流行排序算法利用图像边界作为查询点的情况, 提出一种改进算法。 在利用传统算法显著性检测结果的基础上, 利用自适应阈值对图像进行二值化分割, 选取更准确的查询点。并在CSSD 与ECSSD 数据集上进行复杂图像检测实验, 与8 种当前流行算法进行比结果表明, 笔者算法具有较优的性能。