一种结合先验知识和半监督学习的显著性检测方法

王祥雒，杨春蕾，刘中华，马华红

（1.洛阳师范学院信息技术学院，洛阳 471934；2.河南科技大学信息工程学院，洛阳 471023）

一种结合先验知识和半监督学习的显著性检测方法

王祥雒1，杨春蕾2，刘中华2，马华红2

（1.洛阳师范学院信息技术学院，洛阳 471934；2.河南科技大学信息工程学院，洛阳 471023）

图像的显著性检测被用来定位和提取能够获取人类视觉注意的图像区域。为了提高复杂场景下图像显著性检测的精准度，基于人类视觉注意的生物特性，位置优先、颜色优先和边界优先等高层先验知识作为查询被用于半监督学习的流形排序。通过流形结构描述的图像区域间的相关性，可得到图像各区域的显著性描述。实验结果表明，先验知识与半监督学习的结合可有效提高检测质量。

显著性检测；先验知识；半监督学习；流形排序

0 引言

随着计算机视觉系统的广泛应用，相关的识别与检测技术近年来不断快速发展，例如目标检测、目标识别与分类、图像检索等[1]。然而，越来越复杂的图像场景使得检测与识别算法的工作效率大大降低。如果能在图像中事先获得目标在图像中的大致位置，则大大缩减了这些计算机视觉任务的难度并加快处理速度。图像的显著性检测为上述目标提供了可靠的支持。图像的显著性是指图像中能够快速获取人类视觉注意的显著特性，通常来讲高颜色对比度、高纹理对比度、图像的中心位置、物体的形状特性等均可引起图像中某些区域的高显著特性。图像显著性检测算法的难度在于如何快速地检测出较为完整的包含目标的前景区域，自1998年Itti提出的第一个较为完整的显著性检测算法以来，研究者们已经探索出众多检测方法。这些方法主要分为两个方向：视焦预测（eye fixation predication）和显著目标分割（salient object segmentation），本文主要讨论第二个致力于检测前景区域的方向。

显著目标分割从算法流程上可以分为自底向上（bottom-up）和自顶向下（top-down）两种方法，自底向上的方法基于抽取的图像底层特征生成显著图，自顶向下的方法往往需要一些先验知识做引导。从对比方法上来讲，显著性检测主要考察图像区域（早期方法多以像素或像素块为单位）的局部对比度（local contrast）和全局对比度（global contrast），用来对比的特征主要是lab颜色和lbp纹理直方图，近年来，较为先进的方法会将这两种对比方式进行合理融合，融合后的效果一般均优于仅适用一种对比度的算法。

本文受前人研究思路的激发，提出一种结合了先验知识和半监督学习的显著目标检测方法。具体来讲，图像区域的位置先验、颜色先验和背景先验知识被首先计算出来，整合这三种先验知识可获得图像区域初步的显著性；参照杨川[2]等人在2013年提出的图流形排序检测方法，可构建图像各个区域的邻接图，并根据邻居区域间的特征关系计算出相应的邻接矩阵和度矩阵以获得图结构内部的流形特征；提取初步显著值较大的那部分区域作为半监督流形学习的查询，可获得更为精准和光滑的显著图。

本文提出的算法在公开测试集SED2[3]上进行了验证和对比实验，实验结果表明：结合了先验知识和半监督学习的显著性检测算法在具有一定复杂度的场景条件下显示出更好的检测性能。下文将着重介绍该方法的检测框架和实验过程。

1 显著性检测框架

1.1 图像过分割

为了在检测时尽量将特征属性相近的像素聚为一个紧致区域，我们采用了经典的Simple Linear Iterative Clustering（SLIC）[4]算法对待测图像进行过分割，根据前人经验，图像被分割为n个大小基本相同但形状不规则的图像区域，该区域被称为超像素。图像因此可被表示为：

其中，Ik为图像I的第k个超像素，k=1，2，…，n。以下步骤均基于超像素区域展开。

1.2 计算高层先验值

可以获得初步显著图的方法有很多，例如使用自底向上方法计算基于图像区域颜色或纹理的局部或全局对比度，但人类在注视图像时具有一定的主观意图，单纯的对比度计算可能不足以提供足够的线索。我们可以将这种无意识的主观意图解释为人类视觉的生物特性、视觉习惯，例如，人们习惯于首先注视处于图像中心的具有更鲜明色彩的区域，而处于图像边界的颜色灰暗的区域则容易被忽略。因此，我们选取了三种高层先验知识以生成初步显著图，即：位置优先、颜色优先和边界优先。

位置优先每个超像素的位置优先值为该区域中所有像素距离图像中心的平均值：

其中，pl（k）为超像素Ik的位置优先值（k=1，2，…，n），numk为Ik中所含像素的个数，exp（-d（xm，c）/）为像素xm距离图像中心的高斯分布距离。

颜色优先根据视觉生物学研究结果，人类更倾向于注视暖色调的区域，因此，在颜色优先计算中，我们参考了文献[5]提供的常规图像前景和背景颜色分布数据hS和hB，以计算每个超像素的颜色优先值：

边界优先根据文献[6]提供的方法，基于超像素间的测地线距离、跨区距离和距离边界的距离计算出每个超像素的边界优先值，记为pb（k）。

整合高层先验值使用最简单高效的元素点乘法（element-wised multiplication）整合三种先验知识，整合后的高层先验向量记为：

1.3 图流形排序

（1）半监督流形学习

给定一个数据集X={x1，…xl，xl+1，…，xn}∈Rm×n，令f: X→Rn表示一个映射方程，该方程可根据定义的数据间的相关性和提供的查询q=[q1，q2，…，qn]T，qk=1 or 0，（k=1，2，…，n）给出每个数据元素与查询直接的相关值。

那么，如果给定一个查询q，根据公式：

可得到所有结点与查询之间的相关值。

（2）构建图模型

参照文献[5]的构图方法，对于超像素Ik，每个与Ik相邻的超像素记为Ik的邻接点，同时，与Ik的邻接点相邻的超像素记为Ik的间接邻接点。Ik与其直接和间接邻接点之间均构建边，边的权值可通过上节中的仿射矩阵确定。

1.4 显著值及显著图的生成

图流形排序算法的排序结果对给定查询是非常敏感的，因此，提供合理的查询种子能够生成较为准确的排序值。令查询q=[q1，q2，…，qn]T被定义为：

其中，avg（hp）为所有高层先验值的平均值。将查询代入到公式（5），可得到所有超像素结点对该查询的相关度排序值，归一化后的相关度排序值向量被记为f=[f1，f2，…，fn]，超像素Ik将获得其显著值，将fk赋值给Ik所属的所有像素，可得到图像I的显著图S：

2 实验及结果分析

2.1 性能指标

2.2 实验数据及分析

为了说明本文算法的显著性检测效果，我们选用SED2[3]测试集做性能测试实验。该测试集中包含100张选自现实场景的图片，场景具有复杂、覆盖面广等特点，既包含目标突出的简单场景，更多地包含了复杂场景，复杂性主要体现在：前背景色调相融、目标结构异常、目标靠近图像边缘等，这些因素使得该测试集具备很强的挑战性。图1展示了本文提出的算法结果与其他经典算法结果的视觉效果比较，我们选取了显著性检测发展过程中出现的较为经典的算法参与对比，它们是SR[8]、FT[7]、MSS[9]、GB[10]、SF[11]、MNP[12]和GS[13]算法，同时也选取了近几年出现的性能卓越的RBD[14]、 SPLMS[15]、GBMR[2]算法比较视觉效果和检测性能。

图1 本文提出的算法与对比算法的显著图比较

图2和表1给出了这些对比算法在SED2标准测试集上的性能指标数据。

图2 本文提出的算法与对比算法的PR曲线比较

表1 本文提出的算法与对比算法的平均Fmeasure值比较

从图1中可以看出，本文提出的算法在多目标场景中能够检出易遗漏的小目标，在前背景色调相近的场景中能检出较为完整的目标区域，同时算法能够减少显著图中的噪声、保证较高的精准度。图2和表1反映出该算法在复杂场景下具有较好的前景检出能力。究其原因，主要在于：当流形结构确定后，流形排序的结果在很大程度上取决于查询，给定充足而精准的前景线索，可通过超像素之间的相关性获得较为完整的前景显著性表示。

3 结语

本文提出了一种结合了先验知识和半监督学习的显著性检测方法。该检测方法首先根据人类视觉生物特征提取并整合图像的三种高层先验知识，并将该线索作为查询提供给基于颜色特征构建的图模型作流形排序，流形排序的结果显示图像各区域的显著性。检测算法在公开测试集上的实验结果表明，本文提出的方法在复杂场景中具有较高的前景检出精准度和较强的抗噪性。

[1]Cheng，M.M.，Mitra，N.J.，Huang，X.，et al.Salientshape:Group Saliency in Image Collections[J].Vis.Comput.2014，30（4）:443-453.

[2]Yang，C.，Zhang，L.，Lu，H.，et al.:Saliency Detection Via Graph Based Manifold Ranking[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2013:3166-3173.

[3]Sharon，A.，Meirav，G.，Achi，B.，et al.:Image Segmentation by Probabilistic Bottom-up Aggregation and Cue Integration[J].IEEE Trans.Pattern Anal.Mach.Intell，2007，34（2）:1-8.

[4]Achanta，R.，Shaji，A.，Smith，K.，et al.Slic superpixels[R].2010.

[5]Shen，X.，Wu，Y..A Unified Approach to Salient Object Detection Via Low Rank Matrix Recovery[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2012:2296-2303.

[6]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[7]Achanta，R.，Hemamiz，S.，Estraday，F.，et al.Frequency-Tuned Salient Region Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2009:1597-1604.

[8]Hou，X.，Zhang，L.Saliency Detection:a Spectral Residual Approach[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2007:1-8.

[9]Achanta，R.，Susstrunk，S.Saliency Detection Using Maximum Symmetric Surround[C].In:17th IEEE Int.Conf.on Image Processing（ICIP），2010:2653-2656.

[10]Harel，J.，Koch，C.，Perona，P.Graph-Based Visual Saliency[J].Adv.Neural Inf.Process.Syst.2006，19:545-552.

[11]Perazzi，F.，Krahenbuhl，P.，Pritch，Y.，et al.Saliency Filters:Contrast Based Filtering for Salient Region Detection[C].In:IEEE Conf. on Computer Vision and Pattern Recognition（CVPR），2012:733-740.

[12]Margolin，R.，Zelnik-Manor，L.，Tal，A.Saliency for Image Manipulation[J].Vis.Comput.2013，29（5）:381-392.

[13]Wei，Y.，Wen，F.，Zhu，W.，et al.Geodesic Saliency Using Background Priors[J].In:European Conference on Computer Vision，2012: 29-42.

[14]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[15]Tong，N.，Lu，H.，Zhang，L.，et al.Saliency Detection with Multi Scale Superpixels[J].IEEE Signal Process.Lett.2014，21（9）:1035-1039.

A Saliency Detection Method Based on the Integration of Prior Knowledge and Semi-Supervised Learning

WANG Xiang-luo1，YANG Chun-lei2，LIU Zhong-hua2，MA Hua-hong2

（1．Department of Information Technology,Luoyang Normal University，Luoyang 471934；
2．Department of Information Engineering,Henan University of Science and Technology，Luoyang 471023）

Image saliency detection is used to locate and extract the image regions which can catch human visual attention．To enhance the precision of saliency detection in complex scenes,uses the biological characteristics of human visual attention,and fuses the location prior,color prior and boundary prior into the high-level prior knowledge．The prior knowledge is employed as the query to be offered to the semi-supervised learning based manifold ranking,and the relevancies between the regions are used to present the image saliency．The experimental results illustrate that the integration of prior knowledge and semi-supervised learning can effectively improve the detection quality of saliency maps．

Saliency Detection;Prior Knowledge;Semi-Supervised Learning;Manifold Ranking

国家自然科学基金（No.U1504610）

1007-1423（2017）11-0018-05

10.3969/j.issn.1007-1423.2017.11.003

王祥雒（1977-），男，河南洛阳人，硕士，研究方向为计算机视觉、模式识别

杨春蕾（1980-），女，河南开封人，研究方向为计算机视觉、模式识别

2017-01-18

2017-04-10