背景与前景融合的RGB-D图像显著性检测*

赵 强，王爱平，刘政怡

1.安徽大学 计算智能与信号处理教育部重点实验室，合肥230601

2.安徽大学 计算机科学与技术学院，合肥230601

3.安徽大学 信息保障技术协同创新中心，合肥230601

1 引言

图像显著性检测是检测人类视觉中的明显物体，是计算机视觉中关键的预处理阶段。其通过关注显著目标以减少计算的工作量，被广泛应用在图像分割[1]、图像检索[2]、机器人场景识别[3]等领域。

近年来RGB 图像显著性检测方法发展迅速[4-5]，这些方法使用不同的视觉线索检测显著图，如颜色对比和边缘。因为颜色信息对人类视觉感官系统有天然的吸引力，作为先驱，Itti 等人[6]通过组合三个特征图来呈现显著图，包括不同尺度的颜色、强度和方向；Achanta 等人[7]检测的方法是通过每个像素颜色值的差值来计算的；在最近的工作中，文献[8]通过底层特征与深度卷积特征融合得到显著图；文献[9]利用深度卷积神经网络学习高级特征来解决显著对象检测问题并将低级特征结合到深层模型。以上算法都是针对2D图像进行处理，但显著性检测在3D视觉中也有切实的应用场景。

随着RGB-D图像的出现，深度信息逐渐被挖掘，人们利用颜色和深度信息自动定位人体感兴趣的物体，降低了视觉分析的复杂性，并将其作为一个重要的预处理步骤。对于RGB-D 图像显著性检测任务，如何获得具有判别性的深度特征是第一关键问题，早期作品主要集中在使用原始单维深度值或设计手工制作的功能。例如，文献[10]将颜色特征和深度特征结合在一起；文献[11]旨在确定包含深度线索的显著区域；文献[12]分别在图像级别和像素级别两个层面上融合显著图。虽然这些工作利用深度信息来改进显著性检测，但受限于深度信息发展有限，它们仍然存在一些共同的缺陷和局限，即深度信息被视为场景的独立测量，并且不与相应的低级特征线索相关联。

考虑到背景信息，越来越多的研究人员开始利用图像的边界区域来计算显著值，并取得了不错的检测效果。在文献[13]中，显著性检测被表述为排序和检索问题，背景查询则利用的是边界像素块；在文献[14]中，通过相关上下文计算区域的不相似性，实现局部对比度，该相关上下文被定义为一组基于外观的相似区域；在文献[15]中，显著图通过融合边界信息和颜色特征来完成；在文献[16]中，通过边界先验和自适应区域合并的方法来检测图像中的显著物体；在文献[17]中，在计算背景查询节点时，通过阈值去掉图像边界中的多余信息；这些模型都取得了不错的效果，但存在一个共性问题，默认边界部分不包含显著物体，在文献[18]中，Zhu等人通过背景先验及局部对比度加权来检测显著性，虽然考虑到显著物体可能存在于边界上，但置信度不高。基于上述几种方法对图像边界信息处理存在的问题，本文提出了改进的背景加权对比度。首先，通过边界连通性的差异来计算背景性，然后利用超像素之间的相似性和背景概率加权来估计背景图，这有效解决了物体可能存在于图像边界的问题。

受上述问题的启发，提出一种背景与前景相融合的RGB-D 图像显著性检测模型，同时将深度信息应用到不同特征线索中。本文主要贡献如下：

（1）在RGB-D图像中从背景和前景角度考虑，利用辅助的深度信息提高显著目标检测的精度，利用深度信息进行影响；

（2）在背景中，提出新的背景加权对比度，利用背景连通性、深度置信度得到背景种子，并与前景中结合多个低级特征得到的种子融合；

（3）在LFSD、NJU-400、NJU-2000 数据集上进行实验并与其他方法比较证明本文方法的杰出性。

2 本文方法

图1为算法的流程图，RGB图与Depth图作为输入进行预处理阶段，一并在背景与前景种子选择中发挥作用，在背景种子选择中利用边界连通性来量化显著区域与图像边界的连接程度，然后通过背景加权对比度得到背景种子，在前景阶段利用多线索先验选择前景种子，再通过融合方法得到初始显著图，最后进一步迭代传播得到最终的显著图。

2.1 深度图预处理

在计算机视觉中，深度图信息多应用于图像分割、目标检测、图片质量评估等领域。然而，深度传感器性能不足，从Kinect获得的深度图有一定的性能缺陷，所捕获的深度图像的深度缺失原因主要有两方面，一是测量的范围限制，另外一个原因是目标背景被其目标物体所遮挡，这样就导致红外发射器所投射的图案无法照射在背景区域上，且背景区域可能被另一个方位的红外摄像机捕获。因此，采用文献[19]提出的平滑深度邻域（smooth depth neighborhood，SDN）来帮助恢复RGB-D 图像的深度图，这可以很好地捕获对象的局部结构，保证支持中的像素来自像素深度值相似的同一对象，同时大大减轻了模糊深度不连续性伪影，SDN 形成平滑深度邻域联合双边滤波器（smooth depth neighborhood-joint bilateral filter，SDN-JBF）方法不仅填充深度图中的孔并校准RGB和深度图像组，纠正未对准的深度像素，平滑了图像噪声。平滑前后的深度图比较如图2（c）和图2（d）所示，图2（c）的飞机机头部分在轮廓上不够清晰，图2（d）深度图得到改善。

2.2 构造图

给定输入的RGB 图片，首先使用SLIC（simple linear iterative clustering）超像素分割方法[20]将图片分割成超像素，以超像素为基本单位是因为超像素比像素单元有更快的处理速度，更高的分割效果，以及更少的噪声影响。然后，构造无向连接图G=(V,E)，其中V代表节点集合，对应SLIC 分割方法产生的超像素，E是关联矩阵相邻节点加权的边集，结合深度线索，定义特征向量fc=[c,r]T。

Fig.1 Algorithm framework of this paper图1 本文的算法框架

Fig.2 Superpixel segmentation and depth map preprocessing图2 超像素分割和深度图预处理

其中，li、ai和bi分别代表RGB三通道中超像素i的颜色值。

其中，xi和yi代表超像素i的水平坐标和垂直坐标，di代表超像素i的深度值。

2.3 基于背景的种子选择

基于观察，显著物体一般出现在图像中心或附近，且显著区域与图像周围区域在外观上对比度很高，首先沿着图像边界计算边界连通性。然而，边界区域可能存在前景噪声干扰，对显著性检测产生负面影响。因此，提出了一种基于图像边界信息的背景测量方法，去除前景中的干扰信息，然后从边界超像素中选择背景种子。根据经验，图像中的背景和前景部分在空间布局上有所不同，也就是说，前景区域与图像边界的连接少于背景区域与边界的连接，背景测量为显著物体检测提供有用的信息。在RGB-D图像显著性检测工作中，深度对比度是主要特征，但是背景区域包含深度变化较大的区域，因此深度对比度提供的信息并不可靠。基于此提出背景加权对比度，同时融入深度信息，定义如下：

其中，mi,j代表两个超像素mi和mj之间的相似性，σ2是控制相似性强度的参数，λd是深度置信度[21]，用于评价深度信息的质量，定义为：

其中，md是整个深度图的平均深度值，CV是差异系数，H是深度频率熵，表示深度分布的随机性，λd越大，则深度图中的信息越好。

其中，ηbndcon=1 表示控制前景物体与图像边界连通性的参数，根据经验设置为1，且ηbndcon∈[0.5,2.5]时实验效果对此参数不敏感。因为显著目标与图像边界连通性较小，故引入边界连接[13]，定义为：

式中，Lenbnd(i)代表边界的长度，Area(i)代表超像素i的跨越面积。

2.4 基于前景的种子选择

背景概率加权和背景加权对比度是相辅相成的，因为它们分别表征背景和目标区域。然而，两者仍然相对嘈杂。将前景种子选择的显著图与背景度量方法生成相对清晰的显著图融合，根据经验，显著区域在空间域中具有紧密的扩散，而背景区域的颜色在整个图像上具有更大的扩散。另外，深度值表现出有限的紧凑性，即显著区域的深度值更可能在图像中心附近集中分布。基于上述，定义了颜色先验、深度先验、位置先验三个线索来检测显著图，并计算每个超像素的显著值。

2.4.1 基于颜色和深度的先验

显著物体通常被背景区域包围，且在整个图像中，与显著区域的颜色相比，背景区域的颜色在整个图像中具有更大的扩散性，即在图像上表现出较大空间差异的颜色不大可能是显著物体，使用下面方法计算超像素i的颜色方差：

同样，超像素i的深度紧凑性定义如下：

其中，mi,j与式（4）相同，nj表示超像素j的像素数，bj表示超像素j的质心坐标，μi表示图像的空间均值，p表示图像中心的空间位置。

2.4.2 基于位置的先验

图像中心附近的物体对人们更具吸引力。因此，利用像素到图像中心距离的高斯分布来计算位置先验，定义为：

其中，θ代表位置高级先验控制参数。

通过上述，基于颜色、深度和位置的显著图计算方法定义如下：

考虑到图片中显著物体位置的重要性，在本文的模型中引入了对象度量[22]Obj(i)来评估属于对象的超像素i的概率。

2.5 显著图融合

多特征先验的显著性检测方法是有效的，但是存在一些限制，当显著区域与背景相似时，可能会影响检测偏差。但前景种子图和背景种子图在空间和结构上有互补性，因此融合前景图和背景图以获得令人满意的初始显著性图，将融合方法定义如下：

其中，α是平衡背景图与前景图的系数。

2.6 显著传播

虽然前面的工作获得的初始显著图效果足够好，但还是不能提供较完整显著对象，因此进一步优化之前的工作，使显著图更加完善。在初始显著图的基础上，利用元胞自动机[23]来迭代传播显著图。其中，每个超像素在元胞自动机中表示一个单元，在每一次迭代中，当前超像素显著值以相邻超像素特征相似性加权后的显著值来决定超像素的传播。因此，利用相邻超像素i和j基于颜色和深度线索的特征度量：

基于式（12），每个超像素的显著性值会随着相邻超像素的显著值进行迭代的传播：

实验中，m和n分别设为0.6和0.2，代表传播稳定性的参数，用于相邻超像素的加权：

使用方程式（12）生成的显著性映射Sini初始化显著性传播，传播迭代次数设置为20。

3 实验与比较

3.1 数据集和评估指标

在三个标准RGB-D数据集上评估所提出方法的性能：LFSD[24]、NJU-400[25]和NJU-2000[26]。这三个数据集都提供了手动标记用于评估显著物体的基本事实。采用三个标准来评估方法的性能，即（1）P-R（precision-recall）曲 线；（2）F-measure 值；（3）MAE（mean absolute error）。对于P-R曲线，使用0 到255之间的阈值对显著图进行二值化，并将二进制图与真值图GT（ground-truth）进行比较来获得P-R曲线，然后在P-R曲线上描绘所有显著图的平均精度和召回率，MAE是平均绝对误差，用以计算显著图与真值之间的误差。此外，还通过自适应阈值对显著图进行分割，使用F-measure作为评价显著效果的评价标准，F-measure定义如下：

其中，β2=0.3 代表控制查准率和查全率的权值。查准率（Precision）表示正确检测的显著物体与完全显著物体的百分比。查全率（Recall）表示正确检测显著物体的完整度与完全显著物体的百分比。

3.2 实验环境及性能比较

本实验使用Matlab（R2014b）编写，配置参数在Intel i5-7500CPU（3.4 GHz）和16 GB RAM 台式机上进行。将本文方法与四种最先进的RGB图像显著性检测方法MR[13]、LPS[27]、BSCA[28]、SMD[29]，以及四种RGB-D图像显著性检测方法LBE[30]、ACSD[26]、DCMC[21]和SE[31]进行比较。

3.3 实验细节

在实验中，SLIC 超像素分割算法将图片分割成N个超像素块，初始分割数量设定为200个；σ2为控制相似性强度的参数，设定为0.1，实验性能表明接近于0.1 时，F-measure 值和MAE效果更好，高于0.1 或者低于0.1时数值呈现下降趋势；θ2代表位置高级先验控制参数，因为是像素到图像中心距离的高斯分布，且图像中心坐标为[0.5，0.5]，因此把θ2设为0.25；α设为0.2，代表平衡背景图与前景图的系数；m和n分别设为0.6和0.2，代表传播稳定性的参数。

3.3.1 LFSD数据集的评估

在LFSD 数据集上，与MR、BSCA、SMD、SE、DCMC五种显著性检测方法进行对比。在主观层面，图3中有树叶、卡通人物、扇子等物体，对于第三张图片，MR、BSCA、SE方法检测出来的结果，含有嘈杂的噪声，SMD、DCMC方法无法有效地去除图片中的多余信息，而本文的模型结果接近于真值图，表现优秀；对于最后一张图，其他的几种方法都会把显著区域的外围检测成显著目标，本文方法只检测出显著区域。

基于数据分析，图4为本文方法与其他方法比较的P-R曲线，表1给出几种方法的F-measure值、MAE值的比较，本文方法在P-R曲线和F-measure 两个评价指标上表现更好，且拥有更低的MAE值。

3.3.2 NJU-400数据集的评估

Fig.3 Comparison effect of six detection models on LFSD dataset图3 六种检测模型在LFSD数据集上的对比效果

Fig.4 P-R comparison curve of six detection models on LFSD dataset图4 六种检测模型在LFSD数据集上的P-R对比曲线

运用所提出的模型在NJU-400 数据集上生成显著图，并与MR、LPS、BSCA、SMD、DCMC、SE六种显著性检测方法进行比较。基于主观评价，图5中显示了部分显著实验图，其中包含人、卡通人物、动物和汽车等。对于第五张图片，LPS、BSCA 和SE 方法无法检测出恐龙的轮廓，而MR、SMD和DCMC等方法虽然检测出显著区域轮廓，但检测效果相当嘈杂，图片噪声大，相反本文的结果基本令人满意，提高了显著性检测的效果。

Table 1 F-measure andMAE scores on LFSD dataset表1 LFSD数据集上的F-measure、MAE 对比

基础数据分析，图6为本文方法与其他方法比较的P-R曲线，表2给出几种方法的F-measure值、MAE值的比较。很明显，本文方法不论是P-R曲线还是Fmeasure相比其他方法都表现出更好的性能，MAE值也显著降低。

Fig.5 Comparison effect of seven detection models on NJU-400 dataset图5 七种检测模型在NJU-400数据集上的对比效果

Fig.6 P-R comparison curve of seven detection models on NJU-400 dataset图6 七种检测模型在NJU-400数据集上的P-R对比曲线

Table 2 F-measure andMAE scores on NJU-400 dataset表2 NJU-400数据集上的F-measure、MAE 对比

3.3.3 NJU-2000数据集的评估

Fig.7 Comparison effect of seven detection models on NJU-2000 dataset图7 七种检测模型在NJU-2000数据集上的对比效果

对于NJU-2000，同BSCA、SMD 两种RGB 图像显著性检测方法及ASCD、LBE、DCMC 和SE 四种RGB-D图像显著性检测方法进行比较。同样基于主观评价，图7 显示了部分显著实验图，包含了人、物体、马、自行车等图片，其中BSCA 和SMD 两种RGB方法检测第九张图片中的信箱时，图像模糊，不能完整显示出轮廓；对于四种RGB-D图像检测方法，结果显示要么图形显示不完整，要么图片背景干扰了显著物体的形状。在第三张图片中，其他几种方法检测出来的人物受背景中其他人物的干扰过多，图片混乱，只能检测出人物的帽子，本文方法不仅能够更好地检测显著物体本身，并且在图像边缘细节部分的处理也更突出，并且远远好于其他几种方法。

基于数据分析，图8为本文方法与其他方法比较的P-R曲线，表3给出几种方法的F-measure值、MAE值的比较，本文方法在P-R曲线和F-measure 值上相比其他方法效果更好，MAE值也更低。

Fig.8 P-R comparison curve of seven detection models on NJU-2000 dataset图8 七种检测模型在NJU-2000数据集上的P-R对比曲线

Table 3 F-measure andMAE scores on NJU-2000 dataset表3 NJU-2000数据集上的F-measure、MAE 对比

3.4 实验结果分析

在本节中，对算法模型中的前景、背景、融合及迭代传播四个过程进行定量分析。为了公平性，实验的过程中只改变一个因素。通过图9 和表4 观察可得：（1）通过前景种子选择（Proposed-Fore）所得的显著图在P-R曲线、F值上效果并不是最优，MAE值也偏高，需要进一步的优化。（2）在背景方面，（Proposed-Back）得到的显著图与前景显著图融合后得到的显著图（Proposed-Fus），在数据上分析可得，F值和P-R曲线得到提高，MAE值也得到降低。实验证明，加入图像边界信息的背景测量方法在去除前景中的干扰信息时对检测前景的显著物体是有提升的。（3）融合后的显著图经过迭代传播（Proposed）在三个评价指标上得到了进一步的提升，效果也更令人满意。

Fig.9 Comparative analysis of algorithm modelP-R curves on LFSD图9 LFSD上的算法模型P-R曲线对比分析

Table 4 Comparison of algorithm modelF-measure andMAE on LFSD表4 LFSD上的算法模型F-measure、MAE 对比

本文将深度信息同时运用到背景与前景中，这在一定程度上增加了算法的复杂度，通过时间复杂度对比之后发现：本文算法较其他没有引入深度信息的模型，在时间消耗上较长一些，在未来的工作中需要进一步地优化算法的复杂度，但在检测效果方面，本文方法明显优于其他方法，并且检测效果具备有效性，提高了准确率。

4 结束语

本文提出了一种新颖的RGB-D图像显著性检测方法，在深度信息的基础上结合背景和前景两方面考虑，兼顾背景种子和前景种子，将它们融合得到初始显著图，加之迭代传播，使得显著性检测的结果有更高的准确度和召回率。并在LFSD、NJU-400 和NJU-2000 三个公开数据集上与八种方法进行比较，实验表明所提出的RGB-D图像显著性检测模型的有效性和杰出性。在未来的RGB-D图像显著性检测研究中，考虑在显著图中加入更深层次的特征，结合低级特征，以便进一步拓展图像显著性检测的研究。