基于目标检索的RGB-D协同显著性研究

汪 蕊，刘政怡，李 炜

安徽大学 计算机科学与技术学院，合肥230601

1 引言

显著性检测一直是图像中较为热门的话题，目的是检测出一幅图像中最为突出的物体，这项研究在实际应用中也有广泛的应用，如图片检索[1]、图片分割[2-3]、图片质量评估[4]。在过去的众多年间显著性检测的模型[5-10]已经在很多公共数据集上达到了非常好的效果。协同显著领域就此进入广大科研者的研究的领域，和以往的单幅图显著性检测不同，协同显著检测[11-13]意在检测出一组图片中都有且是显著区域的部分。协同显著区域具有两种性质：（1）协同显著区域在单幅图中应该也是显著的；（2）在一组图内的所有协同显著区域应该是相似的。和单幅图显著性检测相比协同显著检测是一个更有挑战性的研究。协同显著性研究已经广泛地应用于计算机视觉方面，譬如协同前景分割[14]、协同目标定位[15]、图片检索[16]。

目前现有的协同显著检测方法都是针对于RGB 图片的，然而针对RGB-D 图的协同显著检测还是很缺乏，深度信息没有被很好地应用进协同显著检测的过程中，它能够补足低层特征无法达到的优势，由于深度图片质量不能保证，因此在本论文中为了将深度特征更好地融入显著检测的过程中，引用了AIF[17]中的DSP[17]根据深度图的好坏可适应地对深度信息加以利用。对于协同显著检测而言，找到协同显著的物体部分很重要，目标检索是计算机视觉的四大基本任务之一，目标检索的任务是在一幅图片中尽可能搜索出图像中某一块存在目标，BING[18]是一种优异的目标检测方法，它提出了一种速度快且检测准确的目标检测算法，为每幅图片产生1 000 个候选框，及每个框包含物体可能性的大小。目前还没有人在RGBD 协同显著检测区域使用目标检索方法来提高显著分类准确率，使用目标检索可以挑选出更为准确的显著种子。

在过去的大多方法中，大部分算法都是利用低级特征进行协同显著检测，如Cong等人在AIF[17]中提出了利用颜色，深度等特征加上循环迭代来进行协同显著；Fu等人在CB[19]提出聚类后利用各种低层特征对比得到最终显著图；这些方法都是利用低级特征且所有超像素都参与到协同显著分类过程来进行协同性判断，由于低级特征的局限性无法对物体边缘进行细化，协同显著的结果会受到影响。因此提出利用VGG-16[20]网络第二层接出的64 维特征来进行协同性判断，再加以优化得到最终结果。

2 方法

本文主要实现由四部分组成：预处理、目标检索框的产生、协同显著值的计算、协同传播及优化。图1 为算法的流程图。单幅显著图做初始显著图作为输入的一部分，再加入RGB 图、深度图一并输入，通过DSP 得到更加准确的初始显著图加以融合。利用BING 中的目标检索方法对RGB 图产生目标物体候选框得到种子超像素，再通过协同显著判断方法得到协同显著图，最后进一步传播优化得到最终的显著图。

2.1 预处理

为了更加精确地利用深度图从而产生更准确的初始显著图，所以在进行处理之前，先利用AIF中的DSP将及Di有权值的结合产生更加优秀的显著图并和由OM 方法初始显著图进行平均融合产生显著图Sf再进行后续处理：

视觉对比图如图2所示。

2.2 目标检索

图1 算法流程图

图2 初始显著优化视觉对比图

BING方法通过训练通用的对象估计方法来产生一组候选对象窗口，能够加速传统的滑动窗口目标检索方法。为了找到图像中的一般对象，扫描一个定义好的量化窗口（依据尺度或者是纵横比）。每一个窗口通过一个线性模型w ∈R64获得得分：

sl代表过滤器得分，gl代表NG特征，l 表示坐标，i表示尺度，(x,y)表示窗口位置。因此定义最终的窗口目标得分为：

vi,sl为不同尺寸i 的窗口，所得到不同的独立学习系数，窗口目标得分即其包含物体可能性的大小。

在协同显著检测的任务中，协同显著部分往往是一组图内的每张图都有且最为突出的一个物体。在本论文中，利用BING 中的目标检索方法，能在较快速度内为每幅图片产生可能包含所有突出物体的1 000 个窗口，且按窗口目标得分ol的大小顺序排列，由于协同显著检测的目标往往只有一个，所以在这1 000 个窗口中挑选出前15 个最有可能包含目标区域的作为种子框，将包含在种子框中并且在显著图中的显著值大于阈值T(T=0.45)的选为种子超像素，经过实验发现，由种子框挑选出的超像素可以全面地涵盖所有显著区域及筛除一部分背景区域，阈值的筛选可以更准确地挑选出更加准确的协同显著物体部分，利用本文的准则判断被选中超像素之间的协同相似度，从而得到优质的协同显著图。

2.3 协同显著值判断

利用上个阶段得到的超像素，可以挑选出每幅图片中最有可能是显著部分的种子超像素，但显著部分不一定是协同显著区域，所以需要相应的协同显著判断准则对显著部分进行挑选从而得到协同显著部分。

2.3.1 特征相似度

两个超像素越倾向于为协同显著区域，则超像素之间的特征也会越相似。因此引入特征衡量准则，超像素特征之间相似度的衡量为特征相似度。特征相似度定义如下：

以超像素64 维特征中的第一、二维特征为例，将两个超像素对应的一、二维特征代入公式（2）得到特征相似度Sc。此处为超像素的64 维特征，α2经实验所证取0.01。

2.3.2 深度相似度

在深度相似度衡量的部分，引用AIF 的深度相似度衡量方法，其中包含有深度值一致性，和深度对比一致性，定义如下：

其中，Wd是深度一致性度量：

而Wc是深度对比一致性：

Dc为：

2.3.3 显著值相似度

若目标物体为一组图片的显著物体区域，则在一组图片中该物体区域之间的显著值差也不会大，由此引入了显著相似度：

最终的协同显著值计算如下：

由于进行的是协同显著检测，因此需要判断一个超像素在每张图片中都出现的可能性，这里也引用了AIF中的公共可能性Pc：

2.4 协同传播及优化

由于在种子的选择中，会尽可能选择更有前景可能性的超像素，在此过程中一部分前景种子会被遗漏，因此利用传播算法恢复部分前景种子，将每幅图利用MR[24]得到的所有背景超像素的特征f 进行平均得到每张图的平均背景值fb，再根据2.3 节中得到的协同显著图，求出所有前景超像素的特征平均值fa。

Sc为超像素之间的特征相似度，利用该方法进行传播可以得到更加全面的协同显著种子，从而得到精准的协同显著图。

为了得到更加优质的显著结果，采用元胞自动机对协同显著图Sa进行进一步优化，将Sa与元胞自动机的结果进行平均融合得到最终的显著图，视觉对比图如图3所示。

图3 协同传播及优化视觉对比图

3 实验结果

本文提出的方法在一个RGB-D协同显著集上被评估，与四种经典的协同显著检测方法进行对比。数据集、评价指标及四种经典方法的介绍将在这部分给出详细说明。

3.1 实验环境及数据集

本实验使用Matlab（R2016a）编写，所有程序均在配置参数为Intel i5-7500CPU（3.4 GHz）和16 GB RAM 台式机上进行的。为了公平评价，所有对比的算法显著结果均来自作者提供的公开显著图或代码。本文在公开的一个RGB-D协同数据集上进行实验，为RGBD Cosal150数据集。RGBD Coseg150数据集是从RGBD NJU-1985数据集中收集的21组图片集包含一共150张图片，数据集中的图像有对应的手工标记真值图以及相应的深度图。

3.2 评价指标

本实验采取两个评价指标：分别是P-R曲线（Precision-Recall），F-度量值。查准率（Precision）表示正确检测的显著目标与完全显著目标的百分比。查全率（Recall）表示正确检测显著目标的完整度与完全显著目标的百分比。当Precision 和Recall 两者值同时越大，表明算法的效果越好。但两者之间存在制约关系，Precision 大时，Recall 通常较小，反之亦然。因此，采用F-Measure 权衡两者之间的关系，其定义如下：

其中β2=0.3为常数，用来控制查准率和查全率的权值。

3.3 与各种经典算法的对比

本文与四种算法在RGBD Cosal150 数据集上进行比较，分别是CB、AIF、EMR[25]、MKB[26]、CB 是基于颜色特征聚类的方法，整合了对比、空间和一致性线索的显著检测方法；AIF 是基于加模式和减模式下的迭代优化协同显著检测方法；EMR 通过两个阶段的种子进行排序再加以融合；MKB 为多核集成算法，根据弱显著图生成强显著图。

数据集上的比较。图4 为本文算法与其他经典算法的P-R 曲线。表1 中给出了本文方法及经典方法的F-Measure 值，可以看出本文方法无论是P-R 曲线还是F-Measure相比于经典算法都表现出更加优异的性能。

图4 不同算法在RGBD Cosal150数据集上的对比结果

表1 本文方法与四种经典方法的F-Measure对比

3.4 模型分析

本文提出的RGB-D 协同用显著检测算法使用了分别由HCA 算法和OM 算法得到的单幅图显著图，本文方法与初始显著图的优化对比如图5，表2 中为所有初始显著图F-Measure 对比，最终得到的初始显著图F 值较HCA 与DSP 结合相比较低，但从P-R 曲线图中可以看出最终显著图具有相对而言更高的查准率，因此依然选用平均融合方法得到初始显著图。再将目标检索作用于每张图片上，只选择目标检索结果框中的超像素作为候选超像素，能够去除一部分背景超像素的影响，且在此过程中根据优化的初始显著图，在候选超像素中通过显著图大于T（T 经实验证明选择0.45）更新候选超像素选择更加准确的协同显著种子进行协同显著值判断。由于种子选择过程中会丢失小部分前景超像素，本文方法添加协同传播方法恢复该部分前景超像素，在视觉对比图3 中可以看出其效果，再利用元胞优化进一步提升显著质量。该部分被证明有效，各个部分的对比如图6 所示，表3中给出了协同传播部分及元胞优化部分对比的F值。本文方法和经典方法的视觉对比如图7所示。

图5 初始显著图优化对比结果

图6 协同传播及优化对比结果

表2 初始显著图优化的F-Measure对比

表3 协同传播及优化的F-Measure对比

图7 视觉对比图

4 结束语

在本文中，DSP 的使用可以使得深度信息被更好地利用，加上利用目标检索作用于选出协同显著的种子，同时应用了高层特征，可以更好地反应超像素的信息来进行显著检测，加上协同传播，这可以使得协同显著检测的结果更加精准。在RGBD Coseg150 数据集上与四种方法进行比较，结果显示了本文算法的有效性和优越性。