基于区域显著性与稳定性的小目标检测方法

吴泽俊，赵彤洲

武汉工程大学计算机科学与工程学院，湖北 武汉 430205

小目标检测（small target detection，STD）不同于一般视距目标检测与识别，其难点是在远视角下缺乏丰富的特征信息。STD通常只含有少量的像素点，光电仪器工程师协会（society of photo-op⁃tical instrumentation engineers，SPOIE）从成像角度定义STD的空间像素总量小于80像素［1］。STD的研究对象可以分为斑状目标、小扩展目标、斑状目标与小扩展目标的杂波。一般情况下，小目标被淹没在噪声和背景杂波中，使小目标检测更具有挑战性［2-4］。

近些年，学者们专注于研究红外小目标检测。由于小目标远距离成像，时空信息、背景特征、目标与背景之间的联系成为STD的研究重点。因此关于STD的研究策略主要分为4大类：先检测后跟踪［5］、目标增强［6］、背景抑制、前景分离［7］。先检测后跟踪型的方法一般通过处理多帧图像来估计目标，这需要大量的先验知识，因而其计算量较大。前景分离兼具目标增强与背景抑制的优势，一般采用对比方法。受人类视觉机制的启发，对比方法运用了小目标的局部差异和全局稀缺性特点，广泛应用于显著性检测。类似于红外小目标，彩色小目标也具有如下性质：类点状、低熵、局部一致性、中心环绕对比度差异。在理想情况下，可将上述性质应用于稳定性检测，提取稳定性特征。

在区域稳定性的检测方法中，最大稳定性极值区域（maximally stable extremal region，MSER）方法［8］采用相似性度量准则得出多个稳定阈值检测稳定性区域，但其结果仍然存在很多虚警。关于区域显著性方法中，频域协调（frequency tuned，FT）方法［9］将目标颜色全局稀缺性与高斯差分滤波相结合提取显著性区域，但并不是所有的目标都具有全局稀缺性，目标与背景颜色相仿时检测效果很差。关于稳定性与显著性相结合的方法中，区域显著性和区域稳定性（regional stability and saliency，RSS）方法［7］优于其它单模型方法，但是仍然存在虚警和目标丢失［10-11］，其明显的问题是无法检测边缘的小目标［12］。受RSS的启发，本文提出一种基于区域显著性与稳定性的小目标检测改进方法（regional saliency and stability enhance⁃ment metrics，RSSEM），该方法可显著改进 RSS算法对边缘检测的不敏感性，并且降低了强杂波的干扰。本文主要工作为：第一，在稳定性特征提取阶段，针对候选连通区域提取过程导致的边缘信息缺失问题，采用白像素边界预处理方法，使边缘小目标信息不丢失；第二，设定多级阈值形成二值图像加快稳定特征的提取过程，并提出增加新的统计量优化RSS中的相似性度量标准，提高稳定性特征提取精度；第三，集成显著性特征和稳定性特征进一步提高小目标检测效果。

1 区域显著性和稳定性方法

1.1 图像灰度化的显著性特征提取方法

根据人眼视觉机制［13-14］，远景小目标信息量少，之所以能被人眼观察到，是因为小目标在一定区域内具有显著性［15］。本文的图像区域显著性特征定义为图像中每个像素点在区域范围内的相对显著值。显著性特征提取过程见图1，将彩色图像输入后，首先将图像灰度化，再利用高斯高通滤波提取显著性特征，最终得到图像的显著性图矩阵MA，显著性图的每个像素值代表了该像素点的和谐度。

图1 提取区域显著性图的流程图Fig.1 Flowchart of extracting regional saliency map

在RSS［7］中为了便于图像显著性特征提取，进行了颜色空间转化即将RGB转化为LAB。而本文直接对RGB图像灰度化，该方法在简化图像信息的同时保留了图像的显著性特征，其显著性特征提取结果能达到与RSS方法基本一致的结果，且能显著提升特征提取速度。在随后的高斯高通滤波过程中，将灰度图像表示为矩阵G，经过高斯高通滤波器ω滤波得到Gω，最后对结果归一化后得到显著性图矩阵MA。其变换过程见公式（1）所示：

式（1）中，滤波操作的滑动窗口大小为 3σ×3σ，标准差σ=min(W,H)/σs，W和H分别代表图像的宽和高，参数σs为降低权重的幅值。

1.2 多级阈值分割的稳定性特征提取方法

1.2.1 多级阈值分割过程 通过对小目标的几何变化规律进行研究以更加准确地描述小目标区域，并提出用统计量方法作为小目标区域稳定性度量准则。区域稳定性特征是指图像目标区域在二值化时具有的几何与统计不变特性。区域稳定性提取过程如图2所示，第一步：对图像预处理，具体为对灰度图像进行白像素边缘填充，使图像边缘的小目标成为连通区域；然后采用多级阈值对图像进行二值化处理，获取连通区域集合。第二步：设计稳定性度量准则提取稳定性图矩阵MT。本文提出的白像素边缘填充预处理方法能解决边缘小目标无法成为连通区域的问题（即导致文献［7］方法无法检测出边缘小目标），使稳定性特征提取方法对边缘小目标敏感。

图2 提取区域稳定性图流程图Fig.2 Flowchart of extracting regional stability map

1.2.2 稳定性度量过程 在二值图像矩阵B中，由像素值1构成的连通区域r具有5种基本结构描述特性：1）区域大小 ||r；2）几何中心像素点c；3）最小外接矩形框b；4）填充率f；5）连通区域的宽高比a。

由于小目标具有局部一致性，因此在稳定性度量中Lou等［7］对上述连通区域的5种基本结构描述进行比较运算，得到4种稳定性度量准则，即面积变化、中心距离、填充率差异、宽高比差异。在此基础上，为了提高边缘检测能力，本文提出了用面积方差作为稳定性度量的标准，如公式（2）所示。用面积方差作为区域稳定性二次后验的新标准，能解决由于采用不连续的多级阈值造成区域漏检而导致的区域不稳定问题。

式（2）中，r i是在阈值i下子图的目标区域，集合R'由r i组成（i∈[ϑ-δ,ϑ+δ]），card(R')是集合R'的基数，δ是阈值的间隔，ϑ为阈值，以及mT是区域面积的平均值，计算方法如公式（3）所示。注意当目标连通区域在某阈值下不存在(|ri|=0)时需要调节阈值的范围。

稳定性度量分为两个部分：稳定性区域聚类和稳定性区域二次后验。文献［7］的稳定性区域聚类只采用了中心距离的相似性度量准则，在白像素边缘填充预处理后容易产生大区域覆盖小区域的问题，最终在小目标检测过程中导致小目标丢失。而本文在稳定性区域聚类中利用面积变化和中心距离两种相似性度量标准，使阈值分割后产生的连通区域能按类别聚集，具体过程为：设多级阈值分割后的二值图像序列中连通区域集合，若存在连通区域r i⊆R和r j⊆R，设间中心距离为，其面积变化为。定义中心变化阈值Φr和面积变化阈值Δc，若，则区域ri、r j为同一簇。 Δc和Φr定义见公式（4）～（6）。

式（4）中，br iw表示区域r i的宽、br ih表示区域r i的高。

其中，φr表示区域ri、r j间选取的合适区域大小，Δr为权重系数，ts表示小目标的大小。

为了进一步验证稳定性区域的可靠性，减少最终的小目标检测误差，本文给出了稳定性二次后验方法。具体过程为：设同簇连通区域中通过填充率差异和宽高比差异得到稳定性候选区域r，r经过OTSU阈值分割得到阈值ϑ；设阈值间隔参数为δ，则区域r的阈值集合为R'={ri,…} ，r i为区域r在阈值i下的连通区域，i∈[ϑ-δ,ϑ+δ]，且 |r i|≠0；于是利用公式（2）定义的面积方差准则对区域r进行度量，即设有参数 Δd，若，则二次后验判定区域r为稳定区域。

1.3 背景滤波的显著性与稳定性特征集成方法

RSS［7］在显著性与稳定性特征融合过程中利用稳定性区域的显著性平均值作为提取小目标区域的阈值，但在白像素边缘填充预处理后该方法对小目标的检测漏检率高。为了提高检测效果，本文融合显著性图与稳定性图，并利用先验知识进行背景滤波，完成小目标检测，如图3所示。其过程为：设显著性图矩阵MA，稳定性图矩阵MT，则集成图矩阵为M=MA⋅MT，若存在连通区域r⊆MT，其在原灰度图矩阵的对应区域为rgray⊆G，设V=maxrgray，同理，连通区域r在集成图矩阵的对应区域为rintegrate⊆M。设D为强噪声滤波阈值，若V≤D且区域rintegrate的最大显著值为集成图矩阵M的最大值，则连通区域r即为小目标区域。

图3 集成方案流程图Fig.3 Flowchart of integration scheme

图4 为集成模型与非集成模型的检测结果，所有模型都有白像素边缘填充处理过程。图4（b）为输入图4（a）的真值，图4（c）和图4（d）分别为图4（a）的显著性图和稳定性图，结果表明若仅用显著性特征与稳定性特征中的一种特征作为小目标的检测特征（即采用非集成模型进行检测），背景杂波较多影响检测结果。图4（e）为RSS方法，其受强杂波干扰，部分小目标出现漏检，但在图4（f）中用集成模型RSSEM通过第二步可有效滤除强杂波。

图4 集成模型与非集成模型的检测效果：（a）输入图像，（b）真值，（c）显著性图，（d）稳定性图，（e）RSS，（f）RSSEMFig.4 Detection effect of integrated and non-integrated models：（a）input image，（b）ground truth，（c）saliency map，（d）stability map，（e）RSS，（f）RSSEM

2 结果与讨论

2.1 度量标准与参数分析

本文实验采用数据集RSS［7］的3个子数据集。运行平台为matlab2018b，CPU为Intel Core i7-5500U。性能指标包括精确度P、召回率R、P和R的调和值F。若检测的结果与真实结果重叠超过50%则判为检测成功。检测指标包含4种参数：1）小目标检测为小目标（true positive，TP），出现的总次数标记为DTP；2）小目标检测为杂波（false negative，FN），出现的总次数标记为DFN；3）杂波检测为小目标（false positive，FP），出现的总次数标记为DFP；4）杂波检测为杂波（true negative，TN），出现的总次数标记为DTN。相关定义如式（7）～（9）：

该模型RSSEM的参数包括小目标大小ts，二值化阈值间隔δ，面积变化阈值 Δr，高斯低通滤波标准差σs，面积方差阈值 Δd，背景杂波阈值D。在数据集RSS上各参数的最优值选取实验结果如图5，根据平均F值的结果，相应参数设置分别为：δ=16，D=150，ts=100，Δr=0.2，σs=30，Δd=30。

2.2 实验结果

本文比较了3种显著性特征提取方法的运行速度，如表1所示。第一种方法是对原始RGB图像进行高斯高通滤波；第二种采用文献［7］中RSa方法实现从RGB到LAB的颜色空间转换，再对LAB图像进行高斯高通滤波；第三种是本文方法先将彩色图像灰度化，再进行高斯高通滤波。结果表明在数据集RSS上本文方法的平均运行速度比RSa快2倍，比用原图直接检测速度略快。本方法速度快的原因是灰度图像为单通道图像，只经过一次高斯高通滤波，而彩色图像为三通道图像，需要经过3次高斯高通滤波。

图 5 RSSEM 的参数分析：（a） t s ，（b） δ ，（c） Δr ，（d） σs ，（e） Δd ，（f） DFig.5 Parameter analysis of RSSEM：（a） t s ，（b） δ ，（c） Δr ，（d） σs ，（e） Δd ，（f） D

表1 三种显著性方法的运行速度比较Tab.1 Comparison of running speeds of three saliency methods ms

图6为在数据集RSS上采用本文方法的检测效果。图6（a）、图6（c）分别为数据集 RSS的两个输入样本图像，图6（b）和图6（d）为其对应的检测结果。本文方法RSSEM通过白像素边缘填充，解决了边缘小目标不易检测或丢失的问题［如图6（b）所示］。本文方法在3个数据集上与其它同类型集成模型进行了比较，如表2所示。实验结果表明本文方法RSSEM在精确度、召回率、F值方面均优于4 种集成方法，即“MSER+FT”［7］、“MSER+RSa”［7］、“MSER+RSa”［7］、RSS［7］方法。特别是在数据集 1中本文方法在3个性能指标上都具有显著优势，由于数据集1中图像存在尺度变换，因而本算法在一定程度上适用于多尺度小目标检测。

图6 RSSEM检测效果：（a）输入图像，（b）图（a）的检测结果，（c）输入图像，（d）图（c）的检测结果Fig.6 Detection effect of RSSEM：（a）input image，（b）detection result of image（a），（c）input image，（d）detection result of image（c）

表2 集成方法效果比较Tab.2 Effect comparison of integration methods

3 结 论

针对RSS无法检测边缘小目标和无法滤除强噪声导致的目标易丢失与虚警率高问题，本文提出了一种基于区域显著性和稳定性增强的小目标检测方法。其中采用边缘填充法使边缘小目标由非连通区域变为连通区域，利于处理边缘小目标，并采用阈值滤波滤除了部分边缘强噪声。RSSEM利用小目标的内在特性实现背景分离，比较适用于小目标检测，实验表明本方法能降低小目标检测的漏检率和虚警率。虽然RSSEM的实际效果在一定程度上有所提升，但由于整个过程中增加了较多约束条件，该算法无法满足实时性要求，下一步的工作重点是优化约束条件以提高运行效率。