基于局部对比度背景估计的红外小目标检测方法

赵骞，韩金辉，徐茂，陈园园

（周口师范学院 物理与电信工程学院，河南 周口 466001）

红外精确制导、红外预警、海上搜救等领域中，被测目标与传感器之间的距离通常很远。由于光学系统和焦平面阵列性能的限制，图像中目标通常仅占据几个像素且灰度值较小，容易导致较低的检测率[1]。此外，由于视野中树木、房屋、云层、海浪和其他随机因素的存在，原始红外图像中可能存在各种类型的复杂背景，例如高亮度背景[2]、背景边缘[3]和高亮度孤立点噪声(pixelsized noises with high brightness，PNHB)等[4]，给目标检测带来严重干扰，导致较高的虚警率。

在现有的红外小目标检测领域，研究者为实现高检测率和低虚警率，提出了多种检测方法，主要包括基于序列的算法和基于单帧的算法。基于序列的算法倾向于利用多帧之间的运动信息检测目标，因此即使目标在某些帧中被遮挡，仍可以取得良好的检测性能。但基于序列的算法通常有较大的计算量，在某些应用中无法满足实时性要求。基于单帧的算法仅使用单帧内的信息，因此常具有较快的检测速度。此外，基于单帧的算法可作为某些基于序列的算法的基础模块进行使用。本文正是基于单帧的检测算法的进一步的改进。

到目前为止，已有大量基于单帧的检测算法被提出，例如空域滤波[5]、频域滤波[6]、形态学滤波[7]、背景估计[8-10]和机器学习(包括监督学习[11]和无监督学习类型[12])等。但是，复杂背景下的红外小目标检测仍然是一个具有挑战性的问题。

近年来，研究人员发现人类视觉系统(human visual system，HVS)的一些特性，可在红外小目标检测中发挥巨大潜力。根据生物学研究发现，区分对比度是人类视觉系统最重要作用之一[13]。在红外小目标检测领域中，由于典型目标(例如飞机、导弹、卡车、坦克、轮船等)通常具有比其周围环境更高的温度，因此红外图像中的目标通常比其直接邻域要稍亮，即目标附近存在一定的局部对比度值。因此，基于局部对比度的检测算法通常可以获得比传统算法更好的性能。基于局部对比度的算法易于实现，并且具有较低的算法复杂度。

基于局部对比度的算法中的关键问题之一，是如何确定局部对比度的计算公式。研究者们已提出了许多种局部对比度定义，通常可以将其分为两类，即基于差值的局部对比度和基于比值的局部对比度[14]。基于差值的局部对比度算法通过计算当前位置与其局部相邻区域之间的灰度差，可以消除高亮度背景。此类型算法包括高斯函数拉普拉斯滤波器(Laplacian of Gaussian，LoG)[15]，高斯函数差分滤波器(difference of Gaussian，DoG)[16]，Gabor 函数差分滤波器(difference of Gabor，DoGb)和改进Gabor 函数差分滤波器(improved difference of Gabor，IDoGb)[17]，中心−四周累积差分度量(accumulated center-surround difference measure，ACSDM)[18]和基于多尺度块的对比度度量(multiscale patch-based contrast measure，MPCM)[19]等。其中一些算法更利用了局部的方向信息，以更好地抑制背景边缘，例如IDoGb、ACSDM 和MPCM。但是，如果目标非常暗，则目标与其直接邻域之间的灰度差将非常小，可能导致检测率较低。

基于比值的局部对比度算法将当前位置与其局部相邻区域之间的灰度比作为增强因子，用于对当前位置进行增强。此类型算法包括局部对比度度量(local contrast measure，LCM)[20]、改进的局部对比度度量(improved local contrast measure，ILCM)[4]、新型局部对比度度量(noval local contrast measure，NLCM)[21]和加权局部差异度量(weighted local difference measure，WLDM)[22]等。其中的大多数方法都利用方向信息来更好地抑制背景边缘。但比值型算法不能有效地消除高亮度背景，因为尽管高亮度背景的增强因子比较小，但如果其原始亮度远大于目标，其最终增强结果仍可能大于实际目标的增强结果，导致较高的虚警率。

概括来说，目前的局部对比度方法通常具有两个共同的缺陷。首先，现有算法在计算当前位置的局部对比度时，直接将当前位置的局部相邻区域作为基准背景值，但如果背景过于复杂，则该基准值可能不够精确，进而导致计算得到的对比度信息失准。其次，大多数现有的局部对比算法是单一的差值形式或比值形式，尽管一些研究者试图将两者结合使用以获得更好的检测性能，但相关研究并不充分。例如，ILCM 和NLCM 都是比值型的局部对比度算法，它们利用DoG 滤波器(差值型算法)作为预处理来首先消除高亮度背景，但是，这导致算法的结构变得复杂，任何环节出现错误都可能导致检测失败。其他多环节算法，例如LCM+LoG[23]、LCM+支持向量机(support vector machine，SVM)[24]和LCM+局部自相似(local self similar，LSS)[25]等，也具有类似的局限性。

此外，深度神经网络的应用也延伸到了红外目标检测领域。朱斌等[26]使用深度神经网络架构对红外与可见光双通道图像进行处理，以检测低空无人机目标；侯晴宇等[27]基于深度学习理论，提出了一种名为RISTDnet 的卷积神经网络；戴一冕等[28]将LCM 作为模块嵌入到卷积神经网络中。

本文在背景估计(background estimation，BE)的基础上，提出了一种新的最大均值背景估计算法。该方法在计算当前位置的对比度时，可以获得更准确的基准背景值。然后，将基于差值与基于比值的局部对比度相结合，在原始输入图像与估计背景之间提出比差联合局部对比度度量(ratio-difference joint local contrast measure，

RDLCM)，可增强不同大小的真实目标，同时抑制各种类型的复杂背景。在BE-RDLCM 计算得到的显著性图中，真实目标会被凸显出来，然后使用阈值操作即可提取目标。

1 问题描述

图1 给出了包含真实小目标的红外图像的例子，用以直观地说明真实目标和各种干扰之间的差异。图2 是图1 中所涉及的各种成分的三维局部分布，包括真实目标(以TT 表示)、普通背景(以NB 表示)、高亮度背景(以表HB 示)、背景边缘(以EB 表示)和PNHB。

图1 包含真实小目标的红外图像Fig.1 A sample of real IR image

在图2 中，可以看到红外小目标和干扰因素存在如下特点：

图2 各种成分的三维局部分布Fig.2 3D distributions of different types of components

1)真实目标一般会出现在平坦、均匀的背景区域中，并且通常比其直接邻域更亮，这是因为在大多数实际应用中，目标通常会更热。但是，目标位置的突出程度一般很小，有必要对其进行增强。另外，由于光学系统的点扩散特性[24]，真实目标通常具有一定的面积(很小，但通常大于1×1)，且从中心向四周均匀衰减，没有各向异性。

2)普通背景通常是较暗且平坦的，因此在灰度值和局部对比度方面都不突出。

3) 高亮度背景具有较大的灰度值(可能比TT 还大)，但内部的灰度分布较为平坦，因此在局部对比度方面不明显。

4)背景边缘的两侧灰度值不同，因此在两侧之间存在局部对比度信息。但是，背景边缘通常沿特定方向分布，这与TT 的方向特性明显不同。

5)PNHB 在局部对比度和方向特征上具有类似于真实目标的模式。但是，PNHB 通常是由随机因素引起的，并且它仅作为单个像素出现，这与真实目标明显不同。

2 双层均值最大化背景估计

从第1 节的分析可以看出，真实目标与其他干扰之间的最大区别是真实目标在局部具有一定的对比度，故基于HVS 的算法倾向于使用局部对比度来提取真实目标。局部对比度的本质是当前位置的像素值与其基准值之间的差异，现有算法通常直接使用当前位置的相邻区域作为基准值，但是，当背景复杂时，基准值可能不够准确，因此会给出不正确的对比度信息，从而导致检测性能较差。

针对上述问题，本文通过引入背景估计的思想，提出新的局部对比度计算框架。背景估计算法可以看作一种特殊的空间域算法，它通过对相邻区域进行合理的计算，来获得当前位置的估计背景，因此与直接使用相邻区域相比，会更加准确，尤其是在背景复杂的情况下。

到目前为止，研究者们已经提出了许多种背景估计算法，例如最大均值滤波、最大中值滤波[8]、二维最小均方差滤波(two dimensional least mean square，TDLMS)[9-10]等方法。应该注意的是，真实目标在面积、方向性等方面与其他干扰因素不同，因此在红外小目标检测领域进行背景估计时，需要注意两个问题，一是应当对目标进行遮盖，以便在真实目标及其估计的背景之间获得明显的差异；二是有必要考虑方向性信息，以便识别背景边缘。然而，现有背景估计算法通常未能兼顾这些问题。例如，TDLMS 算法在估计过程中使用了一个双层窗口。内层窗口用于遮盖小目标，外层窗口用于捕获背景，但是未使用方向信息，因此无法抑制背景边缘；最大均值和最大中值滤波算法利用了方向信息，但是没有针对小目标进行遮盖，因此真实目标及其估计背景之间的差异可能不够明显。

本文提出了一种新的最大均值算法来构造背景估计。该方法具有一个双层窗口，如图3 所示。半径为Rin的内层窗口用于遮盖小目标，因此其大小不应小于真实目标。半径为Rout的外层窗口用于捕获局部的周围背景，并且划分为8个方向，以利用方向信息来抑制背景边缘。H是Rin和Rout之间的差。显然，H越大，参与运算的有效像素将越多。但是，如果Rin和H太大，则外部窗口将太大，可能会引入更多的干扰。

图3 算法所使用的双层窗口结构Fig.3 Double-layer window structure used in our algorithm

对于位置(p,q)，第i个方向上的有效像素的均值定义为

式中：i=1,2,…,8 表示第i个方向；Ii，j是在第i个方向上的第j个有效像素的灰度值；H是内层窗口和外层窗口之间的宽度，如图3 所示。

然后，像素(p,q)的背景估计被定义为

式中：max()函数用于获取位置(p,q)的最大均值结果。

另外，有必要分析当(p,q)是不同类型的像素时的情况，如图4 所示。

图4 不同类型的像素时的BE 情况Fig.4 Cases for different types of pixels when calculating BE

1)如果(p,q)是真实目标TT，由于真实目标通常比它的近邻更亮并且从中心向四周逐渐衰减，因此可以很容易地得出：

此时B(p,q)将小于I(p,q)，即

2)如果(p,q)是普通背景NB，由于背景通常是平坦的，因此M(p,q)在所有8个方向上都接近原始灰度值I(p,q)，因此B(p,q)也将接近I(p,q)，即

3)如果(p,q)是高亮度背景HB，结论将类似于NB，即

4)如果(p,q)是背景边缘EB 并且在较亮的一侧，则M(p,q)在某些方向上可能小于I(p,q)，但在其他方向上将与I(p,q) 接近，因此最终的B(p,q)和I(p,q)将彼此接近，即

如果(p,q)在较暗的一侧，最终的B(p,q)甚至将会大于I(p,q)，即

5)如果(p,q)是PNHB，结论将类似于真实目标的情形：

从上面的讨论可以看出，在进行最大均值背景估计之后，TT 和PNHB 的估计值将小于原始灰度值，而NB、HB 和EB 的估计值将与原始灰度值接近，这将有助于在后续步骤中区分它们。

应该指出的是，本文所提出的最大均值算法与原始的最大均值算法[8]之间存在两个主要区别。首先，在本文算法中使用了双层窗口，其中内层窗口用于掩盖小目标，从而可以使获得的BTT和ITT之间的差异更明显。其次，该算法总共使用了8个方向，而非4个方向，因此该算法可以更好地利用方向信息。

对于给定的输入图像I，背景估计的计算过程为：1) 原始图像I,参数Rin,H；2) 构建参数为Rin和H的双层窗口，如图2 所示；3)按照从上到下，从左到右顺序滑动窗口，遍历整幅图像；4)根据式(1)和(2)计算每个像素位置的背景估计值；

5)按顺序保存结果，得到背景估计矩阵B。

3 比差联合局部对比度度量

背景估计完成后，在计算当前位置的局部对比度时，将以当前位置的估计背景为基准。

现有的局部对比度算法多采用差值形式或者比值形式，未能同时结合两者的优势。本文提出了一种在原始输入图像和估计背景之间的比差联合局部对比度测量方法，可以增强不同大小的真实目标，并抑制各种复杂的背景，无需预处理环节，从而使算法结构更加简洁。图5 给出了带背景估计的比差联合算法的整体流程图。

图5 基于背景估计的比差联合局部对比度度量算法流程图Fig.5 Flowchart of the proposed BE-RDLCM algorithm

首先，考虑到真实目标通常比其背景估计值更亮，并且面积大于1×1，为了增强真实目标，将(p,q)位置处的增强因子定义为

其中B(p,q)是根据背景估计方法得到的位置(p,q)的背景估计值，V(p,q)是原始图像中以(p,q)为中心的K个像素的平均灰度值，即

其中K为参与计算的像素数，计算方法为

然后，将位置(p,q)的比值形式局部对比度定义为

显然，当(p,q)是真实目标TT 时，由于真实目标通常比其直接邻域稍亮，因此有

这意味着真实目标得到了增强。

当(p,q)是NB 或HB 时，由于背景通常是平坦的，所以会有

其值小于真实目标的增强因子。

当(p,q)是EB 时，在较亮一侧可以得到

在较暗一侧则为

显然，无论在哪一侧，该值都比真实目标值小。

对于灰度值接近甚至稍大于真实目标的PNHB，将有

但由于PNHB 通常以单个像素出现，只要式(11)中的K大于1，根据式(13)，它的比值形式局部对比度值将小于TT 的值，即

由上述分析可知，比值型的局部对比度可以有效增强真实目标。但是，对于灰度值远大于TT的HB，虽然其增强因子值较小，根据式(13)，其增强后的值仍可能大于真实目标的值，即，

这可能导致检测率减低和虚警率上升。

为消除高亮背景，本文将比值形式与差值形式的局部对比度结合为一体，在原始图像与估计得到的背景之间，定义位置(p,q)处的BE-RDLCM定义为

对于给定的输入图像I，BE-RDLCM 的计算过程为：1)输入原始图像I、参数Rin、H、L；2)使用背景估计算法计算出B矩阵；3) 使用大小为(2L+1)×(2L+1)的窗口遍历原始图像；4)在每个像素位置根据式(11)和式(12)计算矩阵V；5)根据式(14)，在V矩阵与B矩阵之间计算每个像素位置的BE-RDLCM 值，可以得到矩阵D。

从前文讨论中可知，经过BE-RDLCM 计算后，真实目标将最为突出，而其他干扰因素都可以得到较好的抑制。因此，在本章中，使用一个简单的阈值操作来对目标进行提取。定义阈值为

式中：μ和σ分别是BE-RDLCM 矩阵的均值和标准差；kth是一个给定的参数，实验显示通常取2～8为宜。在BE-RDLCM 中，只有大于Th 的像素点被输出为目标像素点，其他像素点都被认为是背景。

4 实验与对比

使用6个包含小目标的真实红外图像序列(超过800 帧) 来检验算法的性能。具体内容如下：1)描述这6个图像序列的特点。2)分析讨论关键参数Rin、H和L的选择。3)对本文算法实际性能进行了检验，并将本文方法与若干当前主流检测算法进行比较。

算法实验的硬件环境为Intel Core i5 2.6 GHz处理器、8 GB 内存的计算机，软件环境为MATLAB R2016b。

4.1 序列特征

在实验中使用了6个具有不同背景类型和不同目标大小的真实IR 序列。图6 给出了每个序列的样本。表1 给出了不同序列的特点，例如帧数量、图像分辨率、目标编号、每个目标的尺寸大小等。从图6 和表1 可以看出，目标通常很小且暗淡，而背景则非常复杂，它们可能具有高亮度和复杂的边缘。另外，噪声也是降低图像质量的因素之一。

图6 实验样本Fig.6 Sample images

表1 实验序列特征Table1 Characteristics of different sequences

4.2 参数设置

对于关键参数的选取和优化进行讨论，例如用于背景估计的Rin和H，以及用于BE-RDLCM计算的K。

1)参数Rin和参数H

Rin决定了图3 中内层窗口的面积。由于内层窗口用于遮罩真实目标，因此Rin不应小于目标半径，否则估计的背景与原始值之间的差异将不够明显。

H是Rin和Rout之间的差。显然，H越大，参与运算的有效像素将越多，这意味着将更好地抑制随机白噪声。但是，如果Rin和H太大，则窗口面积将过大，容易引入更多的干扰，特别是如果目标在复杂背景附近时。

为了确保内层窗口可以全部或大部分遮盖目标，内层窗口的面积应接近红外小目标的典型最大值。根据文献[29]，在实际应用中，目标大小通常为5×5 至7×7，因此9×9 的内层窗口将足够，即建议将Rin设置为4。此外，为了在噪声抑制和干扰引入之间寻求平衡，建议使用H为3 或4。

2)参数K

式(11)和(12)中的K用于抑制亮度接近或略大于真实目标的PNHB，因此建议将K设置为大于1 的值，即L应大于0。但是，如果K太大，则真实目标也会被平滑，尤其是当目标区域较小时。为了寻找平衡，建议将K设为9(即L设为1)。

4.3 检测性能测试

为了检验算法的检测性能，图7 给出了使用本文算法对6个序列代表帧的检测流程和结果。

从图7 中可以看到，使用本文算法在6个序列的代表帧中均可成功检测出小目标，并且没有出现任何虚警。这证明了本文算法的有效性。

图7 本文算法对6个序列的检测流程与结果Fig.7 Processing and detection results for the six sequences using the proposed algorithm

4.4 与现有算法的性能比较

为了进一步验证所提算法的优势，实验中选择了6个主流算法进行比较，包括DoG[30]、MPCM[19]、ILCM[4]、NLCM[21]、WLDM[31]和RLCM[14]。上述算法中的参数值大多是取原作者推荐值。

图8 给出了算法比较的结果，此处使用了ROC 曲线作为衡量指标，其中虚警率(false positive rate，FPR)与检测率(rue positive rate，TPR)分别定义为

图8 不同算法比较的ROC 曲线Fig.8 ROC curves using different algorithms

式中：Ntotal为像素点的总数；Nfalse为虚警的数量；Ntrue为真实目标的数量。

从图8 可以看出：

DoG 的检测性能通常最差，因为它是一种差值形式的局部对比度算法，不能有效地增强小目标。此外，它没有利用方向信息，也无法区分背景边缘。

MPCM 也是一种差值形式的局部对比度算法，但是它采用多尺度检测，因此通常可以实现比DoG 更好的检测性能。但是，MPCM 无法在一些序列上有效检测，比如，序列2、序列4、序列5 等。

WLSM 是一种比值形式的局部对比度方法，可以有效地增强小目标，因此通常可以获得比DoG 更好的性能。但是，WLDM 在序列1、序列2、序列3 等序列上的性能不是很好。

ILCM 是一种两环节形式的比差局部对比度方法，因此它通常比单一比值形式或差值形式算法具有更好的性能。此外，在ILCM 中利用了方向信息来更好地抑制复杂的背景边缘。但是，ILCM 仍然无法在一些序列上有效检测，比如序列1、序列2 等。

NLCM 的情况与ILCM 相似，并且它们的性能在大多数序列中也相似。

作为一种新提出的多尺度局部对比度方法，RLCM 在大多数情况下都比其他算法具有更好的检测性能，因为它同时利用了比值运算和差值运算。但是RLCM 在某些序列上的性能不佳，例如序列5，这是因为RLCM 需要较大的计算区域(27×27)，因此在计算过程容易引入更多的干扰，导致算法不能给出正确的对比度信息。

本文所提方法由于引入了背景估计的思想，能够获得更精准的背景值。同时，比差联合的思想结合了两种运算的优势，可以在增强目标的同时抑制复杂背景。另外，算法的窗口大小也更加灵活，所需计算区域比RLCM 更小。因此，本文算法在6个序列中均可取得较好的检测结果，在所有对比算法中的检测性能位居前列。

4.5 抗噪声能力测试

噪声是影响图像质量和算法检测性能的关键因素之一，图9 给出了该算法在不同级别的随机噪声下的性能，以ROC 曲线作为衡量标准。6个序列均被测试，分别添加了方差为1、2、3、4 和5 的高斯白噪声。从图9 可以看出，在添加噪声后，本文算法性能仅略有下降，这意味着算法对噪声具有良好的鲁棒性。

图9 多种噪声级别影响下的ROC 曲线Fig.9 ROC curves under different levels of noises

5 结束语

本文提出了一种用于红外小目标检测的局部对比度新方法BE-RDLCM。首先，引入背景估计的思想，以得到更准确的基准背景值，并提出了一种采用双层窗口的最大均值背景估计算法。然后，在原始输入图像和估计的背景之间提出了一种比差联合局部对比度度量算法，在增强真实目标的同时抑制不同类型的复杂背景。对包含不同背景类型和不同目标大小的6个真实红外序列进行了实验，证明了该算法的有效性和鲁棒性。与现有的6 种主流检测算法相比，该算法在检测率和虚警率上均能取得较好性能，同时具有良好的抗噪声能力。本文的贡献可以总结如下：1)提出了一种新的局部对比度计算框架。在该框架中，引入了背景估计的思想，以当前位置的估计背景为基准值。该基准值用于计算当前位置的局部对比度，从而可以在复杂背景下得到更准确的局部对比度信息。2)提出了一种新的最大均值背景估计算法，该算法更适合于小目标检测。这里主要采用双层窗口，内层窗口用于遮盖小目标，外层窗口被分为八个方向以抑制背景边缘。3)在原始输入图像和估计背景之间提出了比差联合局部对比度度量。它可以增强不同大小的真实目标并同时抑制各种类型的复杂背景，而无需预处理。