改进时空滤波的红外弱小目标检测

樊香所，范锦龙，文良华，徐智勇

〈图像处理与仿真〉

改进时空滤波的红外弱小目标检测

樊香所1,2，范锦龙3，文良华1，徐智勇4

（1. 宜宾学院智能制造学部，四川 宜宾 644600；2. 广西科技大学，广西土方机械协同创新中心，广西 柳州 545006；3. 国家卫星气象中心，北京 100081；4. 中国科学院光电技术研究所，四川 成都 610209）

为了有效解决动态背景变化导致弱小目标检测率低的问题，文中提出了改进时空滤波的红外弱小目标检测算法。首先在分析红外图像成像特性的基础上，针对目标区、背景区和边缘轮廓区不同梯度特性的差异，提出改进的各向异性空域滤波算法，该算法充分利用空间域的梯度信息来构建不同方向的扩散滤波函数，并结合图像不同特性的梯度差异选取扩散函数值最小的两个方向的均值作为时域滤波结果，以最大限度地保留目标信号；接着为有效增强弱小目标的能量，针对高阶累积量仅利用像元点时域信息来构建能量增强的不足，提出了一种结合时空邻域块的能量增强算法，实验表明，本文提出的算法能有效提升动态场景下的弱小目标的检测能力。

弱小目标；改进各向异性；能量增强；目标检测

0 引言

为了有效减少背景和动态噪声对弱小目标检测的影响，需要先期进行预处理工作，以增强弱小信号的提取能力。当前常用的预处理方式主要分为3种，背景建模法、图像奇异点分析法和基于机器学习的估计法。背景建模法主要是采用背景估计算法来预测图像的背景成分，紧接着将估计出的背景图与原始图像作差分运算，经过上述处理后获取的差分图像仅包含有目标和少量噪点，达到去除大部分背景干扰的目的。这类算法包括二维最小均方（Two Dimensional Least Mean Squre，TDLMS）[1-2]滤波，改进Top-Hat[3]和双边滤波[4]等。图像奇异点分析法是当目标经过图像时会对图像原有的背景特性造成“灰度扰动”，通过寻找“灰度扰动”所形成的“奇异性”来实现图像预处理，如严高师等人通过建立图像邻域区域的奇异性表征函数来计算目标与背景不同组分的奇异差异，实现目标与背景的分离[5]；连可等人通过计算邻域局部灰度极大值来寻找图像中奇异点，并将灰度极大值与预设阈值进行比较，达到检测目标的目的[6]。上述的背景建模法和奇异点分析法对于平稳变化或是静止的背景，检测效果较好，但对于动态变化的背景，由于目标受外场环境的干扰，导致虚警率较高，检测效果不好。为提升动态场景下的目标检测能力，研究学者借助于机器学习的估计法从场景中获取数据对模型进行训练，这类方法主要利用一些数学模型将目标检测问题转化为模式分类问题，主要包括主成分分析法[7]、混合高斯模型[8]、低秩表示法[9]、红外图像块（Infrared patch image，IPI）模型[10]等。如Oliver等人提出的主成分分析法，先利用PCA来获取训练数据的特征向量，然后将测试数据投影到特性向量中获取背景成分，实现最终目标的检测，当场景随着光照的变化引入较多动态成分时，检测效果不佳；Bouwmans等人提出混合高斯模型，该算法需从场景数据中获取训练样本来估计模型的参数，当受到噪声干扰或光照变化快时，模型参数难以适应动态背景估计；低秩表示法和红外图像块模型需要获取场景数据进行参数训练，当场景发生变化时，预先训练的参数难以应对动态场景的变化，使得检测结果中具有较多的噪点，加上远距离成像，目标被各种噪声杂波淹没，图像中目标的形状和纹理特征并不明显，难以形成有效的特征来支撑对模型的训练，这增大了构建训练模型的难度。

针对上述检测方法存在的问题，文中提出了改进时空滤波的弱小目标检测方法。首先考虑到各向异性滤波方法在面临动态场景具有良好地检测结果[11]，将其引入文中，并对其进行改进，文献[12]仅利用空域范围内的4个不同方向的梯度差来构建扩散函数，并求取4个方向的均值作为差分结果，这样处理导致扩散函数难以区分边缘轮廓区与目标的差异，导致差分图中难以去除这部分边缘轮廓区，文中深入分析图像各个组分在空域4个方向的梯度差异，通过构建改进各向异性差分滤波来获取差分滤波结果，这样将极大程度地保留图像中的目标信号；其次，经过上述差分滤波后，仅有效保留目标信号，为进一步增强目标信号，提出了一种结合时空邻域块的能量增强算法，该算法采用像元块的邻域信息来建立一种新的结合时空信息的能量评价模型，以弥补高阶累积量仅利用单个像元点进行能量增强的不足，提升了弱小信号的检测能力。

1 改进各向异性空间滤波

图像一般由3部分构成，即背景+目标+非平稳边缘轮廓区（噪声）。从图1中分析发现，图像中不同组分在不同方向的梯度差异较明显，背景成分的中心块与4个临近方向的梯度差异较小，目标成分中4个方向的梯度较大，边缘轮廓部分中处于平稳区域到非平稳区域的过渡地带的方向梯度差异较大，其余方向梯度差异较小。因此可结合图像不同组分的差异，对图像进行差别化处理，可有效保留目标成分。

图1 图像中不同组分的梯度差异

为了获取图像中的目标信号，利用文献[12]提出的各向异性扩散函数来进行滤波处理，具体公式如下：

式中：Ñ为图像中不同像元位置的梯度；为常数，一般取100；1(×)和2(×)为两个不同的扩散函数。

文中通过结合扩散函数来构建目标在4个不同方向的梯度差，实现差分滤波，具体表达式如下：

其中，为输入图像；DU，DD，DL和DR是指以(,)为中心的上、下、左、右4个不同像元的梯度差；是像元移动的步长。根据4个不同方向的梯度差来建立各向异性滤波算法，具体如下：

式中：(,)表示像元点的坐标位置；¢(,)为滤波后的结果。

分析发现，文献[12]的各向异性扩散函数仅采用单个像元的信息来构建4个方向的梯度差异，将导致空域范围内的信息利用不够充分，难以区别目标点和噪声点；同时仅简单地利用4个不同方向的均值作为滤波后的结果，当图像位于非平稳边缘轮廓区域时，4个不同方向中至少有两个方向的扩散系数较大，如仅简单地计算4个方向的均值，致使位于目标区域中的像元和非平稳轮廓区域中的像元扩散结果值差别不明显，差分滤波后将难以去除非平稳边缘轮廓区，导致差分图中留存有大片的边缘噪点，对后续分割提取目标点造成很大的干扰。为了减少虚假噪点对弱小目标检测的影响，本文针对文献[12]的各向异性滤波算法的不足，提出了相应的改进思路：首先采用空域范围内的梯度块来构建4个方向的梯度差，进而依据图像各个组分的梯度差异来建立4个方向的扩散函数，并通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，获取最终的滤波结果，上述处理将很好地去除图像的背景和非平稳边缘轮廓区，极大限度地保留目标成分。目标在4个不同方向的梯度差，如下式：

式中：DU，DD，DL和DR是指以中心块为中心的上、下、左和右4个方向图像块的梯度差；×为空域的范围大小；和为空域×的坐标位置；fix()为邻近取整函数。

根据上述分析，改进各向异性差分滤波表达式如下：

式中：min1和min2分别是4个方向中扩散函数值最小的两个参数，采用这两个参数的均值对图像进行差分滤波，可有效去除图像的背景区和边缘轮廓区。

2 结合时空邻域块的能量增强算法

文献[13]指出，序列图像经过差分滤波后，从时间域上来分析经过差分处理后获取的序列差分图可看作是零均值的高斯过程，这样可借助于高阶累积量理论将差分图中检测弱小信号的问题变为从高斯噪声中分解出非高斯信号成分，以实现目标信号与噪声的分离[1]。因此，可借助于高阶累积量来实现弱信号的检测。文中依据高阶累积量理论对差分图构建相应的目标与噪声二元假设函数，具体如下:

式中：¢(,,)为第帧差分滤波后获取的图像；(,,)是高斯噪声，其中(,,)与(,,)相互独立。具体的3阶累积量表达式如下：

由于(,,)为高斯噪声，依据高阶累积量理论，零均值的高阶累积量（3阶以上）恒为零，固有3N(1,2)等于0，因此可对上式进行简化，具体如下：

在实际应用中，为有效实现目标的检测，定义了3阶累积量的判断准则，具体公式为：

式中：为累加的帧数；3F()为第帧三阶累积后的能量大小；为阈值。

文献[13]的高阶累积量仅利用像元点(,)在时间域上的信息来构建判断准则，由于只依靠了像元的时域信息，这将极大地削弱弱小信号的增强效果，因此文中构建了结合时空邻域块的增强能量模型，具体表达式如下：

式中：¢()为融合空域信息后获取的第帧能量图像；¢3F()为第帧结合时空邻域块信息的能量大小。

3 结果与分析

在结果分析中，为了对比不同算法的差分滤波效果，文中采用目标平均灰度值（average grayscale value，AGV）与局部信噪比（local signal noise ratio，LSNR）[1]来对差分滤波效果进行评价，各个指标如式(11)：

式中：(o, o)是中心像元所在的坐标位置；(o, o)为目标块组成的坐标集合，其像元总个数为；(,)为像元(,)的灰度值；T为目标区域的均值；B为背景区域的均值；B为背景区域的标准差。

3.1 滤波参数分析

对改进各项异性差分滤波结果有关联的指标为梯度步长，文中取扩散函数中的常数＝100，取公式(4)步长＝(1, 5, 10, 15)时，分别获取对应的差分图像，并利用公式(11)的LSNR来计算差分图像中目标的局部信噪比，由此画出了梯度步长与局部信噪比LSNR间的走势图，如图2所示。依据图2可知随着梯度步长的增大，LSNR随之变大，当＝5时，LSNR达到2.35，之后LSNR开始下降，从中可知两个图像块的梯度跟着梯度步长的增大而越大，使得改进后的扩散系数值越大，越有利于保留目标信号，但随着梯度步长的增大，到达一定限度后，图像块由目标区跨入边缘轮廓区，此时目标区和边缘轮廓区的梯度差异不大，扩散函数值较小，难以去除边缘轮廓噪声，导致差分图中噪声较多，目标局部信噪比较低。通过上述分析，实验中取＝5。

图2 步长k与LSNR间的关系

3.2 滤波结果分析

文中选用3个场景的序列图像进行实验，其中场景1为目标点在动态变化的背景中运动，目标点由中部斜向上运行，再拐弯往下运动；场景2中为目标从右下角向左上角作直线运动；场景3为两个目标点分别作斜对角直线运动。具体的场景信息如表1所示。接着将本文提出的改进各项异性差分滤波算法与文献[3]的改进Top-hat、文献[9]的LRR模型、文献[10]的IPI分解法和文献[12]的各向异性滤波进行比较，具体的结果见表2。

表1 序列图像信息

从表2的两个指标可以看出，对于不同场景的图像，本文提出的差分滤波算法比其他的算法在保留目标信号AGV和LSNR方面较高。分析发现，AF（Anisotropic Filtering）算法由于仅是简单地求取4个方向的扩散函数作为差分滤波，难以区分目标与边缘轮廓的差异，导致差分图含有较多的边缘轮廓区，AGV和LSNR相较其他算法低；ITH（Improved Top Hat）算法利用不同尺度的结构元素，能很好地消除大部分背景对提取目标信号的影响，但其对于动态变化的背景，由于其结构元易受动态背景的干扰，导致差分图中含有较多的噪点；当背景中含有较多的边缘轮廓区时，这些强边缘轮廓区会破坏整个背景图像数据的低秩特性，其同样满足“稀疏”特征，导致LRR（Low Rank Representation）易将这些区域误判为虚警目标，降低目标的局部信噪比；IPI算法采用分块的思想划分图像，其目的是进一步约束图像块的低秩特性，但当图像块处于边缘轮廓区域时，图像块非零的奇异值个数较多，难以满足低秩特征，因此获取的差分图虚警率较高；本文提出的算法能有效抑制背景和边缘轮廓区，差分图中有效地保留了目标信号。

表2 不同算法获取的背景建模结果

3.3 增强结果分析

为了分析本文提出算法的增强结果，分别采用高阶累积量（Higher order cumulant，HOC）增强方法与本文提出的增强方法来对差分图像进行增强处理，并分别计算两种算法获取的AGV和LSNR，如表3所示。本文提出的算法充分利用了像元的时间域和空间域的信息来增强目标信号，比高阶累积量获得更好的目标增强结果，AGV和LSNR分别达到225和12.67dB。

3.4 检测结果分析

文中先采用改进的各项异性来获取差分图像，接着利用结合时空邻域块的增强能量模型对差分图像进行增强处理，最后采用双窗分割算法提取目标信号。为了本文算法的检测效果，选用3个处于动态变化的真实场景进行实验，并将本文算法与ITH、LRR、IPI和AF算法进行比较，3个场景不同算法的检测结果如图3、图4和图5所示。

表3 两种算法的增强结果

图3 场景1不同算法的检测结果

图4 场景2不同算法的检测结果

从3个场景看出，ITH算法易受结构元的影响，当选取结构元小于孤立噪点的尺寸时，导致差分图中含有较多的噪点，见图3(b)、4(b)和5(b)；LRR算法易受动态非平稳背景的影响，这些非平稳背景由于是动态变化的，LRR易将这些区域误判为虚警目标，见图3(c)、4(c)和5(c)；IPI算法将图像划分为不同的块，这样图像子块在其邻域范围内具有较强的相关性，有效地保留图像子块的低秩特性，但当图像块处于边缘轮廓区域时，图像子块的相关度降低，因此差分图难以去除边缘轮廓区的噪声，见图3(d)、4(d)和5(d)；各向异性滤波由于仅是简单地求取4个方向的扩散函数的均值作为差分结果，导致差分结果图中难以区分边缘轮廓区和目标区域的差异，检测结果中留有较多的噪声，见图3(e)、4(e)和5(e)；本文算法先采用改进的各向异性滤波去除大部分非平稳背景的干扰，紧接着采用结合时空邻域块的能量增强算法来增强目标信号，结果图中仅含有少量的噪声，见图3(f)、4(f)和5(f)。

为进一步分析这些算法的性能，绘制了3个场景的ROC曲线，其中横轴为检测率d，纵轴为虚警率f。3个场景的ROC曲线如图6所示。

图5 场景3不同算法的检测结果

图6 3个场景ROC曲线

从图6三个场景的ROC曲线可看出，本文算法获取的检测率最好，其次是IPI和LRR，AF算法最低。分析发现，本文算法先利用改进的各项异性差分滤波算法来构建4个方向梯度块的扩散函数，依据扩散函数在4个方向梯度块的差异对图像进行差异化处理，通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，获取最终的滤波结果，接着采用提出能量增强算法来充分利用像元块的时空域信息来构建能量的判别模型，去除图像噪声的同时有效检测目标信号，如在虚警率f＝0.032时，本文算法获取的检测率d大于90%，而其他算法均小于88%，见图6(a)和6(b)；而对于动态且具有较多非平稳边缘轮廓的场景，由于边缘轮廓区会导致图像各个组分间的相关度降低，破坏了整个背景图像低秩特性，导致LRR算法检测率降低；IPI虽采用分块的思想，进一步约束邻域块的低秩特性，但当图像块处于边缘轮廓区域时，图像块非零的奇异值个数较多，获取的差分图虚警率较高；传统的ITH和AF也同样易受孤立噪点和边缘轮廓区的影响，这两类算法对于动态场景中，相比于其他算法，检测率较低，如在P＝0.04时，它们的检测率d都小于80%，而其他算法的检测率d都大于80%，见图6(c)。

4 总结

文中在深入分析图像各个组分在4个方向的梯度差异基础上，构建了利用4个方向梯度块的扩散滤波函数，同时通过构建4个方向的最小优化函数来优选扩散函数值最小的两个方向作均值处理后，作为最终的滤波结果，这样将极大程度地保留图像中的目标信号；进而为进一步增强目标信号，提出了一种结合时空邻域块的能量增强算法，该算法采用像元块的邻域信息来建立一种新的结合时空信息的能量判别模型，有效增强了弱小信号的能量。通过3个动态场景的实验表明，本文算法很好地剔除了大部分噪点干扰的同时有效保留了目标信号。

[1] 樊香所. 序列图像弱小目标检测与跟踪算法研究[D]. 成都: 电子科技大学, 2019.

FAN Xiangsuo. Dim and Small Targets Detection and Tracking Algorithms in Sequence Image[D]. Chengdu: University of Electronic Science and Technology of China, 2019.

[2] Bae T W, Kim Y C, Ahn S H, et al. An efficient two dimensional least mean square based on block statistics for small target detection[J]., 2009, 30(10): 1092-1101.

[3] BAI X Z, ZHOU F G, JIN T. Enhancement of dim small target through modified top-hat transformation under the condition of heavy clutter[J]., 2010, 90(1): 1643-1654.

[4] 秦翰林, 周慧鑫, 刘上乾, 等. 基于双边滤波的弱小目标背景抑制[J]. 强激光与粒子束, 2009, 21(1): 25-28.

QIN H, ZHOU H, LIU S, et al. Dim and small target background suppression using bilateral filtering[J]. High, 2009, 21(1): 25-28.

[5] 严高师, 毕务忠. 基于区域奇异性滤波的小目标检测[J]. 光学技术, 2006, 33(2): 163-165, 169.

YAN G S, BI W Z. Detection algorithm of small target based on regional singularity filter[J]., 2006, 33(2): 163-165, 169.

[6] 连可, 王厚军, 李丹. 基于红外目标局部灰度特性分析的管道滤波方法[J]. 弹箭与制导学报, 2011, 31(4): 200-206.

LIAN K, WANG H J, LI D. Pipeline filtering method based on feature analysis of local grey level of small infrared target[J]., 2011, 31(4): 200-203, 206.

[7] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions[J]., 2000, 22(8): 831-843.

[8] Bouwmans T, Baf F E, Vachon B. Background modeling using mixture of Gaussians for foreground detection - a survey [J]., 2008, 1(3): 219-237.

[9] 何玉杰, 李敏, 张金利, 等. 基于低秩三分解的红外图像杂波抑制[J]. 光学与精密工程, 2015, 23(7): 2069-2078.

HE Y J, LI M, ZHANG J L, et al. Clutter suppression of infrared image based on three-component low rank matrix decomposition[J]., 2015, 23(7): 2069-2078

[10] GUO J, WU Y, DAI Y. Small target detection based on reweighted infrared patch-image model[J]., 2018, 12(1): 70-79.

[11] 陆福星, 李夜金, 陈忻, 等. 基于Top-Hat变换的PM模型弱小目标检测[J]. 系统工程与电子技术, 2018, 40(7): 1417-1422.

LU F X, LI Y J, CHEN X, et al. Weak target detection for PM model based on Top-hat transform[J]., 2018, 40(7): 1417-1422.

[12] 周慧鑫, 赵营, 秦翰林, 等. 多尺度各向异性扩散方程的红外弱小目标检测算法[J].光子学报, 2015, 44(9): 146-150.

ZHOU H X, ZHAO Y, QIN H L, et al. Infrared dim and small target detection algorithm based on multi-scale anisotropic diffusion equation[J]., 2015, 44(9): 146-150.

[13] 唐意东, 黄树彩, 钟宇, 等. 基于形态学和高阶统计量的弱小运动目标检测[J].现代防御技术, 2016, 44(2): 151-156.

TANG Y D, HUANG S C, ZHONG Y, et al. Moving dim target detection based on morphology and high-order statistics in infrared image[J]., 2016, 44(2): 151-156.

Infrared Dim-Small Target Detection Based on Improved Spatio-Temporal Filtering

FAN Xiangsuo1,2，FAN Jinlong3，WEN Lianghua2，XU Zhiyong4

(1.,,644600,; 2.,,545006,; 3.,100081,; 4.,,610209,)

To effectively solve the problem of low detection rates of dim and small targets caused by dynamic background changes, a detection method based on spatio-temporal filtering is proposed in this paper. Based on an analysis of the imaging characteristics of infrared images, an improved anisotropic spatial filtering algorithm is proposed to evaluate the difference in various gradient characteristics of the target area, background area, and edge contour area. The algorithm fully utilizes the gradient information in the spatial domain to construct the diffusion filter function in different directions. According to the gradient difference in various characteristics of the image, the mean value of the two directions with the smallest value of the diffusion function is selected as the result of spatial filtering to retain the target signal to the maximum extent. To effectively enhance the energy of dim and small targets and address the shortcomings of high-order cumulants that only use the temporal domain information of pixel points for energy enhancement, an energy enhancement algorithm based on spatial-temporal neighborhood blocks is proposed. Experimental results reveal that the proposed algorithm can effectively enhance the detection of dim and small targets in dynamically changing scenes.

dim and small target, improve anisotropic filtering, energy enhancement, targets detection

TP751

A

1001-8891(2022)05-0475-08

2021-01-11；

2021-06-28.

樊香所（1987-），男，博士，研究方向为计算机视觉与图像处理，E-mail: 100002085@gxust.edu.cn。

范锦龙（1975-），男，副研究员，主要从事遥感图像处理，E-mail: fanjl@ cma.gov.cn。

国家自然科学基金项目（62001129）；广西自然科学基金（2021GXNSFBA075029）；国家自然科学基金项目（61975171）。