基于结构张量筛选和局部对比度分析的空中红外小目标检测算法

何邦盛，王忠华

基于结构张量筛选和局部对比度分析的空中红外小目标检测算法

何邦盛，王忠华

（南昌航空大学 信息工程学院，江西 南昌 330063）

针对复杂云层背景下红外小目标检测的虚警现象和实时性要求，提出一种基于结构张量筛选和局部对比度分析的新算法。结合目标区域结构张量最大特征值大于其他背景区域结构张量最大特征值的特点，滤除大部分非目标区域，保留少量可疑区域，再对可疑区域进行局部对比度计算，能够增强目标、抑制残留背景，并有效减少计算量。算法步骤如下：首先，在滑动窗口捕获的局部图像区域内构建结构张量矩阵，将最大特征值大于特定阈值的区域标记为可疑区域；然后，对可疑区域进行比差联合型局部对比度计算，生成显著度图；最后，利用自适应阈值分割实现小目标的分离。实验结果表明：该算法在复杂云层背景下具有更高的检测率、更低的虚警率以及更少的运行时间。

红外小目标检测；可疑区域筛选；结构张量；局部对比度

0 引言

随着红外成像设备性能的提高，红外检测系统被广泛应用于防空探测、精确制导、红外预警和防灾搜救等领域[1]。红外检测系统具有抗干扰能力强、隐蔽性高、全天候工作等优点[2]。然而，由于成像距离远，目标在红外图像中只占据少量像素，强度弱，且没有明显的结构和纹理信息[3]。另一方面，红外图像的背景很复杂，包括高强度的云层、云层边缘和强杂波等。红外小目标的对比度较弱，很容易被这些复杂的背景淹没，在检测时造成较高的虚警率[4]。因此，在复杂云层背景干扰下精确地识别小目标仍是一个具有挑战性的课题[5]。

红外小目标检测算法主要包括两类：单帧检测算法和多帧检测算法[6]。多帧检测算法需要联合多帧图像信息来检测目标，结构复杂、计算量大、运行时间长；而单帧算法只利用单帧图像信息检测目标，计算量小，运行速度快[7]。因而，单帧算法被广泛应用，本文算法也属于单帧检测算法。传统的单帧红外小目标检测算法大多是通过滤波方法来实现目标检测的，如自适应频域滤波[8]、形态学Top_hat滤波[9]、最大均值和最大中值滤波[10]等。这些方法的原理简单、检测速度相对较快，但用于检测复杂背景中的小目标时，容易产生较高的虚警率。

近年来，人类视觉系统的局部对比度特性引起了研究者的关注。基于局部对比度的红外小目标检测算法主要分为两类；多尺度局部对比度算法和单尺度局部对比度算法。多尺度局部对比度算法有Local Contrast Method （LCM）[11]、Multi-scale Local Contrast and Multi-scale Gradient Coherence Method （MLCMGCM）[12]、Multiscale Patch-based Contrast Measure （MPCM）[13]、Local Segment Contrast Measure （LSCM）[14]等等。LCM利用中心子块最大灰度值和边缘子块灰度均值的比值能够有效地增强目标。MLCMGCM在计算局部对比度的同时引入区域梯度一致性来进一步抑制背景。MPCM利用两个相对方向上中心子块与边缘子块的灰度均值差作积，以抑制背景边缘。LSCM提出了一种局部分段对比度测量方法，使图像处理后更加均匀，可识别亮目标和暗目标。但这些多尺度算法都需要在多个窗口尺寸下重复计算整张图像的局部对比度，取不同尺度下最大的局部对比度构成显著度图。虽然多尺度计算能在一定程度上提高算法的检测率，但也会增大算法的计算量，使算法的运行时间变长，难以满足实时性的要求。单尺度局部对比度算法包括Improved Local Contrast Method （ILCM）[15]、Tri-layer Window Local Contrast Method （TLWLCM）[16]、Homogeneity-weighted Local Contrast Measure （HWLCM）[17]、Weighted Three-layer Window Local Contrast Measure （WTLWLCM）[18]、Human Visual Contrast Mechanism Measure （HVCM）[19]等。ILCM在计算局部对比度之后引入了差分运算来抑制各种背景。TLWLCM将移动窗口划分为三层，利用中间层隔离小目标和背景。HWLCM使用边缘子块灰度值方差的均值来抑制背景。WTLWLCM将窗口分为三层计算局部对比度，而后再引入区域强度水平加权以进一步抑制背景。HVCM先对原图进行二维最小均方滤波处理，再通过邻域显著性特征来增强目标和抑制背景。这些单尺度算法仅在单一窗口尺寸下计算局部对比度，相对于多尺度算法更加简便，运行时间也更短，但仍需遍历全图。

在红外图像中，大部分区域都是连续背景、背景边缘等明显不同于小目标的图像区域，如果能够在计算局部对比度之前先排除大部分的非小目标区域，就能进一步提高算法的运行效率。针对这个问题，本文提出了基于结构张量筛选和局部对比度分析的红外小目标检测算法。该算法通过结构张量对原始图像进行处理，先排除大部分非小目标区域，而后再对筛选出的可疑区域进行局部对比度计算，能够有效地减少计算量，提高运行效率。

1 基于结构张量筛选和局部对比度分析的红外小目标检测算法

本文提出的算法主要包括3个步骤：可疑区域筛选、显著度图生成和自适应阈值分割。具体的流程如图1所示，其中目标用红色矩形标出，背景及噪声用蓝色矩形标出。

图1 本文算法的流程框图

1.1 可疑区域筛选

本文利用结构张量对原始红外图像进行可疑区域筛选，以减少局部对比度的计算量。为了更好地描述目标所在局部区域内的梯度特征，本文将融合局部对比度的思想来构建结构张量矩阵。设计一个滑动窗口遍历图像，窗口平均划分为9个子块，中心子块用于捕捉目标，而边缘子块用于捕捉背景，子块的划分如图2所示。由于远距离空中红外小目标尺寸较小，不超过3×3，故而滑动窗口的大小设置为9×9，每个子块的大小为3×3。

图2 子块划分

对于每一个子块，计算前个最大灰度值的均值作为其响应值，计算方法如式(1)和(2)所示：

式中：0和M(i＝1,2,…, 8)分别是中心子块和8个边缘子块的响应值；0是中心子块的前个最大灰度值；G是边缘子块的前个最大灰度值。

将边缘的8个子块划分到4个不同的方向上，水平方向为方向，垂直方向为方向，两个对角方向为方向和方向，具体如图3所示。

由图3可知，每个方向上有两个边缘子块。用中心子块的响应值与两个边缘子块的响应值分别做差，将其中较小的差值定义为该方向上的梯度值，计算出4个方向上的梯度值后，即可获得结构张量矩阵。各方向的梯度和结构张量的计算如式(3)～(7)所示：

G＝min(0－4,0－5) (3)

G＝min(0－2,0－7) (4)

G＝min(0－3,0－6) (5)

G＝min(0－1,0－8) (6)

式中：GXX、GYY、GXY、GYX分别为XX、YY、XY、YX方向上的梯度值；ST是计算出的结构张量矩阵。

真实目标的亮度大于周围的背景，因此在各个方向上的梯度都较大。背景边缘周围的梯度在沿着边缘的方向较小，在垂直于边缘的方向较大。平坦的背景处的灰度值分布较为均匀，各个方向上的梯度都较小。孤立强噪声处的梯度分布与目标类似，计算子块内前个最大灰度值的均值可以抑制其强度，使各个方向计算出的梯度值都较小。孤立强噪声通常是以单个像素的形式出现，因此本文中取值为2，在抑制孤立强噪声的同时计算量也最小。

结构张量矩阵的特征值可以反映不同图像区域的梯度分布特点，因此对矩阵ST进行特征值分解，将获得的两个特征值分别记为1和2。不同区域的结构张量矩阵及其特征值如表1所示，红色矩形标记的区域为结构张量的计算区域。

表1 不同图像区域的ST，l1和l2

分析表1数据，目标区域计算出的最大特征值大于背景边缘、平坦背景和孤立强噪声区域计算出的最大特征值，所以最大特征值越大的图像区域越有可能是真正的目标区域。因此，将滑动窗口遍历图像时各个区域计算得出的最大特征值记录下来，获得一个由特征值构成的矩阵，记为筛选矩阵。而后，设置一个筛选阈值，将筛选矩阵中元素值大于筛选阈值的点所对应的原图区域标记为可疑区域，保留下来，而小于筛选阈值的点对应的原图区域则将灰度值置0，遍历全图后即可获得筛选结果图。后续再通过局部对比度计算来增强真正的目标、抑制残留背景。筛选阈值的定义和筛选计算如下式(8)和(9)所示：

Th1＝1×MAX (8)

式中：Th1是筛选阈值；MAX是筛选矩阵中的最大元素值；1是一个筛选调节系数，一般取值范围为0.7～0.8；(,)、(1,1)、(,)分别为筛选结果图、原图和筛选矩阵的元素值；(,)是当前计算点的坐标；(1,1)是原图中对应(,)的坐标点。应当注意，筛选结果图和筛选矩阵的大小相同，但要小于原图。

图4展示了原图经过可疑区域筛选后的结果，图4(a)为原图，图4(b)为筛选结果图，其中红色矩形标记的是目标，蓝色矩形标记的是背景及噪声。从图4可以看出，经过筛选操作后，大部分非目标区域都已经被排除，只剩下少量的可疑区域。

图4 原图经过可疑区域筛选后的结果

1.2 显著度图生成

筛选结果图中的可疑区域包括目标和残留的背景，需要通过局部对比度计算来增强目标、抑制背景，从而识别出真正的目标。找到可疑区域内像素点在原图中的对应坐标点，以该坐标点为中心，在原图中截取大小为9×9的图像区域计算局部对比度，非可疑区域内像素点的局部对比度则默认为0。局部对比度的计算和显著度的定义如下式(10)和(11)所示：

SM(,)＝max(C(,), 0) (11)

式中：(,)是当前计算点的坐标；0和D的计算参照公式(1)和(2)；(,)是当前计算点的灰度值；C(,)是计算出的局部对比度；SM(,)是显著度值。

相较于比值型和差值型局部对比度，本文使用的比差联合型局部对比度能够更好地增强目标、抑制背景。图5展示了局部对比度计算后的效果，图5(a)是筛选结果图，图5(b)是显著度图，其中红色矩形标记的是目标，蓝色矩形标记的是背景及噪声。显然，经过局部对比度计算后，筛选结果图中真正的小目标被增强了，而背景及噪声则被抑制了。

图5 局部对比度计算后的效果

1.3 自适应阈值分割

对显著度图进行自适应阈值分割，提取小目标，分割阈值的定义如下式(12)所示：

式中：Th2是分割阈值；Max和Min分别是显著度图SM中元素的最大值和最小值；2是一个可调整的系数，取值范围一般为1～3。显著度图中大于阈值的点认为是目标，其他的则认为是背景。

2 实验结果分析

为了检验本文算法的性能，将本文算法与LCM、ILCM、TLWLCM、HWLCM等算法进行对比实验。对比实验中使用了3个真实的红外图像序列进行测试，每个红外图像序列的详细特征如表2所示。所有的实验程序均在一台配置为英特尔酷睿i7-6700HQ处理器、8G内存的笔记本电脑上运行，使用的编程软件为MATLAB R2016a。

表2 不同图像序列的详细特征

2.1 背景抑制性能对比

为了对比各算法的背景抑制性能，本文从3个真实的红外图像序列中随机挑选出一帧图像进行实验。图6展示了3个不同场景的红外图像在算法处理前后得到的显著度图，目标用红色矩形标出，每个子图的右下角为放大后的目标区域。图6(a1)～(a3)分别是图像序列1～3的原始红外图像。图6显示，LCM算法和ILCM算法的显著度图中，还留有大量的连续背景。TLWLCM算法和HWLCM算法对应前两个场景的显著度图中残留有许多孤立的背景。而本文算法在3个场景下的表现均优于上述4种对比算法，显著度图中均没有背景残留。

图7展示了3个不同场景红外图像在算法处理前后得到的三维响应图，其中目标用红色矩形标出。LCM算法是比值型局部对比度算法，能在一定程度上增强显著的目标，但无法削弱复杂的背景，一旦高亮背景或背景边缘获得的增益大于真实目标，就容易造成虚警，如图7(b1)所示。ILCM算法对于高亮背景和背景边缘的抑制效果较差，算法处理后的图像中高亮背景和背景边缘的强度仍较大，如图7(c1)和(c2)所示。TLWLCM算法能较好地抑制背景，但对于低对比度目标的增强效果较差，无法突显目标，如图7(d1)所示。HWLCM算法对高亮噪声和背景边缘较为敏感，容易造成虚警，如图7(e1)所示。本文方法结合小目标各个方向上的梯度均较大的特点，通过结构张量能够筛选出包括目标在内的少量可疑区域，滤除大量连续背景和背景边缘，然后再通过局部对比度增强真正的小目标、抑制残留背景噪声，在3个场景中都能准确地增强目标并抑制背景，如图7(f1)～(f3)所示。

图6 不同算法处理后的显著度图

(a1)Original(b1)LCM(c1)ILCM(d1)TLWLCM(e1)HWLCM(f1)Proposed (a2)Original(b2)LCM(c2)ILCM(d2)TLWLCM(e2)HWLCM(f2)Proposed (a3)Original(b3)LCM(c3)ILCM(d3)TLWLCM(e3)HWLCM(f3)Proposed

为了定量分析各算法的目标增强和背景抑制性能，本文引入了信杂比增益（Signal-to-Clutter Ratio Gain, SCRG）和背景抑制因子（Background Suppression Factor, BSF）。二者的定义如下式(13)～(15)所示：

BSF＝in/out(15)

式中：SCRout是结果图像的信杂比；SCRin是原始图像的信杂比；SCR表示信杂比；t表示目标区域的最大值；b和b分别表示目标区域周围一定尺度内背景区域像素的均值与标准差。in和out分别是算法处理前后图像背景区域的灰度标准差。

SCRG越大，算法的目标增强性能越好；BSF越大，算法的背景抑制能力越强。各算法在3个场景下的SCRG和BSF如表3和表4所示。本文算法通过梯度结构张量和局部对比度，能够准确地增强目标、抑制背景，在3个真实场景下获得的响应图中，背景区域的强度相对于目标均较小。根据公式(13)～(15)，本文算法的SCRG和BSF均大于其他4种对比算法。因此，本文算法的目标增强和背景抑制性能要强于其他对比算法。

2.2 目标检测性能对比

本文引入了受试者工作特征（Receiver Operating Characteristic, ROC）曲线来评估各算法的目标检测性能。ROC曲线能反映检测率（True Positive Rate, TPR）和虚警率（False Positive Rate, FPR）之间的动态变化关系，相较于简单的数值指标，ROC曲线能更好地反映算法的目标检测性能。检测率和虚警率的定义如下式(16)和(17)所示：

算法的检测率越高，虚警率越低，目标检测性能就越好。在曲线图中则表现为：算法的ROC曲线越靠近左上方区域，算法的性能越好。

图8展示了各算法在3个真实红外图像序列检测中获得的ROC曲线，其中(a)～(c)分别为图像序列1～3的ROC曲线。在图像序列2和3中，目标较明亮且对比度更高，各算法的检测效果相差不大；在图像序列1中，目标较暗且对比度低，但本文算法通过小目标的梯度特征能更准确地识别出真正的小目标，取得更高的检测率。

表3 不同场景下各算法的SCRG

表4 不同场景下各算法的BSF

由于不同方法所使用图像的分辨率各不相同，为了更客观地对比各算法的运行效率，本文计算出了各算法处理单帧图像中单个像素所需要的时间，记为，其计算方式如式(18)。

计算结果如表5所示。对比算法中，LCM算法是多尺度算法，其运行时间最长；而ILCM算法、TLWLCM算法、HWLCM算法都是单尺度算法，它们的运行时间比LCM算法短，其中ILCM算法的运行时间最短。本文算法通过结构张量能够滤除大量的非目标区域，减少计算量，所以运行速度最快，比ILCM算法提升了2倍左右。

表5 不同算法处理单帧图像中单个像素所需要的时间

3 结论

本文提出了一种基于结构张量筛选和局部对比度分析的空中红外小目标检测算法。算法融合局部对比度的思想来构建结构张量矩阵，通过结构张量可以筛选出少量的可疑区域，滤除大部分高亮噪声和背景边缘，以减少虚警的产生。而后对可疑区域进行比差联合型局部对比度计算，以增强目标、抑制残留背景，由于在之前的筛选过程中已经排除了大量的非目标区域，使得局部对比度的计算量大大减少，极大地提高了算法的运行效率。对比实验的结果表明，本文算法在各种复杂云层背景下都能够准确地增强小目标、抑制复杂背景，达到更高的检测率、更低的虚警率，以及更少的运行时间。

[1] 姚朝霞, 谢涛. 基于局部对比度测量的红外弱小目标恒虚警检测[J]. 红外技术, 2017, 39(10): 940-945. YAO Zhaoxia, XIE Tao. Robust small dim object CFA detection algorithm based on local contrast measure in aerial complex background[J]., 2017, 39(10): 940-945.

[2] 赵高鹏, 李磊, 王建宇. 基于结构张量分析的弱小目标单帧检测[J]. 光子学报, 2019, 48(1): 141-151. ZHAO Gaopeng, LI Lei, WANG Jianyu. Dim small target single-frame detection based on structure tensor analysis[J]., 2019, 48(1): 141-151.

[3] 沈旭, 程小辉, 王新政. 结合视觉注意力机制基于尺度自适应局部对比度增强的红外弱小目标检测算法[J]. 红外技术, 2019, 41(8): 764-771. SHEN Xu, CHENG Xiaohui, WANG Xinzheng. Infrared dim-small object detection algorithm based on adaptive scale local contrast enhancement combined with visual attention mechanism[J]., 2019, 41(8): 764-771.

[4] 危水根, 王程伟, 张聪炫, 等. 多信息融合的红外弱小目标检测[J].红外技术, 2019, 41(9): 857-865. WEI Shuigen, WANG Chengwei, ZHANG Congxuan, et al. Infrared dim target detection based on multi-information fusion[J]., 2019, 41(9): 857-865.

[5] 潘胜达, 张素, 赵明, 等. 基于双层局部对比度的红外弱小目标检测方法[J]. 光子学报, 2020, 49(1): 184-192. PAN Shengda, ZHANG Su, ZHAO Ming, et al. Infrared small target detection based on double-layer local contrast measure[J]., 2020, 49(1): 184-192.

[6] KOU Tian, LI Zhangwu, WANG Haiyan, et al. Infrared point target detection based on multiscale homogeneous feature fusion[J]., 2019, 102: 103040.

[7] 韩金辉, 董兴浩, 蒋亚伟, 等. 基于局部对比度机制的红外弱小目标检测算法[J]. 红外技术, 2021, 43(4): 357-366. HAN Jinhui, DONG Xinghao, JIANG Yawei, et al. Infrared small dim target detection based on local contrast mechanism[J]., 2021, 43(4): 357-366.

[8] 张华良, 谢永杰, 张颂, 等. 基于自适应频域滤波的红外弱小目标检测技术[J]. 应用光学, 2015, 36(4): 630-634. ZHANG Hualiang, XIE Yongjie, ZHANG Song, et al. Detection of small, low contrast targets based on adaptive frequency filter[J]., 2015, 36(4): 630-634.

[9] ZHOU Fugen, BAI Xiangzhi. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[10] Deshpande S D, Er M H, Venkateswarlu R, et al. Max-mean and max-median filters for detection of small targets[C]//, 1999, 3809: 74-83.

[11] CHEN C L P, LI Hong, WEI Yantao, et al. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.

[12] 刘德鹏, 李正周, 曾靖杰, 等. 基于多尺度局部对比度和多尺度梯度一致性的红外小弱目标检测算法[J]. 兵工学报, 2018, 39(8): 1526-1535. LIU Depeng, LI Zhengzhou, ZENG Jingjie, et al. Infrared dim small target detection based on multi-scale local contrast and multi-scale gradient coherence[J]., 2018, 39(8): 1526-1535.

[13] WEI Yantao, YOU Xinge, LI Hong. Multiscale patch-based contrast measure for small infrared target detection[J]., 2016, 58: 216-226.

[14] CUI Zheng, YANG Jingli, JIANG Shouda, et al. An infrared-small-target detection method in compressed sensing domain based on local segment contrast measure[J]., 2018, 93: 41-52.

[15] 张祥越, 丁庆海, 罗海波, 等. 基于改进LCM的红外小目标检测算法[J]. 红外与激光工程, 2017, 46(7): 270-276. ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]., 2017, 46(7): 270-276.

[16] 韩金辉, 蒋亚伟, 张小件, 等. 采用三层窗口局部对比度的红外小目标检测[J].红外与激光工程, 2021, 50(2): 244-253. HAN Jinhui, JIANG Yawei, ZHANG Xiaojian, et al. Infrared small target detection using tri-layer window local contrast[J]., 2021, 50(2): 244-253.

[17] DU Peng, Askar Hamdulla. Infrared small target detection using homogeneity-weighted local contrast measure[J]., 2020, 17(3): 514-518.

[18] CUI Huixin, LI Liyuan, LIU Xin, et al. Infrared small target detection based on weighted three-layer window local contrast[J]., 2022, 19: 7505705.

[19] LYU Pingyue, SUN Shengli, LIN Changqing, et al. A method for weak target detection based on human visual contrast mechanism[J]., 2019, 16(2): 261-265.

Aerial Infrared Small Target Detection Algorithm Based on Structure Tensor Screening and Local Contrast Analysis

HE Bangsheng，WANG Zhonghua

(School of Information Engineering, Nanchang Hangkong University, Nanchang 330063, China)

Considering the false alarm and real-time requirements of infrared small-target detection under a complex cloud background, a novel algorithm is proposed based on structure tensor screening and local contrast analysis. Combined with the feature that the maximum eigenvalue of the structure tensor of the target area is larger than that of other background areas, the proposed algorithm can filter out most nontarget areas and retain a few suspicious areas. Local contrast calculation performed on suspicious areas can enhance the target, suppress the residual background, and effectively reduce computation. The algorithm steps are as follows: first, we constructed the structure tensor matrix within the local image area captured by the sliding window, and where the maximum eigenvalue is larger than the threshold is marked as a suspicious area. Then, we calculated the ratio-difference joint local contrast. Finally, we adopted an adaptive threshold segmentation on the saliency map to extract the real target. Experimental results showed that the proposed algorithm can achieve a higher detection rate, lower false alarm rate, and shorter running time under a complex cloud background.

infrared small target detection, suspicious area screening, structure tensor, local contrast

TP751

A

1001-8891(2023)11-1169-08

2022-11-16；

2023-01-31.

何邦盛（1998-），男，硕士研究生，主要研究方向为红外小目标检测。E-mail:1547268673@qq.com。

王忠华（1977-），男，博士，副教授，硕士研究生导师，主要研究方向为图像处理、模式识别和人工智能。E-mail: wangzhonghua@nchu.edu.cn。

国家自然科学基金（61861033）。