基于改进顶帽变换的红外弱小目标检测

张晶晶 曹思华 崔文楠 张 涛

①(中国地质大学(武汉)自动化学院 武汉 430074)

②(中国科学院智能红外感知重点实验室 上海 200083)

③(中国科学院上海技术物理研究所 上海 200083)

④(复杂系统先进控制与智能自动化湖北省重点实验室 武汉 430074)

⑤(地球探测智能化技术教育部工程研究中心 武汉 430074)

1 引言

红外搜索系统可以适应恶劣天气、全天候工作并且隐蔽性较高，因此它在红外制导、红外预警、遥感探测等领域应用广泛[1]。红外弱小目标检测技术作为红外搜索系统的核心内容，在军事和民用领域起着至关重要的作用。然而在实际应用中通常存在以下问题：首先，由于拍摄距离远，红外弱小目标呈现出尺寸小、信号弱、纹理特征少等特点，难以直接检测；其次，近地背景复杂，目标经常淹没于杂物和噪声中，因此虚警和误检较多。最后，在实际应用中目标检测算法的实时性要求较高。因此如何实现近地复杂背景下红外弱小目标的检测，并保证其高真阳性率、低假阳性率和较好的实时性是一个极具挑战性的课题。

针对以上问题，选择实现简单、实时性较好的单帧检测算法进行红外弱小目标检测。但是当图像信噪比较低时，单帧检测算法检测效果往往不佳，因此通常需要先进行红外图像预处理[2]。常用的红外图像预处理方法包括基于空间域、时间域和变换域的方法3大类，其中空间域方法实时性最佳，主要包括中值滤波[3](Self-adapting Median Filtering,SAMF)、均值滤波[4](Average Filtering, AF)、高斯滤波[5]、双边滤波[6]、顶帽变换[7]等方法，其中杨卫平等人[8]利用中值滤波方法较好地抑制了脉冲噪声，但该方法不适用于较弱的目标；高陈强等人[9]利用均值滤波方法较好地平滑噪声，但会破坏图像细节；与均值滤波相比，高斯滤波可以更好地平滑噪声和保持边缘细节，但会丢失目标细节信息；针对以上问题，Tomasi等人[6]提出了双边滤波算法，该算法在滤除噪声、平滑图像的同时又能较好地保留图像细节信息，但是可能滤除微小目标。此后Nair等人[10]提出压缩自适应双边滤波(Compressive Adaptive Bilateral Filtering, CABF)，通过快速卷积的加权组合近似高维滤波从而提升算法速度，但该算法复杂度仍然较高。

相较而言，顶帽变换方法实现简单，算法速度更快。传统的顶帽变换方法使用一个结构窗口遍历整个图像，通过对每个像素进行腐蚀和膨胀操作达到提高信噪比的效果，但是该方法不能自适应地抑制重度噪声。因此，学者提出了许多基于结构元素重构的改进方法。早期Bai等人[7]设计梅花形的结构窗口来抑制杂波。接着，白相志等人[11]提出一种新型的结构窗口，将窗口分为中心区域和周围区域，中心区域用于捕捉目标，周围区域用于捕捉背景，该方法更有利于捕捉目标成分，因此得到了广泛的应用；而Deng等人[12]更是在此基础上提出了环形结构窗口，该方法可以更精准地增强目标区域，抑制背景区域，提高目标背景的局部信噪比，但是该方法结构窗口较为复杂，实时性有待提高，且对目标大小有一定要求。

单帧检测算法按照检测原理的不同分为基于图像数据结构、基于背景特征、基于目标特征的检测算法3大类。其中基于图像数据结构的方法实时性较差，如红外图像块模型方法[13](Infrared Patch-Image, IPI)、张量核范数部分和方法[14](Partial Sum of the Tensor Nuclear Norm, PSTNN)；基于背景特征的方法如Top-hat算法[12]，不适用于复杂场景，虚警较多；而基于目标特征的方法中，人类视觉系统(Human Visual System, HVS)算法在复杂场景下表现较好，可以有效提高目标检测准确率、减少虚警目标。近年来出现了一些效果较好的HSV算法，其中比较经典的是Chen等人[15]提出的多尺度局部对比度测量方法(Multiscale Local Contrast Measure,MLCM)，该方法通过寻找多尺度条件下局部对比度最大值来检测红外弱小目标，该方法背景抑制效果有待提升[16]。此后为了提高复杂场景目标的检测率相继提出了一些改进算法，如Wei等人[17]提出的多尺度块对比度方法(Multiscale Patch-based Contrast Measure, MPCM)，Han等人[18]提出的相对局部对比度检测方法(Relative Local Contrast Measure, RLCM)，但这些方法复杂度较高。针对以上问题，穆靖等人[19]提出了3层模板局部差异度量(Trilayer Template Local Difference Measure,TTLDM)的红外弱小目标检测方法，该方法利用单一尺寸的3层模板遍历图像实现对多尺寸目标的检测，有效提高了算法的实时性，减少了虚警数量，但是该算法不适用于近地复杂背景。

综上，从实时性出发，本文选择空域滤波方法中的顶帽变换算法进行后续研究。针对红外图像信噪比低的问题，提出采用改进的顶帽变换算法(Optimized Top-hat Transform, OTH)进行图像预处理，针对不同像素点灰度值的特点采用不同的策略处理图像，从而实现目标增强、背景抑制；此外，从目标检测的准确率出发，本文选择基于目标特征的方法中检测准确率较高，实时性也较好的MLCM算法进行后续研究。针对目标检测虚警较多的问题，提出改进的多尺度局部对比度算法(Optimized Multiscale Local Contrast Measure, OLCM)进行目标检测，该算法改变了尺度设计的方式，使得在保证实时性的基础上虚警减少。而OTH算法可以很好地弥补MLCM算法背景抑制效果差的缺点，因此，提出结合OTH算法和OLCM算法的基于改进顶帽变换的红外弱小目标检测算法(OLCM based on OTH, OTHOLCM)，该算法可以保持较好的实时性、提高真阳性率、降低假阳性率，较好地实现近地复杂背景下的红外弱小目标检测。

2 基于改进顶帽变换的红外图像预处理

2.1 传统顶帽变换方法特性分析

目前已有两种改进的顶帽变换方法，双结构元素改进顶帽变换方法[20](Double-structural-element White Top-hat, DWTH)和环状结构改进顶帽变换算法[7](Circle-structural-element White Top-hat,CWTH)。DWTH算法和CWTH算法的计算方法分别为

其中，f代表红外图像， Θ和⊕分别代表腐蚀和膨胀操作。ain和acut代表半径大小不同的圆形结构元素。Bi和B0为半径为RL和Rθ的扁平结构元素，ΔB为内环半径为RL，外环半径为Rθ的环形结构元素。DWTH算法和CWTH算法的处理结果及其3维灰度图见图1。

图1 改进白顶帽变换算法处理结果及其3维灰度图对比图

如图1所示，绿色标记和红色标记分别为目标点A、背景点B所在位置。DWTH算法先利用ain进行膨胀操作使得目标区域灰度值增加，然后利用acut进行腐蚀操作使得包括目标区域在内的邻域范围灰度值降低，得到背景抑制的红外图像。CWTH算法首先利用ΔB进行膨胀操作，使得不包括目标区域在内的邻域范围灰度值增加，利用Bi对进行腐蚀操作，使得目标区域灰度值降低，得到仅含疑似弱小目标的图像。

对比A点、B点的灰度值可知，DWTH算法和CWTH算法对目标和背景均有一定抑制效果，后者抑制效果更强；由此可知，这两种算法图像处理效果不同，并且它们在抑制背景的同时也抑制了目标，使得红外图像中的目标也变得不明显；此外，它们按照同一种策略处理不同的区域，针对性不够强。因此，图像预处理操作需要综合以上两种算法的优点处理图像，使得目标增强，背景抑制。

2.2 OTH算法

基于以上问题，本文结合以上两种算法的优缺点，提出OTH算法。首先，针对目标和背景均被抑制的问题，将CWTH算法和DWTH算法的图像处理结果以当前图像灰度最大值为标准转化到(0,1)区间，从而使得图像整体得到增强。并且以灰度最大值为同一基准，使得两者图像灰度值具有可比性。

其次，CWTH算法和DWTH算法针对不同区域图像处理各有优缺点，因此提出比较CWTH算法、DWTH算法每个点的灰度值与原图对应点的灰度值。具体分为两大类场景，当CWTH算法和DWTH算法两种算法中至少有一种算法对应点灰度值较原图增大，则说明该点为疑似目标像素点，取两种算法中的灰度最大值max(CWTH(i,j),DWTH(i,j))作为该点最终灰度值；当CWTH算法和DWTH算法对应点灰度值均较原图减小，则说明两者算法都没有起到增强的作用，对应的点是需要被抑制的背景点或者对应点是潜在的信号较弱的目标点。针对第2种场景提出一种处理方法。该方法综合原图、CWTH算法，DWTH算法的处理结果，计算方式为

其中，Original代表原图图像，Output代表输出图像，a,b,d分别为原图、DWTH算法、CWTH算法的权重系数。为了防止图像过增强，将各图像成分的权重系数之和设置为1，也即a+b+d=1。

当对应像素点为潜在弱小目标时，背景抑制程度过强，会导致目标和噪声一起被滤除；当背景抑制程度太弱时，目标信号和背景信号无法区分，也会导致目标无法提取。因此，可以对应调节学习系数组合，使得图像的目标背景局部信噪比保持在合适的区间。从主观角度分析，CWTH算法、DWTH算法和原图成分都可以提供目标成分，其中前两者是保证目标增强、背景抑制效果的核心成分。而当CWTH算法、DWTH算法两者结果都不理想时，原图成分可以保证基本目标信息不丢失。因此，这3个成分之间相互补充，相辅相成，使得算法性能有所提高。

综上，本文提出的OTH算法主要在3方面进行改进，首先整体提高图像的灰度值以达到图像增强的目的；其次通过比较不同区域CWTH算法、DWTH算法处理结果的灰度值与原图灰度值，来选择不同的策略针对性地增强目标、抑制背景；最后提出一种方法使得目标背景局部信噪比保持在合适区间，用来处理CWTH算法、DWTH算法处理结果的灰度值小于原图的区域，从而抑制背景或者检测潜在目标。

3 基于OTHOLCM的红外弱小目标检测

3.1 OLCM算法

由于MLCM算法是基于目标特征方法中准确率较高、实时性较好的一种，选择对该算法进行改进。MLCM[15]算法采用3层窗口遍历红外图像，窗口被分为9个图像块，中心图像块为目标区域，其他8个图像块为背景区域。该算法将图像块尺度q设计为3, 5, 7, 9，使得目标适配尺寸不同的红外弱小目标；然后计算对应单元的灰度平均值，以此计算8个背景单元的局部对比度值；将8个值中的最小值作为该窗口的局部对比度值，并将该值与图像块W的灰度最大值相乘的结果作为该图像的局部对比度；最后比较4个尺度下的图像局部对比度值，取最大值作为最终的多尺度图像局部对比度，通过阈值分割获得疑似目标的位置。

多尺度图像局部对比度的值越大，目标存在于该窗口的可能性越大。然而，当图像块的大小取值偏小时，会导致整个窗口都是目标区域，目标无法有效增强，相反，当图像块尺寸取值偏大时，会导致计算量增加，相邻目标区域混在一起，因而需要选择合适的窗口大小进行检测。分析回丙伟等人[21]数据集的目标尺寸特点发现，目标几何尺寸分布在[1,12]之间。因此，这里提出OLCM算法，该算法根据数据集的目标尺寸的特点重新进行窗口尺度设计，具体的计算方式为

其中，qi代表第8个窗口的尺度，q1=2,q2=4,q6=7,q4=11。相较于原尺度设计，适当调小了最小目标的尺寸，增大了最大目标的尺寸。此外，不同尺度之间的间隔随着尺寸的增大也逐步增大，以减少不必要的计算。该算法使得目标检测算法在保持实时性的基础上适应更大的目标检测范围。

3.2 基于OTHOLCM算法的红外弱小目标检测

OLCM算法检测检测准确率较高，但存在背景噪声抑制能力弱的缺点，因此提出结合OTH算法和OLCM 算法的红外弱小目标检测算法(OTHOLCM)。其中OTH算法可以起到目标增强、背景抑制的效果，而OLCM算法则可以进一步提高图像对比度、提高目标检测的准确率，两者之间互为补充。

OTH算法中学习系数的组合可以根据场景进行区别设置，具体将场景分为地空交界背景、近地简单背景、近地复杂背景这3大类。这里选取序列3, 19, 20作为地空交界背景图像数据集，选取序列7, 9, 16作为近地简单背景图像数据集，选取序列6,8, 11, 13, 17, 18, 21作为近地复杂背景图像数据集，通过OTHOLCM算法进行检测，统计在不同学习系数组合(a,b,d)下各场景目标检测的平均准确率Precision，计算方法为

其中，T P, FP分别代表正确、错误预测为目标的像素面积，Area代表预测的目标像素总面积，Precision代表预测为真实目标像素的结果中预测正确的比例。根据实验结果，建议地空交界背景、简单近地背景、复杂近地背景下的学习系数组合分别设置为(0.1,0.6,0.3), (0.3,0.7,0), (0.3,0.6,0.1)。为了更直观地观察各学习系数组合状态下的目标检测结果，选取部分结果展示如图2所示。

图2 不同场景和学习系数组合情况下的目标检测结果对比图

对比 TP , Area及两者的比值Precision，可以验证以上结论。较低信噪比的地空交界背景下，需要适当减少原图成分、增加CWTH成分以抑制背景，因此(0.1,0.6,0.3)系数组合下的检测准确率较高；简单近地背景下，不需要过度地抑制背景以提取目标，因此(0.3,0.7,0)系数组合下的检测准确率较高；复杂近地背景下，为了更好地抑制背景，增大CWTH成分，减小DWTH成分，因此(0.3,0.6,0.1)系数组合下检测准确率较高。而在具体图像序列中，各种场景通常是随机切换的，因此统计所有符合要求的场景序列图像在不同学习系数组合下的目标检测准确率Precision，发现当学习系数组合为(0.1,0.6,0.3)时，OTHOLCM算法在各序列场景下的目标检测平均准确率较高。

为了进一步验证对应系数组合下的算法性能，通过控制变量法改变学习系数组合(a,b,d)中的参数，以目标检测准确率Precision、真阳性率(True Positive Rate, TPR)、假阳性率(False Positive Rate, FPR)、目标背景局部信噪比(Signal to Noise Radio, SNR)为评估指标作对比实验，其中，TPR=TP/(TP+FN), PPR=PP/(PP+TN),SNR=10 lg(Er-EB)/σB, TP , FP , TN , FN分别为真阳性、假阳性、真阴性、假阴性。Er,EB分别为目标、背景区域的均值，σB为背景区域的标准差。实验结果如表1所示。

表1 不同系数组合下OTHOLCM算法性能的对比

如表1所示，对比实验组1, 2, 3，实验组1, 4,5，实验组1, 6, 7发现，改变a,b,d参数可以使得局部信噪比SNR在一定区间内有规律的变化。但是SNR过大和过小都不利于目标检测，SNR处于合适区间才能使得Precision提高。这里当学习系数组合设置为(0.1, 0.6, 0.3)时，目标检测准确率Precision和假阳性率FPR都有较好的表现。因此，后续OTH算法将(a,b,d)参数设置为(0.1, 0.6, 0.3)进行研究。

4 实验结果分析

4.1 实验环境和数据集介绍

本文采用回丙伟等人[21]所公开的《地/空背景下红外图像弱小飞机目标检测跟踪数据集》，该数据集通过140 m高塔架设2维转台实现多角度取景，并在转台上搭载中波红外相机实现远距离图像采集，拍摄对象为低空飞行的无人机，飞行高度在50～500 m。红外相机的波谱探测范围在3～5 μm。该数据集总共包括22段图像序列，166 177帧红外图像，拍摄背景涵盖天空背景、近地背景和地空交界等多种背景。实验环境为2.60 GHz Intel i7-9750H CPU 处理器，16 GB内存。

4.2 基于OTH算法的图像预处理实验

本文将OTH算法与其他图像预处理算法进行比较，以验证OTH算法的特性和优势。其中比较经典的算法包括自适应中值滤波SAMF，均值滤波AF，双边滤波CABF, DWTH, CWTH。近年来较为先进的算法包括去雾增强算法[22](Improved Dark Channel Prior, IDCP)和基于顶帽变换扩展的增强对比度方案的图像增强方法[23](Circle-structuralelement White and Black Top-hat, CWBTH)。将以上算法的时间，目标背景局部信噪比SNR进行比较，具体指标对比结果见表2。

表2 图像预处理算法性能对比结果

从客观角度分析可知，SAMF, AF, CABF算法不能提高局部信噪比；当局部信噪比小于5 dB时，对应的目标称为弱小目标，因此DWTH算法背景抑制能力不够，CWTH算法抑制能力太强，容易造成目标无法识别；图像增强后局部信噪比大于5 dB的包括IDCP, CWBTH算法和OTH算法这3种。而与近年提出的IDCP, CWBTH算法相比，OTH算法使得图像的局部信噪比值适中，速度提升10倍以上。

4.3 基于OLCM算法的红外弱小目标检测实验

首先，对比分析MLCM算法和OLCM算法的实验结果，以验证算法改进效果。选择数据集中的检测效果提升较为显著的8个序列进行展示，如图3所示，其中黄色方框标记的是OLCM算法的处理结果，红色方框标记的是MLCM算法的检测结果，绿色十字标记真实目标所在位置。

如图3所示，统计正确检测的目标个数和错误认定为目标的虚警个数，计算得出OLCM算法使得目标检测的准确率平均提高26.4%，并减少虚警目标个数。因此，OLCM算法相较MLCM算法性能更优。

然后，将OLCM算法与其他经典目标检测方法进行对比，具体包括IPI 算法[13], PSTNN 算法[14],Top-hat算法[7], MPCM[17], RLCM算法[18]和MLCM算法[15]。其中IPI和PSTNN算法是基于低秩稀疏恢复的算法，Top-hat是基于滤波的算法，MPCM,RLCM和MLCM算法是多尺度对比度算法。

利用以上目标检测算法检测该数据集中的22个图像序列，统计算法平均消耗时间Time、平均AUC指数。其中AUC指数为各个序列的接受者工作特征(Receiver Operating Characteristic, ROC)曲线下面积的大小，该曲线的横轴代表FPR，纵轴代表TPR。当AUC值在0.5到1.0之间，也即该指数越大，算法性能越好，算法性能对比结果见表3。

表3 经典目标检测算法性能对比结果

由表3和图3可知，与其他经典目标检测算法相比，OLCM算法的平均AUC指数最高，也即该算法的综合性能最好，并且每秒20帧的速度可基本保持算法的实时性。

4.4 基于OTOLCM算法的红外弱小目标检测实验

为了进一步验证本文算法的优势，本文选择IDCP,CWBTH, OTH3种图像预处理算法，MLCM, OLCM这两种目标检测算法，随机组合得到IDCPLCM,CWBLCM, OTHLCM, IDCPOLCM, CWBOLCM,OTHOLCM 6种组合算法。将以上算法进行对比实验，性能指标对比结果如表4所示。

表4 先进算法和组合目标检测算法性能对比

首先，对比相同目标检测算法叠加图像预处理算法前后的算法性能。通过对比IDCPLCM,CWBLCM, OTHLCM算法和MLCM算法的性能指标，对比IDCPOLCM, CWBOLCM, OTHOLCM算法和OLCM算法的性能指标发现，叠加图像预处理算法后，目标检测算法性能均有所提高。其中，叠加OTH算法的目标检测算法性能指标提升最大。因此验证了OTH算法性能的优势。

其次，对比相同的图像预处理算法叠加不同的目标检测算法的算法性能。通过对比OTHLCM和OTHOLCM算法，对比CWBLCM和CWBOLCM，对比IDCPLCM和IDCPOLCM算法发现，相同图像预处理算法叠加OLCM算法相较MLCM算法性能更优。因此，验证了OLCM算法性能的优势。

最后，将6种组合算法中的性能最优者OTHOLCM和其他先进目标检测算法ECASTT, TTLDM算法进行比较发现，OTHOLCM算法的AUC指数0.893 0，远高于ECASTT算法的0.535 6，TTLDM算法的0.619 4。OTHOLCM算法的单帧图像处理时间0.045 s，少于ECASTT算法的9.049 s，多于TTLDM算法的0.008 s。因此，本文算法的综合性能优于近年先进目标检测算法，且具有良好的实时性。

为了更直观地验证目标检测效果，将OTHOLCM算法的检测结果与OLCM, ECASTT, TTLDM算法进行对比，目标检测结果如图4所示，绿色标记为真实目标所在位置，TTLDM 算法在某些情况下不能准确检测目标，其他3种算法均可，而这三者中OTHOLCM算法的虚警目标数量最少。

图4 先进目标检测算法目标检测结果对比图

绘制3大类场景下4种算法的ROC曲线展示如图5所示。记录FPR等于0.1时的TPR值，TPR等于0.9时的FPR值，计算多序列的平均真阳性率TPR和平均假阳性率FPR，结果如表5所示。

表5 先进目标检测算法性能对比(%)

图5 先进目标检测算法目标检测结果

如表5所示，相比OLCM算法，OTHLCM算法的平均真阳性率提高0.2%，平均假阳性率降低2.6%，证明OTH算法可有效提高目标检测算法真阳性率，降低目标检测算法假阳性率。相较于ECASTT算法、TTLDM算法，OTHOLCM算法的平均真阳性率分别提高近60.6%, 78.5%，平均假阳性率分别降低近72.7%, 76.9%，证明 OTHOLCM算法可大大提高红外弱小目标检测算法的综合性能。

5 结论

针对红外图像信噪比低、对比度低，红外弱小目标信号弱、特征纹理少、难以识别等问题，提出了一种基于改进顶帽变换的红外弱小目标检测算法。该算法结合改进的顶帽变换方法和改进的多尺度局部对比度方法，前者通过针对图像灰度值的特点对不同区域采取不同的策略，达到提高算法速度、目标增强、背景抑制、图像信噪比处于合适区间的目的。后者通过重新设计目标尺度，改进步长，使得算法在保持实时性的基础上提高目标检测的准确率，减少虚警目标。实验验证，OTH算法优于其他图像预处理算法，结合该图像预处理算法可使得目标检测假阳性率降低2.6%；OLCM算法优于其他经典目标检测算法，优化后使得目标检测准确率平均提高26.4%；两者结合的算法OTHOLCM性能最佳，优于ECASTT, TTLDM等近年来的先进的目标检测算法，使得真阳性率分别提高近60.6%, 78.5%，使得假阳性率分别降低近72.8%,76.9%，算法速度保持在每秒25帧的水平。