单帧红外图像弱小目标检测研究综述

凡遵林，王 浩，管乃洋，叶婷婷，孙骞冲,4

〈综述与评论〉

单帧红外图像弱小目标检测研究综述

凡遵林1，王 浩2，管乃洋1，叶婷婷3，孙骞冲1,4

（1. 军事科学院，北京 100071；2. 天津（滨海）人工智能创新中心，天津 300000；3. 中国人民解放军96911部队，北京 100089；4. 国防科技大学 计算机学院，湖南 长沙 410073）

远距离广视角场景中由于红外热成像仪成像原理的局限性、大气环境的干扰、远距离传输介质对红外辐射的衰减，检测目标面临巨大挑战。本文在详细分析了图像背景复杂、目标特性弱小、图像对比度低和结构特性缺失等红外弱小目标图像特性的基础上，从基于目标突显和背景预测两大类概述了单帧红外图像弱小目标检测技术的研究现状，并探讨了红外弱小目标检测研究的发展趋势。

红外弱小目标检测；目标突显；背景预测；数理驱动；数据驱动

0 引言

自然界一切温度高于绝对零度（－273.15℃）的物体都会发射红外辐射。根据场景温度分布，红外热成像系统被动接收红外辐射，获取人眼能看到的红外图像[1-3]。相比合成孔径雷达和激光成像等主动式成像系统，红外热成像系统被动接收场景红外辐射，具有隐蔽性好、角分辨率高和抗电磁干扰能力强的优点；相比可见光成像系统，它不依赖外部光线照射而能全天候工作，受雨雪和烟雾等干扰影响较小，不受局部强光或逆光影响，抗复杂光照能力强；还具备体积小、重量轻和机动性强等优势[4-7]。因此，红外热成像被广泛应用于监视、侦察以及导航等军事领域，成为现代精确制导武器中的主要手段之一。

红外热像仪成像原理的局限性、大气环境的干扰、远距离传输介质对红外辐射的衰减、场景物体和背景之间较小的温度差，导致了红外弱小目标图像存在图像背景复杂、目标特性弱小、图像对比度低和结构特性缺失等挑战，下文将详细分析红外弱小目标特性。因此，开展复杂背景下红外弱小目标检测研究，对扩大现代化高技术武器作战距离和提升反应速度具有重要的实际价值。目前，国内外学者对于红外小目标检测的问题已做了很多富有成效的工作，取得了长足发展。红外弱小目标检测主要包括检测前跟踪和跟踪前检测两大研究方向[8]。检测前跟踪算法：在序列图像中跟踪众多潜在目标轨迹基础上，判断轨迹的真实性以检测目标。跟踪前检测算法：即单帧红外弱小目标检测，处理单帧图像提升目标和背景的可分离性，随后利用门限检测目标。检测前跟踪算法在处理信杂比低图像时具有一定优势，但算法复杂度高和数据存储量大，实际工程中实时性差，应用较少。跟踪前检测算法复杂度较低，实时性好，易于硬件实现，近年来对单帧图像算法的研究已成为红外弱小目标检测算法的主要研究方向。

在单帧红外弱小目标检测算法中，可把从复杂背景中检测红外弱小目标问题看成二分类的模式识别问题。提升目标和背景之间的可分离性是检测红外单帧图像弱小目标的有效途径之一。本文首先详细分析了远距离红外图像特性，其次重点综述单帧红外弱小目标检测研究现状，最后分析了红外弱小目标检测研究的发展趋势。

1 远距离红外图像特性分析

1）图像背景复杂

红外热成像系统监视如天空或海面的远距离场景时，大气传输和外界环境对红外辐射的衰减是红外图像背景复杂的主要因素[9-11]。图1展示了3种典型复杂背景下受强杂波干扰的红外弱小目标图像。图1(a)中，不同海拔空气温度变化较大，云层分布不均匀，图像背景杂波变化起伏；图1(b)中，连绵起伏海浪的红外辐射形成了图像背景大面积的杂波；图1(c)内，由于海空水蒸气湿度高，对红外辐射衰减严重，图像中舰船目标几乎被背景完全淹没。总结远距离红外图像的背景特性：同一行或同一列之间像素点灰度值有较大差异，存在边缘起伏和局部亮的区域；其像素灰度值不服从高斯分布，具有明显的非平稳性和复杂性。

2）目标特性弱小

远距离红外图像的目标呈现出弱、小特征，即“弱”的灰度值和“小”的像素尺寸[12-13]。如图1(a)红色方框的目标，其直径是几米甚至几十米，但在远距离宽视角场景中约只占几个或十几个的像素点，目标在图像视场内呈现“小”的特性。图1(b)和(c)红色方框内的目标，红外辐射受到大气衰减和湍流干扰影响，到达成像系统的能量很低，加上光学系统和读出电路环节中能量衰减过程，目标灰度值在图像视场内呈现“弱”的特性。

3）图像对比度低

图像对比度是指图像的灰度值从最暗到最亮的渐变层次，能反映一幅图像灰度反差的大小。目标和背景之间的本身温差较小，经过远距离大气传输和成像系统的因素进一步造成热辐射能量损失，导致场景内目标和背景之间温度差异更小。同时，红外热成像系统获取原始数据的存储格式通常是14bit，而当前大部分显示设备只能显示256个灰度级，即8bit存储格式，会进一步压缩原始数据的灰度动态范围。因此，远距离红外图像灰度动态范围较小，对比度较低[14-16]。

4）结构特征缺失

红外焦平面阵列上热敏材料的研制工艺复杂，价格昂贵。即便热敏材料的研制技术快速进步，红外焦平面阵列分辨率的提升仍然赶不上（Charge Coupled Device，CCD）或（Complementary Metal Oxide Semi-conductor，COMS）可见光图像传感器分辨率的高速发展。表面温度一致的物体或温度相近的不同物体发射的红外热辐射经过大气媒介到达红外焦平面阵列，红外图像缺乏整体层次感，目标和背景差别很小，目标边缘模糊，细节纹理特征丢失严重，不具备一般可见光图像所具备的清晰结构特征[17-19]。

2 单帧红外弱小目标检测研究现状

在单帧红外弱小目标检测算法中，把从复杂背景中检测红外弱小目标问题看成二分类的模式识别问题[20]。围绕弱小目标和背景杂波特性，本文将分离目标和背景的研究归纳为突显目标、预测背景、兼顾目标与背景三类。

2.1 侧重突显目标的目标检测算法

红外背景往往呈现大面积连续分布状态，在灰度空间分布内具有较大相关性，可将目标看作图像孤立的奇异点。目标的红外辐射强度与背景的辐射强度无关，且一般高于背景的辐射强度。从信号频谱角度分析，一般情况下目标处于信号的高频部分，而背景处于信号的低频成分。因而，分离图像高低频部分的方式可从红外背景中检测目标。

1）基于空间域滤波

空间域滤波核心思想是在空间域上利用像素灰度差异突出目标，去除周围背景噪声干扰。早期的空域高通滤波器利用红外弱小目标灰度值高且背景灰度值较低的差异，指定某频率为界，保留高于此频率成分并滤除低于此频率成分。该方法的优势在于计算复杂度低，便于硬件实现，但使得小目标和孤立的噪声点均可以通过，导致检测率低、虚警率高，同时存在振铃现象。为兼顾避免振铃现象和增强滤波效果，巴特沃斯高通滤波器被用于简单的高通滤波[21]。为提升高通滤波器对复杂背景的适应性，文献[22]采用基于图像的信息熵自适应调节高通滤波器的截止频率。

作为理想高通滤波器的延伸和改进，高斯滤波器差分法[23]通过对多个不同尺度核函数的高斯滤波器提取的成分做差分的方式，得到红外弱小目标图像的多尺度特征。该类改进方法在红外弱小目标检测检测领域得到广泛研究。考虑红外弱小目标图像背景的复杂性，利用目标与背景边缘在方向性上的差异，将圆形的高斯核函数替换为椭圆形的Gabor核函数，从而达到通过调整椭圆的长轴角度实现滤波器方向区分能力，能进一步抑制背景边缘的干扰[24]。基于红外弱小目标周围相邻区域的强度大致呈墨西哥帽分布的假设，Zhang等采用改进的顶帽变换和高斯滤波差分法处理红外图像，再选择符合墨西哥帽分布的像素作为目标候选区域，而后经最大强度定位分割得到目标[25]。也有将高斯滤波器差分法和其他变换域相结合的应用：首先在经傅里叶变换后的图像对数谱内，计算频谱残差转换到空间域后得到相应的显著性图；再将对用频谱残差方法处理后的图像进行差分高斯尺度空间扩展与关键点检测；最后，经特征图像融合与信息熵分割，突显红外弱小目标[26]。

2）基于变换域滤波

空间域内滤波算法往往考虑目标信息不够全面，对滤波器模板形状和尺寸要求高且适应性低，容易出现检测概率低和虚警率高问题。因此不少学者研究在变换域内处理图像。变换域滤波检测红外弱小目标的思路是将原始图像利用数学方法转换到变换域，利用红外目标和复杂背景在变换域内成分的差异，经过某种处理突显目标成分后逆变换至空间域，实现红外弱小目标的检测。

小波变换是数学理论和工程应用完美结合的产物，具有良好的时频局域性和多分辨率性，对点奇异分段函数具有稀疏的表示特性[27]。在小波域内，通过聚类方式将属于目标或背景的特征向量分组，提取并放大目标系数，经小波逆变换后实现目标检测[28]。文献[29]在小波变换域内抑制红外图像背景噪声，采用非负矩阵分解方式将多尺度小波系数融合提取图像目标。由于小波变换缺少多方向性和各向异性，难以准确表示如边缘、轮廓和纹理等高维奇异特征。为此，很多研究者陆续提出了多尺度几何分析，如脊波变换[30]、曲线波变换[31]、轮廓波变换[32]和剪切波变换[33-35]等。多尺度几何分析方法在每个尺度所分解的方向上系数是灵活可变的，可以较好地去除背景干扰及噪声，提升弱小目标检测性能。由于红外图像存在结构背景边缘和噪声，其与目标都处于图像的高频部分，干扰目标的提取。相比空域滤波方法，变换域内精细的信息能够提升目标检测的可靠性，但正逆变换的运用增加了计算量，对实际工程的实时性应用也提出了较高挑战。

3）基于人类视觉特性

人类视觉特性在计算机视觉领域应用非常广泛。红外弱小目标检测方法主要利用显著性原理：人眼通过获取视觉显著性区域的方式区别目标和背景，从而迅速定位感兴趣区域找到感兴趣目标。因此，在此基础上引入了局部对比度、视觉显著性和多尺度等理论机制。

基于局部对比度的方法主要利用空间域的局部信息：基于计算图像块与其邻域间的局部对比度构建显著图，然后通过阈值分割显著图获取小目标的像素位置，达到检测红外弱小目标的目的，其中得到显著图的方式是该类算法的关键，直接影响算法性能[36]。例如针对复杂场景的小目标检测，有学者提出了基于导数熵对比度测量局部信息获取显著图的方法，通过幅度和位置信息得到更好的检测结果，但分块效应仍然存在[37]。基于人眼视觉系统的注意力机制对图像对比度、目标运动和预测等特征的自适应性，Li等改进高斯滤波差分法提出了利用自适应多尺度局部对比度提取目标显著区域的方法，分析光谱尺度抑制背景，增强目标中心区域，突显红外弱小目标[38]。在文献[39]中，为更好抑制红外背景杂波，利用局部灰度残差能抑制平缓背景、局部强度均值能剔除孤立背景点干扰和梯度方向能剔除强边缘杂波干扰的特性，融合多种局部特征形成显著图，并结合阈值分割实现弱小目标与背景的分离。类似的，为快速准确地从红外搜索与跟踪图像检测出弱小红外目标，文献[40]提出了基于视觉显著性和高斯滤波差分法的快速目标检测方法。该方法根据目标与背景的全局特征差异，在粗检测阶段提出了基于快速谱尺度空间和全局特征的显著性模型；根据目标与背景的局部对比度差异，在精细检测阶段采用自适应局部对比度的高斯滤波差分法精细改善目标在视觉显著区域的对比度；最后经自适应阈值分割目标。

2.2 侧重预测背景的目标检测算法

从红外弱小目标图像准确预测目标和背景杂波图像是检测目标的有效途径之一。描述基于预测目标和背景的目标检测算法框架如下[41]：

processed＝1×＋2×target－3×background

式中：为原图像；target为预测的弱小目标图像；background为预测的杂波背景图像；processed为处理后图像；1、2和3对应各成分的权重。权重1表示处理后图像保持原图像基本信息的程度，权重2和3分别控制增强目标和抑制背景的程度。

复杂的杂波背景和微弱的目标特征给分离目标和背景带来了巨大挑战。预测的背景图像保留了过多目标细节，弱小目标将会当作背景杂波被减除；相反的，预测的背景图像滤除了边缘和细节等结构特征，将会在处理后图像保留明显的杂波干扰。此类算法的核心是准确预测背景图像。

2.2.1 基于形态学滤波

数学形态学滤波是一种非线性滤波方式，在图像处理领域得到广泛应用，其基本运算是膨胀与腐蚀[42]。利用形态学滤波预测红外弱小目标和背景图像的基本思想是通过选取具有一定形态的结构元素有针对性地分离出比结构元素小的相对较亮的突起结构（即小目标特征信息），同时保持图像原始灰度值和大面积的背景区域不变（即背景特征信息）。其中，结构元素的选择至关重要，不同的结构元将给图像产生不同的几何结构信息分析和处理。

近年来，基于形态学滤波对红外弱小目标检测开展了广泛研究，并取得了一些成果。如经典的Top-hat变换能较好预测背景，同时提取与结构元素相似的目标和少量干扰噪声，但由于结构元素的单一性，难以准确预测目标附近的背景区域[43]。考虑目标具有结构化边缘的先验和背景间的自相关性，文献[44]提出了一种基于Top-hat正则化与低秩张量相结合的红外小目标检测方法，能够提高红外弱小目标检测的信杂比增益和稳健性。为增强形态学滤波操作的边缘信息，Bai等提出了边缘增强形态学[45]。首先，改进形态学滤波操作得到边缘增强膨胀和侵蚀操作；其次，定义由边缘增强膨胀操作和腐蚀操作导出的伪算子；最后，利用对称的边缘增强腐蚀与膨胀操作提取红外弱小目标图像的多尺度特征以预测图像目标和背景。文献[46]中结合这种新型Top-hat变换和局部对比度的方法，采用局部对比度的方法筛选新型Top-hat变换检测后的目标以降低了虚警率。

2.2.2 基于自适应滤波

由于滤波模板参数随图像特征自适应调整变化，自适应滤波在图像处理领域占据着重要地位。尤其面向预测复杂红外背景的需求，基于自适应滤波的方法在红外弱小目标检测领域得到了更多关注。

二维最小均方滤波器由滤波器演变而来，输入红外图像迭代求取期望图像和预测图像之间的误差函数，自适应计算滤波器模板参数，当误差小于一定阈值时停止迭代并输出预测背景图像[47]。基于此也存在后续优化。文献[48]结合二维最小均方滤波和基于邻域灰度差度量，够有效去除残留背景杂波干扰。文献[49]则在二维最小均方滤波的基础上提出了一种基于自适应双层二维最小均方滤波的红外小目标检测算法，能有效降低弱小目标虚警率，但牺牲了算法的实时性。

在图像处理领域，作为非线性滤波器，双边滤波算法根据背景区域和目标区域的不同自适应改变两个高斯滤波器的标准差，达到平滑背景和保留边缘等结构特征的目的。Bae等综合考虑空间距离与灰度分布特性联合使用空间域和强度域的高斯滤波器，在分析和提取图像边缘方向的基础上改进双边滤波以作为背景预测器，在保持较强背景预测能力的同时提升了红外弱小目标检测的鲁棒性和检测效率[50]。Zhao等首先采用不同分解层次的高斯带宽函数从原始图像中预测得到不同频率分量的子图像；其次，基于局部调频的特征检测方法有效提取各子图像的弱小目标区域生成显著性图，并增强不同分解尺度下的子图像；最后，合成所有子图像预测得到目标结果[51]。

2.3 兼顾目标和背景的目标检测算法

2.3.1 基于图像数据结构

由于一般红外图像的背景区域具有强自相似性而弱小目标具有稀释特性，近来年有学者从图像数据结构的方向开展红外弱小目标检测的研究。此类算法的核心是将小目标的检测问题转化为恢复低秩矩阵和稀疏矩阵的问题，即低秩稀疏矩阵恢复的凸优化问题。

引进应用于分类任务的稀疏表示，利用频率特征差异实现目标检测。低秩稀释分解模型的核心是采用增广拉格朗日乘子法优化迭代基于图像数据构造的背景或目标字典，有效描述噪声数据的具体结构。Lu等基于在线学习训练双稀疏字典构造的背景字典，并利用稀疏表示模型将目标图像分解为背景分量、目标分量和噪声分量，最后采取边缘杂波抑制策略提高检测弱小目标的鲁棒性[52]。此类算法具有较强的抗噪声能力，虚警率较低、鲁棒性更好，但抑制背景效果有限。

为充分提升抑制红外图像背景效果，Gao等最先提出红外图像块模型，先通过“滑窗”方式对图像分块，再重新排布红外图像块以加强图像块之间的空间自相关性，接着采用稳定主成分追踪方法从数据矩阵中恢复背景低秩分量和目标稀疏量，最后经图像重建和分割，得到最终的检测目标[53]。后续有很多学者开始相关研究：聚焦于改进矩阵恢复和权重设置。

在改进矩阵恢复方面，传统主成分追踪模型只考虑了背景图像的低阶特征，在非均匀、非光滑的场景中检测能力较差。Wang等选择全变分正则化项描述背景特征，提出了基于全变分和主成分追踪模型，以便处理非平滑、非均匀的背景[54]。针对处理目标较暗且背景复杂的红外图像时虚警率高的问题，Zhang等提出一种非凸秩逼近最小化与加权L1与L2范数的红外弱小目标检测方法，以联合L1和L2范数正则化图像边缘特征的方式更好抑制红外背景，降低虚警率[55]。

在改进权重设置方面，Dai等基于图像块的结构先验信息为每列块结构设置自适应的权重，将红外弱小目标和背景的分离问题转为加权鲁棒主成分分析问题，以更好地保留红外弱小目标和抑制较强的边缘[56]。文献[57]则在红外图像块模型的基础上，融合图像背景的低秩特征和目标的稀疏特征提出了自适应加权方差信息熵权重方法。

2.3.2 基于深度学习

受背景杂波和噪声影响，图像中频率最高的成分不一定对应目标。固定的高斯带宽函数、稀疏字典、全变分正则化模型和形态学滤波结构元仍难以适应红外图像杂波背景的复杂多变，其适应性不强，容易混淆背景强杂波和弱小目标。同时需要借助先验信息选择合适滤波器模板或者变换域参数，导致算法鲁棒性下降、应用范围受限。

得益于深层非线性响应的网络模型逼近复杂函数和大量数据驱动，深度学习算法展现了强大学习能力。在预测和生成图像背景方面，受限波尔兹曼机、深度自编码网络、深度全卷积网络和生成对抗网络等深度学习网络模型都扮演了重要角色[58]。Sheri等为更好利用像素点均值和方差生成图像背景和前景，引入高斯混合约束，提出了基于高斯-伯努利的受限波尔兹曼机网络，从给定的输入图像学习重建图像背景[59]。Farnoosh等设计基于变分自编码的深度概率背景模型，在可变自动编码器的编码部分将具有冗余特性的背景部分压缩到低维空间，能较好适应场景光照变化，但受限于两方面假设：背景成分属于低维度的变量表示空间；非线性映射的视频帧背景符合高斯分布模型[60]。为提升深度卷积神经网络对图像背景的表征和目标结构细节的恢复，Akilan等[61]提出包含压缩编码和扩展解码的全卷积网络模型，且两个子网络均采用特征图上采样和残差连接方式，通过学习图像的局部和全局特征，达到预测前景目标和场景背景之间的平衡。针对光照变化、非平稳背景和重影等挑战，Zheng等[62]提出了基于并行视觉和贝叶斯生成对抗网络的背景预测算法：先采用中值滤波算法提取背景图像，后利用贝叶斯生成对抗网络对每个像素进行目标和背景的分类，并利用平行视觉理论改进复杂场景下的背景预测效果。考虑不同尺度卷积特征对预测背景图像的影响，Lim等提出了两种生成多尺度编码特征的深度卷积神经网络：使用相同编-解码器配置，以3个尺度的编码器获取输入，将图像嵌入多尺度特征空间；在输入编码器的顶部插入特征池模块，以提取中间层的多尺度特征。两种模型在解码部分都采用转置卷积网络学习从特征空间到图像空间的映射[63]。针对目标模糊和背景复杂的问题，Fan等提出一种增强小目标和抑制背景杂波的卷积神经网络增强方法，该算法通过预测小目标和背景有针对性地处理，以提高背景杂波嵌入小目标的弱红外图像的对比度[64]。Zhang等利用残差网络作为特征提取的主干网络，通过引入自注意力机制融合增强多尺度深度特征，同时基于全局上下文的注意力机制获取不同层深度语义和特征之间的全局关联，提升低级和深层语义特征的利用率[65]。

Wang等人利用卷积神经网络和条件生成对抗网络实现了红外小目标检测漏检和虚警之间平衡[66]。基于（single-frame infrared small target，SIRST）的目标分割，Dai等设计了非对称上下文调制的ACMNet[67]，补充了自底向上的调制方式，以突出高层语义和微妙的低层细节。为了保持深层红外小目标的信息，Li等人提出了一种密集嵌套注意网络DNA-Net[68]，实现高层和低层特征的递进交互。基于目标或背景的像素彼此相关的假设，Wang等人提出了用于红外小目标检测的由粗到细的内部注意力感知网络IAANet[69]。Yan等人提出了时空差分多尺度注意网络STDMANet[70]，使用多尺度时间特征提取器获得时空特征，在保持小目标位置信息的前提下增强时空特征语义，并引入掩码加权热图以设计损失函数。

在红外弱小目标数据方面，也有一些学者开源了研究过程中的数据集，例如427幅红外图像的NUAA-SIRST数据集[67]和包含1000幅红外图像的IRSTD-1k数据集[71]、包含17598艘带注释的小飞船和48幅10000×10000像素红外图像的NUDT-SIRST-Sea数据集[72]、地下/空中背景下红外图像小目标数据集DSAT[73]和杂波背景下红外运动小目标数据集SIATD[74]。

通常基于深度学习的红外弱小目标方法依赖大量带标签样本的数据，这也是红外弱小目标检测研究难以避免的挑战。但由于红外弱小目标图像的应用范围比较敏感，被广泛采用且高质量标注的大型红外弱小目标数据集稀缺。

3 单帧红外弱小目标检测研究发展趋势

在实际应用中，目标和背景的复杂性远远超出了人们的想象，近年来随着红外弱小目标检测技术不断发展，近年来针对特定复杂背景的检测方法也不断被提出。从关键技术、数据库和实际应用三个方面分析单帧红外弱小目标检测研究的发展趋势：

1）结合目标和背景特征分析关键技术发展。基于突显目标的红外弱小目标检测技术的本质是图像增强技术。相对图像复原技术，缺乏一定的理论支撑和数学推导。可类比雾霾自然图像退化现象，考虑外界环境影响、大气传输衰减和红外焦平面阵列自身干扰等因素，建立不同背景条件下红外图像质量退化模型，为提升红外图像质量的技术研究奠定理论基础。尤其针对天地背景、海空背景等典型远距离场景，建立适用场景的目标模型和背景模型。同时，人类视觉系统是功能强大的视觉处理系统。视觉系统初级视觉皮质层神经元处理外界信息具有方向选择性、多尺度性、局部性和稀疏特性。基于上述特性，建立模拟人眼视觉特性的数学模型，提取红外弱小目标的不同维度的特征，也是解决当前红外弱小目标检测难题的思路之一。

基于背景预测的红外弱小目标检测技术的核心是目标和背景特征的学习与提取。基于数理知识支撑的特征提取：典型代表有高斯滤波差分法、高斯带宽函数、稀疏字典、全变分正则化模型、形态学滤波和变换域方法等。这类方法经过严格的数学推导和理论分析，具有学习效率高、解释性强的优点，但没有考虑数据间的关联，效果局限于部分场景，鲁棒性较差。基于大量数据驱动的特征学习：其核心是大量数据和标签样本进行端对端的监督学习，能够从数据中学习深度层次特征和数据拟合能力。但基于深度学习预测红外弱小目标图像的杂波背景存在挑战：需要大量标签数据和端对端的监督训练，否则难以无偏差预测数据规律，前文已分析样本量和标签是目前遇到的现实问题；缺乏理论支撑，模型解释性不强，局限于学习输入数据和网络任务层的映射关系。面对目标特征弱小、图像背景复杂、图像对比度低和结构特征缺失等挑战，为避免手工特征提取符的不完备性同时增强深度学习网络模型特征的解释性，很有必要开展内嵌数理知识和数据驱动的无监督特征学习研究。将数理知识嵌入深度网络模型、优化卷积核特征学习的方式是高效学习红外弱小目标图像特征的有效途径之一。

2）建立红外弱小目标图像标准数据库是至关重要的。其一，标准数据库可为处理算法提供不同场景下的数据，验证算法的普适性；其二，在标准的数据库上可公平对比不同处理算法的性能，便于评价不同算法处理结果的图像质量；其三，标准数据库也能为数据驱动的红外弱小目标特征学习算法提供足够数据基础。

3）将关键技术研究转为实际应用任重道远。基于图像数据结构等红外弱小目标检测算法对计算量较大，难以满足算法处理的实时性。在实际工程中应用该类算法，可以考虑使用快速算法以提升收敛速度，快速重构约束条件下的矩阵。基于深度学习型算法检测性能较好，但需依赖高性能的图形处理单元（GPU）才能实现实时。而针对类似于弹载平台等计算资源受限的硬件处理单元，有必要开展知识蒸馏和模型裁剪等模型轻量化技术研究，以及结合硬件处理单元特性设计定制化的网络模型。

[1] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[2] Jakubowicz J, Lefebvre S, Maire F, et al. Detecting aircraft with a low-resolution infrared sensor[J]., 2012, 21(6): 3034-3041.

[3] 凡遵林, 管乃洋, 王之元, 等. 红外图像质量的提升技术综述[J]. 红外技术, 2019, 41(10): 941-946. FAN Zunlin, GUAN Naiyang, WANG Zhiyuan, et al. Infrared image quality improvement technology: a review[J]., 2019, 41(10): 941-946.

[4] 杨俊彦, 吴建东, 宋敏敏. 红外成像制导技术发展展望[J]. 红外, 2016, 37(8): 1-6. YANG Junyan, WU Jiandong, SONG Minmin. Development and prospect of infrared imaging guidance technology[J]., 2016, 37(8): 1-6.

[5] Ahmadi K, Salari E. Small dim object tracking using frequency and spatial domain information[J]., 2016, 58(3): 227-234.

[6] JIA Y, GAO T, ZHAO J. Texture based infrared military target extraction[J]., 2011, 44-47: 2489-2493.

[7] LAW W, XU Z, YONG K. Manganese-doped near-infrared emitting nanocrystals for in vivo biomedical imaging[J]., 2016, 24: 17553-17561.

[8] 任向阳, 王杰, 马天磊, 等. 红外弱小目标检测技术综述[J]. 郑州大学学报: 理学版, 2020, 52(2): 1-21. REN Xiangyang, WANG Jie, MA Tianlei, et al. Review on infrared dim and small target detection technology[J].:Natural Science Edition, 2020, 52(2): 1-21.

[9] ZHENG C, LI H. Small infrared target detection based on harmonic and sparse matrix decomposition[J]., 2013, 52(6): 066401.

[10] ZHANG B, ZHANG T, CAO Z, et al. Fast new small-target detection algorithm based on a modified partial differential equation in infrared clutter[J]., 2007, 46(10): 106401.

[11] BAI X, ZHOU F, XUE B. Infrared dim small target enhancement using toggle contrast operator[J]., 2012, 55: 177-182.

[12] Bae T, ZHANG F, Kweon I. Edge directional 2D LMS filter for infrared small target detection[J]., 2012, 55(1): 137-145.

[13] Karalı A, Okman O, Aytaç T. Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues[J]., 2010, 27(3): 509-517.

[14] Angaitkar P, Saxena P. Enhancement of infrared image: a review[J]., 2012, 2(2): 1186-1189.

[15] Janani V, Dinakaran M. Infrared image enhancement techniques - a review[C]//, 2014: 167-173.

[16] Morris N, Avidan S, Matusik W, et al. Statistics of infrared images[C]//, 2007: 1-7.

[17] Nanhakumar N, Aggarwal J. Integrated analysis of thermal and visual images for scene interpretation[J]., 1988, 10(4): 469-481.

[18] 穆为磊, 高建民, 陈富民, 等. 符合人眼视觉特性的焊缝射线数字图像增强方法[J].西安交通大学学报, 2012, 46(3): 90-93. MU Weilei, GAO Jiammin, CHEN Fumin, et al. Weld radiographic image enhancement conforming to human visual system [J]., 2012, 46(3): 90-93.

[19] 龚昌来, 罗聪, 杨冬涛, 等. 基于正弦灰度变换的红外图像增强算法[J]. 激光与红外, 2013, 43(2): 200-203. GONG Changlai, LUO Cong, YANG Dongtao, et al. Infrared image enhancement based on sine gray level transformation[J]., 2013, 43(2): 200-203.

[20] 汪国有, 陈振学, 李乔亮. 复杂背景下红外弱小目标检测的算法研究综述[J]. 红外技术, 2006, 28(5): 287-292. WANG Gouyou, CHEN Zhenxue, LI Qiaoliang. A review of infrared weak and small targets detection under complicated background[J]., 2006, 28(5): 287-292.

[21] Mahata S, Kar R, Mandal D. Optimal fractional-order highpass Butterworth magnitude characteristics realization using current-mode filter[J]., 2019, 102: 78-89.

[22] YANG L, YANG J, YANG K. Adaptive detection for infrared small target under sea-sky complex background[J]., 2004, 40(17): 1083-1085.

[23] DONG X, HUANG X, ZHENG Y. Infrared dim and small target detecting and tracking method inspired by human visual system[J]., 2014, 62: 100-109.

[24] HAN J, MA Y, HUANG J. An infrared small target detecting algorithm based on human visual system [J]., 2016, 13(3): 452-456.

[25] ZHANG Y, ZHENG L, ZHANG Y. Small infrared target detection via a Mexican-hat distribution[J]., 2019, 5: 5570.

[26] 周姣, 辛云宏. 基于显著性与尺度空间的红外弱小目标检测[J]. 激光与红外, 2015, 45(4): 452-456. ZHOU Jiao, XIN Yunhong. Infrared dim small target detection based on saliency and scale-space[J]., 2015, 45(4): 452-456.

[27] Srivastava H, Khatterwani K, Upadhyay S. A certain family of fractional wavelet transformations[J]., 2019, 42(9): 3103-3122.

[28] Boccignone G. Small target detection using wavelets[C]//, 1998: 1776-1778.

[29] Davidson G, Griffiths H. Wavelet detection scheme for small target in sea clutter[J]., 2002, 38(19): 1128-1130.

[30] Candes E. Ridgelets: Theory and Application[D]. Stanford: Stanford University, 1998.

[31] Starck J, Candes E, Donoho D. The curvelet transform for image denoising[J]., 2002, 11(6): 131-141.

[32] Do M, Vetterli M. The Contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[33] Easley G, Labate D, Lim W. Sparse directional image representation using the discrete shearlet transforms[J]., 2008, 25: 25-46.

[34] Lim W. Nonseparable shearlet transform[J]., 2013, 22(5): 2056-2065.

[35] PENG L, ZHANG T, LIU Y, et al. Infrared dim target detection using shearlet's kurtosis maximization under non-uniform background[J]., 2019, 11(5): 723.

[36] CHEN C, LI H, WEI Y. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.

[37] BAI X, BI Y. Derivative entropy-based contrast measure for infrared small-target detection[J]., 2018, 56(4): 2452-2466.

[38] LI S, LI C, YANG X, et al. Infrared dim target detection method inspired by human vision system[J]., 2020, 206: 164167.

[39] 危水根, 王程伟, 张聪炫, 等. 多信息融合的红外弱小目标检测[J]. 红外技术, 2019, 41(9): 857-865. WEI Shuigen, WANG Chengwei, ZHANG Congxuan, et al. Infrared dim target detection based on multi-information fusion[J]., 2019, 41(9): 857-865.

[40] YI X, WANG B, ZHOU H, et al. Dim and small infrared target fast detection guided by visual saliency[J]., 2019, 97: 6-14.

[41] 黄苏琦. 时空谱多特征联合红外弱小目标检测方法研究[D]. 成都: 电子科技大学, 2020. HUANG Suqi. Infrared Dim Small Target Detection Based on Joint Temporal-Spatial-Spectral Features[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[42] Serra J.[M]. New York: Academic Press, 1982.

[43] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[44] ZHU H, LIU S, DENG L. Infrared small target detection via low-rank tensor completion with top-hat regularization[J]., 2019, 58(2): 1004-1016.

[45] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[46] 刘源, 汤心溢, 李争. 基于新Top Hat变换局部对比度的红外小目标检测[J]. 红外技术, 2015, 37(7): 544-552. LIU Yuan, TANG Xinyi, LI Zheng. A new top hat local contrast based algorithm for infrared small target detection[J]., 2015, 37(7): 544-552.

[47] Ohki S. Two-dimensional LMS adaptive filters[J]., 1991, 37(1): 66-73.

[48] LV P, SUN S, SUN C, et al. Space moving target detection and tracking method in complex background[J].2018, 91: 107-118.

[49] 张艺璇, 李玲, 辛云宏. 基于自适应双层TDLMS滤波的红外小目标检测[J]. 光子学报, 2019, 48(9): 186-198. ZHANG Yixuan, LI Ling, XIN Yunhong. Infrared small target detection based on adaptive double-layer TDLMS filter[J]., 2019, 48(9): 186-198.

[50] Bae T, Sohng K. Small target detection using bilateral filter based on edge component[J]., 2010, 31(6): 735-743.

[51] ZHAO J, CHEN Y, FENG H, et al. Infrared image enhancement through saliency feature analysis based on multi-scale decomposition[J]., 2014, 62: 86-93.

[52] LU Y, HUANG S, ZHAO W. Sparse representation based infrared small target detection via an online learned double sparse background dictionary[J]., 2019, 99: 14-27.

[53] GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]., 2013, 22(12): 4996-5009.

[54] WANG X, PEN Z, KONG D, et al. Infrared dim target detection based on total variation regularization and principal component pursuit[J]., 2017, 63: 1-9.

[55] ZHANG L, PENG L, ZHANG T, et al. Infrared small target detection via non-convex rank approximation minimization Joint/2,1norm[J]., 2018, 10(11): 1821.

[56] DAI Y, WU Y, SONG Y. Infrared small target and background separation via column-wise weighted robust principal component analysis[J]., 2018, 77: 421-430.

[57] 熊斌, 黄心汉, 王敏. 基于自适应目标图像恢复的红外弱小目标检测[J]. 华中科技大学学报: 自然科学版, 2017, 45(10): 25-30. XIONG Bin, HUANG Xinhan, WANG Min. Infrared small target detection based on adaptive double-layer TDLMS filter[J].: Natural Science Edition, 2017, 45(10): 25-30.

[58] Bouwmans T, Javed S, Sultana M, et al. Deep neural network concepts for background subtraction: A systematic review and comparative evaluation [J]., 2019,117: 8-66.

[59] Sheri A, Rafique M, Jeon M, et al. Background subtraction using Gaussian-Bernoulli restricted Boltzmann machine[J]., 2018, 12(9): 1646-1654.

[60] Farnoosh A, Rezaei B, Ostadabbas S. DeepPBM: Deep probabilistic background model estimation from video sequences [J/OL]., 2019, https://arxiv.org/abs/1902. 00820v1.

[61] Akilan T, WU J. sEnDec: An improved image to image CNN for foreground localization[J]., 2019, 21(10): 4435-4443.

[62] ZHENG W, WANG K, WANG F. A novel background subtraction algorithm based on parallel vision and Bayesian GANs[J]., 2020, 394: 178-200.

[63] Lim L, Keles H. Foreground segmentation using convolutional neural networks for multiscale feature encoding [J]., 2018, 112: 256-262.

[64] FAN Z, BI D, XIONG L, et al. Dim infrared image enhancement based on convolutional neural network[J]., 2018, 272: 396-404.

[65] ZHANG T, CAO S, PU T, et al. AGPCNet: attention-guided pyramid context networks for infrared small target detection[J/OL]., 2021, https://arxiv.org/abs/2111.03580.

[66] WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//(ICCV), 2019: 8508-8517.

[67] DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]//(WACV), 2021: 949-958.

[68] LI B, XIAO C, WANG L, et al. Dense nested attention network for infrared small target detection[J/OL]., 2022, Doi: 10.1109/TIP.2022.3199107.

[69] WANG K, DU S, LIU C, et al. Interior attention-aware network for infrared small target detection[J]., 2022, 60: 1-13.

[70] YAN P, HOU R, DUAN X, et al. STDMANet: spatio-temporal differential multiscale attention network for small moving infrared target detection[J]., 2023, 61: 5602516.

[71] HU Y, MA Y, PAN Z, et al. Infrared dim and small target detection from complex scenes via multi-frame spatial–temporal patchtensor model[J]., 2022, 14(9): 2234.

[72] WU T, LI B, LUO Y, et al. MTU-Net: multilevel transUNet for space-based infrared tiny ship detection[J]., 2023, 61: 5601015.

[73] SONG Z, HUI B. A dataset for infrared image dim-small aircraft target detection and tracking underground/air background[DB/OL]//, [2019-10-28]. https://www.scidb.cn/en/detail?dataSetId=7206264 20933459968&dataSetType=journal.

[74] SUN X, GUO L, ZHANG W, et al. A dataset for small infrared moving target detection under clutter background[DB/OL]., [2023-10-24]. https://cstr.cn/31253.11.sciencedb.j00001.00231.

Review of Dim Small Target Detection Research in Single Infrared Image

FAN Zunlin1，WANG Hao2，GUAN Naiyang1，YE Tingting3，SUN Qianchong1,4

(1. Academy of Military Sciences PLA China, Beijing 100071, China;2. Tianjin Artificial Intelligence Innovation Center, Tianjin 300000, China;3. Unit 96911 of Chinese People's Liberation Army, Beijing 100089, China;4. College of Computer, National University of Defense Technology, Changsha 410073, China)

For long-distance and wide field-of-view scenes, infrared target detection has significant challenges owing to the principle of a thermal imager, interference of the atmospheric environment, and attenuation of infrared radiation by long-distance transmission media. Based on the characteristic analysis of small-target infrared images, such as complex background, dim and small targets, low image contrast, and lack of image structures, we reviewed the research status of infrared dim small-target detection from target highlight and background estimation and discussed the development trend of infrared dim small-target detection.

infrared dim small target detection, target highlight, background estimation, mathematical driven, data driven

TP391.41

A

1001-8891(2023)11-1133-08

2022-09-23；

2023-03-28.

凡遵林（1991-），男，助理研究员，主要从事红外技术、光电图像处理和计算机视觉等方面的研究。E-mail：18191261397@163.com。

孙骞冲（1984-），男，博士，主要从事红外技术、计算机视觉和人工智能等方面的研究。E-mail：sunqianchong@hotmail.com。

国家自然科学基金“数理和数据双驱动的红外弱小目标检测技术研究”（62106280）。