基于生物启发模型的红外小目标检测

李 斌,李秀红,艾斯卡尔·艾木都拉

(新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046)

1 引 言

红外复杂场景下的小目标检测研究的意义极其重要。首先,在军事领域的导弹防空预警、导弹精准制导和海上漂浮地雷侦查中发挥了非常重要的作用[1]。其次,现如今由于轻量化的小型无人机的普遍使用,导致存在边防间谍无人机的威胁与在敏感设施中未经授权的无人机的侦查偷拍的威胁,所以远距离检测和监视非法无人机至关重要。小目标检测也为小目标跟踪技术提供了基础。由于诸如目标对比度极低和背景复杂杂波较高[2]之类的问题,在红外图像中准确检测非常小的目标仍然是一项艰巨的任务。

红外小目标的检测遇到的难点如下:①目标距离非常远而导致目标的形状特点与纹理特点极其的少；②光学模糊的原因直接导致红外小目标在焦平面上发生畸变与点扩展；③红外小目标的强度在不同的环境与天气中不固定；④红外小目标的背景复杂且噪点高,比如存在海空背景、山地背景与高楼宇背景等等,复杂背景会导致阳光反射、场景或云层变换等等问题。

近几年在红外场景下的小目标检测方法可以分为两大类:顺序检测算法和单帧检测算法。关于顺序检测算法有:基于动态规划的算法[4]、基于最大似然估计的算法[5]、基于假设检验的算法[6]；关于单帧检测算法有:基于最大中位数和最大均值滤波器的算法[7]、基于二维最小均方自适应滤波器的算法[8]、基于形态学滤波的算法[9]。

本文提出了基于生物视觉启发模型的小目标检测方案(PLMC),主要思想来源于Brinkworth等所提出的小型昆虫视觉处理机制[10-11],文献[11]根据蝇类具有检测和跟踪小型移动物体的能力而提出了基于生物视觉的图像处理思路,小型昆虫的视觉系统中的神经元对于过滤目标的复杂背景噪声和杂波抑制的能力极强。本文将此思想尝试应用至红外小目标检测中,拟解决红外小目标检测中纹理信息不足、暗淡模糊和低目标对比度等难点，PLMC方案流程图如图1所示。解决方案拟为基于感光细胞模型与大型单极细胞模型将红外序列中的目标信息增强且抑制背景杂波,增强信噪比,可通过改进阈值分割小目标。实验对比五种具有代表性、检测率高、鲁棒性不错且较新的算法,结果表明本文所提出的方案在较复杂场景中获得了更高的检测精度与鲁棒性。

图1 PLMC方案流程图Fig.1 Flow chart of PLMC

2 PLMC检测方案

本文提出的红外小目标检测方案的流程如图1所示。首先,输入红外序列帧,由感光计算模型增强目标与抑制背景杂波,利用自适应阈值消除了大多数背景杂波,从而获得复杂背景下的可疑目标像素；然后由LMC计算模型消除时空冗余与增强目标对比度。经过目标增强处理后的图像序列输入阈值分割模块,最后利用阈值分割出真实的目标,输出目标的位置信息。

2.1 感光模型

文献[10]～[12]进行了小型生物视觉系统对光强度变化的响应的理论研究,研究了蜻蜓的感光细胞对强度自然时间序列的响应。利用其对红外小目标做检测时,其模型的输出与刺激的速度高度相关,但与其他通常会影响目标检测任务的背景统计数据(如局部亮度或对比度)高度相关。瞬态细胞模型可从背景中区分目标,而无需相对运动提示。感光模型代表了沿着拟议的通往目标检测神经元途径的神经处理过程[13],尝试将其应用于红外小目标增强,其计算模型推导如图2所示。

图2 感光计算模型Fig.2 Photosensitive computing model

感光模型第一阶段:

第一阶段在数值上模拟感光细胞的自适应时间滤光机制。特点:①其临时逐像素操作可抑制红外图像的背景噪声,增强目标背景辨别力,扩大信号可变性的可能范围并动态调整输入图像的暗区和亮区；②使用全局线性缩放,对输入数据进行每像素二阶时域低通滤波和每像素增益可变；③可消除高频,短时噪声输入像素的影响,并增强信号,从而可在更宽的输入范围内捕获细节。

步骤一:设Pt为时间t的输入像素,使用时间常数T对Pt进行时间低通滤波,如式(1)。则可以通过时间低通滤波器式(1)计算出适应水平Lt,如式(2),其中TL表示预设的适应水平过滤时间常数。

(1)

(2)

步骤二:自适应水平Lt用于通过Naka-Rushton变换[15]实现的色调映射过程,由式(3)计算变量和自适应时间常数Tt,其中gs表示输入帧速率,Tmax和Tmin是分别对应于时间低通滤波器的最大和最小自适应率的范围参数,Pmid是中点像素值(可从一组训练像素中估算出该值)。色调映射过程的结果,其场景暗区中的像素将具有更长的时间常数,并且比亮像素适应性更慢。

(3)

步骤三:时间常数Tt用于通过低通滤波实现Pt的时间平滑式,可应用多个低通滤波器来计算At,以实现更强的平滑度。自适应水平Lt用于计算自适应非线性增益因子,设Kmax是最大增益参数,此过程使得红外暗场景区域中的细节被自适应地增强。综上输出式(4):

(4)

感光模型第二阶段:

此阶段由除数反馈机制组成,如图2(a)所示。

步骤一:非线性除数反馈机制是通过反馈回路实现,如式(5),其中MB是本阶段的预设时间常数:

(5)

步骤二:稳态行是对平方根函数进行建模,在时间t=0处初始化,即At是Bt的二次方。即可快速地适应输入强度,从而使像素能快速适应红外背景亮度变化的影响。

感光模型第三阶段:

如图2所示,此阶段由低通滤波的指数除法反馈组成,可使感光模型能够适应强度的缓慢变化,同时保持时间一致性和对高频变化的抵抗力。低通反馈环路为式(6),其中MC是此阶段的预设时间常数。对稳态对数响应进行建模,在t=0时初始化,即Ct是At的自然对数。指数缩放使该阶段可以执行输入像素的显着非线性重新缩放,进一步压缩了阶梯状的变化,有助于改善红外小目标的梯度对比度。

(6)

感光模型第四阶段:

本阶段用于限制感光模型的输出范围,随着强度值的增加,响应变得越来越非线性。使用Naka-Rushton非线性计算感光模型的最终输出,如式(7),其中参数n为正偏移。感光计算模型通过将输入同时压缩为带宽明显较低的信号并改善信号变化范围来减少视觉信号的冗余。最重要的是,不会丢失可能有用的红外小目标统计数据,并且在信息量高的区域中,红外小目标背景对比度会增强。

(7)

2.2 LMC模型

文献[14]～[15]测量了强度的自然时间序列及大型单极细胞(LMC)对这些时间序列的响应,小型飞行昆虫的大型单极细胞(LMC)具有增强目标对比度功能。可推导出LMC计算模型如图3所示。该LMC模型减少了视觉信息的冗余,可以增强红外小目标的对比度。

LMC模型第一阶段:

先将感光计算模型输出结果进行标准化,从中减去一个小的正偏移量z(可从感光模型输出的时空立方体中估计),如式(8):

Et=Dt-z

(8)

LMC模型第二阶段:

为了逐步淘汰红外背景中低频长期静态场景元素,标准化输出Et的可变时间高通滤波,暂时的高通滤波是通过低通滤波输出的减法实现的。

步骤一:在Et上应用低通滤波器(其自适应水平ME通过等式中给出的类似色调映射过程计算出自适应时间常数LE),再对其做减法,可得出高通滤波的输出如式(9),其中ρ是预设的比例因子:

(9)

步骤二:使用预设时间常数平滑高通滤波的环绕抑制,最终输出Gt。

LMC模型第三阶段:

在红外序列图像的背景噪声和多余的场景元素被抑制之后,通过空间高通滤波增强了红外移动小目标的细节。通过使用可变且空间自适应的中心环绕核进行空间卷积来实现空间高通滤波器,如图3所示。

图3 LMC计算模型Fig.3 LMC computing model

LMC模型第四阶段:

使用饱和非线性获得LMC计算模型的最终输出。

LMC模型处理负责消除时空冗余并增强红外小目标对比度。其通过淘汰不感兴趣的场景元素(例如长期的静态明亮结构)来抑制混乱,并且在高信息内容区域(有变化)中增强了场景的对比度,在低信息内容区域(无变化)降低了场景的对比度。

2.3 改进阈值分割方案

红外小目标的检测类似于对雷达信号的检测,本文使用恒虚警率(CFAR)算法来计算自适应阈值AT,如图4可知,统计图像中的背景杂波为高斯分布。

图4 CFAR确定阈值示意图Fig.4 A schematic of CFAR to determine thresholds

假设预处理图像的尺寸为x×y,设f(m,n)为坐标(m,n)处的像素灰度值,则预处理图像的平均值μ的计算如式(10)所示。预处理图像的标准偏差σ的计算过程如式(11)所示。

(10)

(11)

从恒定误报率中获得的阈值定义如式(12),其中AT表示自适应阈值,P表示误报概率：

AT=μ-σ(P)φ-1

(12)

对阈值做修改,结果如式(13),其中k为调整系数：

AT=μ-kσ(P)φ-1

(13)

红外序列经过感光模型计算之后,通过自适应阈值分割,可以获得复杂背景下的一些可疑的目标像素,并消除了大多数背景杂波。再经过LMC模型计算消除时空冗余后,可通过阈值分离出小目标。

在红外小目标的复杂背景中最明显的区域大概率就是目标位置区域,将修改后的阈值式(14)应用到PLMC,消除噪声影响准确分割目标。式(14)中的a为阈值的调整参数：

(14)

以灰度值为测量数据,其数值若高于当前的阈值,则其像素可被确定为真实目标像素。经过阈值分离出小目标后,最后输出目标的位置信息。

3 实验分析

本文所有实验均通过Python3.5在配备Intel(R)Core(TM)i7-8700 CPU @ 3.20 GHz CPU,NVIDIA GeForce GT 730和16 GB内存的计算机上执行。

3.1 数据集与评估指标

本文实验为证明所提出红外小目标检测方案具备有效性与实用性,选取了五种不同的复杂背景红外小目标数据集,见表1所示。五个示例帧中的标注圈内是待检测的红外小目标,每个复杂背景都含有层次不同的噪声,比如云彩噪声、楼宇噪声与树林山地噪声,还有由于能量衰减和传感器带来的热噪声,特别是在高原雪山背景、森林山地背景与楼宇公路背景中的目标信号极其的弱小,复杂的背景噪声确实特别大,红外小目标隐蔽在了极强的热噪声中。

表1 复杂场景数据集Tab.1 Complex scene data set

本文使用常用定量评价指标工作特性(ROC)曲线评估PLMC检测方案的性能。ROC曲线表示真阳性率(TPR)与假阳性率(FPR)之间的变化关系[16],其中TPR表示检测出的总的小目标数量与真正的小目标数量的比值,FPR表示检测出总的伪目标像素与图像总像素数的比值。

3.2 PLMC检测过程

本文提出的PLMC红外小目标检测方案为分步增强目标法,图5为PLMC方案在五种复杂背景下的目标增强分解过程,其中(a1)～(a5)使用山脉天空背景数据；(b1)～(b5)使用森林山地背景数据;(c1)～(c5)使用海洋天空背景数据;(d1)～(d5)使用层遮挡背景数据;(e1)～(e5)使用平原公路背景数据。按照设定步骤增强目标与抑制背景杂波,消除时空冗余与增强目标对比度。当式(13)中k属于范围[7,14]、式(14)中a的范围是[1.1,2]时可以获得所有背景的最佳性能。

图5 PLMC目标增强处理过程Fig.5 PLMC target enhancement process

3.3 对比其他方案

本文对在红外小目标检测方面的五种具有广泛代表性、目标检测率较高、较新的、鲁棒性不错的算法进行比较。其中包含:一种较常用的红外场景下的点状目标检测算法IPI[IEEE.2012][17],四种较新的红外小目标检测算法LIG[Elsevier.2018][18]、PSTNN[Remote Sens.2019][19]、NRAM[Remote Sens.2018][20]和MDDTM[激光技术.2020][21]。则分别进行一些实验来评估PLMC方案的检测性能。

经过一系列的实验,GST、IPI、PSTNN、NRAM等算法和本文PLMC方案的对比检测结果见图6,其列出了不同方法在不同复杂背景下运行后的三维灰度分布,其中横行:(a1)～(a5)是LIG的结果,(b1)～(b5)是IPI的结果,(c1)～(c5)是PSTNN的结果,(d1)～(d5)是NRAM的结果,(e1)～(e5)是MDDTM的结果,(f1)～(f5)是PLMC的结果；竖列:(a1)～(f1)使用山脉天空背景数据,(a2)～(f2)使用森林山地背景数据,(a3)～(f3)使用海洋天空背景数据,(a4)～(f4)使用云层遮挡背景数据,(a5)～(f5)使用平原公路背景数据。

图6 不同算法检测结果的三维灰度分布Fig.6 The three-dimensional gray distribution of the detection results of different algorithms

通过对比观察可得以下结论:①LIG算法、IPI算法和PSTNN算法在平原公路背景数据中出现明显的错误,如图6(a5)所示,增强了假目标而抑制了真目标。②NRAM算法和LIG算法在云层遮挡背景数据中检测失败,如图6(a4)、(d4)所示。③相比本文的PLMC方案,IPI、PSTNN、NRAM和MDDTM对于简单场景下的检测结果挺好,但是对于略复杂的背景就显得鲁棒性较差,检测效果不佳,对于真假目标的区分表现性能不足,如图6(b5)、(c5)、(d5)与(e5)所示。

图7所示为四种复杂背景下的六种算法的ROC曲线。本文提出的PLMC方案的ROC曲线位于五个场景的曲线图的左上角,这意味着本文提出的PLMC方案检测率最强。由图7可知:①单帧算法执行的检测通常很低,IPI算法、MDDTM算法和PSTNN算法在检测方面表现良好,但明显不如本文提出的方案好。②由图7(d)可以看出,在较复杂的平原公路背景与中检测小目标,本文的方案明显比其他算法好。

图7 不同算法在不同背景下的ROC曲线Fig.7 ROC curves of different algorithms under different backgrounds

综上可得,通过本文PLMC方案,目标显着增强,背景杂波得到抑制,这也表明本文方法可以显着改善输入图像的SCR,在复杂场景下的鲁棒性比其他算法都强。

4 结 语

本文提出了基于生物启发模型的红外小目标检测的方案,首先由感光计算模型增强目标、抑制背景杂波且增强信噪比,通过自适应阈值获得复杂背景下的可疑目标；然后由LMC计算模型消除时空冗余与增强目标对比度；最后经过阈值分割出真实小目标,输出位置坐标。经过实验对比,本方案在普遍的小目标复杂场景中获得了更高的检测精度。自适应阈值与时间信息结合与红外小目标的跟踪将是我们未来工作继续研究的方向。