基于改进多尺度分形特征的红外图像弱小目标检测

谷 雨，刘 俊，沈宏海，彭冬亮，徐 英

(1. 杭州电子科技大学 自动化学院，浙江 杭州 310018；2. 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

1 引 言

弱小目标检测是红外搜索与跟踪系统需解决的关键技术之一，在防空制导和安全监视等应用对于提高目标探测距离发挥重要作用[1]。基于图像信息检测这类目标存在以下难点：由于目标尺寸小或探测距离远，成像后目标缺乏明显的纹理和形状特征；受背景辐射和成像传感器的影响，图像中存在随机噪声和大量杂波，导致目标信噪比(Signal-to-Noise Ratio, SNR)低。虽然学者提出了多种弱小目标检测算法，但在复杂背景下如何快速准确地检测这类目标仍是一个亟待解决的难题[2]。

实现红外图像弱小目标检测的方法主要包括时域方法、空域滤波方法和变换域方法三种[3]。其中空域滤波方法，例如最大均值滤波(MaxMean)和最大中值滤波(MaxMedian)[4]、高帽滤波(TopHat)[5]等，是一种基于单帧图像的目标检测方法，虽然具有实时性好的优点，但在复杂背景下虚警率高，一直是学者重点研究的方向之一[6]。利用目标与周围背景间像素灰度差异大于背景区域间差异这一假设，学者最近提出了多种行之有效的红外图像弱小目标检测算法。文献[7]根据人类视觉系统的鲁棒特性，提出了一种局部对比度测度(Local Contrast Measure, LCM)来衡量当前像素与其邻域的对比度差异性，但该算法只能检测场景中的亮目标，且实时性较差。为提高LCM的实时性和检测性能，学者提出了多种改进算法[8-11]。文献[8]提出一种多尺度分块对比测度(Multiscale Patch-based Contrast Measure, MPCM)用于红外图像小目标检测，该算法有效降低了虚警率，且算法实时性高。文献[9]提出了一种红外弱小目标分层检测算法。首先采用简化的LCM计算得到目标显著图，然后设计分类器区分目标与背景。文献[12]提出一种局部变异加权信息熵算法，通过抑制复杂背景实现红外弱小目标检测。

根据Mandelbrot等人提出的分形几何理论[13]，分形模型虽然能在一定尺度范围内描述自然景物的外观，例如山、云、海岸线等，但不适用于人造目标，故可利用这种差异实现图像中感兴趣目标的增强。文献[14-15]首先基于分形理论提出了平均灰度绝对差极值分布图(Average Gray Absolute Difference Maximum Map, AGADMM)算法，该算法基于每个像素与不同尺度邻域内灰度均值的绝对差值计算得到一个特征向量，然后采用取极大值操作计算得到增强图像。为进一步提高AGADMM算法的检测性能，文献[3]融合了AGADMM和局部信息熵，设计了一种基于加权图像熵(Novel Weighted Image Entropy, NWIE)的红外弱小目标检测算法。文献[16]采用分形维数的三阶统计特征来检测红外图像弱小目标。文献[17]和文献[18]均采用多尺度分形特征实现小目标检测，其不同之处在于，文献[17]根据分形维数的计算定义一个差异性度量-多尺度差分分形，而文献[18]是利用分形维数相关的分形参数K来定义差异性。

本文在对文献[18]算法分析基础上，首先提出了一种改进分形参数K相关的多尺度分形特征，然后对该特征计算进行简化，提出了具有较高计算效率的图像增强算法用于红外图像弱小目标检测，并通过实验验证了提出算法的有效性。相比于当前主流目标检测算法，本文算法具有如下特点：可调参数少，同时适用于弱小目标和较大目标的检测，且无论目标为亮目标或暗目标；算法实时性好，对于低分辨率图像(320×240)在PC端能够满足实时性需求。

2 相关工作

2.1 红外图像加性模型

根据文献[19]，红外图像I可看作由三部分组成：

I(x,y)=It(x,y)+Ib(x,y)+In(x,y),

(1)

其中：It,Ib,In分别表示目标图像，背景图像和噪声图像，(x,y)为像素坐标。假设图像中目标的灰度分布可由二维高斯函数描述[1]，当噪声为高斯白噪声时，图像的SNR可由式(2)计算得到。

SNR(I)=(Imax-Imean)/std(I),

(2)

其中：Imax,Imean分别表示为图像I的最大值和均值，std(I)是图像I的标准差。通常情况下，SNR越高，目标越容易被检测到。

2.2 分形参数K相关的多尺度分形特征

依据分形几何理论，分形测度M(ε)与尺度ε

的关系可描述为[13,20]：

M(ε)=Kεd-FD,

(3)

其中：FD和d分别表示分形维数和拓扑维数，K为分形参数。

对于二维灰度图像，式(3)可被描述为：

A(x,y,ε)=K(x,y,ε)ε2-FD(x,y,ε),

(4)

其中A(x,y,ε)表示在尺度下ε像素坐标为(x,y)处的图像灰度表面积测度，该值可以用地毯覆盖法[21]或盒计数法[22]估计求得。

当尺度分别为ε1和ε2时，由式(4)可得：

logA(x,y,ε1)=

(2-FD(x,y,ε1))e/slog(ε1)+logK(x,y,ε1),

(5)

logA(x,y,ε2)=

(2-FD(x,y,ε2))log(ε2)+logK(x,y,ε2).

(6)

对于一个理想的分形，分形维数FD可认为是与尺度无关的量，假设其为一个常数。若K(x,y,ε)在相邻尺度下的值相等，则当ε1=ε，ε2=ε-1时，K(x,y,ε)的计算公式如式(7)所示：

(7)

文献[18]定义了一个分形参数K相关的多尺度分形特征(Multiscale Fractal Feature related with K，MFFK)，具体计算公式如式(8)所示，εmax表示设定的最大尺度。

(8)

3 基于改进多尺度分形特征的弱小目标检测算法

3.1 用于弱小目标增强的改进多尺度分形特征

根据地毯覆盖法，图像灰度表面积A(x,y,ε)可由式(9)和式(10)计算得到。

(9)

A(x,y,ε)=V(x,y,ε)/2ε,

(10)

其中：U(x,y,ε)和B(x,y,ε)分别表示在尺度ε下，像素坐标(x,y)邻域范围(2ε+1)×(2ε+1)内像素的最大值和最小值。

(11)

将式(10)代入式(7)得到式(11)，整理后K(x,y,ε)由正数部分，负数部分和偏置三部分组成。根据式(9)可知，V(x,y,ε)为一定尺度内每点像素邻域内灰度的最大值与最小值差值求和计算得到，故在均匀背景区域内该差值较小，V(x,y,ε)接近0，K(x,y,ε)也趋近于0；将logV(x,y,ε)与logV(x,y,ε-1)的差值记作logV(x,y,ε)，尽管在非均匀背景区域V(x,y,ε)的值很大，但由于较大的背景变化导致logV(x,y,ε)值也较大。在小目标区域，无论目标为亮目标或暗目标，当尺度ε大于目标尺寸时，logV(x,y,ε)都接近于0，所以小目标区域的K(x,y,ε)值要大于非齐次背景区域。

综合以上分析，K(x,y,ε)的均值在小目标区域最大，在非均匀背景区域减小，在均匀背景区域最小。K(x,y,ε)的方差在小目标区域和均匀背景区域要小于非均匀背景区域。为消除非均匀背景区域内的虚警，本文提出一种改进多尺度分形特征(Improved MFFK, IMFFK)，采用向量K(x,y,ε)的均值平方与方差的差值计算得到增强图像，如式(12)所示：

(12)

采用6幅带小目标的红外图像进行图像增强实验，基于MFFK和IMFFK的图像增强结果分别如图1第2行和第3行所示。可以看出，采用提出的改进特征增强后图像中目标比较显著(红圈内为目标)，背景得到了很好地抑制，而基于MFFK的增强后图像中目标并不显著，很难把目标从背景中分割出来(彩图见期刊电子版)。

图1 基于MFFK和IMFFK的图像增强结果Fig.1 Image enhancement results based on MFFK and IMFFK

3.2 基于改进多尺度分形特征的目标检测

式(11)中包含了大量指数和对数运算，算法的实时性能受到影响。若忽略式(11)中的负数部分和偏置，则K(x,y,ε)=V(x,y,ε)。此时是采用某一尺度区域内每点像素灰度极值的差值的和来描述区域中心像素的显著性。考虑到尺度改变引起的差异，借鉴深度学习中的平均池化思想，本文采用式(13)定义了一个具有较高计算效率的随尺度变化的特征向量，然后根据式(12)计算得到增强图像。

(13)

提出的基于改进多尺度分形特征的高效红外图像增强算法伪码如表1所示。首先计算中心坐标为(x,y)、区域(2ε+1)×(2ε+1)内像素极值的差值作为区域中心的显著性，然后通过平均池化以降低噪声的影响，在不同尺度下计算得到一个随尺度变化的特征向量。最后采用式(12)计算得到增强图像EImage。本文算法与AGADMM，LCM类似，均利用了目标与周围邻域的对比度差异，得到一个随尺度变化的特征向量。虽然本文算法与AGADMM均是基于分形理论，但AGADMM利用了中心像素灰度与周围邻域内像素灰度均值的差异来定义差异性；LCM则基于人眼视觉系统的鲁棒性，将周围邻域进行区域划分，采用目标区域像素灰度最大值与周围8邻域像素灰度均值的比值来定义局部对比度。

基于上述算法对图像进行增强后，为消除边界效应，设置边界区域的灰度值为0，将其余特征图像素范围缩放至区间[0, 255]以方便可视化和后续目标检测，如式(14)所示：

E=EImage(2εmax+1:rows-

2εmax,2εmax+1:cols-2εmax).

(14)

采用如式(15)所示的自适应阈值对增强后图像进行分割，得到检测目标的位置[3]。

T=c×SNR(E)×std(E)+mean(E).

(15)

其中分割系数c需根据实际场景设置。经实验测试，检测小目标其合理范围为[0.45 0.75]，对于较大目标检测设为[0.15 0.45]。当εmax=4时，提出的基于改进多尺度分形特征的红外图像目标检测算法流程如图2所示。首先基于多尺度分形理论计算得到多个特征图，然后在每个像素点根据得到的多尺度特征向量利用提出的改进多尺度分形特征计算得到增强图像，最后通过阈值分割得到目标检测结果。

表1 基于改进多尺度分形特征的高效红外图像增强算法

Tab.1 Computationally efficient IR image enhancement algorithm based on an improved multiscale fractal feature

输入: 红外图像I, 最大尺度εmax输出: 增强图像EImage参数:rows和cols分别为输入图像I的行数和列数for εmax=1∶εmax for x=ε+1∶rows-ε for y=ε+1∶cols-ε f=I(x-ε:x+ε,y-ε:y+ε) D(x,y,ε)=max(f(:))-min(f(:)) endendfor x=ε+1 : rows-ε for y=ε+1: cols-ε g=D(x-ε:x+ε,y-ε:y+ε,ε) V(x,y,ε)=sum(g(:)) end endendfor x=εmax+1:rowsεmax, for y=εmax+1:rows-εmax for ε=1:εmax t(x,y,ε)=V(x,y,ε)(2ε+1)2 end EImage(x,y)= mean(t(x,y,:))2-std(t(x,y,:))2 endend

图2 εmax=4时基于改进多尺度分形特征的红外图像目标检测算法流程框图Fig.2 Flowchart of IR object detection algorithm based on an improved multiscale fractal feature using εmax=4

4 实验结果分析

首先通过仿真图像分析了最大尺度变化对提出算法增强和检测性能的影响，并讨论了在不同类型噪声下对于检测结果的影响，然后通过真实图像测试提出算法的检测性能，并与主流的基于局部对比度测度的红外图像弱小目标检测算法进行了比较分析。

4.1 本文算法检测能力及适用性分析

4.1.1 最大尺度εmax对增强性能的影响

对于含有较大目标的图像，如果设置的最大尺度使得最大区域尺寸大于目标尺寸，则当该区域位于图像边缘时，该区域将具有较大的灰度极值差值，目标内部区域由于其均质性将表现出低差值。由于像素灰度的突然改变，当使用小的最大尺度时，大目标的边界区域将被增强。考虑方型和高斯型两类目标，设定目标尺寸分别为3×3，9×9，15×15时，通过仿真图像研究当最大尺度εmax=4时所提出算法的目标检测性能，设定分割系数c=0.65。图4(a)为理想的无噪声方型目标，增强结果的二维和三维图分别如图4(b)和图4(c)所示，图4(d)为目标检测结果。从图4中可以看出，当目标尺寸小于2εmax+1时，可被完全检测；当目标尺寸大于等于2εmax+1时，由于目标边缘区域内的灰度值变化明显，所以此处增强效果明显。同样的结论也适用于高斯目标，从图5所示的检测结果可以看出，当目标尺寸变大时，由于目标灰度峰值附近的灰度差值要小于其周围像素，故该处形成一个空洞。

图3 不同εmax下本文算法的图像增强结果Fig.3 Image enhancement results using proposed algorithm under different εmax

图4 尺寸为3×3, 9×9, 15×15的理想方型目标增强和检测结果Fig.4 Results of enhancement and detection for square-type objects under sizes of 3×3, 9×9, 15×15

综合以上分析，本文算法可用于检测红外小目标，以及较大目标的边缘。由于使用较大的εmax会增加计算量，综合考虑到检测性能和实时性的需求，后续实验中设置εmax=4。

图5 尺寸为3×3, 9×9, 15×15的理想高斯型目标增强和检测结果Fig.5 Results of enhancement and detection for Gaussian-type objects under sizes of 3×3, 9×9, 15×15

图6 高斯噪声和椒盐噪声对检测性能的影响Fig.6 Influence of Gaussian and salt-and-pepper noises on detection performance

4.1.2 不同噪声类型对检测性能影响分析

为验证提出算法在噪声存在情况下的检测性能，在图4和图5的理想图像中加入高斯噪声和椒盐噪声。参考文献[7]和文献[8]，高斯噪声的均值和方差分别设为0和0.001，椒盐噪声的密度设为0.000 05。图6中第1行和第3行分别为添加高斯噪声和椒盐噪声后一次合成图像，第2行和第4行为检测结果。从图6可以看出，添加高斯噪声对于较大尺寸目标的检测影响较大，这主要是因为本文算法利用了区域内极值的差值来定义显著性，受到噪声影响较大的目标边缘区域的分割结果会出现断续情况，即目标被分割成多个部分，故产生虚警。根据图3的增强结果可知，对于尺寸为一个像素的目标本文算法也具有较好的增强结果，故椒盐噪声对于本文算法的检测结果影响较大。从图6第4行的检测结果看，本文检测算法受椒盐噪声密度和空间分布的影响，若噪声位于目标区域，则也能够检测到目标。同时也可以看出，本文算法能够检测到场景中存在的椒盐噪声，这说明对于图像中潜在的亮目标或暗目标，本文算法能够检测到。

综上，提出的基于改进多尺度分形特征的目标检测算法既可以用来检测图像中的弱小目标，也可以用于检测较大目标的边缘。当目标尺寸较大时对高斯噪声较为敏感，椒盐噪声的存在会严重影响本文算法的性能，可通过中值滤波等降低其影响。

图7 本文算法对红外图像中弱小目标的增强和检测结果Fig.7 Results of IR dim-small target enhancement and detection using proposed algorithm

4.2 本文算法对红外真实图像检测结果

采用红外真实图像来验证本文算法的实时性和检测性能。由于均采用局部对比度信息进行目标增强和背景抑制，故选择AGADMM[16]，NWIE[3]，LCM[7]和MPCM[8]4种算法进行对比实验。其中，AGADMM,NWIE,LCM和MPCM的最大邻域均设置为9×9，NWIE计算熵的窗口尺寸设为5×5[3]。

4.2.1 复杂场景下红外图像的目标检测性能

采用图1中6幅带弱小目标图像，及1幅带较大目标的红外图像来测试本文算法的目标检测性能。分割系数c分别设为0.65和0.25，增强和检测结果分别如图7第2行和第3行所示(红框为检测结果)。对比图1和图7可以看出，本文算法虽然对分形参数K的计算进行了简化，但仍具有较好的目标增强效果。对第3张图片检测结果存在两个虚警，产生虚警的主要原因是该区域灰度值低于周围环境，可视为暗目标，而AGADMM和LCM仅考虑亮目标情况。本文算法同样适用较大目标的检测，对最后一幅图像能够检测出全部目标，仅在海天线处存在一个虚警。

4.2.2 实时性对比分析

采用如下计算机配置：Intel(R) Core(TM) i7-9750H@2.6 GHz CPU, 16 G RAM，RTX2060 6G GPU。采用Matlab实现各算法，对本文算法、基于IMFFK的目标检测算法、NWIE和LCM算法的耗时部分(循环操作)采用C语言实现。进行100次蒙特卡洛模拟，取最小的一次耗时作为该算法的耗时，具体结果如表2所示。当IR图像分辨率为320×240时，本文算法计算耗时为27.75 ms，达到36 frame/s，能够满足实时性的要求。由于计算IMFFK特征需要指数和对数计算，故算法更加耗时，本文算法中仅包含四则运算。从表3可以看出，本文算法与AGADMM相当，优于NWIE和LCM，MPCM的实时性最好。

表2 检测算法计算耗时

图8 5种算法检测结果Fig.8 Detection results using five different algorithms

4.2.3 与基于局部对比度测度的目标检测算法性能对比分析

图8为5种算法对图1中6幅图像的目标检测结果，从图中可以看出，上述算法均能有效地增强目标并抑制大部分背景。第1幅图像背景比较简单，故均能够准确检测到目标；从图7的增强结果看，本文算法对第2幅图像的海天线区域也具有较强的增强效果，但目标增强效果最强，通过设置合理的分割系数能够剔除这些杂波，LCM算法对第2幅图像检测结果最差；本文算法对于较大尺寸目标检测也能达到理想的结果，与LCM都能够检测出第5幅图像中潜望镜的完整区域，而AGADMM，NWIE和MPCM只能检测到目标的局部。从检测结果看，AGADMM，NWIE和MPCM这三种算法更适合于小目标的检测。第6幅图像中包含3个目标，本文算法、AGADMM、NWIE和MPCM均能准确检测到三个目标，LCM算法只检测到一个目标。但由于对这些目标的增强效果不一，根据场景设置合理的分割系数仍是一个需要解决的难题。

表3 增强后图像的SNR

表3为图像增强后的SNR结果。对于第1幅图像，原始图像信噪比为3.04，本文算法增强后图像接近37。NWIE算法由于结合了AGADMM和图像熵两种显著性度量，故增强后图像的SNR大于仅采用AGADMM算法的SNR。LCM算法增强后图像SNR提高不多，对于第3幅图像甚至出现SNR下降的情况，故LCM算法的检测结果最差。不同于LCM算法将背景区域分为8个部分，本文算法使用一个区域内最大最小值的差值来描述区域中心的显著度，所以该算法对方向不敏感，除增强小目标外，还可增强图像中的边缘区域，故增强后图像的SNR比AGADMM，NWIE和MPCM算法低。

为量化比较各算法的性能，定义检测概率(Probability of detection,Pd)和虚警率(Probability of false alarms,Pfa)计算公式如下[3,7-8]：

Pd=Nd/Nt,

(16)

Pfa=Nfa/Ni,

(17)

其中：Nd,Nt,Nfa和Ni分别代表检测到的真实目标数量、标注的真实目标数量、虚警目标数量和图像数量。得到检测结果后，当检测目标和真实目标相交时，检测到的真实目标数加1，否则虚警目标数较1。

考虑图1中第2幅图像信噪比过低，第6幅图像存在3个目标，故本文对图1中第1，3，4，5幅图像添加方差为0.001的高斯噪声。设定分割系数c=0.65，运行100次统计各算法的检测结果计算得到检测概率和虚警率如表4所示。

表4 噪声存在情况下各检测算法性能比较

Tab.4 Performance comparison of several detection algorithms under different noises

No.本文算法AGADMMNWIELCMMPCMPd0.901.001.000.990.95Pfa1.450.330.298.390.43

由表4可以看出，本文算法在存在噪声的情况下虚警率高于AGADMM，NWIE和MPCM。从图6可以知道，当目标尺寸较大时，较大噪声会导致分割后目标被分为多个部分，产生虚警。此外，设计的改进分形特征利用了局部区域内像素最大值与最小值的差值作为一种测度，当原始图像SNR较低时，噪声存在会导致一些杂波增强幅度超过目标区域，导致检测概率降低。AGADMM由于采用不同尺度下区域灰度均值的差异作为显著性度量，故对高斯噪声不敏感，而NWIE进一步结合了局部信息熵，虚警率较AGADMM进一步降低。MPCM虚警率高于AGADMM和NWIE的原因是第3幅图像中疑似暗目标的存在。

为提高本文提出算法的检测性能，尤其是对弱小目标的检测性能，一方面可参考文献[3]，在得到增强图像后，结合局部信息熵进一步提高对弱小目标的增强效果。另一方面是仅考虑目标为亮目标情况时，计算增强图像既考虑目标与周围邻域的局部对比度，也考虑目标区域的灰度分布，在表1算法中计算D(x,y,ε)时可采用式(18)进一步提高目标增强效果，抑制低灰度值的背景。当采用式(18)时，按照表4的实验条件检测概率和虚警率分别为1.00和0.67。

D(x,y,ε)=

max(f(:))*(max(f(:))-min(f(:))).

(18)

5 结 论

本文在对MFFK特征计算过程进行分析基础上，设计了一种适应于红外图像增强的改进多尺度分形特征，并提出了一种具有较高计算效率的红外图像弱小目标检测算法。实验结果表明，所提算法对红外图像弱小目标具有较好的增强和检测结果，算法同时具备对较大目标的检测能力，且无论目标为亮目标或暗目标。提出的算法对于低分辨率红外图像，能够满足30 frame/s的实时性要求。针对提出算法虚警率较高的情况，给出了针对不同类型目标进行算法改进的建议。对于场景中存在多个目标的情况，如何选择合适的阈值分割算法，将是下一步研究的方向。