基于PCNN和改进邻域判决的红外弱小目标检测算法

李 云，宋 勇，赵宇飞,赵尚男,李 旭，郝 群

(北京理工大学光电学院， 北京 100081)

红外弱小目标检测技术是红外探测系统的核心技术之一，引起了越来越多的研究兴趣[1-2]。目前，红外运动目标检测领域主要面临两个关键问题：① 背景复杂。在具体应用中，红外图像中的背景越来越复杂，导致图像灰度分布不均匀，且杂波干扰严重；② 目标弱小。弱小目标通常仅有几到十几个像素，缺乏可利用的形状和纹理信息，且目标与背景的对比度较低，使得目标的可检测性下降。上述问题使得红外弱小目标的准确和鲁棒性检测面临挑战。

目前，用于复杂背景下的红外弱小目标检测的经典算法主要包括：基于形态学的算法[3]，基于小波变换的算法[4]，基于背景抑制的算法[2]，背景减除法，三维匹配滤波法[5]，光流法[6]等。上述算法虽部分解决了强杂波背景下的红外弱小目标检测问题，但均不同程度存在一定的缺陷。例如：形态学算法的检测性能易受结构元素的影响。当图像背景较为复杂时，其检测结果会残留背景杂波；小波变换算法、光流法相对复杂，对硬件系统要求较高[7]；背景抑制算法的检测性能在很大程度上依赖于所构造的模型或模板[8]，当构造的模型或模板不合适时，其检测能力会受到严重影响；三维匹配滤波方法的检测性能在很大程度上依赖于先验知识，先验知识不正确将导致检测失败。

近年来，红外小目标检测和跟踪领域的相关研究进展包括： Bae等人提出一种新型二维最小均方(LMS)滤波器用于小目标检测[9]，其利用LMS滤波器可准确预测图像背景并提取出小目标，但当图像背景复杂、边缘起伏较大时，该算法的效果则难以保证；Chen等人提出一种基于局部对比度的红外小目标检测算法[10]，利用目标和背景图像块的对比度得到图像的对比度图，从而增强目标和抑制背景。该算法简单、有效，但在强杂波背景条件下易残留背景边缘导致虚警；何玉杰等人提出一种基于相关滤波的红外弱小目标检测算法[11]，利用二维高斯模型构造红外小目标训练集，通过训练得到对目标和背景具有区分能力的相关滤波器以实现弱小目标的检测。该算法具有较好的检测效果和实时性，但需要大量的训练集以保证检测的准确；Deng等人提出一种基于时空域对比度滤波器的红外运动点目标检测算法[12]，通过帧间目标的对比度图与单帧内目标对比度图相乘融合实现背景抑制和目标增强。对于信杂比较低的图像，该算法的背景抑制能力有限，难以有效突出目标。虽然上述算法在强杂波背景下的红外弱小目标检测方面取得了一定的进展，但仍存在一些问题，包括：对复杂背景的抑制能力不足，算法过于复杂等。上述因素使强杂波背景下的红外弱小目标检测成为具有挑战性的研究方向。

人脑视觉系统作为人类大脑获取外界信息最主要的手段完成了人类70%以上的信息获取。人脑视觉系统具有多种信息处理机制，包括：侧抑制、同步脉冲发放机制等。其中，侧抑制机制是人类视觉系统中的一种信息处理机制，具有增强反差，抑制低频信息的作用[13]。利用侧抑制网络对图像滤波进行预处理，可有效抑制图像背景和增强目标[14]。脉冲耦合神经网络(PCNN)作为第三代神经网络[15]用于模拟单个神经元的同步脉冲发放机制，由于PCNN具有脉冲耦合特性、非线性调制特性、变阈值特性及神经元的邻域捕捉特性等多种特性，有利于完整地保留图像的区域信息，使其在图像分割方面具有独特的优势。在该方向，文献[15]提出了一种结合灰度熵变换的PCNN的小目标检测新方法，文献[16]利用遗传算法对PCNN的连接系数、阈值放大系数和阈值衰减时间常数进行优化，文献[17]将侧抑制网络融入到PCNN模型，均获得了良好的图像分割效果。上述工作表明侧抑制、同步脉冲发放机制有利于提高小目标检测的准确性，为红外弱小目标的检测提供了新的途径[13,15]。

另一方面，PCNN仅能实现单帧红外图像的分割。为了实现强杂波背景下的红外弱小目标检测，还需利用目标在序列图像中的连续性和关联性。因此，需将PCNN与邻域判决法[18]相结合，通过对候选目标(包括真正的目标和高频噪声点)的运动特性分析，实现强杂波背景下的红外运动目标检测。

然而，在常规邻域判决法中，用来判断目标运动连续性的邻域是固定的[19]。当目标运动速度较快或者图像序列帧频较低时，相邻两帧的目标难以保证同时存在固定的邻域中，从而严重影响了运动目标的检测精度。

针对以上问题，本研究提出了一种基于PCNN和改进邻域判决的红外弱小目标检测算法。该算法利用侧抑制机制进行图像预处理，实现有效的背景抑制和目标增强；利用PCNN实现单帧红外图像分割；通过改进的邻域判决方法，根据目标的运动速度自适应地调整邻域大小，实现红外运动弱小目标的检测。实验结果表明：所提出的算法可准确检测出复杂背景下的运动弱小目标，对于解决强杂波干扰下的红外运动弱小目标检测问题具有重要意义。

1 原理与模型

1.1 侧抑制

侧抑制机制是人脑视觉系统的信息处理机制之一，它是由Hartline等人在对鲎视觉进行电生理实验时发现并证实的[8]。他们将鲎复眼的每个小眼看成一个感受器，每个感受器与周围的感受器之间相互抑制，同时，这种抑制作用可空间叠加。在图像处理中，侧抑制网络具有突出边缘、增强反差的作用，可用于滤除空间低频信息。因此，利用侧抑制对图像滤波进行预处理，可抑制复杂背景和增强目标。

首先选取侧抑制滤波模板[14]，如式(1)所示：

(1)

利用式(1)所示的侧抑制模板对原图像中的各像素点进行滤波，滤波处理过程如式(2)：

G(x,y)=F(x,y)-F(x,y)⊗L(r,s)=

(2)

式中：F(x,y)为输入图像的灰度分布；G(x,y)为经过侧抑制模板滤波后的输出图像的灰度分布；L(r,s)是像素点(r,s)对像素点(m,n)在抑制模板中的抑制系数。

1.2 PCNN原理与模型

PCNN模型是由Johnson等人提出的用于模拟哺乳动物大脑视觉皮层的同步脉冲发放机制的模型[16]，该模型具有良好的脉冲传播特性，无需跟随图像的变化调整阈值，有利于完整保留图像的区域信息。

PCNN模型主要由变阈值非线性动态神经元组成。其中，每个神经元由输入域、非线性调制域、脉冲产生器3部分组成。PCNN模型中的单个神经元结构如图1所示。

图1 PCNN模型

PCNN运行时，每个神经元按照以下步骤进行循环计算：

1) 接受域。接受域接收来自其他神经元的链接输入与外部输入刺激信号。在图像分割中，外部输入可表示为输入图像，如式(3)所示。

Fij(n)=Iij

(3)

其中：Fij(n)为第(i,j)个神经元的反馈输入；Iij为外部输入，即输入图像的灰度分布。

PCNN的链接输入为输出信号和链接权值W的加权，如式(4)：

(4)

其中：Lij(n)为耦合连接输入；Ykl为(n-1)次迭代时神经元的输出；Wkl为链接权值矩阵。

2) 非线性调制域。在调制链接域，对被接收的外部输入和链接输入进行全局调制耦合，即相乘调制，得到神经元的内部活动项U，如式(5)所示：

Uij(n)=Fij(n)(1+βLij(n))

(5)

其中：Uij(n)表示神经元的内部活动项；β为突触之间的连接强度系数。

3) 脉冲产生器。在脉冲产生域，通过内部活动项与动态阈值的比较确定输出信号。其动态阈值和输出脉冲为：

θij(n)=exp(-τθ)θij(n-1)+VεY(n-1)

(6)

(7)

式中：θij(n)为神经元内部活动动态门限；τθ为动态阈值θij的时间衰减常数；Vε为动态阈值的放大系数；Yij(n)为PCNN输出的时序脉冲。当神经元内部活动项Uij(n)>θij(n)时，神经元激发产生脉冲输出，否则，神经元不激发，不产生脉冲输出。

2 算法

2.1 改进的邻域判决方法

基于红外图像序列的邻域判决法[18]的思想为：如果在第k帧图像的像素点处有目标，则该目标在第k+1 帧中必然会出现在其上一帧像素点的邻域内，而在连续多帧图像中并没有这种连续性。因此，当候选目标点在M帧图像中相应的邻域内连续出现m次以上(m≤M)，则判定该点为真正的目标点；反之，判定为随机噪声和干扰点[18]。

为了使改进的邻域判决法能根据目标的运动速度自适应确定判决的邻域大小，需要根据候选目标的位置确定目标的平均运动速度v。首先，对分割后的二值图像序列中的每一帧图像进行连接分量标记，计算每一帧图像中所有连接分量的质心并保存；而后，取每一帧图像中质心的最大横坐标分别与前一帧质心的最大横坐标相减，得到每一帧目标运动速度矩阵(单位为：像素/帧)；为了不受随机噪声的影响，对运动速度矩阵取中位数，作为该图像序列中弱小目标的平均运动速度。

根据平均运动速度v可以确定寻找候选目标的邻域大小S，其计算方法如式(8)：

S=2v+1

(8)

为了利用帧间目标运动的连续性和关联性，每次对红外序列中的M帧图像进行一次判断，M取值太大会影响运算速度和效率，太小会降低检测精度，M的取值范围为7～9。

而后，在第k(k≥M)帧内，选定一个候选目标点P(x,y)，判断第k-l帧中(x,y)点的S×S邻域内是否有候选目标点。若有，则计数器n+1并继续判断第k-2帧；否则，将邻域扩大为(x,y)点的(S+1)×(S+1)邻域，继续判断第k-2帧。考虑到环境的干扰可能使目标在某一帧的像面上暂时消失，因此每M帧中允许最多有t帧目标暂时消失，即：此步操作限制次数为t次(t≤2)；若在M帧内计数器n≥(M-t)，则判断其为真正目标的质心，否则，则视其为噪声点。

确定真正目标的质心之后，则在标记图像中找到该质心所在的连通区域，即真正的目标区域，从而将目标提取出来。改进后的邻域判决法流程框图如图2所示。

2.2 算法总体流程

基于PCNN和改进邻域判决的红外弱小目标的检测算法总体流程如下：

1) 利用侧抑制模板对图像序列进行滤波处理，滤除平缓变化的背景和增强目标区域。其处理公式如式(2)所示。

2) 将预处理后的图像Iij作为外部输入刺激，输入到PCNN中运行，根据式(3)～式(7)进行计算。PCNN模型依据每个像素点自身及其周围区域的灰度分布确定是否对该像素点火，从而获得分割后的二值图像，并提取出候选目标。

3) 利用改进的邻域判决法提取出真正的目标。通过计算目标的运动速度自适应确定邻域的大小，然后根据弱小运动目标运动的连续性提取出真正目标，剔除噪声点。其详细过程如表1所示。

图2 改进的邻域判决法目标检测流程

算法1：所提出算法输入：红外图像序列输出：目标检测结果1)用式(2)中的侧抑制网络对图像序列进行滤波处理2)将预处理后的图像输入用PCNN神经网络，并利用式(3)～式(7)分割出候选目标3)计算目标运动的平均速度和对应邻域大小4)根据候选目标运动连续性判断候选目标是目标还是随机噪声，提取出目标区域

3 实验结果和分析

3.1 单帧图像分割结果

为了验证算法的有效性，选取6帧具有不同复杂背景和弱小目标的红外图像作为测试对象，分别对最大中值滤波法、二维最小均方差法(TDLMS)、顶帽变化法(Top-hat)、基于视觉注意的算法(Wang’s)[2]、基于侧抑制的算法(Shi’s)[13]和本研究提出的算法进行对比实验。需要说明的是：此节中比较的是单帧图像的分割结果，还并未利用到改进的邻域判决法。本研究的实验平台为Windows 7+Matlab 2012b，CPU：2.7GHz，内存4GB。

同时，选取信杂比增益(gSCR)和背景抑制因子(BSF)作为单帧实验结果的客观评价准则[8]，其表达式为：

(9)

式中：f是目标灰度；u是整幅图像的灰度均值；δ为整幅图像的方差。

(10)

式中：C是背景的标准偏差；下标in和out分别表示输入的原始图像和输出的结果图像。

实验中PCNN的链接权值矩阵、连接强度系数、时间衰减常数及动态阈值的放大系数依据经验值分别设为Wkl=[0.07 0.1 0.07; 0.1 0 0.1; 0.07 0.1 0.07]，β=0.32，τθ=0.31，Vε=0.2[15,20]。图3为对比实验结果，图中的第1列为原始图像，背景包括天空、云雾和地面等，目标大小为4像素至25像素；第2到第7列分别为经过最大中值滤波法、TDLMS法、Top-hat法、Wang’s算法、Shi’s算法和本研究算法经过PCNN进行单帧图像分割后的图像。

从图3的实验结果可以看出，对复杂背景下的弱小目标检测，最大中值滤波法和TDLMS法背景抑制能力较差，难以有效提取出目标；Top-hat法虽然能抑制背景，但同时也会抑制目标。当目标信号较为微弱时，不能有效增强目标(如图3(d)～图3 (f))；Wang’s法是近年来提出的一种基于视觉注意机制的弱小目标检测算法[2]。该算法的检测精度严重依赖于目标的大小、对比度阈值等参数的选取，本研究中设定对比度阈值为0.05[2]。当参数值选取不当时，该算法会出现无法检测出对比度较弱目标(如图3(d))或出现虚警点(如图3(f))等现象；Shi’s法是一种基于侧抑制机制的红外弱小目标检测算法，该算法对于背景复杂的图像有较多背景杂波残留(如图3(a)和图3(f))。相比这5种方法，所提出的算法能有效抑制背景和准确分割出目标，有利于实现后续运动目标检测。

表2为这6种方法对单帧红外目标检测结果的信杂比增益(gSCR)和背景抑制因子(BSF)。另外，由于部分算法处理后的图像背景灰度方差为0，从而导致了信杂比增益或背景抑制因子计算公式中分母为0，计算结果无穷大，在表2中则用“-”表示。

图3 不同方法对单帧红外图像的实验结果

序号最大中值滤波gSCRBSFTDLMSgSCRBSFTop⁃hatgSCRBSFWang’sgSCRBSFShi’sgSCRBSF提出的算法gSCRBSF图3(a)1．210．782．361．411．828．026．77-4．538．757．57-图3(b)2．260．895．391．184．639．6812．36-8．287．3912．36-图3(c)0．390．511．190．971．477．063．206482．154．424．53748图3(d)2．980．925．141．245．6959．27--7．9929．478．21-图3(e)1．620．742．060．892．237．896．64-4．7419．357．17-图3(f)1．350．541．910．751．435．638．678992．675．728．09-

从表2可以看出，大多数情况下，所提出的算法的gSCR和BSF均高于其他比较的算法。例如，对于图3(a)，最大中值滤波法和TDLMS法的gSCR和BSF都低于3，说明这两种算法的背景抑制和目标增强能力较差；Top-hat法的gSCR较低，为1.82，而BSF较高，为8.02，说明其抑制背景的能力较好，但目标增强能力有限；Wang’s法和Shi’s法的gSCR均较高，分别为6.77和4.53，说明它们具有较好的背景抑制和目标增强能力；而所提出算法的gSCR为7.57，其值高于这5种对比方法，说明所提出算法具有更好的背景抑制和目标增强能力。需要说明的是，所提出的算法对于图3(f)比Wang’s法的信杂比增益略低，这是由于所提出的算法对图3(f)的目标增强效果略逊于Wang’s法，但是考虑到Wang’s法的稳定性较差，综合以上，所提出的算法的单帧检测效果相比其他5种算法更好。

3.2 序列目标检测结果

为了验证本研究中提出的运动弱小目标检测方法的有效性，选取具有复杂背景(序列1)和弱小目标(序列2)的红外图像序列进行实验，将混合高斯法、背景减除法、时空域对比度滤波法[12]、Wang’s法[2]和本研究所提方法的检测结果进行比较。如图4(a)为输入序列的第16和28帧原始图像，图4(b)～图4 (f)分别为混合高斯法、背景减除法、时空域对比度滤波法、Wang’s法的运动目标检测结果和本研究所提出算法的运动目标检测结果。

从图4可以看出，对于有复杂背景的序列1，基于混合高斯法、背景减除法和时空域对比度滤波不能有效去除复杂的背景，残留较多的杂波，易造成虚警。而且，这3种算法的结果中目标不明显，甚至有漏检现象。Wang’s法在图4中的检测结果较好，但是对于少数帧会存在目标检测不完全现象(如第28帧)，从而导致其目标中心位置略有偏移。对于目标信号较弱的序列2，背景减除法仍然存在虚警点；基于时空域对比度滤波法可检测出目标，但是也存在对于少数帧不能检全目标的现象；混合高斯法和Wang’s法均能检测出目标，但是均存在目标丢失的情况(如图4中序列2中的第28帧)，而本研究所提出的红外弱小目标检测方法在序列检测中均可有效检测出真正目标，剔除噪声点，提高了目标检测精度。

图5为所提出的算法与上述4种对比方法的检测精度图[5]，图5(a)～图5 (b)分别为序列1和序列2的结果，横坐标为位置误差阈值，位置误差是检测目标的中心位置与标注的中心位置的欧式距离，纵坐标为检测精度。从图中可以看出，在相同的位置误差时，对于序列1和序列2，本研究提出算法的检测精度明显优于混合高斯法、背景减除法和时空域对比度滤波法，这3种方法的检测精度均低于80%。Wang’s法由于少数帧的目标缺失从而导致在允许位置误差<4时，检测精度较低，而在允许位置误差≥4时，检测精度较为理想。而本研究所提出的算法在中心位置误差为3像素时的检测精度达到90%以上，整体检测性能稳定且优于这4种对比方法，说明该算法可准确有效地检测出复杂背景中的红外运动弱小目标。

图4 不同方法的红外序列弱小目标检测结果

图5 序列检测结果的精度曲线

4 结论

本研究提出了一种红外运动弱小目标检测算法。首先，基于侧抑制网络对输入图像进行滤波预处理，实现背景抑制和目标增强；而后，利用PCNN方法对图像进行分割，将可能的目标和背景杂波及噪声初步分离，确定候选目标。最后，利用改进的邻域判决方法分析候选目标的运动特性，根据目标的运动速度自适应确定判决的邻域大小，结合多帧图像流分析提取出真正的目标。

通过单帧图像分割实验和序列目标检测实验与经典的红外弱小目标检测算法进行比较，结果表明：所提出的算法可有效抑制红外图像的复杂背景和准确检测出运动弱小目标。因此，所提出的算法可实现复杂背景条件下的红外弱小目标检测，对复杂背景条件下的抗干扰目标识别和跟踪具有重要意义。

[1] 郑力会,庞威.红外成像制导炸弹捕捉目标各种因素的影响分析[J].兵器装备工程学报,2016,37(2):58-61.

[2] WANG X,LV G,XU L.Infrared dim target detection based on visual attention[J].Infrared Physics & Technology,2012,55(6):513-521.

[3] 程塨,郭雷,韩军伟,等.基于形态学带通滤波和尺度空间理论的红外弱小目标检测[J].光学学报,2012,32(10):144-151.

[4] 王文龙,韩保君,张红萍.一种海空背景下红外小目标检测新算法[J].光子学报,2009,38(3):725-728.

[5] PORAT B,FRIEDLANDER B.A Frequency Domain Algorithm for Multiframe Detection and Estimation of Dim Targets[J].Pattern Analysis & Machine Intelligence IEEE Transactions on,1990,12(4):398-401.

[6] 罗寰,王芳,陈中起,等.基于对称差分和光流估计的红外弱小目标检测[J].光学学报,2010,30(6):1715-1720.

[7] YANG X,ZHOU Y,ZHOU D,et al.A new infrared small and dim target detection algorithm based on multi-directional composite window[J].Infrared Physics & Technology,2015,71:402-407.

[8] LI Y,SONG Y,ZHAO Y,et al.An infrared target detection algorithm based on lateral inhibition and singular value decomposition[J].Infrared Physics & Technology,2017,85:238-245.

[9] BAE T W,ZHANG F,KWEON I S.Edge directional 2D LMS filter for infrared small target detection[J].Infrared Physics & Technology,2012,55(1):137-145.

[10] CHEN C L P,LI H,WEI Y,et al.A Local Contrast Method for Small Infrared Target Detection[J].IEEE Transactions on Geoscience & Remote Sensing,2013,52(1):574-581.

[11] 何玉杰,李敏,张金利,等.基于相关滤波器的红外弱小目标检测算法[J].光学学报,2016(5):88-96.

[12] DENG L,ZHU H,TAO C,et al.Infrared moving point target detection based on spatial-temporal local contrast filter[J].Infrared Physics & Technology,2016,76:168-173.

[13] 史漫丽,彭真明,张启衡,等.基于自适应侧抑制网络的红外弱小目标检测[J].强激光与粒子束,2011,23(4):906-910.

[14] DUAN H,DENG Y,WANG X,et al.Small and Dim Target Detection via Lateral Inhibition Filtering and Artificial Bee Colony Based Selective Visual Attention[J].Plos One,2013,8(8):e72035.

[15] 刘勍,许录平,马义德,等.结合灰度熵变换的PCNN小目标图像检测新方法[J].北京理工大学学报,2009,29(12):1085-1090.

[16] 曲仕茹,杨红红.基于遗传算法参数优化的PCNN红外图像分割[J].强激光与粒子束,2015,27(5):32-37.

[17] 杜红伟.生物侧抑制机制及应用研究[D].南京：南京航空航天大学,2008.

[18] 徐英.红外图像序列中运动弱小目标检测的方法研究[J].红外技术,2002,24(6):27-30.

[19] 鲁居强,王新增,刘顺生,等.基于八邻域判决的红外运动小目标检测方法[J].红外,2006,27(9):20-23.

[20] ALA R.A New Automatic Parameter Setting Method of a Simplified PCNN for Image Segmentation[J].IEEE Transactions on Neural Networks,2011,22(6):880-92.