一种改进WSLCM的红外小目标检测方法研究

王 磊，郭宏林，潘明然，杨永夫，关钧键

(1 沈阳理工大学机械工程学院，辽宁 沈阳 110159；2 辽沈工业集团研发中心，辽宁 沈阳 110045)

0 引言

红外小目标检测是红外图像处理中一个重要的研究方向,主要应用于远程预警系统、导弹跟踪系统、海上船舶监视系统等重要军事领域[1]。在复杂环境下,由于其缺乏一定形状、纹理等特征,小目标常常淹没在背景中,导致检测难度增加。近年来随着研究的不断深入和应用领域的愈加广泛,对于红外相机安装在飞行器等移动载体[2-3],其检测算法在嵌入式系统中移植和实现是研究热点之一[4]。

目前,对于红外小目标检测有多种不同类型算法,其中经典滤波算法[5]和基于人类视觉系统(human visual system, HVS)算法都有良好的处理效果和广泛的应用。在经典滤波算法中,He等[6]提出的最大均值滤波在以某点为中心的某一邻域内计算灰度平均值,并将平均值与邻域内像素比较,选择最大值作为中心像素的新值。此方法一定程度上减少了边缘信息对真实目标的影响。形态学滤波算法通过Serra扩展后被广泛应用于图像处理方面[7],过程主要根据先验的目标信息选取合适的结构元素体,通过其对图像进行开闭运算获得处理后图像,经典的顶帽变换就是形态学的组合使用。基于HVS,Han等[8]提出相对的局部对比度方法(RLCM),通过比值和差值联合的方式进一步增强小目标区域以及抑制背景杂波。Han等[9]提出的加权增强局部对比度算法通过在比值和差值联合的基础上增加权重计算。Zhang等[10]提出的局部强度和梯度(LIG)算法在局部对比的基础上结合梯度计算,对背景的边缘处理有明显效果。基于HVS的算法一般在目标检测的前期处理阶段加入滤波器对原始图像进行去噪和初步背景抑制。高斯滤波、中值滤波、均值滤波等滤波器模型简单,对于复杂背景的图像处理效果有限。双边滤波[11]、导向滤波等计算复杂,消耗时间多,不利于图像的前期处理。曲率滤波[12]利用图像的离散性优化曲率,简化计算,但部分复杂背景下的处理能力不足。

综上,提出一种改进加权增强局部对比算法(WSLCM)的红外小目标检测算法,通过自适应曲率滤波将处理前后的红外图像作差得到初始目标显著图。将WSLCM局部窗口的最大灰度值作为参数,引入目标增强因子和背景抑制因子对初始目标显著图进行背景抑制和目标增强,进而通过阈值分割得到理想目标。将算法进行轻量化和并行加速布置在ZYNQ7020开发板上,构建软硬协同平台,通过IP核定制,将算法进行移植,实现对红外小目标的实时检测。

1 改进的WSLCM

传统的WSLCM由高斯滤波、增强局部对比(SLCM)以及加权函数组成。其中预处理阶段采用3×3高斯卷积核,但其对复杂背景红外小目标图像处理效果并不明显,为后续红外小目标的检测增加了难度。改进主要针对两个部分,一是在预处理阶段提出自适应曲率滤波算法取代高斯滤波;二是在背景抑制模块SLCM中更新背景估计参数和引入估计因子提高算法的小目标检测能力。

1.1 选取局部窗口最大值

SLCM采用局部窗口方式对原始图像中的背景部分进行估计,由9个窗口组成,如图1所示。其中A0为中心部分,用来估计小目标,面积应该等于或稍大于小目标的面积。A1～A8为目标周围的背景估计,大小与A0一致。

图1 局部窗口分布Fig.1 Local window distribution

对背景进行估计时计算每个窗口中n个最大像素的平均值如式(1)所示：

(1)

(2)

式中：I为原始图像;G为高斯卷积核;x,y为像素位置。由于单一高斯滤波对红外小目标的预处理效果有限,目标与周围背景灰度差等级相差较小,易将目标平滑成背景。为改善这种情况,在采用自适应曲率滤波算法的同时将局部窗口灰度值的最大值作为背景估计值：

(3)

BE(x,y)=max{M1,M2,…,M8}

(4)

通过背景窗口最大值计算BE,提高了背景的灰度值,减小了目标与背景的对比度。通过比值与差值联合对比实现进一步的背景抑制,为准确的目标检测提供了基础。

1.2 目标增强因子和背景抑制因子

SLCM中局部对比采用了比值与差值联合对比的方式,比值算法可以增强真实目标,差值算法可以抑制复杂背景。目前比值与差值仅能以一种计算后固定值的方式进行图像处理,仍然存在虚警和背景抑制不完全的情况。

在Y(x,y)的基础上引入目标增强因子λ(0～1)和背景抑制因子γ(0～1),两种因子在比值与差值联合对比算法中对目标部分和背景部分分别赋予不同的权重,使目标得到明显增强以及背景被进一步抑制：

(5)

式中：Y(x,y)为输出图像;I(x,y)为目标图像;BE(x,y)为式(4)中背景估计图像。

所提算法在WSLCM基础上通过将背景估计的窗口平均值调整为最大值以及在比值与差值融合算法中引入λ和γ因子,实现了红外小目标图像较为有效的背景抑制和小目标的局部增强,在降低红外小目标虚警率同时提高检测精度。

检测时,考虑耗时问题,改进的WSLCM在单尺度下对显著图的背景进行抑制,通过自适应阈值分割得到单帧处理图像：

Th=kqmax+(1-k)qmean

(6)

式中：qmax和qmean分别为当前图像像素的最大值和平均值;k为介于0和1之间的参数。

2 连续帧检测算法

在连续帧检测中,由于红外小目标所占像素较小并且移动距离相对整幅图像来说较短,相邻帧间的真实目标距离有限,提出建立一定范围的检测专注区,对专注区内的疑似目标进行判别,可有效节省检测时间,提升检测效率。考虑到在经过处理后的专注区内可能仍然存在伪目标,易造成误检测的发生,采用目标平均值对比的方法。从第一帧开始计算每一帧中目标的灰度平均值,在当前帧存在伪目标的情况下,将当前帧检测到的多个目标平均值分别与上一帧目标平均值作差,以差值最小为判定条件,所提算法流程如图2所示。

图2 连续帧检测算法Fig.2 Flow chart of continuous frame detection algorithm

由图2可见,在连续帧检测中,算法对第一帧红外图像进行小目标检测,确定其当前位置P0(x,y)。第二帧图像以P1(x,y)为中心建立一个范围为a×a的专注区,在其内进行目标检测。以此类推,第i帧图像在以Pi-1(x,y)为中心的专注区内进行目标检测。

其中在进行某一帧检测时,通过所提算法对其进行处理。首先对输入的原始图像进行自适应曲率滤波处理,一方面原始图像经过曲率滤波迭代和差分后得到目标图像A;与此同时,将其降采样后进行曲率滤波和差分,经过上采样获得与原始图像尺寸相同的目标图像B,两者相加得到输出的目标显著图。改进的WSLCM对输出图像进行背景抑制和目标增强,然后通过自适应阈值分割得到输出图像,具体流程如图3所示。

图3 所提检测算法流程图Fig.3 Flow chart of the proposed detection algorithm

在实际工程应用中,所提算法可以通过式(5)中目标增强因子和背景抑制因子的参数调节完成多场景下的红外小目标检测工作。如检测复杂地面背景下的小目标时,目标增强因子取值应大于背景抑制因子,通常情况下目标增强因子取0.8～1.2,背景抑制因子取0.6～0.8;针对地面简单背景下的小目标检测,目标增强因子取值只需略大于背景抑制因子,目标增强因子取0.9～1,背景抑制因子取0.8～0.95;针对天空云层背景下的小目标检测,目标增强因子取值与背景抑制因子需保持一致,即两者都取1。所以针对不同的红外图像背景可以通过因子调节,实现对不同场景下小目标检测的适应能力。

3 实验与结果分析

为验证算法有效性,实验分为两组,第一组使用所提算法对特定红外背景下融合的小目标进行检测,目的为通过融合不同点目标模拟复杂背景下远距离无人飞行器目标以及远距离的地面车辆或行人目标,记为场景1。第二组将所提算法与经典的5种算法对3种不同背景下红外无人机小目标检测的结果进行对比,记为场景2。

3.1 特定背景下的小目标检测

实验的特定红外背景相源图像共307张,通过仿真软件建立的目标融合系统实现图像的生成,主要是将8×8小目标融合在640×512的相源图像中,3×3小目标同样融合在相同数量的100×100相源图像中。分辨率减小后的相源图像相较于原始图像整体细节会有损失,灰度起伏程度加大,检测难度也会增加。为了观察目标在不同背景区域的检测情况,分别在每张红外图像的天空部分,舰艇部分以及两者相接部分融合真实小目标,利用所提算法对不同区域的小目标进行检测,检测后的图像以及三维显著图如图4所示。

图4 红外小目标处理效果图Fig.4 Infrared small target processing effect

由图4(a)可知在背景图像和目标分辨率均较小的条件下,目标1和目标2能够被准确识别,但位于舰身中的目标3被作为背景完全抑制,同时将舰上灯光误检为目标3。由图(b)可知所提算法对于大小为640×512的不同场景下红外小目标检测有明显效果,天空区域的小目标在云层的干扰下能够正确识别。特别是当目标处于舰艇区域的复杂背景下时,能将舰身、灯光等背景进行完全的抑制,得到小目标的位置。综上,所提算法对原始图像的所有目标和分辨率减小后的目标1、目标2都能正确检测,但在分辨率减小后背景复杂的目标3则未能正确检测。

3.2 算法对比

选取3种不同的复杂背景图像作为检测对象,分别为地面丛林、天空云层以及地面山丘,地面背景的复杂多变以及天空云层的强干扰极容易造成小目标的淹没和误检测。为验证所提算法的优势,将所提算法与经典常规滤波算法、同领域代表算法以及不同领域优质算法进行全面对比,其中最大均值滤波(Max mean)和顶帽变换(Tophat)是经典常规滤波算法,应用范围极广;增强局部对比和加权增强局部对比算法与所提算法都基于HVS,对复杂背景的红外图像处理有明显效果;局部强度和梯度(Lig)算法是从局部灰度强度和目标梯度向心两方面考虑的检测算法。选取处理效果较强的两种算法和所提算法进行结果展示,如图5所示。

图5 背景抑制对比图Fig.5 Background suppression contrast diagram

由图可知,第一张地面丛林图像被分为背景起伏相对平缓的区域1和起伏较多的区域2,顶帽变换对区域1的背景抑制效果较好,只保留了真实目标。对区域2的处理则出现大量伪目标。同样顶帽变换对地面山丘的背景抑制也不完全,导致伪目标的存在,易造成误识别发生。对于天空云层的小目标检测顶帽变换实现了良好的背景抑制。而所提算法则能够将3种不同复杂背景部分完全抑制并完整保留真实目标。图6为以上两种算法的像素灰度显著特性。

由对比可知,针对地面丛林,两目标分别处在背景对比较大的山体部分以及背景更为复杂的丛林部分。经过顶帽变换处理的显著图中存在多个极值,产生了背景抑制不完全的情况,并未有效去除丛林地面中的高亮部分。所提算法则完好保留两目标并将背景全部抑制。针对天空云层的处理,所有算法都能够对背景有较好的抑制,所提算法最大程度保留小目标的原有尺寸且未失真。针对地面山丘,顶帽变换也产生了背景抑制不完全的情况,而所提算法仍能够实现对背景的完全抑制。由此可见,在不同环境下所提算法均能有效检测。

此外,对不同算法处理后的3种图像集分别进行信杂比(signal clutter ratio, SCR)、信杂比增益(signal clutter ratio gain, SCRG)以及背景抑制因子(background suppress factor, BSF)的计算,分别记为SCR,SCRG和BSF,其具体定义如式(7)～式(9)所示：

(7)

(8)

(9)

其中：mt表示目标的平均像素大小;mb表示目标周围像素平均值大小;σb表示目标周围像素值标准差;SCR,out表示输出图像的信杂比;SCR,in表示输入图像的信杂比;σin和σout表示输入图像和输出图像的标准差。3种指标越大表征处理后结果越佳,具体数据见表1。

表1 不同背景下不同算法的3种指标值Table 1 Three index values of each background with different algorithms

由表1可见,在大多数情况下,所提算法处理后图像的BSF,SCR和SCRG值均比前述5种算法的对应值大。针对背景最复杂的地面丛林, SCRG和BSF指标相比于其他算法中数值最高算法分别提升了10.7%和11.8%。另外所提算法主要针对640×512的特定红外背景小目标进行改进,SCRG和BSF指标相比于传统WSLCM,分别提升了41.6%和29.8%。表明所提算法不仅能更好增强目标,亦能提升背景抑制能力。

3.3 算法移植和嵌入式实现

目前,算法实现和验证多依靠PC架构下的CPU进行处理,但此种方法需要借助强大的操作系统,并且存在高功耗、便携性差等问题。嵌入式平台在近些年的发展中凭借低功耗、体积小、计算效率高以及可重复设计等优势成为许多项目的实现手段,所以提出将所提算法移植至嵌入式ZYNQ7020开发板进行实现。

设计采用软硬件协同方式进行算法验证,在开发板的PL端主要定制和封装了改进算法IP核和VIVADO HLS高级综合完成的自适应阈值分割IP核,见图7(a)、(b)。另外构建了为存储器或AXI4-Stream类目标外设提供高带宽数据存取的VDMA,可将VDMA输出的AXI4-Stream数据流转换成视频协议数据流的AXI4-Stream to Video Out(vid_out)以及用于控制视频输出时序参数的Video Timing Controller(VTC)等架构,最终通过布局布线完成Block design设计。PS端主要搭建VDMA,GPIO初始化,中断初始化以及数据流地址分配和读取等框架,总体实现流程见图7(c)。

图7 自定义IP核及嵌入式平台实现流程图Fig.7 Custom IP core and embedded platform implementation flow chart

由图7可知,PS和PL通过AXI4协议进行数据交互。PC端生成的目标融合相源数据放置于嵌入式平台的SD卡中,通过ARM处理器将图像数据流导入DDR缓存;VDMA设置3帧缓存通过读操作不断传输图像数据,上述定制的IP核实现对背景的抑制和目标分割,处理后结果由vid_out转换成视频格式后通过DVI Transmitter IP核在显示器进行HDMI显示。

经统计,所提算法在嵌入式端的检测效率相比于PC端提升了17.6%。但检测率有所下降,在虚警率为0.3%的情况下检测率为93.2%,PC端为96.7%。LUT资源占用8%,BRAM资源占用3%,为后期算法进一步改进提供了空间。

4 结论

提出了一种改进WSLCM的红外小目标检测算法,通过自适应曲率滤波对原始图像进行预处理,在对背景去噪的同时保留了小目标;选取局部窗口灰度值的最大值作为背景估计,引入目标增强因子和背景抑制因子,提高了检测性能,凭借自适应阈值分割检测目标位置。所提算法在连续帧中提出建立专注区和目标平均值对比提高了检测效率和检测精度。建立红外小目标图像集在嵌入式端对算法进行验证,检测效率相比于PC端提升了17.6%,保证了算法移植后实时性。将结果对比不同代表性算法,验证了所提算法的有效性。