张志明,周建军,刘志雄
(1.华中光电技术研究所武汉光电国家实验室,湖北 武汉 430073;2.海军无线电研究所,北京 102249)
天空背景红外图像弱小目标的信息主要集中在位置和灰度特征上,无明显的几何形状、纹理等特征,且远距离红外图像受噪声的干扰,目标与背景的对比度较差,可检测的信号相对较弱,特别是在非平稳起伏背景干扰下,目标甚至被噪声淹没,时有时无,这些都增加了红外视频流图像跟踪的难度[1]。本文根据红外图像背景特征的空间相关性以及连续图像帧中目标灰度特征和运动特征的时域相关性,提出了一种“预处理+目标检测+目标特征提取+目标特征后处理”的弱小目标跟踪算法。
受天空结构化强云的影响,天空背景红外图像背景起伏较大,灰度变化剧烈,目标的灰度值可能比亮云背景灰度值低,从图像局部对比度观察,云背景变化缓慢,目标在局部范围内灰度值突出,具有较高的局部对比度。图1、图2分别为天空背景原图及其直方图。
弱小目标包含目标“弱”和“小”两个属性。“弱”属性用对比度和信噪比描述;“小”属性为目标在图像中占有的像素数;红外弱小目标一般是指对比度小于15%、信噪比小于1.5、成像尺寸小于3 ×3 的目标[2]。
基于后处理的红外图像弱小目标检测跟踪主要包括图像预处理、目标检测和目标跟踪等过程,其算法流程如图3所示。图像预处理通过背景抑制处理提高图像信噪比,目标检测以低虚警率从复杂背景中检测出目标点并提取目标特征,目标跟踪是应用目标检测输出的特征实现目标稳定可靠跟踪。
图3 红外图像弱小目标跟踪流程框图
红外图像弱小目标可利用的特征信息少,检测跟踪处理是利用背景特征的空间相关性实现弱小目标的检测,并利用目标特征的时域相关性实现目标精确跟踪和短时惯性跟踪处理。
通过图像预处理提高图像信噪比、抑制背景杂波和噪声,增强弱小目标特征,降低检测虚警率。红外弱小目标图像预处理按照3×3窗口的快速中值滤波算法,3×3中值滤波算法是一种通用的图像预处理算法,滤除噪声点的同时能很好地保持图像中的细节部分,作用是滤除图像中的单像素噪声。3×3快速中值滤波算法实现过程如下:
将3×3窗口内的9个像素定义如图4所示。
首先对窗口内的每一列分别计算最大值、中值和最小值,由各列的最大值、中值和最小值组成最大组、中值组和最小组3组数据,然后分别求取最大值组中的最小值Maxmin,中值组中的中值Medmed,最小值组中的最大值Minmax,最后滤波输出的结果为Maxmin,Medmed和Minmax这3个值的中值。快速中值算法仅需作17次比较,与传统算法相比较,比较次数减少了近2倍。
图4 3×3快速中值滤波窗口定义
目标的红外辐射与周围背景的辐射强度无关,目标信号强于局部背景的辐射强度,目标在图像中的灰度分布与其领域图像灰度分布不相关。天空背景图像灰度一般是大面积且变化缓慢,具有强相关性,背景边缘两侧灰度也是缓变的。图像噪声的灰度特征与目标类似,均为图像中局部灰度奇异点,但目标运动轨迹具有连续性,噪声位置是随机的,可在后续处理中滤除。红外图像弱小目标检测采用一种基于图像区域相关性的梯度检测算法[3]。
定义图像(x,y)位置处沿任意方向的梯度为
式中:Δx,Δy为水平和垂直方向的梯度步长。疑似目标点提取判断准则如下
式中:∑G(i,j)Δx,Δy> T0表示图像点 (x,y)处的各向梯度值全都大于梯度阈值T0。为了降低虚警概率,设计中选用Δx=16,Δy=12的全向梯度检测。同时为了提高处理效率,在梯度比较过程中,如存在一点梯度小于给定阈值T0,则判断该点不是目标点,直接进入下一点的梯度检测。梯度阈值T0通过人工判断输入,一般取值为3~8。若T(x,y)为I则表示该点为目标点,否则即为背景点。
目标特征提取以目标检测输出的目标点为输入,对目标点进行归类,生成疑似目标和各目标的特征。为便于后续帧弱小目标的跟踪处理,提取的目标特征需具有:1)目标特征与非目标物体差异明显;2)同类目标特征相同或相近;3)构建目标特征空间的特征互不相关;4)目标特征简约无冗余。目标特征提取采用一种基于最短欧氏距离的提取算法,根据最短欧氏距离准则,距离小于一定阈值的目标点归并为同一个目标点集,计算各目标点集的特征信息,生成目标特征空间矢量。针对天空红外图像弱小目标所具有的特征,设计中提取的目标特征包括:目标平均灰度值、目标边缘的上下边缘(ymax,ymin)和左右边缘(xmax,xmin)、目标有效点数等信息,可能目标形心位置为
为减少噪声对确定真实目标的影响,根据红外图像弱小目标具有的特征,滤除以下3类目标:1)像素数为1的目标:由于红外成像暗噪声多的特点,以及为减少目标后处理的计算量,提高目标跟踪的实时性,认为单像素目标为噪声点。2)对于长宽比大于3的目标,根据弱小目标成像尺寸小于3×3以及天空背景云杂波复杂的特点,长宽比大于3的目标多为云杂波。3)如跟踪的目标为亮目标,则滤除目标灰度均值小于图像灰度均值的目标;如跟踪的目标为暗目标,则滤除目标灰度均值大于图像灰度均值的目标。
目标跟踪处理的作用是确定要跟踪的目标并对外输出目标位置参数。根据前后图像帧中目标灰度特征和运动特征的一致性,目标跟踪处理采用一种结合目标灰度特征计算的惯性跟踪策略。目标跟踪处理的步骤如下。
1)目标位置预测
在短期内,目标运动距离小,连续图像帧中目标位置具有运动一致性,可通过适当的预测处理得到目标的可能位置。实际应用中,目标运动可看作是直线运动和二次曲线运动的组合,采用线性逼近和平方逼近的组合可预测目标中心位置坐标f(t)。设计中采用5点线性逼近和平方逼近的组合预测算法[4],组合预测算法表达式为
上式中权函数ω根据实时测得的平方预测器误差确定,当平方预测器误差较大时则增大权值,否则减少权值,权函数与平方预测器误差的函数关系应满足0≤ω≤1。采用对以前的预测值进行误差分析来确定当前使用的权值,权值确定方式为
2)目标确认
红外弱小目标存在闪烁现象,目标会时有时无,目标确认处理分为预测位置附近“存在目标”或“不存在目标”两种情况。
预测位置附近存在目标,根据连续图像中弱小目标灰度特征的一致性,运用目标特征提取算法获取的目标灰度均值、目标像素数、长宽比等信息构成特征空间,进行目标特征匹配计算,以相似度最高的目标作为跟踪目标。同时为提高对目标特征信息变化的敏感程度,采用一种简单的模板自适应更新策略,具体表达为
式中:Mnext为更新后的模板;Mmatch为最佳匹配目标特征空间;Mcur为当前模板;α为最佳匹配值。
预测位置附近不存在目标,无跟踪目标,则根据目标运动的一致性,以预测位置作为目标位置,目标特征模板不变。
天空背景红外图像弱小目标检测跟踪算法在以TI公司TMS320C6414芯片为核心处理器的硬件平台进行了验证。TMS320C6414工作频率720 MHz,指令执行速度为5760 MIPS(Million Instructions Per Second),片内存储器1 Mbyte,具有独立的数据总线和地址总线,支持并行的程序和操作寻址。试验采用红外热像仪实际获取的图像为处理对象,图像大小384×288,目标为天空背景下的远距离飞机,见图5和图6。为提高算法处理的实时性,图像数据直接采集到DSP芯片的片内存储器。
图5 目标检测结果
实验结果表明:天空背景红外图像弱小目标检测跟踪算法可稳定地检测跟踪信噪比1.5、目标尺寸3×3的目标;程序经优化后单帧图像“预处理+全图像目标检测+后处理”处理速度平均可达58 ms/f(毫秒每帧),“预处理+波门图像目标检测+后处理”处理速度不超过15 ms/f;目标短暂丢失0.4 s后可自动重新跟踪目标。
图6 目标跟踪结果
利用图像背景灰度缓变特征的空间相关性,结合图像前后帧中目标灰度特征和运动特征时域相关性的红外图像弱小目标检测跟踪算法能够实现弱小目标的稳定可靠跟踪,跟踪过程具有较好的自适应性和稳健性,算法实时性好,具有良好的使用价值。本算法对电视视频图像的目标跟踪同样具有借鉴作用。
[1]宗思光,王江安,陈启水.海空复杂背景下红外弱点目标检测算法研究[J].光电工程,2005,32(4):9-12.
[2]WU Bin,JI Hongbing.A novle algorithm for point-target detection based on third- order cumulant in infrared image[C]//Proc.ICSP 2006.[S.l.]:IEEE Press,2006:16-20.
[3]THAYAPARAN T,KENNEDY S.Detection of a maneuvering air target in sea-clutter using joint time-frequency analysis techniques[EB/OL].[2012-06-28].http://wenku.baidu.com/view/857a2d3410661ed9ad51f352.html.
[4]王鑫.复杂背景下红外目标检测与跟踪算法研究[D].南京:南京理工大学,2010.