一种红外多目标跟踪算法

郑 佳，李江勇，陈 刚

(华北光电技术研究所，北京100015)

1 引言

多目标跟踪是近些年新兴起的科学技术，它涉及到随机统计、数学优化、图像处理、模式识别、人工智能、自动控制等多种学科［1］。

目前在解决多目标跟踪算法中主要有基于粒子滤波的方法［2］，基于神经网络的方法［3］，基于特征匹配的方法［4］，但是由于算法复杂程度以及硬件的实现难，粒子滤波和神经网络的方法在处理目标跟踪的实际工程应用中并不多，基于特征匹配的方法，由于算法原理实现简单，在实际工程中，该算法应用较为常见。

传统的基于特征匹配的目标跟踪算法中，常用“最近邻”法，然而它采用的特征函数仅利用每个目标质心的位置信息，即考虑待跟踪目标与下一帧每个目标统计质心的欧式距离，距离最小的目标则认为是同一个目标，理论上讲，离波门中心最近的点迹不一定是目标，因为它除了忽略目标的速度信息以外，还忽略了关联波门之外的观测值，较少考虑目标自身的特征属性和每个目标运动状况，抗干扰能力差，存在错误关联概率，算法跟踪准确性较差。后来的研究人员在原有的基础上提出了多特征融合的目标匹配算法，根据具体的目标的特征提出一种特征函数，通常结合目标的质心位置、灰度、目标面积、运动速度、高宽比、运动方向等特征，该方法大大提高了目标的跟踪准确性，但是该特征融合算法需要在整幅图像中搜寻与特征函数得出的量测值最接近的目标，该方法适合目标不密集、信噪比高和弱杂波的情况，但是在多目标，目标信噪比较弱以及强杂波情况下，由于搜寻整幅图像，需要计算整幅图像中出现的目标以及虚假点的量测值，增加了算法的运算时间，这在实时性要求非常高的系统中，算法是很难保证系统要求。

本文提出多特征融合和Kalman滤波相结合的红外多目标的跟踪算法，能够实时准确的跟踪红外图像中的多个目标，并能对目标的运动轨迹进行一定的预测。

2 特征融合算法

基于特征值的目标跟踪算法一直是多目标跟踪算法中研究的一项重要内容，特征值跟踪就是在一帧图像中选择一组在运动中具有不变性质的特征与下一帧图像中的同类特征进行匹配，从而对运动目标进行跟踪。这种算法的关键是在于对运动目标的特征选择以及采取有效地匹配策略，特征的选取十分重要，它应具有对目标的大小、位置、灰度变化不明显外，还应具有如下一些特性:

(1)目标的特征不会随着时间的变换而变化;

(2)目标的特征是目标较大灰度变化区域的中心;

传统的基于特征跟踪的目标算法常常是利用目标的幅度特征(灰度值、频谱值)、统计特征(直方图、均值、方差)、区域特征(面积、周长、矩形度)、边界特征(链码、曲线的斜率)等，通常根据不同的应用场合，选择不同的目标特征［5］。

由于远距离红外目标没有纹理特征，且只表现出灰度图像，因此远距离红外目标特征只有如下具体表现:位置、面积、速度、运动方向等，算法提出一种特征融合函数:将目标的最小外接矩形中心、面积、目标灰度特征融合起来，通过计算得出特征融合函数值，在进行目标匹配过程中，在区域内搜寻与特征融合数值最接近的目标。

(1)目标的最小外接矩形中心

目标最小外接矩形中心指目标最外边缘组成的矩形中心位置，当运动目标姿态发生变化时，目标形心位置变动较小，用形心跟踪目标比较平稳，但是目标形心的准确提取依赖于目标检测和分割结果的稳定性和准确性。对于红外图像而言，当前景目标的部分灰度与背景灰度相似时，难以实现对目标的准确提取，导致形心计算不准确。而目标最小外接矩形中心则更适合描述分割后的目标几何中心。

(2)目标面积

经过图像处理后，所得目标图像的像素个数，即可得到目标面积。

(3)目标灰度

目标具有一定温度，在红外图像中，表现出目标的亮度高于周围的背景，取目标的灰度值较为合理，这里灰度为目标所有像素的灰度值之和。

根据以上特征值得到目标的特征融合函数:

其中，α为目标最小外接矩形中心权值;β为目标面积权值;γ为目标灰度权值。

在目标匹配时只需计算函数f(i，j)=Φ(i)－Φ(j)，找出在搜索区域内f(i，j)最小的值即为待跟踪目标。

其中:

通过比较连续两帧的特征融合函数值，即f(i，j)越小，两个目标有对应关系的可能性就越大。在目标关联时，正是通过特征融合函数的值来判断下一帧中待跟踪目标。

3 卡尔曼滤波算法在本文中的应用

Kalman滤波器是一种线性递归滤波器，适用于对多维的动态系统进行线性最小方差估计和预测，预测时具有无偏、稳定和最优的特点［6］。

本论文中主要是红外图像中的多目标的位置和速度进行估计和预测。在估计和预测过程中，由于相邻两帧图像的间隔较小，此期间内，目标运动状态变化较小，可以假设目标在此时间间隔内为匀速运动。

目标的运动参数为某一时刻的位置和速度，定义目标运动状态方程为:

量测方程:

式中，xk，yk，vxk，vyk为目标的位置和速度，估计误差Wk和量测误差Vk为均值为零的正态高斯噪声。

卡尔曼滤波的计算过程可用如图1所示。

图1 卡尔曼滤波算法计算过程

卡尔曼滤波算法具有以下特点:(1)它使用状态空间模型，因而可以进行多维滤波;(2)算法是递推的，可以直接在计算机上实现实时跟踪估计;(3)既适用于平稳过程也适用于非平稳过程;(4)通过改变卡尔曼滤波方程的一些重要参数，可以适用于不同机动目标的跟踪，也为以后滤波方法的改动做准备;(5)卡尔曼滤波与预测的协方差矩阵可以定量估计精度，对跟踪门的形成具有重要理论意义。正是由于卡尔曼滤波具有其他跟踪和预测算法所不具有的优点，因此本文选用卡尔曼算法作为对目标的运动状态进行预测［7］。

4 特征融合和卡尔曼滤波的组合算法

4．1 算法流程

提出特征融合和卡尔曼滤波的多目标跟踪算法如图2所示。

图2 算法流程图

图2 所示的处理流程可以概括为:红外视频序列在经过多目标全局检测后，检测出目标提取出目标的特征值包括目标的矩形中心、目标面积以及目标灰度总和，提取的初始值启动Kalman滤波预测搜索匹配范围，计算出下一帧的对应的跟踪窗口，然后计算搜索窗口内所有目标的特征融合函数值，最接近的为上一帧中对应目标的连续。若区域内计算后数据关联没有成功，则重新进行多目标全局检测;若搜索区域内目标关联成功，则更新目标的特征值作为下次Kalamn滤波的输入值。

由于检测目标时，并没有对整幅图像内的所有目标进行检测，而是对搜索窗口进行目标检测，搜索窗口的大小是整幅图像的几十分之一，程序的运行时间减少，增加了算法的实时性。

4．2 实验结果

实验环境:笔记本，Intel Core(2)2．0GHz，2G内存，在matlab2009b开发环境下编写全部程序。

视频图像采用480×320，50Hz视频图像，视频中共有目标1和2两架飞机，两目标飞行速度近似匀速运动，对以上视频图像采用本论文多目标跟踪算法，所得结果如图3所示。

图3 目标跟踪图

图3 中，(a)图为原始视频图像，图像中有目标1和2;(b)图经过图像检测后，得到两个目标，经过计算找到目标的最小外接矩形，进而推算出目标外接矩形中心，算出目标面积，以及两个目标在原始视频中的像素灰度总值。计算出两个目标的特征匹配值带入卡尔曼滤波方程，对下一帧目标位置进行估计，如(c)图白色框所示，为预测目标位置区域，然后在区域内检测目标。

图4所示为两个目标矩形中心运动轨迹图。

图4 目标运动轨迹

实验过程中，取多组不同的α，β，γ值验证算法，取两组比较有代表性的值的数据进行分析。

当取α=0．4，β=0．3，γ=0．3时，目标特征值如表1所示。

表1 目标特征匹配值

当取α=0．5，β=0．3，γ=0．2时，目标特征值如表2所示。

表2 目标特征匹配值

表1和表2为第5、6、7、8、9帧经过计算后得到的目标1和目标2的特征匹配值，经过多次实验之后，确定针对本红外图像适合的特征系数值取α=0．4，β=0．3，γ=0．3，可以得到较好的跟踪效果。

可以看到目标特征值基本稳定，在分析目标特征值时发现，由于目标检测算法的不同，会导致目标的外接矩形中心、面积，发生变化，导致目标特征值发生变化，找到一个精确地目标检测算法也是本论文后续研究内容的重点。

5 结语

本文提出了一种基于特征融合和卡尔曼滤波的红外多目标跟踪算法，并将其应用于多目标跟踪，较好地实现了其功能。实验结果显示，这种跟踪方法可以有效地跟踪多个目标，算法的实时性好，稳定度高，但是也由于卡尔曼滤波自身的局限性，如何有效地利用红外目标的特点，保证跟踪的准确性仍需要进一步研究。

［1］ LIU Gang，LIU Ming，KUANG Hai－ peng，et al．Survey on multi－tagget tracking method［J］．Electronics Optics＆Control，2004，11(3):26－30．(in Chinese)刘刚，刘明，匡海鹏，等．多目标跟踪方法综述［J］．电光与控制，2004，11(3):26－30．

［2］ HU Shiqiang，JING Zhong－liang．OverView of particle filter algorithm［J］．Control and Decision，2005，20(4):361－371．(in Chinese)胡士强，敬忠良．粒子滤波算法综述［J］．控制与决策，2005，20(4):361－371．

［3］ XU Feng，LU Jian－gang，SUN You－xian．Application of neural network in image processing［J］．Infromation and Control，2003，32(4):344－351．(in Chinese)许锋，卢建刚，孙优贤．神经网络在图像处理中的应用［J］．信息与控制，2005，35(12):974－977．

［4］ JIAO Bo，LI Ran．An object tracking method based on character matching in video sequence［J］．Science Technology and Engineering，2009，9(19):5811－5814．(in Chinese)焦波，李燃．视频序列中基于特征匹配的目标跟踪方法［J］．科学技术与工程，2009，9(19):5811－5814．

［5］ TIAN Tian．Study and implementation of multi－target tracking algorithm［D］．Xi'an:Xidian University，2006．(in Chinese)田阗．一种多目标跟踪算法的研究与实现［D］．西安:西安电子科技大学，2006．

［6］ LUO Huan，YU Lei，LIAO Jun，et al．Application of trajectory prediction on infrared multi－targets tracking［J］．Infrared and Laser Engineering，2009，38(3):397－401．(in Chinese)罗寰，于雷，廖俊，等．轨迹预测在红外多目标跟踪中的应用［J］．红外与激光工程，2009，38(3):397－401．

［7］ JIA Rui－ming，ZHANGHong，LI Jing－hua．Study on algorithm of curve fitting based on kalman filter in tracking of IR weaken small objects［J］．Laser＆Infrared，2005，35(12):974－977．(in Chinese)贾瑞明，张弘，李靖华．拟合修正Kalman滤波在弱小目标跟踪中的应用［J］．激光与红外，2005，35(12):974－977．