一种基于视频技术的车辆跟踪方法

翟永前，于惠芬，赵 力，邹采荣

(1.南京铁道职业技术学院，江苏 南京 210015 2.东南大学信息科学与工程学院，江苏 南京 210096)

0 引言

智能交通系统ITS(Intelligent Transportation System)以及交通智能管理技术成为近年来的研究热点车辆跟踪是基于视频技术的智能交通检测系统中最关键的技术之一，也是计算机视觉研究领域的一个重要课题[1]。视频的目标跟踪是对视频序列中目标的时空变化进行监控，包括位置和大小等。在一段交通视频中，若想获得特定的某辆车的一些交通参数和特征，就必须将它与同幅图片中所有检测出来的其它车辆区别开来。跟踪等价于在连续的视频帧之间创建基于位置、颜色和大小等有关特征的匹配问题。常用的基于视频跟踪方法主要有模板匹配、基于特征的跟踪、基于区域匹配的跟踪和Kalman滤波器预测方法[2-5]。本文提出一种使用Kalman滤波器预测车辆位置，并用距离和颜色信息辅助识别车辆的跟踪方法，还用实际城市道路的视序列对该算法进行了实验。实验结果表明，该算法能够有效地对多个运动车辆进行跟踪。

1 车辆跟踪算法

车辆跟踪算法以车辆区域的外接矩形对车辆目标进行标识，对已经出现在视场内并且已进入跟踪状态的目标，均对其跟踪窗口赋予一个固定标号。Kalman滤波器能较好的预测目标在下一帧出现的位置，缩小搜索范围，但是Kalman滤波跟踪的缺点也非常明显，当运动目标是非线性运动时，就很难用它来进行跟踪，它的抗干扰能力也比较差。因此，在实际应用中，很少把Kalman滤波器单独用来跟踪，而是结合其它算法一起使用。因此，本文在采用Kalman滤波器预测目标车辆在下一帧的位置和大小后，利用中心点的距离和颜色信息的匹配来辅助目标的跟踪。

我们首先利用Kalman滤波预测车辆位置。Kalman滤波器对于平滑或近似平滑有很好的预测效果，预测具有无偏、稳定和最有的特点，而且简单易行。对于在交通环境不太复杂的路况，可以近似认为是直线匀速运动的，因此在本文的车辆跟踪算法中，采用Kalman滤波器完成车辆位置的预测部分。根据Kalman滤波器的原理和运动车辆的特点，我们必须首先建立车辆匀速运动的Kalman滤波器模型。

对于实时视频序列，每两帧时间间隔比较小，可以认为目标在相邻帧间运动变化缓慢，近似为匀速运动。根据动力学则有

其中，x(t)和x(t－1)分别表示质点在t和t－1时刻的位置，Δt为两帧时间间隔，v为车辆的速度，可见系统为线性动态模型。

定义系统的状态向量X(t)和观测向量Y(t)分别是由表示车辆的外接矩形框的中心点在t时刻的坐标的x(t)和y(t)值，表示矩形框的宽度w(t)和高度h(t)值，以及前4个分量的运动速度vx(t)，vy(t)，vw(t)和vh(t)组成。根据Kalman滤波器方程有

式中，X(t)和X(t－1)是t和t－1时刻的状态向量;Y(t)是t时刻的观测向量;A和H分别是系统的参数矩阵;V表示观测噪声，呈高斯分布，其均值为零;协方差矩阵为R(可用背景图像中某点在一段时间内的像素值的方差表示)。

如果在检测到新出现的一辆车时，就产生一个Kalman滤波器，并以检测到的车辆的外接矩形框的中心点的位置、宽、高作为初始状态输入滤波器。Kalman滤波器具有自适应功能，即使设置的初始状态不对，它也可以从这个不太准确的状态开始自动进入到正确状态。因为本文初始状态的速度难以准确地获得，人为设置的值可能和实际状态存在较大偏差。因此，在开始时可以将预测误差的协方差矩阵设置比较大的数值，让滤波器得知，此时存在较大误差，应当缩短收敛时间。

我们采用距离信息为主、颜色信息为辅的策略进行匹配帧间车辆匹配，用Kalman预测来确定搜索区域的范围。距离信息用于目标的跟踪，颜色信息用于判别跟踪是否正确。

在距离匹配过程中，跟踪需要保存的量包括:Kalman滤波器和上一帧中检测到的目标车辆矩形，由上一帧的结果对当前帧的预测矩形和当前检测出来的矩形。

应用Kalman滤波器预测矩形后，分别计算检测到的车辆区域矩形与预测矩形之间距离，将在视频帧中检测或跟踪到的车辆目标记为C(xnk·ynk)。其中xnk和ynk分别是第n帧中k第个车辆目标的外接矩形的中心点所在的位置。根据Kalman滤波器对当前帧预测的目标记为)。其中和分别是对第n帧中第j个车辆目标进行预测得到的中心点位置。该中心点与当前帧中检测出来的车辆的外接矩形的中心点之间的距离为

利用这个公式，可以计算出通过上一帧的检测结果得到的利用Kalman预测的车辆外接矩形与当前帧中检测出来的车辆外接矩形中心点的距离，当矩形间距离等于0或者小于某个阈值时就赋值为1，即检测矩形与预测矩形匹配;否则就赋值为0，即不匹配。由于在一帧视频中出现的目标数目不会很多，所以使用穷举的方法来搜索帧间距离的计算量不会太大。经过这样的计算就可以得到如表1形式的矩阵。

表1 跟踪匹配表

其中，检测矩形a、b、c、d代表当前帧中检测出来的车辆外接矩形的标号，预测矩形①、②、③、④代表通过上一帧的检测结果得到的利用Kalman预测的车辆外接矩形的标号。

将预测的矩形框与检测出来的矩形框做匹配，可能有以下几种情况。

(1)理想情况下，预测矩形与检测矩形只有一个对应关系。一对匹配(如预测矩形②与检测矩形a)说明检测矩形所代表的车辆属于预测矩形对应的跟踪，此时仅对跟踪模板更新，无须进一步处理;

(2)没有对应匹配(如检测矩形d)的检测矩形，表示这是新进入的车辆，刚被检测出来，随之将产生一个新跟踪;

(3)没有对应匹配(如预测矩形①)的预测矩形，表示该跟踪中止，即车辆驶出观测范围;

(4)一个预测对应着两个或更多的检测矩形，即有一对多匹配(如预测矩形③和检测矩形b和c)，表示预测的矩形位置和周围多个检测矩形都很靠近，这种情况通常是预测误差较大或有些车辆突然加速和靠近其它车辆所致。

对于这种一对多的匹配，我们可以引入颜色特征来辅助判断目标是否匹配，在位置比较靠近预测矩形的几个检测矩形中，颜色与上一帧的检测结果最相似的才认为是最匹配的。

在颜色匹配中，首先计算颜色的相似度可以通过计算矩形内的颜色直方图获得。自从1991年Swain和Ballard提出的将颜色直方图作为图像的索引以来[5]，在基于内容的图像检索中得到了广泛的关注。其主要思想是根据颜色直方图统计颜色空间中每种颜色出现的概率，然后对颜色之间的距离采用直方图相交来度量颜色直方图之间的相似性。颜色直方图反映的是图像中颜色的组成分布、出现了哪些颜色以及各种颜色出现的概率。其数学描述为H(i)=ni/N。其中，i表示图像颜色取值，n表示图像中具有颜色值为i的像素个数，N是图像像素的总数。

颜色直方图表现的是图像的一种全局特性，每一幅图像具有唯一的颜色直方图，但不同的图像可能具有相同的颜色直方图。颜色直方图对于图像质量的变化(如模糊)也不甚敏感，颜色直方图的这种特性使得它比较适合用于检索图像的全局颜色相似性的场合。因此，本文籍此进行颜色直方图来进行颜色匹配。

2 车辆跟踪实验和结果

对于检测出来的一个目标车辆的矩形框参数为r(x，y，w，h)。其中:x和y为矩形的左上角顶点的坐标，w和h是矩形的宽和高。矩形框的初始速度无法准确获得，而Kalman滤波器具有自适应功能，即使初始状态设置的不对，它也可以从这个不太准确的状态开始逐渐进入到正确状态，因此初始速度都设为0，因此有

对于Kalman滤波器的参数A矩阵中的Δt设置，本文所使用的视频帧率为每秒15帧，Δt为帧间时间间隔，则Δt取为0.067秒。并且把后验错误估计的协方差矩阵P和观测噪声的协方差矩阵R的初始值设为单位矩阵。

我们采用Kalman滤波器预测，结合距离和颜色匹配的方法对运动车辆进行跟踪的部分实验效果如图1所示。其中，度量距离的阈值采用预测矩形框的对角线长度，而应用颜色信息时，设定颜色直方图相似度为0.75。

图1 对车辆进行连续跟踪

在上面的实验结果中每辆车有个单独的标号，跟踪过程中认为是相同的车就用相同的数字来标识。例如，在第292帧中，标号为2的车和上一帧中标号也为2的车被认为是同一辆车。在第293帧中，新出现了一辆车，标为5号。在第294帧中，标号也为5的车辆就是通过跟踪技术，将同一辆车识别出来的。

为了比较本文提出的方法与其它传统方法的性能和效果，我们把提出的方法与模板匹配法、区域匹配的跟踪法以及传统Kalman滤波器方法进行了比较实验。在跟踪样本数是954的条件下，实验结果如图2所示。

通过比较实验可以证明，在本实验场景车流量不太多和实验场景较简单的情况下，采用本文提出的Kalman滤波器预测和距离、颜色信息匹配相结合的方法，算法简单，跟踪效果比较稳定，正确率也较高，并且能够实现对车辆进行稳定的跟踪。

图2 跟踪样本数为954的车辆跟踪实验结果

4 结语

交通事件自动检测是以车辆检测和跟踪为基础的，本文提出了一种新的基于视频的交通事件自动检测与跟踪技术，主要使用Kalman滤波器预测车辆位置，并用距离和颜色信息辅助识别车辆的跟踪方法。我们通过实际城市道路的视序列对该算法进行的实验。结果表明，该方法具有较好的效果，能够实现对车辆进行稳定的跟踪。

[1]张敬磊，王晓原.交通事件检测算法研究进展[J].武汉:武汉理工大学学报，2005，(2):30-34

[2]Staufer C，Grimson W E L.Learning patterns of activity using real-time tracking[J].IEEE Transactions on Pattern Analysis/＆ Machine Intelligence，2000，22(8):747-757

[3]Jang D-S and Choi H-I.Active models for tracking moving objects[J].Pattern Recognition，2000，33(7):1135-1146

[4]Shoichi Araki，Takashi Matsuoaka，Naokazu Yokoya，et al.Realtime tracking of multiple moving object contours in a moving camera image sequence.IEICE Trans Inf＆Syst，2000，E83-D(7):102-112

[5]Kalman R E，A new approach to linear filtering and prediction problems[J].Transaction of the ASMF:Journal of Basic Engineering，1960(3):35-45

[6]Swain M J，Ballard D H.Color indexing[J].International Journal of Computer Vision，1991，7(1):11-32