基于局部Gabor特征匹配和Kalman滤波的车辆跟踪算法

王　海，陈　军

基于局部Gabor特征匹配和Kalman滤波的车辆跟踪算法

王海1,2，陈军1

（1. 奇瑞汽车博士后科研工作站，安徽芜湖 241009 2. 江苏大学 汽车与交通工程学院，江苏镇江 212013）

针对基于全局匹配的视觉目标跟踪算法的不足，文章采用一种局部匹配的思路，利用Gabor特征的抗噪性和边缘极大值点的不易丢失性，实现了一种鲁棒的Kalman车辆跟踪算法。首先以抗噪性强的Gabor特征构建匹配特征向量；然后采用边缘极大值点作为待匹配特征候选点；最后将以上特征输入至Kalman跟踪器，实现前方车辆跟踪。试验表明该方法在车辆姿态大幅度变化及遮挡时仍具有较强的鲁棒性。

主动安全；车辆跟踪；Gabor特征；Kalman滤波；边缘极大值点

在基于视觉的车辆辅助驾驶系统中，前方已识别车辆的跟踪是对前车状态进行判断的先决条件，也是汽车主动安全技术中的核心算法之一［1-6］。目前，常用的基于视觉的目标跟踪通常采用基于全局匹配这一思路，如模板匹配［7-10］、meanshift［11-14］等算法。然而基于全局匹配的算法在车辆姿态发生较为明显的变化以及部分被遮挡时往往会出现跟踪失败的情况。为此，本文采用一种局部匹配的思想，利用Gabor抗噪性强的特点，以Gabor特征构建匹配特征向量；随后，利用边缘极大值点在部分丢失时仍可以进行匹配的特点，采用边缘极大值点作为待匹配特征候选点，大大减少了待匹配点个数；最后将匹配点的Gabor向量输入到传统的Kalman跟踪器中实现对前方车辆的跟踪。

1　基于Gabor特征的图像匹配

1.1Gabor特征

2幅图像之间的匹配可以归结为二者的某一特征值的相关性度量。通过模板图像和待匹配图像之间的相关性运算，就可得到两者相关度即匹配度的大小。图像匹配主要有2个关键要素：匹配特征的选取以及特征相关性度量方法。Gabor滤波器具有多通道、多分辨率的特点，对目标特征的位置、角度和尺度等信息都能有很好的反映，特别是对边缘信息有着非常好的表征能力，同时对噪声有着很强的抑制能力。因此本文采用Gabor特征作为车辆图像的表征特征。

2D Gabor滤波器是在Gabor函数的基础上推广而来，它具有易于调谐的方向和径向频率带宽以及易于调谐的中心频率，在空间域和频率域同时达到了最佳分辨率，同时有着与生物视觉系统相近的特点。一个2D Gabor滤波器 的表达形式如下：

从表达式中可以看出r决定了滤波器的窗口宽度，或者称为滤波器尺度，而θ确定了滤波器的方向。不同尺度、不同方向的滤波器会带来不同的特征选取效果。一般来说，大尺度滤波可以描述全局性较强的信息，受噪声的影响较小；而小尺度滤波可以描述比较细节化的局部特征，但容易受到噪声的干扰。滤波器的方向选择则可以强化某一方向上的图像特征。

1.2特征点选取和Gabor特征向量

多尺度、多方向性的Gabor特征往往具有很高的维度。本文选取5个尺度8个方向的形同公式（1）的2D Gabor滤波器，这样对于一幅24×24的样本图像就将产生23 040维的特征向量。显然，这样一个高维向量会带来很大的计算量和存储负担，因此需要采用一定的方法进行降维处理。目前，较常用的Gabor特征向量的降维方法是将原图均匀分成一定大小的网格抽取样点。但是该方法在降低计算速度的同时，会带来识别率降低的后果。因为任何一幅样本图像中，不同区域的点对样本的表征能力有强有弱，这种均匀的采样策略往往会导致一些含有关键匹配信息点的遗漏。本文考虑到前方车辆在图像中有着明显和丰富的边缘信息，基于该特点，以边缘点作为特征点。具体措施是，选取模板图像和待匹配图像中具有最大边缘梯度幅值的点各24个作为待匹配点。

1.3 匹配度度量

特征点的匹配程度需要用一个相似度函数加以表征，本文采用欧几里德距离作为相似性度量。假设待判断图像某点PX的特征向量为X，模板图像某特征点PM的特征向量为M，则PX和PM之间的欧几里德距离为：

DXM的值越小，则可认为PX和PM相似度越大，越匹配；反之，DXM的值越大，则2点之间的相似度越小，越不匹配。当DXM小于某个阈值TH1时，就认为2个点匹配成功。在2幅图像中，若匹配的特征点数大于某个阈值TH2，就可认为2幅图像匹配成功。

综上所述，基于Gabor特征的图像匹配的具体步骤如下：

步骤1：读入模板图像，提取模板图像幅值最大的24个图像边缘特征点。

步骤2：读入待判断图像区域img（i），提取待判断图像区域的幅值最大的24个图像边缘特征点。

步骤3：模板图像和待判断图像区域进行特征点以Gabor特征，并采用公式（3）所提方法进行匹配，得到匹配数目K（i）。

步骤4：判断是否已经完成对所有待判断图像的匹配。如果否，返回步骤2执行；如果是，跳到步骤5继续执行。

步骤5：查找K的最大值K（j），若K（j）大于阈值TH1，则认为图像img（j）是成功匹配的图像，否则认为匹配失败。

2　基于Kalman滤波的前方车辆跟踪

由于单独的图像匹配算法存在以下缺陷：

（1）跟踪算法需在原目标周围一个较大的区域内进行搜索，并没有考虑到目标的实际运动情况，目标的运动方向和速度信息得不到充分的利用；

（2）跟踪算法采用一定的目标检测算法对目标模板进行提取，并通过待判断图像与目标模板间的匹配实现对目标的跟踪，但缺点是在这一跟踪过程中缺乏对目标模板必要的更新；

（3）当运动目标被部分或全部遮挡，或者当目标的运动速度很快时，容易丢失对目标的跟踪。

为了有效地克服单独图像匹配算法的这些不足，本文利用Kalman滤波在预测运动目标的位置及运动方向上所具有的独特优势，在前方运动车辆跟踪的应用中首先通过Kalman滤波算法预测车辆的位置。在此基础上使用图像匹配算法实现目标区域的迭代搜索，再用搜索的结果去更新Kalman滤波器。

在运动车辆跟踪过程中，由于相邻两帧图像间的时间间隔很短，车辆运动状态的变化较小，因此可近似认为目标是沿着x、y轴作直线运动，可采用仅含有位置、速度和加速度的2阶方程进行表征。令（xk，yk）为tk时刻车辆底部边缘中点，vx，k、vy，k分别为tk时刻目标在x、y轴上的速度， ax，k、ay，k分别为tk时刻车辆在x、y轴上的加速度，则对于相邻2帧的时间间隔t = tktk-1，有下列的递推方程：

将Kalman滤波与图像匹配算法融合实现目标跟踪的算法流程如图1所示，其实现的具体步骤如下：

步骤1：读入图像，根据目标检测结果将车辆底部边缘中点初始化为（xk，yk），将目标在x、y轴上的速度分量vx，k、vy，k和加速度分量ax，k、ay，k初始化为0，并建立目标模型q；

步骤2：根据初始位置（xk，yk），用Kalman滤波器预测目标在下一帧中的位置（）及速度分量和加速度分量；

步骤3：读入下一帧图像，以（xˆ, yˆ）为中心点，用图像匹配算法搜索当前帧目标位置（x1，y2），计算匹配点数目P；

图1　卡尔曼跟踪流程图

3　试验结果与分析

3.1Gabor特征的抗噪试验

采用Matlab对连续序列中间隔较小的图像上像素点的Gabor特征和传统的灰度特征对像素点的表征能力进行了仿真比较。

以一连续图像的第3 461帧中车辆区域作为模板，同时以该连续图像的第3 464帧作为待匹配图像（见图2）。在模板图像和待匹配图像中手工标出一个特征点及与其正确匹配的特征点组（在2幅图像中用蓝色圆标示出），并在待匹配图像中另外选取46个随机非匹配点（图2（b）中三角形标示出）。

图2　车辆对应特征点及随机非对应点

采用第2节所述方法分别计算模板特征点和待匹配图像特征点和随机点之间的Gabor向量的欧氏距离。作为比较，这里采用了另外一种基于点的灰度特征计算模板特征点和待匹配图像特征点和随机点的灰度欧氏距离。设模板图像为img_M，特征点坐标为（xM，yM），待匹配图像为img_X，其特征点和随机点坐标用（xX，yX）表示。2点之间的灰度欧氏距离计算公式为：

图3是以上2种方法的计算结果，图3（a）为Gabor向量的欧氏距离计算结果，图3（b）为灰度的欧氏距离计算结果。图3（a）、图4（b）分别有47个值，其中前46个值分别是模板特征点和随机点之间的欧氏距离，而最后一个值是人工标记的正确匹配特征点之间的距离。

从图3（a）中可以看出Gabor特征向量的欧式距离具有更好的表征能力，特征点和正确匹配点之间的欧式距离少于200，而特征点和非匹配点的欧式距离则均在600以上。与之相反，从图3（b）中可以看出，很多非匹配点的灰度欧氏距离都和匹配点十分接近，显然难以将匹配点和非匹配点进行良好的区分。

另一组试验中，在图像上人为地加上了椒盐噪声（见图4），试验效果见图5，可以看出Gabor特征向量的表征下，特征点和正确匹配点之间的欧式距离仍在250左右，而其余非匹配点的欧式距离仍均在600以上。试验说明，在图像存在一定噪声的情况下，Gabor特征向量仍然具有较好的表征能力。

图3　特征点欧氏距离

图4　带椒盐噪声的车辆对应特征点及随机非对应点

图5　带椒盐噪声的车辆对应特征点Gabor向量欧氏距离

3.2基于Gabor特征的图像匹配试验

采用第2节所述的图像匹配算法对不同道路环境、不同车型的车辆进行匹配跟踪，效果见图6。

图6（a）为第3 461帧中采用车辆检测算法提取的车辆精确位置所产生的车辆模板图像，图6（b）为采集的第3 464帧图像，图6（c）为为采用图像匹配算法所得到的成功匹配图像。在图6（a）和图6（c）中，黑色点表示提取的边缘特征点，而带“*”的像素点则表示成功匹配的特征点。

图6　车辆匹配跟踪

从试验中可以看出，本算法对多种车型都有着较强的匹配能力。

3.3算法整体效果评估

对从沪宁高速为主的高速路上采集的大量道路视频进行试验，有无遮挡、车辆姿态变化的检测效果以及平均耗时如表1所示。可以看出，与模板匹配和Meanshift方法相比，本方法在车辆有遮挡等不良情况下具有明显较高的跟踪率，且耗时与这2种算法较为相近。

表1　本算法和其它主流算法的效果比较

4　结语

本文针对常用的基于视觉的目标跟踪通常采用基于全局的匹配的算法的不足，采用一种局部匹配的思想，以Gabor特征构建匹配特征向量，采用边缘极大值点作为待匹配特征候选点，并以Kalman跟踪器实现前方车辆跟踪。基于真实道路图片的试验和对比结果表明本方法具有鲁棒性强、效率高的特点。

本文目前只考虑了日间车辆跟踪的遮挡、车辆姿态变化的情况，下一步计划展开针对光照条件较差的傍晚、夜间等情况进行深入研究。

［1］ Kanhere N，Birchfield S. Real-Time Incremental Segmentation and Tracking of Vehicles at Low Camera Angles Using Stable Features［J］. IEEE Transactions onIntelligent Transportation Systems，2008：148-160.

［2］Xue M，Haibin L. Robust Visual Tracking and Vehicle Classification via Sparse Representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（11）：2259-2272.

［3］ Ros V， Rotter E， Muhlenberg M. Lane-Change Decision Aid System Based on Motion-Driven Vehicle Tracking［J］. IEEE Transactions on Vehicular Technology，2008，57（5）：2736-2746.

［4］Se Y， Jeong K， Young R. Front and rear vehicle detection and tracking in the day and night times using vision and sonar sensor fusion［［C］. IEEE/RSJ International Conference on Intelligent Robots and Systems，2005：2173-2178.

［5］Sanchez A，Suarez P， Conci A. Video-Based Distance Traffic Analysis：Application to Vehicle Tracking and Counting ［J］. Computing in Science & Engineering， 2011，13（3）：38-45.

［6］Sivaraman S，Trivedi M. A General Active-Learning Framework for On-Road Vehicle Recognition and Tracking［J］. IEEE Transactions on Intelligent Transportation Systems，2010，11 （2）：267-276.

［7］宋仁庭，杨卫平，杨明月.模板匹配算法对运动目标自动锁定跟踪的研究［J］.红外与激光工程，2007，36（z2）：197-200.

［8］党晓军，尹俊文.一种基于模板匹配的运动目标跟踪方法［J］.计算机工程与应用，2010，46（5）：173-176.

［9］Jinman L，Juan Z. Improved video-based vehicle detection methodology［C］. 2010 3rd IEEE International Conference on Computer Science and Information Technology （ICCSIT）， 2010：602-606.

［10］ Lee P，Yen Lin，Shen C. Viewpoint-Independent Object Detection Based on Two-Dimensional Contours and Three-Dimensional Sizes［J］. IEEE Transactions on Intelligent Transportation Systems，2011，12（4）：1599-1608.

［11］贾桂敏，王向军，张世海.复杂背景下基于自适应模板更新的目标跟踪算法［J］.光学学报，2009，29（3）：559-563.

［12］颜佳，吴敏渊，陈淑珍，等.跟踪窗口自适应的Mean Shift跟踪［J］.光学精密工程，2009，17（10）：2606-2611.

［13］Hermes C，Einhaus J，Hahn M. Vehicle tracking and motion prediction in complex urban scenarios［C］. 2010 IEEE Intelligent Vehicles Symposium （IV），2010：26-33.

［14］Lefebvre S，Ambellouis S. Vehicle detection and tracking using Mean Shift segmentation on semi-dense disparity maps ［C］. 2012 IEEE Intelligent Vehicles Symposium （IV）：855-860.

Vehicle Tracking Algorithm Based on Partial Gabor Feature Matching and Kalman Filtering

Wang Hai1，2， Chen Jun1
（1. Chery Postdoctoral Workstation， Wuhu 241009， China 2. School of Automotive and Traffic Engineering， Jiangsu University， Zhenjiang 212013， China）

According to the deficiency of common vision-based tracking algorithm which based on global matching， the method of a partial match is applied in this paper. Because of the noise-resistance of Gabor feature and hard-to-lost property of edge maxima points， a robust Kalman vehicle tracking algorithm is proposed. Firstly， a noise immunity Gabor feature matching eigenvectors is built. Then， edge maximum points are set as the characteristics of candidate points to be matched which greatly reduce the number of matching points. Finally， Kalman tracker is used to track front vehicles. The road experiments show that this method has strong robustness and high efficiency.

active safety； vehicle tracking； Gabor feature； Kalman filtering； edge maximum points

TP391.4

A

1672-9889（2015）01-0036-05

国家自然科学基金（项目编号：61403172，51305167，61203244）；交通运输部信息化项目（项目编号：2013364836900）；江苏省自然科学基金（项目编号：BK20140555）；江苏大学高级专业人才科研启动基金（项目编号：12JDG010，1291120026）

王海（1983-），男，江苏镇江人，博士，研究方向为汽车主动安全技术。

（2014-05-16）