基于卡尔曼滤波的城市路口车辆检测及分类

戚永刚

(德州学院外语系，山东 德州 253023)

基于车辆的视觉跟踪［1］和交通监控技术［2］受到了广泛的关注，这些技术在车辆监测系统、车辆跟踪及道路路口自动监控等领域得到了广泛应用。交通拥塞发生在交通需求超过道路通行能力的时候，它不仅是对时间的浪费，更是对能量的损耗，而且还会导致二氧化碳过量排放，自动交通监控有助于及早发现可能发生的道路拥挤［3－4］。

目前已经有许多使用车辆不同属性进行车辆检测、跟踪和分类的方法。例如，文献［5］提出了一个较为全面的车辆检测方法，采用背景差分法，将当前帧和背景帧之间像素的差值作为被测对象，使用一些阈值限制，所有属于被测对象的像素点(不存在背景图像)都会检测到并分组在一起。运动车辆跟踪过程的主要思想是保持每个检测车辆的检测顺序与整个视频序列一致，为了消除车辆计数时重复计数，学者们相继提出了一些车辆跟踪算法［6－8］。然而，针对车辆分来的工作却很少，因为车辆形状和颜色多种多样，使得车辆分类更具有挑战性。已有文献提出的车辆分类方法通常是基于模型的［9－10］，近期也有一些是基于车辆颜色的［11－12］，而这些方法的难点是将各种形状的车辆(虽然属于同一类)描述成一个单一的模型。

为了更好地对混乱的城市交叉路口车辆进行检测、跟踪及分类，本文提出了一种基于卡尔曼滤波算法［13］的车辆检测及分类系统，使用一个安装在人行天桥的摄像头俯拍交通场景，摄像头放置在马路中央，通过车辆几何图形和外观特性进行分类，既能够多车道检测，又大大地减少了分类误差，实验结果验证了所提系统的有效性。

1 系统设计

1.1 系统概述

如图1所示为整个系统的流程图，主要有车辆检测、车辆跟踪和车辆分类，包括以下6个阶段:

1)背景估计:从视频的一些初始帧对背景估测。

2)检测区域:在这个阶段，构建二值掩码来定义感兴趣的区域。

3)目标检测:采用背景差分将检测到的前景对象和像素点连接成的组存储为blob类型。

4)对象跟踪:边界框放置在每个检测到的blob类型图像处，用卡尔曼滤波器一帧一帧地跟踪。

5)对象分割:被跟踪对象离开探测区域之前会被提取。

6)对象分类:分段的对象传递给分类器，分类器将它们进行适当分类。

图1 系统流程图

系统利用了放在高处的相机记录的视频流，把相机放置在高处俯视场景中心，可清晰地区分正在行驶中且车距很短的车辆，有助于避免场景中物体遮挡。所使用的视频来源于一个车流量很大的城市道路交叉口，区别于高速公路，城市道路交叉路口更具有挑战性，除了常见问题外，还有全局光照变化、阴影处理、遮挡、多个对象检测和跟踪等问题。因此，本文的目标是开发一种低成本的基于视觉的车辆检测和分类系统，用于改善和理想化智能交通系统。

1.2 背景估计

本文系统的第一阶段是产生相对稳定的背景图像。文献［14］假设与过往的车辆相比，道路的像素强度和刚进入下一帧图像中的初始像素强度相同，与初始帧像素强度相同的像素认为是背景像素，本文采用与文献［14］相同的方式进行背景建模。

1.3 车辆检测

将当前帧和背景帧对应像素进行成对相减，像素值大于阈值的像素点认为是对象(被测车辆)中的像素点，如图2所示，使用4个不同的步骤来检测属于移动车辆的像素。首先构造一个二值掩码以定义检测范围，从交叉点至相机位置有三道通路，掩码“M”的大小与整个检测区域的条目相对于零检测区域条目的大小相同。接着，把背景图像和当前图像相乘，如图2b和2c所示，将所有被测区域之外的区域直接忽视或变暗(暗区)。然后，应用背景差分技术来检测当前图像中像素值大于设定阈值点的位置。最后，为进一步使被测对象blob图像的形状清晰，先进行了扩张再侵蚀。

图2 车辆检测过程

1.4 车辆跟踪

跟踪过程中将被测物体打上标签，使其在穿过整个视频序列中能唯一标识，并保持其身份穿过整个视频序列。所提系统采用卡尔曼滤波跟踪算法跟踪被标记车辆的blob图像，实现流程如图3所示，使用动态模型来预测对象的状态进行预测;使用测量或观测模型校正预测，使预测值的误差协方差降到最低［14］。动态图像处理时，卡尔曼滤波器在用前一帧图像ft－1的位置信息预测当前图像ft中的目标位置信息的过程中扮演着重要的角色，如每个时间间隔t内均重复此过程。

图3 卡尔曼滤波器

当车辆离开路口并进入检测区(顶部的检测窗口)后，边界框将添加到每个检测到的对象上，当被测车辆达到最大尺寸时进行裁剪，不仅缓解了分类任务的难度，也增强了它的性能。

图4为提出的跟踪方法图解，图像帧ft－5中，检测区域共出现并检测到5辆车，随着这些车辆逐渐靠近相机，它们的blob图像大小在图像帧ft－4中会增加，然而，图像帧ft－3中占据中心车道的白色汽车blob图像面积随着它离开检测区域而逐渐变小，因此，图像帧ft－4中在blob图像减小之前就开始分割。为了区分提取两辆车的信息，在图像帧ft－2，ft－1和ft中重复进行了相同的步骤，最后将车辆的分割信息、斑点区域、质心及边界框坐标一并传递到分类阶段。

图4 跟踪和分割方法图解

1.5 车辆分类

这部分主要目的是对通过检测区域的车辆进行分类并统计其数量。视频中的车辆分成5类:摩托车，汽车，面包车，卡车，重型卡车。这些类别的选择是基于包含在视频中的可用的车辆类型的，但是系统可以很容易地对车辆类型进行扩展。一般来说，对象识别包含目标检测、特征提取、分类三个阶段，车辆检测阶段已经完成了目标检测，后面主要专注于特征提取和分类。

1.6 利用LBP提取特征

特性提取之前，先对图片进行图像预处理来标准化和提高图片质量，调整每个图像为64×64像素大小，接着，将RGB图像转换成灰度图像，只保留其强度值。此外，用对比增强技术来减少图像中的光照变化。预处理各阶段示例如图5所示。

图像预处理后，使用局部二值模式(LBP)［15］提取每一个对象的独特属性。给定位置(xc，yc)的像素点产生的LBP表示如下

式中:Pc是窗口中心像素;Pn是窗口中心像素周围相邻8个像素;S可表示成

首先将每个预处理的图像分割成36个子区域;接着，计算并绘制每个子区域的LBP直方图;然后，用式(3)和式(4)分别计算直方图比率hr和直方图最大值hm;最后，将所有子区域的36个hr和36个hm连接成单一特征向量。

图5 图像预处理示例

前期提取的车辆区域、质心和边界框坐标进一步融入LBP特征，由式(5)来计算被测车辆的几何特性及与马路的相对位置。

形成的特征向量由线性分类器将其归类至它们各自的类中，主要目的是最大化类间散布矩阵，同时最小化类内散布矩阵［7］。数学上，离散度矩阵定义如下

分类措施如下

式中:SW和SB分别表示类内和类间散布矩阵;ni表示属于类i的样本个数;c表示类的个数;mi表示类i样本的平均值;xi表示第i类的样本集;xj表示该类的第j个对象;和表示类内和类间矩阵的决定因子。

2 实验部分

所有的实验均在4 Gbyte内存、Intel Core 2.93 GHz Windows XP计算机上完成，编程环境为MATLAB 7.0。所提系统的性能通过包含78辆车的视频序列进行测试，有3400帧，视频拍摄于典型城市交叉口，有背景杂乱的特征。

2.1 实验结果

实验把视频分成两部分，第一部分的2200帧用于分类，剩下的1200帧用于测试，表1为实际的训练和测试序列，表2为系统计数器输出的训练和测试序列，表3为系统分类器输出的测试序列。为了提高验证结果的准确性，要求2个人独立地对进入区域的车辆计数和分类，表中的实验结果是2个人记录的平均值。

表1 实际的训练和测试序列

表2 系统计数器输出的训练和测试序列

表3 系统分类器输出的测试序列

从表2中可以看到，这个系统探测、跟踪和统计的通过训练和测试序列数量为76，与实际数字78不相等，对应了2.56%的误差，即检测正确率为97.44%。从表3可以看出，在分类阶段，所有的摩托车、卡车和重型卡车的分类是准确的。然而，由于系统在小巴士和轿车之间产生混淆，25个测试车辆中有3个分类错误，故总体分类误差为12.0%，即正确分类率为88.0%。

系统可以正确地检测并跟踪大多数汽车，检测率高达97.44%，错误检测主要是遮挡，特别是在车辆行驶中车距非常近的时候，尽管当前面的车辆离开检测区，系统足以检测到后面的第二辆车。然而，只有88.0%的车辆正确分类，错误分类的问题主要发生在轿车和面包车之间。虽然，两种车辆的几何和外观属性描述不同，但由于两车形状和外表非常相似，系统还很难正确地将它们分类。

2.2 比较与分析

为了更好地体现所提方法的优越性，与其他几个类似文献中的检测方法进行了检测率对比，因为前人针对车辆分类的研究不是很多，故没有将所提系统的分类率与其他方法进行对比。比较方法包括文献［1］提出的背景变化鲁棒的自适应视觉跟踪模型(BV－AVTM)、文献［2］提出的行车道检测及车辆跟踪算法(TLDVT)、文献［5］提出的背景差分及Mean－shift跟踪算法(BS+Mean－shift)、文献［6］提出的基于核函数的Mean－shift跟踪算法(KMean－shift)，比较结果如表4所示，其中，各个比较方法的检测率均取自对应的参考文献。

表4 各方法的车辆检测率比较 %

从表4可以看出，所提系统的检测率比其他几种方法的检测率都高，在各个比较方法中，BS+Mean－shift方法的检测率最高，与 K－Mean－shift方法相比，BS+Meanshift方法引入了背景差分，提高了检测率，而与BS+Mean－shift相比，所提的系统在背景差分的基础上，结合了卡尔曼滤波算法，而它是一种基于状态空间技术的递归预测方法，递归方法的使用提高了车辆的检测率。

3 结论

本文提出了一种新颖的基于车辆几何图形和外观特性的车辆分类方法，对车辆进行了检测、跟踪和分类。所提系统的有效性在一个从典型城市交叉路口取得的3400帧视频序列上得到了验证，背景差分方法和卡尔曼滤波算法用在检测和跟踪系统阶段，使用图像分割方法，在车辆结构最清晰的点将其分段，被分割车辆的几何和外观特征送入LDA分类器进行分类。实验结果表明，所提系统将成为未来车辆检测和分类的发展趋势。虽然该系统展示了它在车辆检测和跟踪方面的稳健性，但仍需要进一步解决遮挡问题(例如使用立体摄像系统)。

［1］王建宇，陈熙霖，高文，等.背景变化鲁棒的自适应视觉跟踪目标模型［J］.软件学报，2009，17(5):1001－1008.

［2］曾智洪.高速公路中的行车道检测和车辆跟踪［J］.自动化学报，2011，29(3):450－456.

［3］SUN Z，BEBIS G，MILLER R.On－road vehicle detection:a review［J］.Pattern Analysis and Machine Intelligence，2010，28(5):694－711.

［4］RAJAGOPALAN A N，CHELLAPPA R.Vehicle detection and tracking in video［J］.Image Processing，2010，24(1):351－354.

［5］LONG L，XIAO X，SHU X，et al.Vehicle tracking method using background subtraction and meanshift algorithm［J］.E－Product E－Service and E－Entertainment(ICEEE)，2010，23(3):1－4.

［6］彭宁嵩，杨杰，刘志，等.Mean－Shift跟踪算法中核函数窗宽的自动选取［J］.软件学报，2010，16(9):1542－1550.

［7］DJALALOV M，NISAR H，SALIH Y，et al.An algorithm for vehicle detection and tracking［J］.Intelligent and Advanced Systems(ICIAS)，2010，26(1):1－5.

［8］杜宇人，周爱军.一种基于视频图像的运动车辆跟踪方法［J］.电子测量与仪器学报，2009，23(3):45－48.

［9］BEHRAD A，SHAHROKNI A，MOTAMEDI S A，et al.A robust visionbased moving target detection and tracking system［J］.Proceeding of Image and Vision Computing，2011，23(4):221－229.

［10］郭捷，施鹏飞.基于颜色和纹理分析的车牌定位方法［J］.中国图象图形学报，2012，7(5):472－476.

［11］MESSELODI S，MODENA C M，ZANIN M.A computer vision system for the detection and classification of vehicles at urban road intersections［J］.Pattern Analysis ＆ Applications，2012，28(1):17－31.

［12］GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles［J］.Intelligent Transportation Systems，2011，23(1):37－47.

［13］RABIU H.Vehicle detection tracking and colour－based classification in video［J］.International Journal of Advanced and Innovative Research(IJAIR)，2013，32(1):97－100.

［14］RABIU H，SARIPAN M I，MASHOHOR S，et al.3D facial expression recognition using maximum relevance minimum redundancy geometrical features［J］.EURASIP Journal on Advances in Signal Processing，2012，31(1):213－220.

［15］WELLING M.Fisher linear discriminant analysis［J］.Information Science，2007，19(2):108－116.