基于外观和运动的车辆检测和追踪算法研究

陆星家，郭 璘，陈志荣，林 勇，2

(1.宁波工程学院a.理学院;b.交通与物流学院，浙江 宁波 315211;2.美国德州大学阿灵顿分校计算机学院，美国 阿灵顿76019)

1 概述

近年来，随着目标检测和追踪技术的快速发展，目标检测和追踪研究逐渐由单目标检测和追踪转为多目标的检测和追踪。多目标检测和追踪在军事和民用领域都有广泛的应用［1］，如无人机对于可以移动目标的检测和追踪;智慧交通中的机动车检测和追踪以及可疑人员的检测和追踪。在多目标追踪的检测和追踪研究中，由于目标之间的遮挡，追踪目标在特征上的相似性以及目标群体的空间拓扑的变化成为阻碍多目标检测和追踪技术应用的主要挑战。除此之外，追踪场景的复杂性和多样性也是制约多目标检测和追踪技术发展的瓶颈。

传统的多目标追踪算法普遍利用相似度函数或距离函数对不同帧的检测目标进行关联，选择关联度最大的帧间目标进行匹配。如MHT(Mulittarget Hypothesis Tracking)算法通过建立假设检验目标，完成多目标追踪［2］，由于MHT 算法是通过联合概率来计算不同帧间目标的关联关系，为了减少在目标追踪过程中采样方差对数据关联的影响，MHT 算法利用马氏距离进行目标间的度量，由于马氏距离可以有效减少采样数据整体方差对数据关联的影响，可以有效地改善多目标追踪效果。而JPDA(Joint Probabilistic Data-Association)算法利用联合概率对目标追踪进行关联［3］，通过计算帧间目标的联合概率完成追踪，在追踪目标较多时，JPDA容易引起计算复杂度的急剧攀升。联合概率的计算是该算法的主要问题。近年来在目标追踪研究中，粒子滤波器算法由于利用马尔可夫过程和重采样技术，有效地克服了JPDA 算法中计算复杂度急剧攀升的问题，同时对于多模目标分布，也保持较高的估计准确率，该算法受到了广大学者的关注［4］。

本文利用可变部分模板模型进行机动车检测，结合MCMC 算法和MHDA 算法对检测的车辆进行追踪。为了保持追踪的准确率同时降低计算复杂度攀升的问题，结合MHDA 算法建立全局追踪的假设检验，减少多机动车追踪过程中因为目标间遮挡、以及目标相似造成追踪错误和追踪丢失，提高多机动车检测和追踪的精准度。

2 机动车目标检测

复杂的检测场景、机动车之间遮挡以及背景的变化是机动车检测面临的主要问题。其中遮挡又可以分为长时遮挡和短时遮挡;或部分遮挡和完全遮挡。传统的多机动车目标检测算法针对以上2 种类型的遮挡问题解决较差，检测的准确率不高，主要原因在于检测器从图像中提取的特征不具有良好的统计特征，容易受到光照、仿射以及遮挡的影响，同时单一的检测器在目标尺寸急剧变化时，检测效果也较差。因此国内外学者普遍采用复合检测器提高目标检测的精准度。在不同的分辨率下构造不同的检测器，构成复合检测器。为了减少特征对于检测的影响，目前主要采用具有统计不变的特征作为目标检测的特征，如梯度方向直方图(Histogram of Oriented Gradient，HOG)特征对目标的旋转、放大及缩小具有很好的不变性，被广大研究者采用［5-6］。Felzenszwalb利用HOG 对不同的目标进行检测，获得了较好的检测效果。Andriluka 和Leibe 在研究行人检测时，也采用层次检测器，在不同的分辨率下对行人进行检测，并取得较好的检测效果［7-8］。本文拟采用HOG 特征作为机动车检测特征，通过训练样本获取机动车的HOG 特征模板，为了提高机动车目标检测的准确性，本文采用复合模板，获取不同图像分辨率下的特征模板。在完成机动车模板的构建之后，对机动车目标进行检测，并在此基础上进行机动车追踪。

2.1 基于层次-部分模型的机动车检测

机动车是刚体对象，在机动车的运动过程，由于受到道路的约束，机动车在一定时间内，机动车的位置和外观变化较小，采用可变模板对刚体对象检测的准确率和精确率都较高，同时可变模板的训练也可以离线完成。可变模板是一个检测模板的集合，最高层的是根模板，根模板是最低分辨率的特征模板，根模板连接一系列的子模板，子模板是较高分辨率下的特征模板，根模板和子模板之间采用HOG 特征作为目标检测特征，各个子模板和根模板都被赋值为不同的权重，通常模板包括一个根F0检测器和一个部分检测器集合(P1，P2，…，Pn)，Pi包括检测器的层次信息、位置信息、窗口的尺寸以及每个检测的权重得分信息。目标的检测过程就是将目标对象的HOG 特征与可变模板进行比较，通过计算得分差异进行目标检测。对于机动车检测而言，HOG 特征具有很好的统计不变性，有利于从复杂的背景中提取机动车的轮廓模板。

2.2 机动车检测模板的学习

为了完成对不同机动车的检测，首先需要建立机动车的检测模板，主要针对小轿车、大客车、摩托车、电动车等不同类型的车辆进行学习，学习过程采用离线方式，将样本图像在6 个尺度上计算HOG 特征，训练图像为256 ×256 的图像，采用的样本图像是INRIA 的测试数据，通过计算每个像素的HOG 特征，在每一个像素点上计算梯度角度式(1)，为了保证特征提取的准确性，每20°度的角度变化构建一个bin(图1)，并将直方图均匀化。角度θ 的计算公式如式(1)所示，sy和sx表示在垂直方向和水平方向的灰度变化量。

图1 梯度方向直方图和Bin

完成以上4 类检测对象的学习之后，构建的HOG 特征模板如图2 所示，完成4 类检测器的构建。

图2 HOG 特征模板

3 多机动车目标追踪

在机动车目标检测之后，需要对机动车进行追踪，在追踪过程中，目标的丢失和遮挡也是目标追踪的主要难题。近年来，增量学习方法称为目标追踪的研究重点，如Ozuysal 和Lim 利用增量的Online Boosting 算法对目标追踪进行增量学习［9-10］，但是由于增量学习的时间复杂度较高，目前只能完成单目标的在线学习追踪，而对于多目标的追踪，无法满足追踪的实时要求，本文拟采用MCMC 算法和MHDA算法进行多机动车的追踪，其中MCMC 算法通过马尔可夫过程在前一时刻上进行后验概率估计，通过蒙特卡洛模拟，利用重序列采样获取前一时刻的状态分布。

3.1 MCMC 算法

MCMC 通过对上一帧检测的对象进行重要序列重采样，在下一帧中利用马尔可夫过程计算下一帧对象的条件概率，通过滑动窗方法选择具有最大概率的窗口作为下一帧的目标的追踪结果。

在完成对机动车的检测之后，为了提高目标追踪的精准度，结合机动车的动力学模型对机动车运行的状态进行估计，设在t 时刻被追踪的机动车在图像的坐标为(x(k)，y(k))，t 时刻机动车在图像横坐标和纵坐标上的速度分别为vx(k)和vy(k)，横坐标和纵坐标上的加速度为ax(k)和ay(k)，Z(k)表示在t 时刻的机动车运动状态的测量值，取以上6 个变量描述运动状态，可以得到运动目标的状态转移方程为:

X(k)=(x(k)，y(k)，vx(x)，vy(k)，ax(k)，ay(k))T)，Γω(k)表示随机扰动，机动车的观测模型是 Z (k)=HX (k)+V (k)，Z (k)=(Zx(k)，Zy(k))T。

MCMC 需要对目标的运动进行预估，在MCMC算法中，令Xt(k+1|k)为Xt直到k 时刻的测量数据来预测的k+1 时刻的目标t 的状态。在k +1 时刻的追踪算法过程为:

(1)利用k 时刻的测量数据通过状态转移，来预测k+1 时刻的目标t 的运动状态Xt(k +1|k)=FXt(k|k)，FXt(k|k)=Bw(k)即粒子的空间传播。MCMC 算法根据机动车当前的状态对目标的分布函数进行采样，设置采样粒子的权重，拟合分布函数，在分布函数的分布期望区间，粒子的权重较大，在分布的边缘，权重较小。

(2)在k+1 时刻，根据粒子的分散程度结合跟踪窗(机动车可能的运动区域)，然后在窗内进行检测，得到可能的测量值。

(3)对于测量j=1，2…，mk+1，目标t=1，2…，计算测量与目标的联合关联概率。如果追踪目标准确，则测量值和运动估计值得联合概率最大。

(5)计算k+1 时刻的条件分布权重和k +1 时刻的速度

(6)根据条件概率对重采样加权和计算目标t的采样粒子支撑点集的权值得到支撑点集

(9)追踪系统接受下一帧图像，返回到第(1)步。重复上述过程，直至所有图像中的机动车目标都被追踪完为止。

3.2 MHDA 算法

在目标追踪过程中，由于光照，遮挡等原因会造成追踪目标的丢失，其中，遮挡问题可以根据遮挡时间的长度分为短时遮挡和长时遮挡，在机动车追踪中，由于交通信号灯以及车辆拥堵的原因，容易出现长时间的遮挡，也就是会造成长时间的追踪目标的丢失，因此在机动车追踪过程中，需要构建全局的追踪信息，MHDA 算法通过建立全局的目标追踪轨迹，克服短时的遮挡。MHDA 算法的核心思想是建立多个追踪结果的假设检验，MHDA 算法中的其中表示t 时刻目标的位置，表示t时刻目标的速度表示t 时刻目标外观特征表示t 时刻目标的尺寸。，其中K 表示在t 时刻目标的数量，Xt表示目标的状态，为了保证追踪的连续性，MHDA 算法利用联合概率

考虑到P(Z，X)的概率的计算，如对(t -1，…，0)时刻的概率进行计算，虽然可以提高追踪的准确率，但是对于追踪过程的计算量过大，利用马尔可夫性质，对于P(Xt|Xt-1…X0)≈P(Xt|Xt-1)，只计算前一时刻的状态概率P(Xt|Xt-1)，并通过前一时刻的状态校正测量值P(Zt|X，Zt-1…Z0)≈P(Zt|Xt)。通过MHDA 通过全局目标假设检验，搜索具有最大概率的追踪轨迹。多假设检验的置信区间为95%。

4 实验结果与分析

4.1 机动车检测率分析

本文进行机动车检测和追踪采用实际的交通监控数据作为实验数据，这些视频数据集是用静态相机进行拍摄的，该数据集主要的挑战是，不同时间段的交叉路口的光照变化，机动车之间的遮挡，天气的影响以及行人的干扰。为了正确反映出多机动车检测算法的准确率，本文主要从3 个指标上对该算法进行度量:(1)真阳性(TPR True Positive Rate)，即灵敏度;(2)假阳性(FPR False Positive Rate);(3)假阴性(FNR False Negative Rate)指标，其中TPR 主要检测算法对于多机动车检测的准确性，是反映该算法检测准确率最重要的指标。FPR主要是度量算法的误检率，FNR 主要是度量算法的漏检率。由于交通监控的实际需要，FPR 需要尽量的低，要达到零误检率，因为误检会推高交通执法成本，如一个未违规的驾驶者被判定为违规，交通管理者面临着执法错误的风险。而漏检率在一定程度下是可以忍受的。TP 是真阳性，TP 是假阴性，TPR 为正确的检测率。

误检率对于多目标追踪算法而言，当算法的误检率较高时，该算法的可用性就较差，由于追踪过程中错误较多，不能满足多目标追踪算法的要求。

漏检率同样是多目标追踪算法一个重要指标，由于漏检是指在追踪过程中，一些目标的随着追踪过程被遗漏了，如何该算法的漏检率较低时，算法可用性较好。

为了验证算法的精密度(Precision)和准确度(Accuracy)，机动车检测的结果表1 所示，数据集1 表示早晨7:00 -8:00 的交通视频，数据集2 表示下午16:00 -18:00 的交通视频，数据集3 表示夜晚18:30-19:30的交通视频，以上3 个时间段的交通数据是城市最能反映一个城市的交通状况。针对不同路段的交通视频进行测试，测试结果如表1 所示，对于交通监控管理者而言，错检率的执法风险过高，本文将降低错检率作为该算法的首要目标，漏检率需要保持在85%以上，由于机动车的遮挡以及光照的影响，机动车的漏检率较高，根据检测模型检测到的机动车的数量在不同图像分辨率上的分布，重新设置部分模板和根模板之间的链接权重，从而有效地降低漏检率的发生。从表1 中可知，在清晨和下午2 个时段，机动车检测的准确率能够达到要求，在夜晚时段，检测的准确率急剧下降，漏检率达到43%左右。

表1 测试数据集的检测精度和准确度 %

4.2 机动车追踪率分析

在完成机动车的检测之后，先对单个机动车进行追踪测试，测试的结果如图3 所示，机动车的检测和追踪在正常的光照条件下准确率和精确度较高。追踪器能够较好地对机动车进行追踪，在黑夜条件下，追踪器的准确率不高。在单一机动车的追踪过程中，基于MCMC 算法的追踪器能够较好地适应目标追踪的要求。

图3 不同光照条件下单机动车测试结果

在多机动车追踪情况下，本文选取不同光照条件下的多机动车追踪，追踪的结果如图4 所示，追踪器能够较高地对大客车、小轿车以及电动车进行追踪，在多目标追踪过程中，本文的平均正确检测率达到75%左右，由于实际情况中的不定因素有很多，如光照的急剧变化、目标之间的遮挡、人流和车流的密度较高等等。因此也会影响机动车检测和追踪的准确率和精确率。在目标追踪的过程中也发现到追踪的准确率和精确度最容易受到光照强度的影响，如光线过亮或过暗时拍摄的机动车检测和追踪都会出现误检测和误追踪，因此获取的视频质量十分重要，可加入自动光线补偿过程使得过亮或过暗的光线能得到调整，从而不影响机动车运动区域的视频质量。另外，在实验过程中发现到对于从视频序列中如何选择拍摄角度与效果较好的一帧也是需要改进的地方，因此前期帧质量的选择会影响到后续的特征提取与检测。

为了正确反映出多机动车追踪算法的准确率，主要从2 个指标上对算法进行度量:(1)序列帧检测精度(SFDA)，SFDA 主要度量在追踪过程中车辆被检测到的数量、误检和错检的数量，其中SFDA 中的FDA 是每一帧的目标检测率;(2)平均追踪精度(STDA)指标，主要检测算法对于目标追踪的精度，是反映该算法追踪准确率最重要的指标［11-13］。

图4 不同光照条件下多机动车追踪结果

多机动车追踪的结果如表2 所示，在机动车的单目标追踪中，追踪的准确率较高，由于在机动车追踪问题中，机动车的运行轨迹相对连续，因此在机动车的轨迹追踪中，可以缩小MCMC 算法的滑动窗的搜索范围，而对于运动变化较大的目标追踪中，为了提高追踪算法的准确率，有时必须扩大滑动窗的搜索范围，在目标追踪中，问题域的先验知识对于提高追踪算法的准确率是十分重要。在多目标追踪中，由于多个目标之间的拓扑关系会随着机动车的运动而发生改变，MHDA 算法通过保持多个目标在追踪过程中的联合概率进行关联，由于计算联合概率随着追踪时间的增长呈指数级别增长，因此设置计算联合概率的时间长度可以有效地降低算法的收敛速度，由于在交通路口的多目标追踪，机动车之间的拓扑关系相对固定，也减少了多目标追踪算法的追踪丢失率和错追踪率。从表2 中可知，在清晨和下午2 个时段，多机动车追踪的准确率能够达到要求，在夜晚时段，追踪的准确率急剧下降，追踪丢失率达到45%左右。

表2 测试数据集的追踪精度和准确度 %

4.3 算法的实时性追踪分析

针对算法的实时性，针对测试视频分别MCMC和MDHA 算法，Online Boosting 算法进行对比，追踪算法的实时性主要通过每分钟追踪的帧数(f/s)进行对比，实时性要达到20 f/s 左右才能满足实时性，在测试过程中，数据集1～3 的时间长度为10 min 的实时视频，每分钟追踪的帧数测试结果如表3 所示，从表3 可知，MCMC 和MDHA 算法相对与Online Boosting 算法而言，在正常光照条件下，每分钟可以追踪20 f/s，而在黑夜条件下，每分钟可以追踪15 f/s，相对Online Boosting 算法而言，可以较好地满足实时性的要求。

表3 测试数据集的实时性能对比 (f·s -1)

5 结束语

本文针对多机动车检测和追踪过程中的问题，提出了一种基于MCMC 和MHDA 算法的多机动车检测和追踪算法，通过在不同分辨率尺度上利用全局和部分模板提取机动车目标，并利用MCMC 和MHDA 完成目标的全局追踪。实验结果利用数据关联可以降低机动车追踪过程中的追踪丢失率和机动车的错追踪率，能够完成机动车的普通场景下的机动车检测和追踪，有效地对小轿车、大客车、电动车和自行车等4 种不同类型的车辆进行检测和追踪，为以后机动车的在线识别和跨相机的追踪研究提供了理论和实践基础。

［1］Yilmaz A，Javed O，Shah M.Object Tracking:A Survey［J］.Acm Computing Surveys，2006，38(4):1-45.

［2］Reid D B.An Algorithm for Tracking Multiple Targets［J］.IEEE Trans.on Automatic Control，1979，24(6):843-854.

［3］Fortmann T E，Bar-Shalom Y，Scheffe M.Sonar Tracking of Multiple Targets Using Joint Probabilistic Data Association ［J］.IEEE Journal Oceanic Engineering，1983，8(3):173-184.

［4］杨小军，潘 泉，王 睿，等.粒子滤波进展与展望［J］.控制理论与应用，2006，23(2):261-267.

［5］Shu Guang.Part-based Multiple-person Tracking with Partial Occlusion Handling ［C］//Proc.of IEEE Conference on Computer Vision and Pattern Recognition.［S.1.］:IEEE Press，2012.

［6］Felzenszwalb P，Girshick R，McAllester D，et al.Object Detection with Discriminatively Trained Part Based Models ［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2010，32(9):110-121.

［7］Andriluka M，Roth S，Schiele B.People Tracking by Detection and People Detection by Tracking ［C］//Proc.of IEEE Conference on Computer Vision and Pattern Recognition.［S.1.］:IEEE Press，2008:321-329.

［8］Leibe B，Schindler K，Gool L V.Coupled Detection and Trajectory Estimation for Multi-object Tracking［C］//Proc.of IEEE International Conference on Computer Vision.［S.1.］:IEEE Press，2007.

［9］Rangachar K.Framework for Performance Evaluation of Face，Text，and Vehicle Detection and Tracking in Video:Data，Metrics，and Protocol ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(2):319-336.

［10］Xu Jia，Lu Huchuan，Yang Minghuan.Visual Tracking via Adaptive Structural Local Sparse Appearance Model［C］//Proc.of IEEE Conference on Computer Vision and Pattern Recognition.［S.1.］:IEEE Press，2012:356-347.

［11］Felzenszwalb P，McAllester D，Ramaman D.A Discriminatively Trained，Multiscale，Deformable Part Model ［C］//Proc.of Computer Vision and Pattern Recognition Conference.［S.1.］:IEEE Press，2008:1-8.

［12］Ali S，Shah M.Human Action Recognition in Videos Using Kinematic Features and Multiple Instance Learning［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2009，32(2):288-303.

［13］Xiao Jiangjian，Cheng Hui，Sawhney H S，et al.Vehicle Detection and Tracking in Wide Field-of-View Aerial Video［C］//Proc.of Computer Vision and Pattern Recognition Conference.［S.1.］:IEEE Press，2010:679-684.

［14］Ge J，Luo Y，Tei G.Real-time Pedestrian Detection and Tracking at Nighttime for Driver-assistance Systems［J］.IEEE Trans.on Intelligent Transportation Systems，2009，10(2):283-298.