基于颜色和局部二值模式特征的车辆跟踪算法

顾鹏笠，周武杰,b，潘 婷

( 浙江科技学院 a.机械与能源工程学院；b.信息与电子工程学院，杭州 310023)

交通视频影像是获取交通信息的重要来源，随着智能交通系统概念的普及，计算机视觉与车辆交通的关联越来越紧密，车辆跟踪也在近年来成为了目标跟踪领域研究的热门话题[1-3]。车辆跟踪就是在给定了第一帧图像中车辆位置的情况下，对随后的交通视频中的车辆进行检测、识别、跟踪，跟踪结果会用矩形框将其标注出来，以便于进一步的分析处理。但是，交通场景的复杂使得在车辆跟踪的过程中稳定性容易受到光照、目标尺度变化、遮挡、运动模糊、速度等情况的影响。因此，如何对车辆进行跟踪对智能交通系统的发展有着重要的意义。

目前视觉跟踪的研究主要分为两种：生成式模型和判别式模型。生成式模型假定目标的外观生成过程，并搜索序列中最相似的候选对象。例如Comaniciu 等[4]提出将meanshift聚类应用于非刚体目标的跟踪；Vojir 等[5]提出meanshift改进算法，在meanshift框架下加入了尺度估计和颜色特征；Ross等[6]提出IVT算法，采用增量的子空间模型来适应目标外形的变化；Mei等[7]提出将稀疏表示[8]应用在L1跟踪器上，目标物体由目标和一些模板的稀疏线性融合所构成。判别式模型则寻找一个决策边界将目标与背景分开，提出将跟踪问题作为二分类问题。例如Kalal等[9]提出的TLD算法，将算法明确分为跟踪、学习和检测三个部分，其中P-N学习器可以估计出检测器的错误，并及时更新检测器；Hare等[10]提出struck算法采用了哈尔特征，并对SVM分类器进行了改进。王乃岩等[11]对目标跟踪算法进行总结发现，虽然机器学习的方法种类繁多，但目标跟踪领域特征提取才是最重要的部分，具有代表性的特征使得算法更为稳定，不易漂移。为了实现特征的多样性，将全局特征与局部特征都应用于跟踪器，本研究提出了一种基于颜色特征和局部二值模式(local binary pattern, LBP)特征的跟踪算法，旨在充分利用局部二值模式特征对光照的不敏感性，提高算法在应对光照场景变化时跟踪的稳定性和鲁棒性。

1 本文跟踪算法

本文跟踪算法如图1所示，具体过程包括：1)从输入帧中采样多个正、负样本矩形区域(图1中第二行第一张图黑色虚线框表示负样本，白色虚线框表示正样本)，获取每个正、负样本矩形区域各自的颜色特征和LBP特征，进而获得正样本和负样本总特征矩阵；2)采用结构化输出支持向量机SO-SVM，训练正样本和负样本总特征矩阵，得到分类器模型；3)采用相同的方式在参考帧的后一帧待跟踪的车辆图像中采样多个候选矩形区域(图1中第一行第二张图灰色虚线框表示预测样本)，作为预测样本，获取每个预测样本的颜色特征和LBP特征，得到预测样本总特征矩阵；4)将预测样本总特征矩阵作为输入参数，输入分类器中得到每个候选矩形区域的预测评分值；5)将最大预测评分值对应的候选矩形区域作为该车辆图像中确定的包含车辆的目标矩形区域。本文跟踪算法充分利用LBP对光照的不敏感性，提高车辆在以光照变化为主的视频序列中跟踪的稳定性和鲁棒性。

图1 基于颜色特征和局部二值模式特征的车辆跟踪算法流程Fig.1 Procedure of vehicle tracking algorithm based on color features and LBP features

2 特征提取

2.1 颜色特征

在进行颜色特征提取之前，本算法先将RGB颜色空间转换到Lab颜色空间，Lab颜色空间模型是国际照明委员会(Commission Internationale de I′Eclairage, CIE)1976 年制定的一种色彩模式，其颜色的显示不依赖于设备。RGB无法直接转换到Lab，需通过XYZ颜色空间，设RGB空间的颜色分量分别为R、G、B，RGB颜色空间到XYZ颜色空间的转换如下：

(1)

(2)

式(1)中：X、Y、Z是RGB转XYZ后计算出来的值。式(2)中：Xn、Yn、Zn一般默认是95.05、100.0、108.9。

XYZ颜色空间到Lab颜色空间的转换如下：

(3)

式(3)中：L*、a*、b*为最终的Lab颜色空间3个通道的值。我们计算得到的Lab图像块为一个m×n×3的三维矩阵，将该矩阵的每一列连接在一起，变为一个s×1列向量，其中s=m×n×3。此列向量即为我们所备用的颜色特征。由于颜色特征具有平移和旋转不变性，许多颜色特征为基础的跟踪算法也随之产生[12-13]。

2.2 局部二值模式特征

局部二值模式是由Ojala等[14]提出的一种描述图像局部特征的算子。该算子的提出旨在对图像纹理特征进行分析，目前LBP特征已在人脸识别[15]、车牌识别[16]等领域广泛应用。原始的LBP算子定义在3×3的图像块上，以图像块中心像素值为阈值，周边8个邻域像素与阈值进行大小比较，如果大于阈值，则该像素点的位置被标记为1，否则为0。这样比较后，8个像素点可产生1个8位二进制数，将二进制数转十进制数得到该图像块中心像素点的LBP值，这个值反映了图像在这个区域的纹理信息，过程如图2所示。我们采用改进的圆形邻域算子LBP(P,R)如图3所示，其中P表示采样邻近像素点的个数，R表示采样半径，即圆形邻域半径。在圆形邻域上进行采样，可能会造成某些采样点不在某个完整的像素点上。为了得到这个点的灰度值我们对该点进行线性插值计算。

图2 LBP算子Fig.2 Operator of LBP

图3 圆形邻域算子LBPFig.3 Circular neighborhood operator of LBP

3 分类器的设计

Struck[10]算法以结构化输出支持向量机为分类器，在目标跟踪的各种挑战场景中都有较好的鲁棒性。传统分类器对正负样本统一采用二值标注，即正样本记为+1，负样本记为-1，而结构化支持向量机则通过在线学习由分类器自身选择目标所在位置，而非受样本标注来甄选目标位置，分类器对目标的选择由预测函数f来决定，f:X→Y，预测帧与帧之间目标是否发生位移及位移的大小,其中Y表示搜寻空间，也就是帧间目标位置变化关系的集合。例如，yt∈Y，上一帧中目标的位置为Pt-1，则在当前帧中,目标位置就为Pt=Pt-1∘yt(∘表示映射的乘法)，即Pt结合了目标上一帧的位置与目标位置的变化关系。因此，在Struck算法中，已知类型的样本用(x,y)表示,而不再是(x, +1)或者(x, -1)。为了在目标被遮挡情况下不轻易出现漂移，我们在分类器环节上引入了结构化输出支持向量机。

4 试验与分析

采用英特尔 Core i5四核处理器计算机在Matlab R2016a上进行仿真试验，设置P=24，R=3，采用线性插值法及旋转不变性特征，数据库使用Visual Tracker Benchmark[13]，包括“BlurCar 1”“CarDark”车辆序列，其跟踪结果如图4和图5所示，图中左上角数字为图片帧数。在图4与图5中都给出了第一帧我们需要跟踪的目标车辆位置。

图4 BlurCar 1序列跟踪结果Fig.4 Tracking result of BlurCar 1 sequence

图5 CarDark序列跟踪结果Fig.5 Tracking result of CarDark sequence

我们与部分跟踪算法进行了对比试验，其结果如图6和图7所示。图6中白色实线框为我们算法的跟踪结果，黑色实线框为CT[18]算法，黑色点线框为TLD[9]算法。图7中白色实线框为我们算法的跟踪结果，白色点线框为TLD[9]算法。由图6和图7可知，我们提出的算法在遇到运动漂移、暗光等苛刻环境下有不错的跟踪效果。

图7 CarDark序列多算法对比结果Fig.7 Comparison result of multiple-algorithms of CarDark sequence

5 结 论

综上所述，本研究提出一种简单而鲁棒的车辆跟踪算法，此算法采用基于颜色和局部二值模式的特征提取，运用了结构化输出支持向量机对正负样本分类。本文算法的优点如下：1)采用滑动窗口滤波器，从而降低了程序运行的时间成本；2)将局部二值模式特征融合到车辆跟踪的特征提取中，从而提高了车辆跟踪在应对运动模糊和快速运动时的准确性；3)同时考虑局部二值模式特征和颜色特征的结合，并最终融合得到全新的特征服务于跟踪，通过这个过程进一步增加了获取车辆特征的多样性，从而提高了车辆跟踪在应对不同环境挑战时的稳定性。

为了能够获得更好的可靠性和更广泛的应用，我们的算法仍然有很多挑战性的问题需要解决，例如，对每个样本都要提取两种特征，在计算特征所消耗的时间成本上较多，导致算法速度不尽如人意；在更新分类器方面，我们使用了固定的阈值进行更新，在这方面后续的工作还可以再细化。