结构化预测的车辆联合检测与跟踪方法

任亚婧 张宏立

摘  要： 为了对道路车辆进行流量的统计与监控跟踪，提出一种联合检测与跟踪思想的方法。该方法利用初始分割时产生的目标数量的冲突集描述分割阶段产生的错误以及遮挡问题，并通过建立车辆近邻关联事件和与之对应的关联标签变量， 将汽车监控跟踪建模为一个结构化预测问题，利用相应的关联标签变量建立全局目标函数，从而将车辆跟踪问题转化为一个通过求解带约束的整数规划问题，最后求解得到车辆轨迹的全局最优解。

关键词： 交通监控; 随机森林分类器; 联合检测跟踪; 整数规划; 结构化预测; 支持向量机

中图分类号： TN911.73?34; TP391                    文献标识码： A                 文章编号： 1004?373X（2019）15?0029?04

Vehicle joint detection and tracking with structural prediction

REN Yajing， ZHANG Hongli

（School of Electrical Engineering， Xinjiang University， Urumchi 830002， China）

Abstract： A joint detection and tracking method for traffic statistics and monitoring tracking of vehicles on road is proposed. In this method， the errors and occlusion problems produced in the segmentation stage are described by using the conflict set of the number of targets in the initial segmentation. The vehicle monitoring and tracking is modeled as a structural prediction mode by establishing the vehicle adjacent correlation event and the associated label variable corresponding to the event， and the global objective function is established by the corresponding associated label variables， so as to transform the vehicle tracking problem into an integer programming problem with constraint. The global optimal solution of vehicle trajectory is obtained.

Keywords： traffic monitoring; random forest classifier; joint detection tracking; integer programming; structural prediction; support vector machine

多目标跟踪技术是智能视频监控系統的核心。文献[1]提出一种基于时变滤波算法的多目标概率假设密度（PHD）滤波器，该算法有较好的实时性但在解决遮挡问题中还有待提高;文献[2]利用目标的融合特征在线学习判别性外观模型，再将判别性外观模型引入到基于目标多级关联的多目标跟踪框架中，该方法能有效监测跟踪目标，但存在欠分割与过分割的问题。此外还有CT[3]（Compressive Tracking）、TLD[4]（Tracking?Learning?Detection）、DFT[5]（Distribution Fields Tracker）、DLT[6]（Deep Learning Tracker）等方法。

1  预处理

1.1  前景目标分割

选取频帧训练二值随机森林分类器[7]，选取高斯差分、Hessian值、像素灰度值以及梯度值的特征进行训练。初始分割的结果如图1所示。

图1  初始分割图

将所得到的前景图像利用Sobel算子进行目标图像的边缘提取，然后利用边缘数据进行多边形拟合[8]，寻找边缘图像中多边形连接的边缘角度较大的拐点，并用这些断点将边缘分类为不同单元的轮廓以解决车辆前后遮挡的问题，如图2所示。

图2  生成目标集合

1.2  产生车辆目标的数量冲突集

对目标矩形拟合，生成矩形目标[Cj]，[j=1，][2，…，2k-1]。规定每个单元轮廓至多只能被使用1次，对于一个前景区域可以构造出[k]个矛盾椭圆集合[Mr]，[r=1，2，…，k]，其中，[Mr]由包含了第[r]段单元轮廓的所有组合轮廓对应的椭圆构成，以三个相互遮挡车辆为例，对每个轮廓（[a1]，[a2]，[a3]）可能存在的目标进行逻辑赋值，1代表目标存在，0代表目标不存在，则可能存在的目标的逻辑表示如表1所示。

表1  可能存在目标的逻辑表示

2  联合检测跟踪

2.1  车辆近邻关联事件与关联标签

首先，定义时刻[t]图像经过预处理后分割得到的前景图像中目标集合为[Ci] ，并定义目标集合[Ci]中的两两相邻的目标为一个目标对，从而得到目标对集合 [Pβ]。[Pβ]可以有效描述车辆近邻关联事件中的分离和合并事件。根据车辆之间的关系定义移动、合并、分离、出现、消失，如图3所示。

2.2  全局约束

将关联标签组合成[N]维向量[Lnum]，[N]为所有关联标签的数目，num指的是事件的编号。组成的向量[Lnum]满足如下条件：

1） 任何一个车辆目标每个可能发生的近邻关联事件的关联标签的数量都要满足在相邻帧中的相等关系，即：

式中：（1）代表迁移;（2）代表合并;（3）代表分离;（4）代表出现;（5）代表消失;[R1j] 和[R2j] 分别代表车辆目标[Cj]的邻近车辆目标集合和邻近目标对集合。

2） 一个车辆目标在相邻帧中只能满足一个事件的发生条件，即：

3） 在车辆目标数量冲突集中，最多只能有一个目标的值为1，即：

通过分析得到车辆目标的事件关联标签满足的条件后，便可以定义全局约束向量[L]满足的关系式，即：

以上关系式均满足车辆在道路中行驶事件的基本发生规律。

图3  目标集合、目标对和车辆临近事件

2.3  全局目标

图像序列中车辆行驶的每一种轨迹都能与关联标签[L]的一种取值相对应，所以目的就是找到与目标跟踪轨迹最匹配的关联标签[L*]即可。因此定义内积[fnum#，ωnum]来描述近邻关联事件的匹配度，其中[fnum#]是从图像中提取的近邻关联事件的特征向量，[ωnum] 是从训练样本中学习到的各个事件的参数向量，num指的是事件的编号，至此得到如下关系式：

由式（6）可以定义出从特征空间到标签空间的预测函数[?ω：X→L]，函数中包含参数[ω∈RD]，其中，[D]为参数的个数。使用整数规划求解器yalmip[9]中的线性规划（linprog）工具包求解。

2.4  参数学习

将特征与相应的事件标签关联，给定[N]个与特征关联的训练样本，样本集合记为[fN，LN]。

应用结构风险最小化支持向量机算法[10]对参数[ω]进行训练。首先引入一个期望风险的经验估计，并定义损失函数为真实关联事件标签[L]和预测标签的关联事件[L=?ωf]的汉明距离：

3  实验及讨论

实验给出部分跟踪结果，从跟踪结果中可以看出，本文算法在车辆发生遮挡时依旧能稳定跟踪，如图4所示。

如图5所示为采用中心位置误差作为跟踪算法的精度指标、采用成功率和精度作为跟踪算法的有效性指标。本文算法精度与成功率与其他4种算法相比均为最优，在道路复杂环境下对车辆识别有较强的优势。

4  结  语

本文提出一种基于联合检测与跟踪思想的方法对道路车辆进行流量的统计与监控跟踪，该方法将检测阶段的信息传递到跟踪阶段，将汽车监控跟踪建模为一个结构化预测问题。通过对比试验的结果表明，该方法相对于主流的跟踪方法能更有效地结合检测与跟踪阶段的车辆信息，从而对分割阶段产生的欠分割以及过分割现象进行修正，有效地避免了将检测阶段产生的错误信息引入到跟踪阶段中，充分利用车辆行驶时轨迹连接的信息进行预测和学习，提高了识别跟踪的准确性。

图5  测试结果的精度曲线和成功率曲線

参考文献

[1] 吴鑫辉，黄高明，高俊.未知探测概率下多目标PHD跟踪算法[J].控制与决策，2014，29（1）：57?63.

WU Xinhui， HUANG Gaoming， GAO Jun. Multi?target PHD tracking algorithm under unknown detection probability [J]. Control and decision， 2014， 29（1）： 57?63.

[2] 黄奇，项俊，侯建华，等.联合特征融合和判别性外观模型的多目标跟踪[J].中国图象图形学报，2015，20（9）：1188?1198.

HUANG Qi， XIANG Jun， HOU Jianhua， et al. Joint feature fusion and discriminatory appearance model multi target tracking [J]. Chinese image graphics， 2015， 20（9）： 1188?1198.

[3] CHEN T， SAHLI H， ZHANG Y， et al. Improved compressive tracking based on pixelwise learner [J]. Journal of electronic imaging， 2018， 27（1）： 1?5.

[4] TIAN Y， DENG L， LI Q. A KNN match based tracking?learning?detection method with adjustment of surveyed areas [C]// International Conference on Computational Intelligence and Security. Hangzhou： IEEE， 2018： 447?451.

[5] WANG Y， CHEN H， LI S， et al. Object tracking by color distribution fields with adaptive hierarchical structure [J]. Visual computer， 2017， 33（2）： 235?247.

[6] WANG N Y， YEUNG D. Learning a deep compact image representation for visual tracking [C]// Proceedings of Advances in Neural Information Processing Systems. Nevada： NIPS Press， 2013： 809?817.

[7] 张乾.基于随机森林的视觉数据分类关键技术研究[D].广州：华南理工大学，2016.

ZHANG Qian. Research on key technologies of visual data classification based on random forests [D]. Guangzhou： South China University of Technology， 2016.

[8] 王彥芳，冯琦，邓秀剑.基于几何差异的目标识别算法[J].计算机测量与控制，2016，24（7）：156?158.

WANG Yanfang， FENG Qi， DENG Xiujian. Object recognition algorithm based on geometric difference [J]. Computer measurement and control， 2016， 24（7）： 156?158.

[9] ZHANG X， FAN X F， WU L G. Reduced?and full?order observers for delayed genetic regulatory networks [J]. IEEE tran?sactions on cybernetics， 2018， 48（7）： 1989?2000.

[10] LOU Zhongyu， ALNAJAR F， ALVAREZ J M， et al. Expression?invariant age estimation using structured learning [J]. IEEE transactions on pattern analysis & machine intelligence， 2018， 40（2）： 365?375.

[11] HARE Sam， GOLODETZ Stuart， SAFFARI Amir， et al. Struck： structured output tracking with kernels [J]. IEEE transactions on pattern analysis & machine intelligence， 2016， 38（10）： 2096?2109.

[12] KHALID S S， ABRAR S. A low?complexity interacting multiple model filter for maneuvering target tracking [J]. AEU?international journal of electronics and communications， 2017， 73： 157?164.

[13] YOUNG Shin Ahn， AHMED Mohammed， JAE Ho Choi. Mo?ving object tracking using multiple views and data association [J]. Applied mechanics and materials， 2014， 666： 226?229.