基于多传感融合的目标追踪方法

朱世豪，武一民

基于多传感融合的目标追踪方法

朱世豪，武一民

（河北工业大学 机械工程学院 车辆工程，天津 300131）

自动驾驶已经成为未来汽车技术发展的一个重要方向。但现阶段自动驾驶汽车的感知精度不足已经成为限制自动驾驶汽车应用的一个重要因素。为解决上述问题，文章基于多传感器信息融合理论，提出一种自适应数据关联方法，分别考虑传感器的误差特性模型、目标的运动状态对数据关联的影响实现杂波环境中的目标追踪。并实验验证方法的有效性，实验结果表明，文章提出的融合感知结果能够有效地降低误差值，且目标轨迹追踪方法在所有实验场景中能100%保证目标编号的一致性。

多传感器融合；目标追踪；自适应跟踪门限

前言

随着新一轮科技革命的发展，未来汽车的研究方向也随之发生改变，无人驾驶技术已经成为未来汽车领域的一个重要研究方向。但目前尚未出现能够商业化的无人驾驶，其中一个难以解决的问题在于感知精度难以满足需求。为提高感知精度，在车载感知方面进行了大量的研究，如 Mobus基于毫米波雷达与红外传感器分别实现融合追踪，采用PDA算法实现数据关联，将关联结果进行融合且采用多模型交互实现目标的状态估计，模型的权重取决于假设的可能性[1]。该方法可以实现多传感器的融合感知，但采用的PDA数据关联算法虽然方法简单，但难以实现多个目标的数据关联。黄伟[2]、王亚丽[3]和姚远[4]均是基于毫米波雷达与摄像头实现目标的融合感知，利用AdaBoost算法作为相机的检测算法，该方法可以极大地提高目标的检测效率，降低目标的漏检率与误检率，并通过融合实现良好的目标追踪。上述研究仅是针对简单工况中的目标追踪，对于车辆在杂波环境下的遮挡问题并未进行过多的研究。针对上述问题，本文以两个摄像头为感知原件提出一种基于多传感器融合的目标追踪方法。构建传感器的误差特性模型，基于传感器的误差特性作为权重，实现多传感器的融合感知，为保证跟踪门限包含正确量测的前提下减少杂波，基于当前时刻传感器的误差特性以及目标的运动状态构建自适应跟踪门限，实现跟踪门限的自适应调整。

1 多传感器的时空同步

1.1 多传感器的时间同步

由于每个传感器的采样频率不同，采样起始时间存在差异，传输效率也不尽相同。为保证数据的时间同步，基于采集数据的时间戳实现时间同步。即保证车载相机与RT range（一种组合定位产品，内含GPS、IMU）时间差的消除以及采样频率的统一。

设备时钟分别为工控机赋予车载相机以及行车记录仪的时间戳，该时钟为北京时间；RT range的真值时钟为格林尼治天文台时间，即RT range与北京时间的差为八小时。为了保证后续数据的时间同步，考虑将格林威治时间转换为北京时间保证数据起始时间的一致性；在实际过程中，车载相机的采样频率为50 Hz，RT range的采样频率为100 Hz，为保证有效数据的最大化利用，将车载相机的数据进行线性插值，转换为100 Hz，保证数据频率的一致性。

1.2 多传感器的空间同步

在融合感知系统中存在多个传感器，每个传感器的量测值均基于自身坐标系，因此数据融合前需要保证局部坐标系与全局坐标系的统一。描述空间中两个物体的相对关系时，可以分为两个物体间的位置关系以及两个物体的方向关系。位置关系一般使用笛卡尔位置来表示，方向关系则使用姿态来表示。本文基于已有的实验平台实现空间同步，其中RT range内含标定软件可实现空间同步，且实验平台已完成摄像机的内参标定，因此只需对相机的外参进行标定即可实现空间同步。

旋转矩阵法的核心是一个3×3的旋转矩阵，表达式如下：

在三维空间中的任意一点进行坐标系转换，不仅需要三个独立的位置坐标，还需要三个轴的旋转角度来表示。两个坐标系的位置关系通过空间位置转换即可实现,姿态关系则通过旋转矩阵实现。因此对于坐标系的任意一点经坐标转换为坐标系，表达式如2所示。

2 目标追踪框架

2.1 目标状态估计

目标的状态估计主要包括目标运动状态的预测及更新。本文基于KF作为状态估计器。首先基于上一时刻的最优状态以及运动学模型对车辆的状态进行预测，将预测结果与传感器的量测进行数据关联，确认目标与量测之间的匹配关系后进行目标运动状态的更新[5-6]。

2.2 数据关联方法

数据关联是基于上一时刻的最优状态，采用运动学模型对目标的状态进行预测，并以状态预测值作为跟踪门限的中心。在实际应用，跟踪门限的大小及形状会对追踪效果产生不同的影响，跟踪门限的形状应符合追踪目标的运动特性，因此本文采用椭圆形跟踪门。除此之外，在追踪过程中，如跟踪门限过大，会导致落入跟踪门限内的量测过多，出现多个无关量测与干扰噪声，将对追踪精度产生影响，若在追踪过程中，跟踪门限过小则会导致跟踪门限内无量测，数据关联失败。因此本文综合考虑追踪过程中的多种因素，实现对跟踪门限实时修正[7]。

还需要确定跟踪门限的面积，而椭圆形跟踪门限的面积在于确定椭圆的长轴及短轴。研究表明，量测的传递过程存在两种误差：一是由于传感器的性能导致量测值会存在随机误差，该随机误差无法避免，但该误差会导致正确目标的量测无法落入跟踪门限内，因此以传感器的误差特性统计结果为依据，改变跟踪门限的大小，尽量保证有效量测落入跟踪门限内，二是车辆状态估计的运动模型是线性模型，由于采样间隔较短，可以认为在短时间内车辆的运动状态不会变化，但仍然会存在一定的误差，所以需要考虑车辆运动状态的不确定性导致的误差。基于上述两个要素构建自适应跟踪门限。

12=2∙MAX (φ(())∪ϕ(w()))

12=2∙MAX((())∪ϕ(w())) （3）

其中12、12分别为椭圆跟踪门限的长轴与短轴，φ(())与ϕ(w())分别表示纵向的车辆运动特性以及纵向的传感器误差特性；φ(())与ϕ(w())分别表示横向的车辆运动特性以及横向的传感器误差特性。

（1）传感器误差特性的建模方法。

目前车载相机的性能差别较大，因此如何正确描述传感器的误差特性成为构建跟踪门限的一大难题，针对上述问题采用如下方法解决：

1）确定传感器的有效感知范围，在感知范围内统计随着目标车辆纵向相对距离的增加，传感器的量测值与真值间的误差。

2）统计所有工况的数据，确定随着纵向相对距离的变大，传感器的纵向相对距离的随机误差、横向相对距离的随机误差。

3）将统计结果拟合为非线性函数。拟合结果如图1与2所示。

图1 纵向动态误差拟合图

图2 横向动态误差拟合图

（2）目标运动状态的计算方法。

以常加速度模型对目标状态进行估计，但实际行驶中，由于采样间隔的不确定性以及目标运动状态的不确定性，因此需要考虑目标的运动误差对自适应跟踪门限的影响，主要该表达式如下所示：

纵向位移：

表示采样间隔，v横向相对速度，为10 m/s2。

横向位移：

v为纵向相对速度，而横向的加速能力为0.4。

（3）误差限制因子的计算方法。

为保证跟踪门限的有效性，结合目标特性对跟踪门先进行约束。即最小跟踪门限应满足一般车辆尺寸，即宽度为1.8 m，长度4.8 m；且不同传感器误差特性相差较大，为防止传感器的误差过大导致跟踪门限过大，结合国家法规车道线的宽度不超过3.75 m为依据构建跟踪门限短轴的自适应上限，即横向相对误差最大值不可超过3.75 m，由传感器特性获取该横向相对误差值对应的纵向相对距离，该纵向相对距离所对应的传感器纵向误差即为传感器纵向相对误差的最大值，如图3所示。

图3 误差限制因子

当目标与自车距离较近，此时误差将达到极小值，而目标尺寸将成为构建跟踪门限不可忽略的因素；当目标车与自车距离较远，此实量测值出现较大误差，则该量测值已经无法表示目标当前时刻的状态，即使在跟踪门限的边缘出现量测是由该目标产生，由于传感器性能导致该量测的偏移，则该量测已不具备确定目标状态的能力，因为该量测已偏离真实目标过大，若关联成功该量测将会影响目标追踪的精度。因此需要对误差进行自适应矫正。

误差的限制因子的表达式如下所示：

自适应限制因子反映了该算法对于量测误差的最大容忍限度。其中ϕ(w())与ϕ(w())分别为由于传感器误差特性对自适应跟踪门限的短轴以及长轴的影响，当传感器的横向相对误差小于3.75米时，则表明该量测误差表明传感器的性能正常，产生的误差在允许范围内，可以用于构建自适应跟踪门限，对最终的追踪结果会产生积极的影响；但传感器的横向相对距离大于3.75米时，表明传感器的误差已经无法产生有效量测，此时的跟踪门限为最大跟踪门限，若跟踪门限内仍不存在量测，则该方法失效。

综合考虑车载感知系统的误差特性以及目标运动状态的不确定性来构建自适应跟踪门限，确保在数据关联时正确量测落入跟踪门限内且减少杂波的落入。本文由于统计的最大误差来构建误差特性曲线，因此导致误差值较大。

3 实验验证

3.1 实验步骤

（1）三车保持同一直线，其中自车、目标车2、目标车1中相邻两车之间车辆间距20 m。

（2）三车同时缓慢起步，加速至实验要求车速，期间尽量保持起始车距不变，且实验数据能正确保存，实验准备就绪。

（3）目标车2先向右侧缓慢变道，变道成功后，缓慢回到原车道，期间尽量保持目标车1与目标车2间纵向间距不变。

（4）重复步骤3。该车速下实验完成。行驶至初始位置靠边停车（或掉头）。

（5）改变实验车速，重复步骤1—5。

（6）记录实验数据，复查实验数据，确定实验数据的完整、有效。

图4 实验示意图

3.2 实验结果

为验证本文提出的目标追踪算法的性能，选取一组实验结果，分别为目标车2变道遮挡场景以及自车变道遮挡场景进行方法验证。首先针对车载感知结果进行分析。分析结果表明：目标的追踪过程中存在目标编号的切换以及由于目标间的遮挡导致被遮挡目标的轨迹被删除。针对上述问题通过改进已有的算法，将实验采集数据作为目标追踪算法的输入。车载感知的目标追踪算法结果如图5所示。

图5分别为纵向相对距离与横向相对距离的感知结果，其中绿色以及粉色实现分别为传感器的感知结果，蓝色以及红色虚线为RT range提供的目标真值。

图5 纵向相对距离与横向相对距离感知结果

上图为实验1车载感知结果，由该结果可知：在0 s～4 s时对于目标车1与目标车2的追踪结果正常，而4 s～10 s时目标车2发生变道，变道后真实情况为目标车1在感知范围内消失，目标车2仍应该被追踪到，但传感器的追踪结果显示，目标车1被误认为目标车2，目标车2则被认定为消失。在10 s～15 s目标车2变道结束后对目标车1及目标车2的追踪回归正常。因此，上述工况中存在问题是在发生目标车间的相互遮挡中发生目标编号的不合理切换。

图6分别为被遮挡车辆的纵向相对距离、横向相对距离、纵向相对速度、横向相对速度的改进结果，其中绿色为传感器的感知结果，黑色实线为改进追踪结果，红色点为RT range提供的目标真值。分析结果如下：

图6 纵横向相对距离与相对速度改进结果

如图6目标车2向右变道短暂遮挡目标车1后再次向左变道的结果示意图，其中，绿线表示传感器的量测值，在换道前以及换道后对于目标车1实现了准确追踪，在被遮挡期间对目标保持消失前的状态且保留目标编号，在遮挡消失后再次实现对于目标的准确追踪且目标编号没有发生改变。

表1 实验结果

编号切换次数纵向平均误差/m横向平均误差/m 车载感知结果41.2950.612 改进感知结果00.9930.476

表1表明，在4组实验中改进算法能够保证目标的持续追踪，不会发生目标的编号切换，通过结果表明，八组实验中融合感知误差的纵向平均误差为0.993 m，相较于车载单传感器的纵向平均误差降低了23.3%；横向平均误差为0.476 m，相较于车载单传感器的纵向平均误差降低了22.2%。说明改进的追踪结果能够有效降低传感器的追踪误差，提高追踪的精度。

4 结论

为解决自动驾驶的感知问题，针对单传感器的感知范围有限、感知精度不足的问题。提出了一种多传感器数据融合方法。根据先验信息构建传感器的误差特性模型，并以传感器误差作为权重实现数据融合；针对杂波环境中目标追踪不稳定的问题，提出一种基于自适应跟踪门限的联合概率数据关联方法。通过实验表明，相较于单传感器的感知结果，融合感知结果在纵向相对距离平均误差为0.993 m，相较于原有算法误差降低了23.3%，横向相对距离平均误差为0.476 m，相较于原有方法误差降低了22.2%，且能够100%实现目标的准确追踪。

[1] Mobus R, Kolbe U. Multi-target multi-object tracking, sensor fusion of radar and infrared[C].Intelligent Vehicles Symposium. 2004:732-737.

[2] Otto C,Gerber W,Leon F P,et al.A Joint Integrated Probabilistic Data Association Filter for pedestrian tracking across blind regions using monocular camera and radar[C].Intelligent Vehi- cles Symposium. IEEE,2012:636-641.

[3] 黄伟.基于雷达和机器视觉的车辆前方障碍物检测系统设计与实现[D].武汉:武汉理工大学,2010.

[4] 王亚丽.基于毫米波雷达与机器视觉融合的前方车辆检测研究[D].吉林:吉林大学,2013.

[5] 姚远.碰撞预判系统中车辆的图像雷达联合识别方法[D].北京:清华大学,2013.

[6] 麦新晨,杨明,王春香,等.一种基于多传感器融合的车辆检测与追踪方法[J].上海交通大学学报,2011(7):1012-1016.

[7] Yu J,Li S E,Liu C,et al.Dynamical tracking of surrounding objects for road vehicles using linearlyarrayed ultrasonic sensors [C].Intelligent Vehicles Symposium (IV). IEEE,2016:72-77.

Target Tracking Method Based on Multi-sensor Fusion

ZHU Shihao, WU Yimin

( Vehicle Engineering, School of Mechanical Engineering, Hebei University of Technology, Tianjin 300131 )

Autonomous driving has become an important direction for the development of future automotive technology. However, the lack of perception accuracy of selfdriving cars at this stage has become an important factor restricting the application of selfdriving cars. In order to solve the above problems, this paper proposes an adaptive data association method based on the theory of multisensor information fusion, which considers the influence of the sensor's error characteristic model and the target's motion state on the data association to achieve target tracking in a cluttered environment. Design experi- ments to verify the effectiveness of the method. The experimental results show that the fusion sensing results proposed in this paper can effectively reduce the error value, and the target trajectory tracking method can 100% guarantee the consistency of the target number in all experimental scenarios.

Multi-sensor fusion; Target tracking; Adaptive tracking gate

TP212.6

A

1671-7988(2021)24-38-05

TP212.6

A

1671-7988(2021)24-38-05

10.16638/j.cnki.1671-7988.2021.024.009

朱世豪，硕士研究生，就读于河北工业大学机械工程学院车辆工程系，研究方向：目标追踪。