基于传感器数据融合的车辆目标匹配

冯清泉，张 阳，韦文夏，陈 放

(国防科技大学信息通信学院，湖北武汉 430014)

0 引言

随着对无人驾驶汽车技术研究的深入，在智能驾驶车辆的感知层面，多传感器的数据融合方法正在被越来越多的研究人员认可并采用。目前主要有三种融合方法，分别是基于激光雷达和图像数据的融合检测法、基于毫米波雷达和图像的融合检测法[1]以及三种传感器融合检测的方法。毫米波雷达与图像的融合方法，以其成本较低，受天气影响小且包含目标的运动信息等优势，逐渐成为研究热点。

传感器的数据融合有不同的策略，主要包括图像级融合、目标级融合和信号级融合三种。图像级融合是指，将毫米波雷达的数据特征添加补充到图像特征中，以图像为主体完成识别分类等相关任务；文献[2-3]利用毫米波雷达产生感兴趣区域，融合图像实现了对车辆的检测和识别。

在图像级融合策略中，实现毫米波雷达目标和图像目标之间的配准是实现数据融合的一个基础问题，目标匹配结果的准确与否直接关系到融合算法的效果。

1 传感器数据的采集

1.1 毫米波雷达和相机的安装与数据采集

毫米波雷达是指工作在毫米波波段的雷达，本文使用的是德尔福的ESR雷达，该雷达是一款高频电子扫描雷达，具有中距离和远距离的扫描能力，在长距离上对目标车辆相对距离和速度进行精准测量，在中距离上可以实现更大角度范围的覆盖，比如可以识别两侧变道超车的车辆目标，减少视野盲区，目标分辨能力较强，每次最多可检测64个目标。但毫米波雷达测量得到的目标的角度信息误差相对较大。摄像机是基于ov10650芯片自主研发的一款高清摄像机。安装方式如图1所示。

图1 毫米波雷达和相机安装示意图

以毫米波雷达位置为原点，水平向右为Y轴，垂直向前为X轴建立雷达坐标系。通过测量得到与车体坐标系原点，即车辆后轴中心的横向距离差和纵向距离差，通过简单的平移变化，将雷达坐标系变换到车体坐标系下。

数据采集系统主要是获取前方道路的环境信息。其中，毫米波雷达基于多普勒效应原理，可以获取自身车辆与前方目标的相对距离、相对速度和角度等重要信息。相机能够采集全道路信息，它获取的信息丰富，包含丰富的车辆、行人等动态障碍物、护栏边沿等静态障碍物和车道线、路标等重要的参考物信息。

1.2 传感器时空融合模型构建

德尔福毫米波雷达的采样频率为20 Hz,即每帧数据的采集时间间隔为50 ms，每s采集20帧雷达数据，相机的采样频率是50 Hz，即每帧数据的采集时间间隔为20 ms，每s采集50帧图像数据。

自动驾驶汽车在高速行驶的状况下，微小的时间差异也可能会导致周围环境信息产生较大变化。因此，构建时间配准模型，以减小甚至去除不同传感器采集数据的时间差，完成对不同传感器数据的同步采集是必不可少的一步。传感器的时间融合模型如图2所示。

图2 时间配准流程图

在该融合模型中，设计数据采集主程序、毫米波雷达数据采集程序和图像采集程序等3个程序，给每一帧数据给定一个以系统时间为准的标签。将数据传输到缓冲区队列。在数据采集主程序中，启动毫米波雷达数据采集线程和图像采集线程，以采样频率低的毫米波雷达数据为基准，每采集到1帧毫米波雷达数据，即触发图像采集线程，从缓冲区队列中选取相同时间标签的图像数据，以实现数据的同步采集和存储。

以无人驾驶车辆的后轴中心为原点，X、Y、Z轴分别指向车体右方、前方和上方，构建车体坐标系。车体坐标系与毫米波雷达坐标系和相机坐标系之间属于刚体变换，所以根据毫米波雷达和相机与后轴中心的相对位置关系，毫米波雷达坐标系和相机坐标系通过简单的平移旋转变换即可转换到车体坐标系下，因此，传感器的空间融合模型主要研究车体坐标系和像素坐标系之间的转换关系，如图3所示。

图3 坐标系间转换关系

2 传感器数据的处理

2.1 毫米波雷达目标数据预处理

目标数据处理主要考虑两个方面的限制：一是毫米波雷达本身性能决定的，对探测目标范围、探测目标角度和探测目标速度的限制；二是根据经验，需要人为设定多个阈值以实现目标筛选。

若目标的范围、角度和速度不在扫描能力范围内，则被认为是不合理的输出点，予以剔除。后期工作只对动态车辆目标进行跟踪，即将动态目标定义为有效目标，通过雷达与目标的相对速度信息和车身的速度信息得出目标的实际速度，这里设定的判断动态车辆目标的速度阈值为1 m/s。

2.2 有效目标决策算法

对经过数据预处理后的毫米波雷达目标数据，使用卡尔曼滤波器对下个周期的目标进行预测，以获得有效目标的运动状态预测值；根据判断2个周期的目标一致性，做出目标更新或者创建新目标序列的决策，同时考虑毫米波雷达目标存在虚假目标或者目标暂时性消失的情况，在算法中加入目标生命周期的算法，按照规则对目标结果进行保持或更换，以准确地提取有效目标。卡尔曼滤波算法和目标生命周期算法结合构成有效目标的决策算法，算法流程如图4所示。

图4 有效目标决策算法

通过构建二阶常速度模型的卡尔曼滤波器对毫米波雷达检测出的运动目标进行预测，记状态变量Xk=[dk,vk]T，其中，dk、vk为有效目标在第k周期的距离和速度信息，dk+1、vk+1是第k+1周期的预测值，目标预测值的计算如式(1)所示。

(1)

式中：t代表两帧毫米波雷达数据之间的采样时间。

引入目标的生命周期算法，描述目标从出现到消亡的过程。当目标预测值的向量和目标测量值的向量之间的相似度满足条件时，则认为是同一个目标，完成对目标的一致性检验，目标的生命值参数age、总的可视化值total Visible Count累加，连续不可视参数Consecutive Invisible Count置0,反之，则认为是一个新的目标出现，创建一个新的目标跟踪序列，目标的生命值age、总的可视化值total Visible Count置为1，连续不可视参数Consecutive Invisible Count置0。

本周期中，所有的目标测量向量与目标预测值向量匹配完成之后，如有未被匹配的目标预测值向量，则将该预测值作为本周期目标的测量值继续使用，更新该向量的参数，生命值age累加1，连续不可视参数Consecutive Invisible Count累加1，总的可视化值total Visible Count不变。

根据以上参数，制定了目标的出现、持续和消亡机制。当被跟踪的目标的生命值age大于参数阈值时，则认为新目标出现；当被跟踪的目标的连续不可见的累加值Consecutive Invisible Count大于参数阈值或其可见度visibility小于该参数阈值时，目标消亡，否则目标保持持续存在。由此，形成了对目标从出现持续到消亡的描述。

2.3 图像数据处理

基于深度学习模型的目标检测算法是目前目标检测领域的主流算法，根据模型的不同，将其分为两类，一类是以Fast R-CNN等为代表的两阶段检测算法，另一类是以YOLO为代表的一步检测算法。我们采用的目标检测算法叫做多尺度下快速目标检测算法，简称MS-CNN[4]，它属于第一类检测算法，相比于其他算法，它的优势主要在于考虑了多尺度同时存在时的检测问题，同时该算法的运行速度较快，较为适合于对道路上不同尺度的车辆目标的检测，同时又能满足对实时性的要求。

通过在自己构建的图像数据集上的训练，该算法对目标车辆的检测效果如图5所示,结果表明该算法的检测效果好，识别率高，选取检测准确率为100%的图像组成新的图像数据集，以便确保目标匹配实验的准确。

图5 检测效果图

3 目标匹配

通过传感器空间融合模型中坐标系之间的转换关系，将毫米波雷达坐标系下的目标点投影到像素坐标系下。投影结果如图6所示，图中点表示的是毫米波雷达的目标点，可以看出，除去两边投在护栏和其他静态障碍物上的目标点外，在本车道和邻近车道共有4个目标点。其中，图像因为遮挡的问题，只能看到3辆目标车辆，而毫米波雷达可以穿透遮挡，检测到被本车道的车遮挡住的前方的车辆。通过观察可以发现，毫米波雷达的目标点一般出现在目标车辆的正下方。

图6 毫米波雷达目标在图像上的投影结果

根据图像检测的结果，以图像检测框的底部中点为圆心,以r为半径，计算公式如下。

r=c·0.5·max(L,W)

(2)

式中：c为一个松弛系数，这里取作1.2；L和W分别为图像检测框的长和宽，即以检测框中长和宽中最大值的一半的c倍作为半径，在这个圆的范围内，寻找与圆心最近的毫米波雷达点。

这样做主要考虑车辆距离远近带来的尺度变化问题。实验证明，该方法的匹配效果较好。

4 实验验证

4.1 有效目标决策算法

将毫米波雷达的目标点投影在图像中的像素坐标系下。在像素坐标系下，对车辆目标进行标图作为参考样本，分别将算法处理前后的毫米波雷达目标与参考目标之间进行对比分析。

选取图像中的100帧数据，人工标定其中的一个车辆目标，选取标定框底部中点的图像像素坐标。通过计算与标定点的欧式距离，将经算法处理的毫米波雷达目标与处理过后的雷达目标在v方向上进行对比分析。如图7、图8所示。

图8 使用算法处理后的毫米波目标

叉状点代表毫米波雷达目标的像素坐标在v方向的值，圆形点代表人工标定目标的像素坐标在v方向上的值。

通过观察图7实验结果，发现未经算法处理的毫米波雷达点在v方向上有较多噪声。而经过算法处理后的结果如图8所示，发现除部分干扰点外，提出的有效目标决策算法实现了对目标的有效跟踪，降低噪音干扰，得到有效目标的效果较好。

4.2 目标匹配算法

如图9所示，是较为典型的匹配结果，图中点为毫米波雷达的目标点，检测框为深度学习算法的检测结果。可以发现，毫米波雷达点对于远处的两侧目标是没有匹配点的，而对于近处的两侧目标是有目标点的，这主要是由毫米波雷达远距离和中距离的扫描范围能力决定的。

考虑到毫米波雷达的扫描能力范围，在计算毫米波雷达和图像检测的目标匹配率时，选取自车前方一定角度范围内的检测结果和匹配结果。通过选取5组数据，每组数据有100帧毫米波雷达数据和图像数据，共500帧数据。分别统计每组数据的图像检测框的总数和与框匹配的毫米波雷达目标点的数据。

定义匹配准确率为：匹配点的总数/检测框的总数×100%。

实验结果如表1所示，可见该方法的目标总匹配准确率达到了90.7%，匹配效果好，实现了目标进行数据融合的基础。

5 结束语

毫米波雷达数据和图像数据的融合是一项有效的目标检测方案，二者目标的匹配工作是实现二者融合的基础性工作，本文在图像级层面实现了目标的匹配，但目标级以及信号级层面匹配的意义更大，难度也更高，将是下一步的工作的研究方向。