基于雷视融合的高速公路交通检测方法

王晓龙

山西省智慧交通研究院有限公司 山西 太原 030032

引言

随着信息技术的不断进步，智慧交通的实现已成为可能[1]。其中，交通信息检测是实现智慧交通的前提，也是后续系统各项功能实现的基础。交通信息检测的准确性和可靠性直接决定了智能交通系统的整体性能。

目前，常用的交通目标检测传感器有视觉传感器、激光雷达、毫米波雷达等，每一种不同的传感器其检测性能均有各自优点及不足[2]，毫米波雷达通过反射回波来获取检测对象的角度、速度、距离等数据，毫米波雷达检测不受气候、天气、能见度和光照影响，可以在雨雪、大雾、夜间等恶劣天气和光照下正常工作，同时不足之处在于毫米波雷达检测的信息不够丰富，只能通过检测的数据点识别目标轮廓；而视觉传感器采集的图像信息非常丰富，能够根据实际需求提取图像中所包含的各种信息，适用于各个场景，但视觉传感器检测容易受气候、天气、能见度和光照的影响，在恶劣条件下能见度与光线不足时，采集的图像非常模糊，很难甚至无法检测到目标信息。

在智慧交通研究中，基于机器视觉的目标检测理论和方法已成为车辆目标检测的研究热点，部分学者对车辆目标检测的鲁棒性[3]、提出改进模型[4]、运用神经网络进行改进、并进行了相关算法研究[5-6]。

为了解决复杂场景下的多车辆的精确检测与准确跟踪问题，本文采用毫米波雷达和视觉传感器，充分利用毫米波雷达和视觉传感器的检测优势，通过数据融合方法，实现毫米波雷达和视觉传感器检测的优势互补，克服各自的不足，从而提高准确率、高精度的车辆检测与跟踪[7]。

1 基于YOLO v2-mini的车辆检测

YOLO v2通过引入anchor机制，即：每个网格首先生成5个anchor box，然后每一个anchor box再分别预测5个相关参数其中，为目标的中心位置，为目标的高、宽和置信度。根据anchor box的各个参数值，可以对目标检测外围框的位置进行预测，预测外围框的位置关系如图1所示。

图1 位置关系

2 基于传感器信息融合的车辆检测

2.1 传感器的空间融合

由于视觉传感器与毫米波雷达的安装位置不同，需要将两个传感器的空间位置进行转换，保证两种传感器的检测结果相统一。图2显示了各坐标系之间的关系。

图2 各坐标系相互关系

2.1.1 毫米波雷达坐标系与三维世界坐标系的转换。设不同平面间的距离为H，则检测目标在三维坐标系下的坐标分别为：

2.1.2 像素坐标系与三维世界坐标系的转换。

（1）像素坐标系与图像坐标系的转换。理想情况下，图像坐标原点与像素坐标是重合的，但在实际中，由于成像平面中心与相机的光轴之间有偏差，使得实际位置产生不同程度的偏移。假设像素在对应的坐标为分别为每个像素在对应x轴和y轴上的单位长度，则图像和像素坐标系的关系如下：

（2）图像坐标系与视觉传感器坐标系的转换。投影点在图像坐标系中的坐标为，则视觉传感器坐标系的原点即为两点之间的连线或延长线与镜头平面相交于镜头的光心，由此可得：

（3）视觉传感器坐标系与三维世界坐标系的转换。视觉传感器坐标系和三维世界坐标系的转换可以通过坐标系的平移及旋转实现。假设某点T在视觉传感器坐标系和三维坐标系中的坐标分别为则两个坐标之间的转换公式如下：

（4）三维世界坐标系与像素坐标系的转换。根据上述获得的三组坐标系之间的转换公式，即可得到三维坐标系与像素坐标系中投影点中的真实点T之间的转换公式：

2.2 传感器的时间融合

本文中，毫米波雷达的工作频率为17Hz，视觉传感器的工作频率可根据实验需要设置，本文视觉传感器设置为34Hz，因为毫米波雷达的实际采样频率比较低，需要对视觉传感器采集的图像进行不同时间间隔抽帧，然后以毫米波雷达数据相应的时间为准，再采集相应时刻的图像数据，采集时刻如图3所示。

图3 毫米波雷达和视觉传感器时间同步时刻选取

2.3 传感器的信息融合

3 实验验证

3.1 融合策略实验

本文在不同天气条件下，在实际道路上进行实际数据采集并进行实验。实验结果如图4中所示。

图4 基于检测框交并比的融合效果

上述结果表明，本文的融合算法具有较强的适应性，在不同气候、能见度、天气条件下都能够有效实现视觉传感器和毫米波雷达的信息融合，从而完成对车辆目标的检测。

3.2 融合算法与单一传感器对比

为了对比融合算法与单一传感器的检测结果及效果，文中选取500组视觉传感器图像和雷达数据，通过时间同步后进行实验，分别采用视觉、雷达和融合策略进行处理，表1为不同方法的实验结果。

表1 传感器检测结果对比

统计结果显示，相比于单一传感器，视频和雷达融合策略使视觉传感器和毫米波雷达进行了优势互补，实现了检测效果的显著提升。

4 结束语

本文使用视觉传感器和毫米波雷达进行复杂场景下的多车辆目标检测，并对两种传感器进行数据融合，基于传感器标定与坐标系转换实现了两种传感器的时间空间融合，使得毫米波雷达和视觉传感器在空间上检测结果的一致性，通过对采样时刻的同步，实现了传感器的时间融合；实验结果表明两种传感器的融合检测算法能够有效实现对车辆目标的检测。