基于单目视觉和毫米波雷达的测距算法研究

邱悦添

摘 要：距离测量是无人驾驶的一项基础技术，本文提出的方法是基于单目机器视觉和毫米波雷达数据，以视觉数据为主，毫米波雷达数据作为辅助。先用深度神经网络对图像数据进行处理，检测出图像中的障碍物，结果以障碍物的图像坐标表示。在检测的基础上，利用成像模型，将图像坐标转换为真实世界坐标从而计算与本车的实际距离。在对毫米波雷达的数据进行处理时，只需要找到一个目标的精确距离，即可实现对成像模型中的俯仰角参数进行反向校正，得到较为精确的值，提高视觉测距算法的精度。实验表明，这种融合方式可以在实际使用过程中大大减少设备成本和计算成本，降低了毫米波设备本身带来的诸多限制，也解决了单靠视觉测距的参数标定问题。

关键词：单目视觉；卷积神经网络；成像模型；数据融合

中图分类号：U463.6 文献标识码：A 文章编号：1671-2064（2018）22-0223-03

世界卫生组织的一项数据表明，每年全球有124万人死于车祸，并且呈上升趋势，但如果公路上90%是无人汽车，那么交通事故数量将会从600万降到130万，这足以看出无人驾驶技术的优势。但无人驾驶技术在现阶段依然不成熟，例如在美国亚利桑那州Tempe的一个十字路口附近曾发生无人驾驶汽车导致行人死亡的事故，还有谷歌旗下的Waymo公司的一辆自动驾驶测试车辆在美国亚利桑那州Chandler市发生的车祸事故等。

为了提高无人驾驶的安全性，很重要的是实现对周边障碍物的精确定位，得到正确的距离。基于上述原因，本文提出了一种基于单目视觉和毫米波雷达的实时障碍物测距算法，融合了单目视觉和毫米波雷达数据，经过实验验证，该算法较单独使用单目视觉或者单独利用毫米波雷达等，在准确性和鲁棒性上都有较大提升。

1 研究背景

现阶段的主流测距手段都是依靠各类传感设备。各类传感设备都存在各自的优缺点。

目前上路的自动驾驶车辆基本都配备了激光雷达，激光雷达距离检测的原理是基于光的返回时间，激光二极管发射脉冲光来检测反射信号并计算。激光雷达的优点和缺点都非常明显，优点是探测范围广，探测精度高。缺点是在极端的天气如雨雪雾等环境下性能会降低，而且激光雷达设备价格较高（64线的激光雷达售价高达70万人民币）。毫米波雷达的波长介于厘米波和光波之间，因而同时具有厘米波和光波的一些优点。毫米波雷达的缺点在于其对木材的穿透力低，容易受到路面金属物的影响等。但其同样具有较大市场需求，毫米波雷达的硬件设备成本更低。人类主要利用视觉系统获取驾驶过程中所需要的信息。对车载摄像头而言，成像过程是三维空间中的点在二维空间上的投影，摄像头获取车辆周边场景时，得到的是二维信息，丢失了深度信息，因此需要对成像过程进行建模，找到从二维到三维的逆的过程，这样能将二维平面图像上的点还原到三维空间中，找回丢失的深度信息。

实时测距方法的第一步是在每一帧图像中找出该物体，同时确定物体的位置和类别，即计算机视觉领域的目标检测问题。基于卷积神经网络的深度学习技术，在数据量的训练后已经可以基本解决检测的问题。本文利用了开源的faster-rcnn，实现了对图像中障碍物的检测。

2 研究方法

结合单目视觉和毫米波雷达实现对车辆周边障碍物的测距定位主要包括，目标检测、在检测基础上的建模、毫米波數据的处理和数据融合几个关键步骤，下面分别对其进行详细介绍。

3 目标检测

对车辆周边障碍物进行定位时，第一步要实现对车外目标的识别，而后才能进一步分析确定具体行为。本项目的目标检测网络是基于Faster RCNN的，复杂网络可以达到5fps，准确率为78.8%。目标检测网络基本都是使用四个基本步骤实现目标检测。首先在图像中确定若干候选框；其次，对于每个候选框内的区域，使用深度网络提取特征；对候选框中提出的特征，使用分类器判别是否属于一个特定类别；最后对于某一矩形框，用回归器进一步调整其位置。Faster RCNN的基本网络结构如图1所示。

利用faster-rcnn对图像数据处理后，可以得到图片中各类障碍物的类别和其在图像中的位置，结果以障碍物的外接矩形框表示。

4 成像模型

为了找回成像过程中丢失的深度信息，本文建立了摄像机的投影模型，首先推导从真实世界的坐标到像素坐标之间的转换关系，最后得到道路坐标和图像坐标之间的相互转换关系。摄像头的成像是基于小孔成像原理的，因此可以在不考虑畸变的情况下，将整体成像过程建模，如图2。

在（a）中，道路为平面ABU，ABCD为实际能拍摄的区域，摄像机镜头中心点为点O，光轴为OG，光轴和道路平面的相交于点G，点O在路平面上的垂直投影为点I。在三维路面坐标系中，定义坐标原点为点G，Y轴的正方向为车辆前进的方向。GABCD各点在图像平面内的对应点如（b）所示，图像的高度和宽度分别为H和W。图像是规则的矩形，定义图像的中点g为图像坐标系的原点，车辆前进正方向为y轴。假设在实际路面坐标中存在一点P，则点p为对应的图像平面坐标系中的P点，根据成像原理和坐标系之间的转换关系，可以推导出路面坐标和图像像素坐标的转换关系。

总结公式来表示真实世界中的路面坐标和图像像素坐标之间的转换关系。

式中，H和W为图像的高和宽，h为高度，2β0为镜头水平视野角，2α0为镜头垂直视野角，γ0为摄像机俯仰角。利用成像模型，可以实现图像坐标和实际世界坐标之间的相互转换。

理论上，利用目标检测得到图像中障碍物的图像坐标，再通过成像模型将图像坐标转换为世界坐标，即可实现对障碍物的测距和定位。用算法计算得到图中某一目标到摄像机最近视野点的距离d1，在设备标定时，测量得到摄像机最近视野到本车前端的距离d2，根据距离公式得到本车与前方目标的准确距离d，d=d1+d2。

求d1的方法如下：

（1）通过目标检测模型识别图像中的障碍物，并用矩形框将其标记出来；

（2）求该矩形框底边中点的图像平面坐标；

（3）求图像平面底边中点的图像平面坐标；

（4）将两个图像平面坐标通过几何关系推导成道路平面坐标；

（5）套用两点间距离公式求解距离d1。

上述方法只利用了视觉信息，随后本文将雷达数据与视觉信息进行了融合，可以达到更好的效果。

5 毫米波雷达数据处理

毫米波雷达数据采用纯文本格式保存数据，以当前系统时间为时间戳，包含距离、角度和速度，数据频率不低于10HZ，原始数据均以十六进制保存。抓取一条雷达数据（十六进制）进行解析。如47 80 30 00 00 F1 33 00，解析后的结果为雷达正前方0°偏差，位置4.8米，速度为0米/秒。

6 数据融合实现更精确的距离测量

距离求解实际是已知函数参数，给定输入求输出的过程。误差来源是不精确的参数，因此若能已知多组输入输出，则可以反向求解函数参数，再将校正后的参数用于其他距离求解。在车辆实际行驶过程中，由于抖动或上下坡，高度和俯仰角等均会发生变化，所以参数是动态改变的，需要实时标定。经过实验分，得到影响模型精度的最主要因素是俯仰角，其次是高度，因此可以根据实际情况对俯仰角和高度进行校正，或在可利用条件较少时，只对俯仰角进行校正。

在车辆行驶过程中，可以利用毫米波雷达不断采集车辆前方障碍物距离和速度，且精度极高，可以认为是准确值。因此，在通过毫米波雷达得到几组准确的距离后，可以求解俯仰角和高度两个未知参数。在实际使用中，可以采用步进法进行求解，给定初始值，增加或减少一个较小的数值，直到使视觉计算距离与毫米波雷达距离的绝对误差值最小。

7 测试

本文仅在车辆静止状态下进行了测距实验，分别得到了单靠单目视觉，单目视觉结合毫米波雷达测距的结果。

车辆静止状态下，于车辆前方水平距离为0到40米的范围分别放置障碍物，距离误差为绝对误差，在目标检测模型识别出障碍物后，分别依靠单目视觉测距，結合毫米波雷达对俯仰角进行标定后再次计算距离，两者进行对比，结果见表1。

8 研究结论

从测试结果可以看出，结合毫米波雷达标定俯仰角之后，绝对误差大幅降低。因此可以得出如下结论，若能通过毫米波雷达，通过某一障碍物的精确距离反向校正俯仰角，可以得到更准确的距离结果，在车辆前方40米范围内，最大误差不超过0.13米。这种方案的精确度最高。同时，车辆行驶过程中，由于融合算法较低的复杂度，也可以实现实时计算。

9 展望

在这个快速发展的时代，无人驾驶技术是未来交通发展的必然。本文采取的方法是结合单目视觉和毫米波雷达实现对车辆周边障碍物的测距定位，运用了目标检测、成像建模、毫米波数据的处理和数据融合等技术，达到更加准确的距离结果的目的。解决了用低成本测距不精准的难题，达到了较高的精度。

未来，在只标定俯仰角的基础上，可以考虑标定更多的成像模型参数、加入更多的先验知识，或考虑更准确的目标检测模型等进一步提升精度。

参考文献

[1]Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015：1-1.

[2]陈卓.基于车载单目机器视觉的前方车辆测速测距系统的研究与实现[D].浙江工商大学，2012.