一种基于雷达和机器视觉信息融合的车辆识别方法*

王宝锋，齐志权，马国成，陈思忠

(北京理工大学机械与车辆学院，北京 100081)



2015119

一种基于雷达和机器视觉信息融合的车辆识别方法*

王宝锋，齐志权，马国成，陈思忠

(北京理工大学机械与车辆学院，北京 100081)

为提高先进驾驶员辅助系统对车辆前方环境识别的准确性，提出一种基于雷达和视觉传感器信息融合的车辆识别方法。系统工作前预先对毫米波雷达和摄像头进行联合标定，并确定雷达坐标系和摄像头坐标系的变换关系。车辆识别过程中，首先根据雷达信息确定图像坐标系中的车辆识别感兴趣区域；然后对感兴趣区域进行对称性分析获得车辆对称中心，并对车辆底部阴影特征进行分析处理完成车辆边缘检测；最后根据逆透视变换得到车辆识别宽度，根据识别宽度对识别结果进行验证。结果表明该算法具有较强的环境适应性和准确率，弥补了单一传感器在车辆识别中的不足。

车辆识别；雷达；机器视觉；信息融合

前言

汽车追尾事故是公路交通中最多发也是车辆运行过程中最危险的事故之一，其中91%的追尾事故是由于驾驶员注意力分散(打盹、打电话等)引起的，如果提前0.5s提醒驾驶员采取措施，60%的追尾事故可以避免，而如果提前1s提醒驾驶员则追尾事故避免率则可高达90%[1]。先进驾驶员辅助系统(advanced driver assistance system, ADAS)可以通过传感器实时监测前方车辆的运行情况，能够及时提醒驾驶员前向碰撞危险，防止追尾事故的发生；同时又可以减轻驾驶员驾驶强度，缓解驾驶疲劳。

随着低成本高性能图像传感器的不断普及和图像处理技术的不断发展，基于视觉的车辆识别方法越来越多地应用于驾驶员辅助系统中，国内外学者对此进行了大量研究。文献[2]中提出了一种应用单目视觉进行车辆检测的方法，该方法以车辆底部阴影为特征，采用了自适应双阈值对图像进行预处理，并利用能量密度验证的方法进行车辆跟踪，具有较高的识别精度。文献[3]和文献[4]中均利用Haar特征的方法进行车辆识别，其中文献[4]在灰度Haar特征的基础上，提出了基于边缘Haar特征的车辆识别方法，有效降低了目标误检率。车辆尾部对称性是车辆又一重要特征，而基于对称性特征的车辆识别方法中，图像采样窗口尺寸的确定是算法的关键，文献[5]中采用多尺寸窗口和聚类技术对图像进行对称性分析完成车辆寻找，文献[6]中更是采用了全尺寸(从一个像素到最大宽度)窗口对图像进行对称性分析，二者对于采样窗口的确定都有一定的盲目性，大大增加了算法的运算量。此外，基于视觉传感器车辆的距离信息较难获得，且距离较远时精度较差，只能在一定范围内进行车辆识别[7]。

针对单一导航系统在汽车行驶环境识别过程中的不足，本文中采用基于雷达和视觉传感器融合的车辆识别方法。算法利用了雷达目标精确的位置信息对图像中车辆识别感兴趣区域(region of interest, ROI)进行动态规划，然后通过对称性分析和车辆底部阴影确定车辆在图像中的位置、边界和宽度。在对称性分析中，基于透视变换的自适应采样窗口的应用减少了算法运算量，基于底部阴影和宽度的车辆验证方法降低了目标误检率，提高了识别精度。

1 雷达和机器视觉的空间同步

雷达和摄像头用来采集信息，感知前方道路环境，本文中采用76-77GHz Delphi ESR毫米波雷达和大恒GV400UM单目摄像头作为传感器。雷达和摄像头安装位置如图1所示，雷达固定于车辆保险杠上方中央，摄像头固定于汽车前风窗玻璃下。完成雷达和摄像头安装之后，对其进行参数标定，摄像头的标定采用标准棋盘角点提取的方法，首先采集不同位置关系与姿态下的标准棋盘图像，然后利用Matlab工具箱标定程序对棋盘图像进行角点提取，并根据棋盘实际尺寸和位置关系最终确定摄像头内外部参数。根据摄像头内外部参数和雷达与摄像头的位置关系获得二者坐标系空间转换关系，即透视变换：

(xI,yI)=T(xR,yR,zI)

(1)

式中：xR,yR,zI分别为目标在雷达坐标系中横向位置、纵向位置和垂直高度；xI,yI分别为图像中相应目标的横坐标和纵坐标。

2 基于雷达信号的车辆识别感兴趣区域规划

2.1 雷达信号预处理

将雷达各原始目标信号投影到图像中得到雷达原始数据图，如图2所示。可以看出，雷达探测到的原始目标信号包含所有探测到的障碍物，包括树木、护栏、桥墩和噪声等，所以须先对雷达返回的目标信号进行预处理，剔除目标噪声。根据透视原理，目标距离摄像头越远，图像中对应的目标体积越小，特征越不明显；而且辅助驾驶系统只须对主车道和旁侧车道内的目标进行识别即可满足安全要求。因此，在结合文献[8]中所提出的安全车距模型的要求下，将车辆前方横向10m宽，纵向70m远的矩形范围定义为识别区域，并剔除该范围以外的信号。对于识别区域内的目标再根据其速度与相对位置关系进行分析，有效剔除路边护栏和隔离带等静止目标，最后获得潜在车辆目标，如图3所示。

2.2 车辆识别感兴趣区域的动态规划

车辆识别感兴趣区域的确定包括区域位置和区域大小的确定。首先利用透视变换将2.1节中预处理后的雷达目标映射到图像中，得到对应的点OI，理论上该点位于图像中对应的目标轮廓中心，因此将该点作为车辆识别感兴趣区域的中心。

根据道路交通相关法规和GB 1589—2004对车辆外廓尺寸的要求，以预处理后的雷达目标的坐标位置为中心，将垂直于雷达坐标系纵轴，宽2.5m，高2m的矩形区域作为车辆尾部所在的平面，利用透视变换将该区域投影到图像中，得到像素尺寸为m×n，中心为OI的矩形图像窗口，如图4所示，该窗口为原始感兴趣区域，其尺寸足以容纳车辆在图像中投影。

由于车辆在加减速、弯道行驶和经过起伏路面时，会造成悬架和轮胎的变形，引起车身侧倾和俯仰，导致摄像头外部参数发生变化，从而使图像中对应的雷达目标发生偏移，甚至偏离出车辆边界。因此，本文中对原始感兴趣区域进行修正，区域中心OI位置不变，高度依然为m，宽度拓展为2n，得到修正后的车辆识别感兴趣区域，如图5所示。

3 基于特征的车辆识别

3.1 车辆识别感兴趣区域对称性分析

对称性分析中，采样窗口的尺寸是算法性能的关键，窗口太大对称特征不明显，且运算量大；窗口太小车辆轮廓不能充分容纳。如图6所示，本文中以2.2节确定的m×n像素尺寸的窗口为采样模板，以单位像素为步长对车辆感兴趣区域进行横向采样，得到不同图像窗口序列Wi，i=1,2,3,…,2n-1,2n。由于光照条件的不同和摄像头相对于车辆角度的变化，直接利用灰度信息进行对称性运算不但精度低而且运算量大，因此本文中利用Canny算子对窗口图像Wi进行边缘提取，得到二值化边界图像W_eI，然后对车辆尾部边缘信息进行对称分析。在对称性分析中，引入对称度的概念，首先沿图像中轴将边界图像W_eI分为左半图Ileft和右半图Iright两部分，然后对左右半图进行对称性运算，得出对称度Si为

(2)

完成各图像窗口对称度计算后，得到车辆识别感兴趣区域内的对称度曲线，如图7所示。对称度曲线呈明显的单峰特性，对称度最大的窗口即为车辆识别窗口，该窗口中轴即为车辆对称轴线，该窗口边界图像记为We。

3.2 车辆识别窗口验证

通过对车辆识别感兴趣区域的对称性分析，确定了车辆识别窗口的位置。但是除了车辆，图像中的桥墩、交通牌等障碍物边缘也具有很强的对称性，因此需要对车辆识别窗口做进一步的车辆特征提取和分析。车辆底部无论在任何光照条件下都呈现出明显的阴影特征，根据该特征不但可以对桥墩、交通牌等干扰目标进行剔除，而且可以对车辆下边缘进行有效判断。

根据3.1节确定的位置，在该图中提取车辆识别窗口得到Ws。首先进行车辆底部阴影验证，对窗口Ws的下半部分进行连通区域识别并获得阴影面积Sv，计算阴影面积比Ps：

(3)

如果Ps大于门限值Ts，则证明该车辆识别窗口中目标为车辆。

3.3 车辆边缘识别

如图9所示，对二值化窗口Ws和We做并集运算，然后对得到窗口下半部分进行封闭空间填充和边缘平滑滤波而得到Wc。找出车辆底部阴影中最长的线Lb作为车辆下边界，则Lb长度为车辆宽度，Lb左右端点向上的垂线分别作为车辆左右边界线。根据Lb在图像中的位置和长度对其做逆透视变换，得到车辆识别宽度Vw(小数点后保留两位精度)，由于车辆高度信息对驾驶员辅助系统没有参考价值，车辆顶部边界不做识别，车辆高度默认为车辆宽度。GB 1589—2004要求车辆宽度上限为2.5m，虽无下限要求，但实际中四轮车辆宽度一般都大于1.6m。考虑识别过程中的误差，本文中设车辆宽度上限Vw_max=2.7m，下限Vw_min=1.5m，并据此对车辆识别宽度Vw进行判断：

p=(Vw_max-Vw)(Vw-Vw_min)

(4)

如果p≥0则说明识别到的车辆是真实的，否则不是车辆目标。最终完成车辆识别如图10所示，该示意图中识别出的车辆信息如表1所示。

表1 示意图车辆识别结果

4 实验结果

为验证车辆识别算法的性能，在北京三环路进行实车实验采集视频和雷达数据，并进行离线数据处理。算法采用Matlab编写，图像分辨率为752×480。多工况的车辆识别结果如图11所示，所包含的工况有单目标车辆识别、多目标车辆识别、主车道车辆识别、旁侧车道车辆识别和弯道行驶车辆识别。

5 结论

本文中提出了一种基于雷达和视觉信息融合的车辆识别方法，算法利用雷达信息对车辆识别区域进行动态规划，并基于特征分析完成感兴趣区域的车辆识别和验证。实验结果表明，该算法对不同的车型和不同运行工况具有较强的适应性和准确性。车辆识别是车辆检测系统的初始化过程，本文中仅对车辆识别进行研究，在后续研究中将开展基于车辆识别结果的车辆跟踪研究。

[1] National Transportation Safety Board: Special Investigation Report[R].2001.

[2] 郭磊,李克强,王建强,等.一种基于特征的车辆检测方法[J].汽车工程,2006,28(11):1031-1035.

[3] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in A Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[4] Kim Giseok, Cho Jae-Soo. Vision-Based Vehicle Detection and Inter-Vehicle Distance Estimation for Driver Alarm System[J]. Optical Review,2012(6):388-393.

[5] Soo Siang Teoh, Thomas Bräunl. Symmetry-based Monocular Vehicle Detection System[J]. Machine Vision and Applications,2012,23:831-842.

[6] Giancarlo Alessandretti, Alberto Broggi, Pietro Cerri. Vehicle and Guard Rail Detection Using Radar and Vision Data Fusion[J]. IEEE Transactions On Intelligent Transportation Systems,2007,8(1):95-105.

[7] 郭磊,刘志峰,王建强,等.雷达与机器视觉的空间同步方法[J].清华大学学报(自然科学版),2006,46(11):1904-1907.

[8] Moon S, Yi K. Human Driving Data-based Design of a Vehicle Adaptive Cruise Control Algorithm[J]. Vehicle System Dynamics,2008,46(8):661-690.

Vehicle Detection Based on Information Fusion of Radar and Machine Vision

Wang Baofeng, Qi Zhiquan, Ma Guocheng & Chen Sizhong

SchoolofMechanicalEngineering,BeijingInstituteofTechnology,Beijing100081

For increasing the detection accuracy of advanced driver assisted system of the frontal surroundings of vehicle, a vehicle detection method based on the information fusion of radar and vision sensor is put forward. Before the system starts operation, a co-calibration of millimeter-wave radar and camera is conducted, and the transformation relationship between radar and camera coordinates is obtained. The process of vehicle detection stars with the determination of the region of interest (ROI) for vehicle detection in image coordinates based on radar information. Then a symmetry analysis is performed on ROI to get the symmetrical center of vehicle, and the features of vehicle bottom shadow are analyzed and processed with vehicle edge detection completed. Finally, through inverse perspective mapping the width of vehicle is obtained, based on which the results of detection are verified. It is demonstrated that the algorithm proposed has strong environment adaptability and good accuracy, remedying the defects of vehicle detection with single sensor.

vehicle detection; radar; vision sensor; information fusion

*国家自然科学基金(51005019)资助。

原稿收到日期为2013年10月10日，修改稿收到日期为2014年1月30日。