刘 飞,陈白帆,胡云卿,潘文波,龙 腾,袁 典
(1.中南大学 自动化学院,湖南 长沙 410083;2. 中车株洲电力机车研究所有限公司,湖南 株洲 412001)
为了确保无人驾驶车辆行驶安全,首先需要让车辆准确地获取前方车道的车辆位置及速度、道路边沿、交通信号灯等环境信息[1],实现这一功能的必要条件就是为无人驾驶车辆配备摄像头、激光雷达[2]、超声波雷达及毫米波雷达等[3]各种传感器,而传感器的选择与布置将影响汽车所获取信息的有效性和完整性。本文介绍了特斯拉、谷歌、百度等公司经典的传感器布置方案,在此基础上结合智轨电车的实际车况并考虑传感器覆盖范围和冗余性,设计了一套合理的智轨电车传感器布置方案。
无人驾驶车辆作为高度集成的系统,所使用的传感器种类繁多、技术跨度较大,常见的有视觉传感器、毫米波雷达、激光雷达、超声波雷达及组合导航(IMU)轮速计等。各大无人驾驶技术研究团队大多以视觉传感器、毫米波、激光雷达和超声波雷达为核心传感器来构建传感器布置方案。
车载视觉传感器主要分为环视摄像头和前视摄像头。环视摄像头多用于短距离障碍物的检测,其开源算法较多、成本较低,但很容易受到光照等环境因素的影响。对于中距离场景,常用的视觉传感器主要是前视摄像头。前视摄像头分为单目、双目及三目3 种,能有效检测获取车辆前方的障碍物、交通标识等信息。其对于环境变化的鲁棒性表现一般,不仅需要复杂的算法支持[4],而且对处理器的要求也比较高。
毫米波雷达发射的电磁波信号波长一般为1~12.5 mm。若已知发射电磁波的速度,可根据发射信号与反射信号的时间差来计算距离。常用的车载毫米波雷达的频段为24~77 GHz,不仅成本较低、用途广、性价比高,而且探测距离远、精度较高、穿透能力强,能够全天候工作,在很多高档轿车上都有应用[5]。由于现有车载毫米波雷达分辨率低、所存在的缺陷难以被发现,且行人的反射波易被其他物体的反射波所埋没,导致行人目标不易被检测到,故而存在较大的误检可能性。例如,特斯拉公司采用基于毫米波雷达及摄像头的感知系统,其在道路行人较多时会锁定自动驾驶模式。虽说毫米波雷达对于障碍物测距有着较高的性价比,但检测行人的效果欠佳,因此目前只被应用于自适应巡航系统等辅助驾驶系统中。
激光雷达按线束可分为单线激光雷达和多线激光雷达。多线激光雷达由于可以获得更多的采样点,在构建高精度地图时有着较大的优势,是无人驾驶感知领域内应用前景最广的传感器[6];但是目前线数较高的激光雷达成本较高,且与之配套的算法还不成熟。
超声波雷达结构简单、成本较低并且体积也比较小。同环视摄像头类似,其主要应用也局限在短距离场景,例如辅助泊车。
考虑到智轨电车与无人驾驶汽车具有众多相似性以及相同的运行场景,下面将介绍特斯拉、谷歌以及百度公司无人车传感器布置方案并对比其优缺点,其对智轨电车传感器布置方案的设计具有良好的参考价值和借鉴意义。
特斯拉无人车标配有 8 个摄像头(图1),其中后面一个为后视摄像头(倒车摄像头),前面是一个三目摄像头(包括前视宽视野摄像头、前视主视野摄像头和前视窄视野摄像头)的总成件。侧后视摄像头被安装在翼子板上,位置靠前;侧前视摄像头被安装在B 柱上,在侧后视摄像头安装位置之后1 m 的位置。侧前视摄像头和侧后视摄像头的可视范围部分重叠,这样就保证了无盲区。这4 个摄像头就基本保证了特斯拉无人车的L3 级别的变道、合流、出高速功能[7]。
特斯拉无人车上仅安装了一个频率为77 GHz、探测距离为160 m 的博世中程毫米波雷达传感器(MRR)。此前,特斯拉将毫米波定位为一个辅助的传感器,结果在2016 年发生了大卡车撞击事故[8]。
特斯拉无人车的传感器布置方案主要依靠视觉,所以其环境感知中的三维重建是基于二维图像进行的,二维转换为三维过程中会存在某些信息缺失现象。从特斯拉公司发布的视频来看,发现其对远处的物体有误识别的情况,特别是如下情形:在黑暗的环境下,毫米波雷达探测范围内突然出现穿着黑色衣服行人,由于毫米波雷达存在识别行人的短板,而对超声波雷达而言,目标又太近,视觉传感器更是难以判别,并且存在视觉欺骗现象。
图1 特斯拉无人车车载传感器配置Fig. 1 Sensor-configuration of Tesla driverless vehicle
谷歌Waymo 无人车被设计了一套以激光雷达为主的传感器配置方案[9](图2),其激光雷达包括侧雷达和顶雷达。侧雷达在无人车的前后左右各有一台,这4台雷达的配置是一样的,均为中短距离多线雷达;但不是市面上流行的品种,其与Velodyne 公司HDL-32E 型激光雷达的内芯很相似。侧雷达的主要作用是补充感知顶雷达的盲区。顶雷达被集成在一个很大的整流罩内,这个多合一的顶雷达里除了激光雷达外,还有一台 360°全景相机。
图2 谷歌Waymo 无人车车载传感器配置Fig. 2 Sensor-configuration of Google Waymo driverless vehicle
Waymo 给出了一套以激光雷达为主的强感知方案,拥有超强的感知能力;尤其是高高架起的激光雷达,能够很好地发挥其测量距离远的优势。相对于非常依赖视觉的方案(比如特斯拉的),Waymo 方案的开发过程要快得多,所以迭代的速度也很快;但是这个方案造价高,要实现量产还需要降低传感器成本。
百度阿波龙是全球第一款量产型的L4 级无人驾驶巴士,由百度、金龙客车和英特尔3 家公司合作生产:百度公司提供无人驾驶算法支持,金龙客车公司提供客车整车,英特尔公司提供硬件服务。百度阿波龙无人车与谷歌Waymo 无人车类似,拥有一套以激光雷达为主的强感知方案。该无人车拥有先进的感知系统,其由激光雷达、毫米波雷达以及摄像头组成。其中,激光雷达主要用于车身定位以及周围环境信息感知;毫米波雷达主要用于障碍物检测;摄像头由两个高动态范围的相机模组组成,主要用于识别交通标识。
阿波龙无人车在车前中心位置安装了前视双目摄像头(图3)。该双目摄像头会得到同一物体在左右相机成像平面的像素偏移量,利用像素偏移量、相机焦距和两个摄像机的实际距离等信息,通过视觉几何计算,即可得到物体离车辆的距离。后视摄像头为单目,被安装在车辆尾部的中心位置,测量距离相对较短[10]。
考虑到传感器的冗余性,毫米波雷达被安装在前视双目摄像头的上方,在车辆中轴线上,毫米波雷达与摄像头测量范围构成重合区域,从而增强前向障碍物检测的可靠性。前向毫米波雷达为77 GHz 雷达,具有测量距离远、受雨雾等恶劣天气影响小的优点。
和大多数无人驾驶解决方案一样,阿波龙无人车的顶雷达被安装在车顶视野良好的位置。为填补车顶部雷达的盲区,阿波龙无人车同时安装了两个侧雷达。
近年来,百度公司的无人驾驶系统研发取得了飞速发展,但当路况较为复杂时,百度公司的无人驾驶感知算法的性能还有待提高,离全自动驾驶目标的实现还有着较大的差距。
图3 百度阿波龙传感器配置Fig. 3 Configuration of sensors for Baidu Apolong driverless vehicle
基于上述经典无人车传感器布置方案分析,通过合理排布传感器的位姿并进行相关标定,结合中车株洲电力机车研究所有限公司研发的32 m长智轨电车的结构,设计了一套智轨电车传感器布置方案。
前视部分是正常行车的核心,被要求感知精度高、感知距离远。在智轨电车的感知系统中,前视部分由两组立体相机、两组16 线激光雷达和一组毫米波雷达组成(图4)。在车身周围布置一个全方位的超声波传感器组,以避免低速时出现近距离碰撞问题。
图4 前视传感器布置Fig. 4 Layout of forward-looking sensors
3.1.1 激光雷达与摄像头的布置
激光雷达被安装在智轨电车左右两侧车身侧前方的位置,约离地面1.2 m(图4)。
出于对摄像头视野的考虑,为了避免被遮挡,在智轨电车前视系统安装了两套摄像头(图5),其中单目摄像头Mobileye 被安装在毫米波雷达正上方约20 cm处,双目摄像头被安装在毫米波雷达正上方1.6 m 处。
图5 智轨电车传感器整体配置Fig. 5 Overall configuration of sensors for autonomous-rail rapid tram
如图6 所示,在车辆左右两侧位置安装了两个侧后方的Mobileye 单目相机,离地面2.8 m。该相机在实时检测侧后方障碍物信息的同时还检测地面标线,以辅助车道线识别。
图6 侧视传感器布置Fig. 6 Lateral view of sensor-configuration
3.1.2 毫米波雷达的布置
毫米波雷达一般被布置在车辆中轴线上,外露或隐藏在保险杠内部[11]。在智轨电车传感器布置方案中,毫米波雷达被安装在车身正中央、离地面约0.7 m 的位置上(图4)。雷达波束的中心平面被要求与路面基本平行;考虑雷达系统误差、结构安装误差、车辆载荷变化后,需保证雷达波束的中心平面与路面夹角的最大偏差不超过5°。
毫米波雷达在垂直方向探测角度一般只在±5°范围内。雷达安装高度太高,会使下盲区增大;太低,又会导致雷达波束射向地面,因地面反射带来杂波干扰,影响雷达的判断。因此,毫米波雷达的布置高度(即地面到雷达模块中心点的距离)一般建议在500(满载状态)~800 mm(空载状态)之间。本方案的毫米波雷达被安装在离地面约0.7 m 的位置,所以存在视野盲区。
除了上述安装要求外,毫米波雷达布置时还需要考虑美观性、安装可行性、调试便利性和可维护性等因素。
传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础; 一个车上安装了多个/多种传感器,而它们之间的坐标关系是需要确定的。
3.2.1 激光雷达的标定
激光雷达与车体为刚性连接,两者间的相对姿态和位移固定不变。为了处理数据的方便性,需要把各个激光雷达的坐标系转化到统一的车体坐标系上[12]:对激光雷达外部安装参数进行标定,通过雷达返回的极坐标数据实现单个激光雷达的数据转换,最后实现多个激光雷达数据转换。通过式(1)实现基准坐标中的转化。
式中:β0——基准坐标系旋转的角度;di——扫描距离; i——激光雷达数据序列号;A——设计采样步距。
通过式(2)实现车辆坐标系建立:式中:L——激光雷达安装点到车辆质心的距离沿y 轴的分量;γ ——当前激光雷达的旋转角度;HL——激光雷达安装点离地的高度;HV——汽车质心离地的高度。
3.2.2 毫米波雷达的标定
毫米波雷达在安装时需要确保其水平角度、横摆角度和俯仰角度满足安装要求[13]。毫米波雷达安装角度示意如图7 所示,其中水平角度和俯仰角度可以通过角度尺和重锤等工具进行测量,并通过调整雷达安装机构来满足雷达安装的角度要求。
图7 毫米波雷达安装角度示意Fig. 7 Installation angles of millimeter-wave radar
为了使雷达平面的法向量能够与车辆纵向对称平面平行,在车辆正前方 20 m 和 30 m 处分别放置截面积较小的杆状障碍物作为雷达探测目标。在标定横摆角的过程中,通过调整机构每次以相同的步长调整雷达横摆角度,分别测量放置车辆正前方的两处障碍物的横向距离,计为D1和D2,并根据式(3)计算横摆角度标定系数k。当k 被调整到最小值时,即认为雷达探测表面的法向量与车辆纵向对称平面平行。
3.2.3 相机的标定
进行摄像头标定需要获取摄像头的内、外参数,保证摄像头的安装角度符合要求。为了简化摄像头测距模型,需要将摄像头外参数中的横摆角和水平角调零。首先标定摄像头的内参数,标定过程采用张正友标定方法[14],使用摄像头采集不同角度的标准棋盘网格图像,通过Matlab 标定工具箱计算得到摄像头的光轴偏移量、焦距、镜头畸变等内参数。然后,在摄像头前设置标准的水平标志物和横向位置标志物,水平标志物为一把调平的水平尺,横向位置标志物仍为车辆正前方20 m 和30 m 处放置的障碍物。使用摄像头进行图像测量,并以图像测量结果作为反馈信息将摄像头的水平角和横摆角调零。最后进行摄像头剩余外参数标定,本文采用消失点标定法[15],选取空间中已知间距的两条平行线标定摄像头的安装高度H 和俯仰角θ。
3.2.4 相机与毫米波雷达联合标定
在多传感器探测系统中,要有一个统一的坐标系,因此在使用毫米波雷达和摄像头进行传感器融合前必须对两种传感器进行联合空间标定[16-17],以确保两种传感器获得的数据有一个统一的参照标准,并能互相转换。
毫米波雷达和摄像头被分别单独标定,使雷达探测面的法向量和摄像头光轴均与车身纵向对称平面平行,在此基础上建立雷达投影坐标系Orw-xrwyrwzrw,原点为雷达探测中心点在地面上的投影点,xrw轴指向车身右侧, yrw轴指向车辆前进方向,zrw轴为垂直地面方向;摄像头投影坐标系Ocw-xcwycwzcw的原点为摄像头光心在地面的投影点,xcw轴指向车身右侧,ycw轴指向车辆前进方向, zcw轴为垂直地面方向。雷达投影坐标系与摄像头投影坐标系是空间中相互平行的两个坐标系,它们之间的空间相对关系如图8 所示。
图8 中,Op-xpyp为图像坐标系,原点位于图像的左上角;Oc-xcyczc为摄像头坐标系,zc轴与摄像头光轴重合,xc轴和yc轴分别与xp和yp轴平行。根据小孔成像原理,两个坐标系之间关系如下:
图8 雷达和摄像头坐标系示意Fig. 8 Coordinate system of radar and camera
式中:a——毫米波雷达坐标系变换比例;b——摄像头坐标系数换比例。
根据摄像头坐标系及摄像头投影坐标系之间的平移和旋转关系,可以得到二者之间的坐标转换公式:
假设地面为平面且目标在地面上,即目标在摄像机投影坐标系当中有zcw=0,则联合式(4)和式(5)可以得到由图像坐标系到摄像头投影坐标系之间的转换公式:
在之前毫米波雷达与摄像头标定工作的基础上,雷达投影坐标系和摄像头投影坐标系的相互转换只需要平移即可实现:
根据式(4)、式(6)和式(7),可以得到雷达投影坐标系中任意一点转换到图像坐标系中的转换关系:
式中:cx,cy——光轴偏移量;fx,fy——摄像头内参数中的焦距,通过标定获得;Lx,Ly——雷达投影坐标系和摄像头投影坐标系x 轴之间的间距和y 轴之间的间距,可以通过测量获得。
一套完整的传感器布置方案不仅要根据实际车况考虑安装位置,还要从感知覆盖范围、传感器视野盲区以及冗余性分析等方面进行分析。
感知要求覆盖范围为
式中:V目标——总体感知覆盖范围;V前方——智轨电车前方感知覆盖范围;V后方——智轨电车后方感知覆盖范围;V左侧——智轨电车左侧感知覆盖范围;V右侧——智轨电车右侧感知覆盖范围;sf——前方感知需求横截面积;h——智轨电车高度;l——车长;w——侧方感知宽度。感知实际覆盖范围为
式中:V实际——智轨电车实际感知覆盖范围;V毫米波雷达——毫米波雷达感知覆盖范围;V激光雷达——激光雷达感知覆盖范围;V摄像头——摄像头感知覆盖范围;V超声波雷达——超声波雷达感知覆盖范围;V感知重叠区域——各传感器感知覆盖范围重叠部分;sm——毫米波雷达感知横截面积;s1——激光雷达感知横截面积;sc——摄像头感知横截面积;su——超声波雷达感知横截面积; Im——毫米波雷达的感知范围高度;I1——激光雷达的感知范围高度;Ic——摄像头的感知范围高度;Iu——超声波雷达的感知范围高度。
结合式(9)和式(10),可以得到式(11)。代入传感器样本参数,计算结果显示,传感器覆盖范围理论上达到85%,符合基本覆盖范围要求(80%以上)。
受传感器机械安装位置的限制,智轨电车前向和后向3 维立体空间会存在小范围的视野盲区,解决办法是在视野盲区内安装超声波雷达,如图9 所示。由于在车辆行驶过程中前向视野盲区并不会对行车造成影响,故在设计中并未在前向增加超声波雷达。
自动驾驶的安全性和可靠性一直是最为重要的考量[18],如果仅仅只为了实现功能进行设计和开发,也难以满足量产的需求。因此,对于自动驾驶中的重要功能,还需要考虑冗余设计和布置。
图9 超声波雷达覆盖范围示意Fig. 9 Ultrasonic radar coverage
如图5 所示,智轨电车配有视觉、激光雷达和毫米波雷达这3 类传感器以覆盖检测前方的障碍物,这样在最大程度上能保证前方障碍物不会被漏检或者虚警。
在重要的前向区域,除了布置常用的摄像头,还布置了一个检测距离相近的超声波雷达,以保证在摄像头失效或者出现摄像头工作受限的状况下有超声波雷达依旧可以继续进行一定程度的检测工作。
根据本文设计的传感器布置方案将激光雷达、毫米波雷达以及摄像头安装到智轨电车对应位置。为保证测试的安全性,对智轨电车在驾驶员的看管下在封闭道路进行实车测试。
根据毫米波雷达和摄像头在智轨电车的实际位置对两者进行联合标定并转换为同一坐标系;采用生命周期法对毫米波雷达和摄像头所接收的原始数据进行筛选,剔除虚假目标;再将由毫米波雷达和摄像头检测到的目标距离和速度分别与设定阈值进行比较,从而判断两者是否为同一目标;最后,采用卡尔曼滤波将判定为同一目标、由毫米波雷达和摄像头检测到的障碍物融合为一个有效障碍物目标。图10(a)示出,在可视化界面的坐标系中能得到毫米波雷达和摄像头检测到的有效目标以及两者融合后的有效障碍物目标;图10(b)所示为摄像头检测实时画面。在实车测试中,毫米波雷达的测距精度可达0.2 m,测速精度可达0.25 m/s,符合障碍物测距误差小于0.3 m,测速误差小于0.5 km/h 的设计精度要求。
图10 毫米波雷达与摄像头检测结果Fig. 10 Detection results of millimeter wave radar and camera
由于本文设计的传感器布置方案前视传感器以毫米波雷达和摄像头为主传感器,故尚未进行激光雷达的实车测试。考虑到激光雷达在测量精度上优卓越性,后续将进一步研究激光雷达的感知算法。
本文首先介绍了谷歌、特斯拉以及百度公司的3 个经典自动驾驶汽车传感器布置方案,依次根据实际车况以及应用要求提出了一套针对智轨电车的传感器布置方案,并且进行了标定以及冗余性分析。本文所提出的传感器布置方案以毫米波雷达和摄像头为主要传感器,实车测试结果表明,该传感器布置方案能满足智轨电车对实时运行中障碍物检测的精度要求以及鲁棒性要求。
目前无人车传感器的布置方案与相关性能对于一些复杂场景暂时还无法满足探测需求,离实现全自动驾驶还有着较大的差距[19]。后续将从硬件和软件两个方面予以改善:在硬件层面,开发鲁棒性更好、功能更多的低成本环境传感器;在软件层面,结合V2X 车联网技术,实现车与其他设施的信息共享,弥补当前算法的缺陷,提高自动驾驶的安全性。