智能车辆环境感知技术系统研究

吴亚晖　陈海山　刘金波　赵新　段晶晶　王文哲

摘 要：环境感知是指通过多种传感器相融合来获得实时环境信息以应用于车道识别、红绿灯和障碍物检测等，是智能车辆智能决策和控制的基础，是实现智能化的关键环节。本文对智能车辆环境感知技术进行系统性研究，深度剖析了机器视觉、毫米波雷达、激光雷达和红外传感器等几个重要传感器的应用原理和控制策略，并分析其优缺点。根据传感器不同环境下的应用方法，提出了一种基于传感器信息融合的障碍物检测构思，详细阐述了如何通过信息融合的方法以提高智能车辆的环境感知能力。

关键词：智能车辆 环境感知 传感器 信息融合

Research on Intelligent Vehicle Environment Perception Technology System

Wu Yahui Chen Haishan Liu Jinbo Zhao Xin Duan Jingjing Wang Wenzhe

Abstract：Environmental perception refers to the fusion of multiple sensors to obtain real-time environmental information for application in lane recognition， traffic lights and obstacle detection， etc.， which is the basis for intelligent decision-making and control of intelligent vehicles and the key link to realize intelligence. This paper systematically studies the intelligent vehicle environment perception technology， deeply analyzes the application principles and control strategies of several important sensors such as machine vision， millimeter wave radar， lidar and infrared sensors， and analyzes their advantages and disadvantages. According to the application methods of sensors in different environments， an obstacle detection concept based on sensor information fusion is proposed， and how to improve the environmental perception ability of intelligent vehicles through information fusion is elaborated.

Key words：intelligent vehicle， environmental perception， sensor， information fusion

智能车辆是一个不断发展壮大的实体概念，一般认为智能车是一个具有多种功能的综合系统。在普通车辆的基础上，增加先进的信息感知系统、先进的控制系统、可靠的执行器等，利用车载传感系统和信息终端实现智能信息互换，通过智能环境感知，自动的分析车辆所处状态，实现替代人工操作这一目的。

无人驾驶这一概念起源于美国国防部推出的DARPA挑战赛[1]，吸引了来自斯坦福大学、卡内基梅隆大学、FMC公司在内的众多科研机构和高校，极大的推动了智能车辆的发展。斯坦福大学在汽车顶部安装多个多向激光雷达探测路面是否平顺，用视觉摄像头判别前方道路防止车辆跑偏，且最终以最短时间获得无人车挑战赛冠军[2]。Google公司从2009年启动智能驾驶研究，并很快成为了无人车领域的标杆之一[3]。在国内，清华大学以准结构化和非结构化道路环境为研究背景所设计的串联式无人车THMR具有较高的行动决策和规划能力[4]。国防科技大学红旗Q3无人车[5]、吉林大学JLUIV、DLIUV系列智能车[6]，以及上海交通大学、长安大学、湖南大学所研制的智能汽车也都能够实现定位、导航、避障、跟随等功能[7，8]。

智能驾驶的关键技术主要有感知、决策和规划三大方面，其中环境感知是自动驾驶技术的基础，目的在于探测和识别周围的道路、车辆、障碍物、交通信号灯等，是智能车辆的关键一环[9]。目前现有的智能车辆传感技术主要是按算法分类，不能很好地概括各个传感器的特点。本文以环境感知传感器为切入点，分析了各个传感器的工作原理、应用背景以及应用过程中的优缺点，提出一种传感器信息融合障碍物检测方法，阐述了如何通过信息融合的方法结合多源传感器以提高智能车辆的环境感知能力。

1 传感器

环境感知是指利用不同传感器对车辆环境进行数据采集，获取车辆周围的环境信息，将处理过后的信息作为各种控制决策的信息依据。目前，智能车辆实现环境感知所用到的主要有机器视觉、激光雷达、毫米波雷达和红外线传感器。

1.1 机器视觉

随着人工智能的飞速发展，互联网、通信、机器视觉等技术逐渐占据日常生活的各个方面，其中机器视觉技术凭借其信息容量大、检测范围广和成本低之類的优点成为了汽车辅助驾驶行业的热门研究对象[10]。

机器视觉采用图像拍摄装置获取图像信号，通过处理单元进行图像处理，根据亮度、像素、颜色等信息将图像信号转为数字信号，然后进行目标特征提取计算，从而获得目标信息。信息处理过程中用到众多的学习网络，如循环神经网络（RNN）、深度玻尔兹曼机（DBN）等，其目的在于通过深度学习算法自动预测输入图像中目标的类别和位置，且当算法获得目标信息后，会立即将这些信息共享给其他传感器，让驾驶系统了解到车辆当前所处的道路环境并进行预警。在使用前需要提供足够多的自动驾驶场景图像来训练该算法的网络模型，训练过后的算法便可以提取道路环境中的特征信息并识别出自动驾驶场景中的目标，如行人、车辆和交通信号灯。

目前，目标检测算法采用深度学习并遵循其整体设计的预测过程，大致可以分为两种情况：（1）以基于区域的卷积神经网络（RCNN）为代表的两阶段目标检测算法，第一阶段是获取候选框，且对每个候选框都进行特征提取，第二階段是对候选框所代表的区域进行分类，这种算法的优点在于具有良好的准确性；（2）基于You Only Look Once网络为主体的目标检测算法，该类型算法放弃了两阶段算法中的区域分类，直接端到端从输入到输出来预测所选特征图上的每个样本，因此该算法在实时应用中检测速度更快。

1.2 毫米波雷达

毫米波频段起初被广泛应用于国防领域中，如在航空应用中被用于防碰撞，在军事系统中用于导弹导引头和火力控制，在短程反装甲系统中用于精确测量目标的相对速度和距离。毫米波雷达可以实时感知车辆和行人的位置以及运动状态，能够实现长距离测量、低成本、动态目标检测能力和环境适应力，是智能车辆环境感知领域的主要传感器之一。

毫米波雷达的波长在1-10mm之间，工作频率常采用24GHz[11]和77GHz[12]这两种，波束较窄，有较强的抗干扰能力。距离检测是毫米波雷达传感器的重要性能之一，因此按照不同的探测距离分为长距离毫米波雷达、中距离毫米波雷达以及短距离毫米波雷达，其探测范围参数如图2所示。毫米波雷达是一种主动型传感器，通过自身能力向外界环境发射电磁波以进行目标检测，传播信号的过程中如果遇到了目标物体，则会产生回波信号，回波信号将通过毫米波雷达的接收天线进行接收，完成与目标物体相对速度、相对距离的信息采集和处理，并进行信息存储[13]，其数据采集和处理流程如图3所示。与其他感知传感器相比，毫米波雷达具有穿透烟、雾、尘的能力，对不同关照条件和天气具有良好的环境适应性，其次远程雷达（LRR）可以探测250m范围内的目标，还可以根据多普勒效应来测量目标的相对速度，其分辨率高达0.1m/s，这些优点对于车辆的预测和决策而言十分重要。

1.3 激光雷达

由于光学系统的脆弱性，激光雷达在智能车辆中的应用受到了限制，但是从激光雷达检测到的障碍物信息中可直接获取环境的三维数据描述，因此激光距离成像技术的研究受到了智能车领域的重视，广泛应用于障碍物检测、环境三维信息的获取以及车辆避障中。

激光雷达也是一种主动型传感器[14]过发射激光光束探测目标，当发射信号碰到目标物便会产生回波信号，随后激光雷达开始搜集目标回波，经过目标检测算法的信号处理后可获得目标的距离和方位等信息。激光雷达按激光线束可分为两种，其一是置于车辆前方的单线激光雷达，可用于探测车辆前方的物体，测量速度快，但只能生成二维数据；其二是置于车顶的多线激光雷达，可采用旋转扫描的方式360°全方位获取目标，且线束越多的话，可获取的目标信息越详细，但其点云数量会越大，因此对数据处理和数据存储的要求也会越高。激光雷达测量距离常采用飞行时差测距法（Time of Fly），主要分为两种，一种是通过测量激光脉冲在目标与雷达间来回时差的直接测量法，另一种是计算接收波形与发射波形之间的相位差来推断距离信息的间接测量法，本文主要介绍的是直接测距法的原理，

目标物体与激光雷达的距离Ｈ（单位：米）与其他影响因子直接的关系如式1所示。

其中：c为光速；

为发射器记录的发射时间和接收时间的时间差，单位：s。

由此可计算出目标物体的三维空间坐标，其三维空间关系。

通过上述三维空间坐标关系可以算得激光雷达与目标物体之间的距离关系如下式所示。

由此便可以获得目标物体的三维坐标数据，实现对障碍物的探测。激光雷达实现目标检测的过程需要大量的数据进行算法的训练，且成本高昂，因此目前采用激光雷达进行目标识别的案例很少，大多是利用激光雷达来获取环境三维数据，结合车辆定位信息，在离线情况下绘制高精度地图。

1.4 红外传感器

由于可见光摄像头在夜间、低能见度条件下的目标检测效果不理想，对于红外夜视辅助系统的研究原来越多。红外传感器的优点体现在以下几个方面：（1）红外热像仪的分辨率、成像效果和性价比在不断提高；（2）红外夜视系统接收外部目标的红外辐射成像，不依赖于场景的光照条件，任何温度高于零的物体都可以辐射红外线；（3）具有全天候工作能力，可显著降低夜间行车风险，在低能见度环境下可输出清晰的前方路况热成像，提高驾驶员的视野范围，提高行车安全。基于以上原因，车载红外夜视技术受到国内外各大汽车厂商和研究机构的高度重视，且随着技术的成熟，红外夜视系统逐渐开始应用到智能车辆中。

用于检测的红外摄像头分为两种，一种是使用近红外线的有源系统，也称近红外系统，有源系统获取的图像质量很高，通常可以看清150米以内的物体，但由于对光源的依赖，近红外系统在可见度低的环境下效果减弱，无法正常工作；另一种是不需要红外光源的无源系统，也称远红外系统，利用物体的热辐射来成像，由于热辐射不受光所影响，所以可穿透雨雪和雾霾，在恶劣环境下依然可以正常工作。

根据成像原理，夜视系统主要分为主动夜视系统和被动夜视系统。主动夜视技术是一种通过红外光主动照射和红外光被目标反射回来进行观测的红外技术，并相应的配备一种主动式夜视系统。被动夜视系统中，微光夜视和热成像技术应用较为广泛。微光夜视技术又称图像增强技术，通过图像增强器将微弱或能量较低的光转换为增强的光学图像，实现直接观察。红外热成像技术一般配备有热成像仪，将人眼无法直接看到的目标表面的温度分布转变为人眼可以观察的温度分布的热图像，实现目标检测。根据每种成像技术的特点，总结了其相应的优缺点，如表1所示。

2 多传感器信息融合

信息融合是指利用数学方法和计算机技术，对不同时空获得的多源传感器感知信息进行处理，按照一定的规则进行处理和综合判断，生成感知对象的一致性描述，为后续分析提供决策依据。相对于单一传感器，多传感器信息融合可以有效地协同提高车辆环境感知的识别精度和系统鲁棒性。

作为智能车辆研究中最重要的基础理论分支，信息融合技术的应用成果十分丰硕。德国布伦瑞克科技大学的智能车辆通过使用立体相机和激光扫描仪等各种传感器进行信息融合，对障碍物进行检测[16]。美国Demon智能车搭载了由彩色摄像头、双目立体摄像头、红外摄像头组成的毫米波测距传感器和机器视觉系统[17]，利用双目立体视觉检测障碍物。日本丰田公司开发的ASIMO机器人是目前多传感器信息融合技术应用于移动装置中的一个经典案例[18]。

机器视觉可用于图像处理，毫米波雷达用于距离检测，激光雷达可以获取目标的三维数据，红外传感器足以应对低能见度环境。本文基于不同环境中障碍物的检测原理，提出一种多传感器融合的障碍物检测系统，整个系统由四个独立的单元组成，其总体架构。数据采集单元主要负责获取和存储原始传感器信息，它有多个传感器作为输入端，传感器通过自身输入端获取并存储原始数据；数据预处理单元从数据采集单元接收传感器原始数据，获得外部校准以进行传感器配准和数据关联；融合单元需要对不同级别的预处理传感器数据执行原始数据级融合、特征级融合和决策级融合；决策单元根据多传感器融合给出的输出结果，为障碍物检测任务选择并确定良好的融合结果，然后将障碍物信息（如位置、标签、大小和速度）传递给自动化系统中的其他模块（如路径规划和控制模块）。

3 结语

本文对智能车辆环境感知技术的发展与应用进行了研究，论述了机器视觉、毫米波雷达、激光雷达和红外传感器的工作原理和控制策略，根据不同传感器的特征进行了分类，并对比其优缺点。基于多传感器信息融合技术，提出一种多传感器融合障碍物检测系统，以提高智能车辆环境感知能力。最后对智能车辆环境感知技术的研究进行了展望，并指出以下两点：（1）单一视觉传感器已经不能满足智能车辆的行驶要求，怎样融合各传感器的优势将成为未来的主流发展方向；（2）运动物体的检测、识别和跟踪是智能车辆感知模块需要面临的主要技术问题，虽然深度学习在目前的改进算法中逐渐脱颖而出，但仍需要大量的测试来保证识别的准确性和及时性。

参考文献：

[1]Chen Q， Ozguner U， Redmill K. Ohio state university at the 2004 darpa grand challenge： Developing a completely autonomous vehicle[J]. IEEE Intelligent Systems， 2004， 19（5）：8-11.

[2]Thrun S， Montemerlo M， Dahlkamp H， et al. Stanley： The robot that won the DARPA Grand Challenge[J]. Journal of field Robotics， 2006， 23（9）：661-692.

[3]刘春晓.改变世界——谷歌无人驾驶汽车研发之路[J].汽车纵横，2016（05）：94-99.

[4]王亚飞.THMR-V平台上的智能交通监控系统设计与实现[J].计算机测量与控制，2017，25（07）：106-109.

[5]陈治光.红旗HQ3：智能与安全的结合[J].科技潮，2007（11）：23.

[6]王荣本，游峰，崔高健，等.基于计算机视觉高速智能车辆的道路识别[J].计算机工程与应用，2004（26）：18-21.

[7]C. Jahanchahi and D. P. Mandic， “A class of quaternion Kal man fifilters，” IEEE Transactions on Neural Networks and Learning Systems， vol. 25， no. 3， pp. 533-544， 2014.

[8]Jiang Y， Xu X， Zhang L. Heading tracking of 6WID/4WIS unmanned ground vehicles with variable wheelbase based on model free adaptive control[J]. Mechanical Systems and Signal Processing， 2021， 159：107715.

[9]孟祥雨，张成阳，苏冲.自动驾驶汽车系统关键技术综述[J].时代汽车，2019（17）：4-5.

[10]杜学峰，高越，杨伟，等.基于机器视觉的车辆检测[J].汽车实用技术，2021，46（15）：48-50.

[11]Klotz M， Rohling H. 24 GHz radar sensors for automotive applications[C]//13th International Conference on Microwaves， Radar and Wireless Communications. MIKON-2000. Conference Proceedings （IEEE Cat. No. 00EX428）. IEEE， 2000， 1： 359-362.

[12]Rohling H， Lissel E. 77 GHz radar sensor for car application[C]//Proceedings International Radar Conference. IEEE， 1995： 373-379.

[13]魯自清. 非相干散射雷达信号处理与分析[D].南昌大学，2016.

[14]孙朋朋. 城市环境下智能车行车环境精确感知关键技术研究[D].长安大学，2019.

[15]石永彪，张湧.车载红外夜视技术发展研究综述[J].红外技术，2019，41（06）：504-510.

[16]Hussein A， Marín-Plaza P， Martín D， et al. Autonomous off-road navigation using stereo-vision and laser-rangefinder fusion for outdoor obstacles detection[C]//2016 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2016： 104-109.

[17]Bellutta P， Manduchi R， Matthies L， et al. Terrain perception for DEMO III[C]//Proceedings of the IEEE Intelligent Vehicles Symposium 2000 （Cat. No. 00TH8511）. IEEE， 2000： 326-331.

[18]Okita S Y， Ng-Thow-Hing V， Sarvadevabhatla R. Learning together： ASIMO developing an interactive learning partnership with children[C]//RO-MAN 2009-The 18th IEEE International Symposium on Robot and Human Interactive Communication. IEEE， 2009： 1125-1130.