管 欣,洪 峰,贾 鑫,张永赫,鲍 阚
(吉林大学,汽车仿真与控制国家重点实验室,长春 130022)
2015008
基于分层信息数据库的智能车仿真环境感知方法研究*
管 欣,洪 峰,贾 鑫,张永赫,鲍 阚
(吉林大学,汽车仿真与控制国家重点实验室,长春 130022)
针对目前智能汽车仿真中应用最广的环境感知方法(建立数据库,动态更新提取信息)的不足,提出了一种分类、分层的数据结构定义与存储方法,使数据库不但能描述复杂的道路情况,而且修改容易;在此基础上,将碰撞检测算法引入信息动态提取过程中,实现分层的感知信息提取。在驾驶模拟器上进行的车道标线、交通标志感知试验的结果表明,本文中提出的方法能实时对环境信息进行全面可靠的检测,并给出真实传感器的检测误差。
驾驶模拟器;智能汽车仿真;环境感知;数据库;碰撞检测
开发型汽车驾驶模拟器因其具有真实的人-车操作界面,能够任意嵌入实物进行试验,试验工况无风险、重复可控等特点[1],在汽车产品开发、人-车-路闭环系统研究等方面正发挥着越来越重要的作用[2-3]。在各类汽车高级驾驶辅助系统(advanced driving-assistance system, ADAS)和无人驾驶汽车(以下统称为智能汽车)的开发研究过程中,将各种智能汽车控制算法嵌入到驾驶模拟器中,形成软件或硬件在环试验平台,无疑为各种算法的对比、验证和分析提供了良好的试验条件。相比于其他单纯的软件仿真,该方法还能为乘员提供逼真的驾驶乘坐体验。关于智能汽车功能的前期开发与驾驶模拟器的结合,国外已经进行了一些有意义的尝试[4-5],而且研究内容正扩展到用于模拟器的各类智能汽车的传感器建模、智能汽车参与的交通仿真、智能汽车的介入对人的驾驶行为习惯的影响等方面[6-8]。与之相比,目前国内在这方面的研究与应用还正在起步阶段,已经出现了一些系统架构类似于驾驶模拟器的智能汽车仿真验证平台[9-10],但在仿真过程中受到所采用的环境感知方法的限制,这些平台大都还只能完成针对某一特定功能的仿真验证。
在应用驾驶模拟器进行智能汽车相关的研究时,一个亟待解决的重要问题就是如何处理智能汽车的环境感知过程。该过程须全面地感知周围信息,有时还须体现传感器的感知范围、检测误差等物理特性,这无疑要进行大量精确的计算;然而,由于驾驶模拟器的计算是实时进行的,这就要求环境感知算法的计算效率对整个驾驶模拟器系统的实时性不造成影响。
针对上述情况,本文中提出了一套应用于驾驶模拟器的智能汽车仿真环境感知功能实现方法,该方法既能实现对模拟器虚拟交通场景中各类信息的全面和实时探测,又能在一定程度上反映传感器的检测范围和检测误差特性,从而为智能汽车仿真的环境感知实现提供一个新的思路,为应用驾驶模拟器实现智能汽车算法开发、验证和评价奠定基础。
本文中首先分析国内外智能汽车仿真过程中用到的环境感知功能实现方法;在此基础上,针对驾驶模拟器的特点对现有方法进行了改进,并对所需关键技术进行了分析;最后结合模拟器试验结果,给出对该方法实现效果的分析和结论。
目前进行智能汽车算法仿真验证的思路一般有基于驾驶模拟器的仿真验证、完全基于计算机仿真的软件验证和基于硬件在环技术的专用仿真平台验证3种,如表1所示。
表1 智能汽车仿真验证的环境感知功能实现方案对比
基于驾驶模拟器的仿真验证,其环境感知功能主要有两种实现方法。一种是建立能为环境感知提供数据支持的虚拟交通场景数据库,然后在仿真过程中根据智能车辆的位置提取数据库内容,为智能车辆决策算法或传感器识别算法提供数据支持[11-12]。目前采用的数据结构定义方法,大都是以道路中心线或一侧道路边界作为数据入口,根据车辆与它们的相对位置,提取所需要的周围信息。如文献[13]中,将道路分段离散化,并根据车体相对道路基准线侧向距离计算车道标线,但并未对车道宽度和数目发生变化的过渡路段进行详细的描述。而且文献[14]中指出,因为将连续道路离散化,定位过程有时也会出现一个位置点对应多段道路中心线的情况,这些都会导致感知信息的不准确。另一种是直接在车上安装车载摄像头,通过拍摄投影屏幕直接获取视觉传感的原始信息[15],这对图形计算和成像系统的性能要求非常高,该方法因为还须考虑坐标变换和图像失真的问题[9],所以在驾驶模拟器上的应用较少。而且,对于传感器识别算法的验证,因为所提供的原始数据与真实环境的采集数据差别较大,所以并不能准确反映识别算法的优劣。
完全应用计算机仿真的软件验证,基本上采用了与第一种驾驶模拟器验证的环境感知实现方案一致的方法。其中像PreScan[16]和Pro-SiVIC[17]这种商业软件,虽然能够实现在非实时条件下考虑各类传感器物理实现过程的仿真,但由于驾驶模拟器属于实时运行平台,所以该方法仍无法满足驾驶模拟器的使用需求;而且它们大都只能在较小的区域内进行单一工况的仿真。
基于硬件在环技术的专用仿真验证平台,大都是针对某一具体的验证功能进行开发的,除了可以采用模拟器验证平台的环境感知实现方案外,还可以根据验证功能的需要,提前进行大量的真实道路实验采集数据[18]或者为传感器专门制作被检测实物模型。如文献[19]中为了实现对列车算法的验证,专门开发了实物模型及其运动控制策略。这种方法虽然能够真实模拟传感器原始数据采集过程,但是开发工作量大,且平台的通用性不强,对于各类智能汽车的前期开发来说,显然从经济性和效率方面来讲都不是最理想的。
从以上的分析可以看出,通过仿真的方法,还较难实时地实现对各类传感器原始采集数据过程的准确模拟,而且对于各种智能汽车功能开发前期的算法仿真验证过程来说,更重要的是提供控制算法所需要的各类环境信息,而不是检验各类传感器识别算法。综合上述情况,本文中提出了一套主要应用于驾驶模拟器的智能汽车仿真环境感知功能的实现方法,其基本思路如图1所示。该方法并不考虑传感器工作原理,直接提供识别后的各类交通环境信息,但是却能体现出传感器的感知范围、检测误差等物理特性。
现有的感知过程大都是通过建立数据库再根据车辆位置从数据库中提取信息实现的,如图1中点划线框所示,本文中的基本思路与之类似,但提出了分类、分层的数据结构定义和存储方法,使其既能够表达复杂的道路交通环境,又方便修改;而且所采用的分层次感知信息提取方法,能够体现出不同传感器的感知范围和感知信息的不同,并能在一定程度上体现出对环境信息的检测误差。同时,该方法计算效率高,不但能在驾驶模拟器的高性能计算机上完成实时运算,也同样适用于在普通PC机上进行单纯的软件仿真。
本文中提出的分类定义数据结构、分层存储信息的方法将虚拟场景中的每一个几何实体(一段车道标线或者一个障碍物等)作为基本的数据单元,根据其不同的分类,为其赋予不同层次的信息,并且只须采用简单的数组和结构体即可实现对信息的管理和抽取[20]。
2.1 数据结构分类
通过分析目前常用智能汽车控制算法对环境信息的需求,确定了数据结构所需的信息分类。如图2所示,数据库所存储并能够提供的信息包含可行驶区域、道路结构化、交通诱导和障碍物4类数据结构。其中,可行驶区域信息,包括了车辆可以行驶的道路信息,如城乡道路和广场等;道路结构化信息,专指铺画在道路上的车道标线;交通诱导信息,是指道路周边或铺画在道路表面的交通标志;障碍物,是指具有一定的几何尺寸,并占据了物理位置,而导致车辆无法从该位置驶过的物体。另外,对于有些交通诱导信息,因为须附加在几何实体上,所以也会形成车辆行驶过程中的障碍。图中央的圆形灰色区域,表示了车辆的探测范围。
2.2 数据结构分层
各类信息的存储内容分为3层:几何层、物理层和逻辑层。其中,几何层描述了元素的几何轮廓与位置;物理层描述了元素所具有的物理属性(比如表面材质等);逻辑层描述了元素所表达含义(比如交通标志的含义)。这样,数据库中每类信息的每一个元素都由1~3层信息来描述。对各类信息所对应各层数据内容的汇总如表2所示,表中标记星号的内容表示该内容不是必须具备的。
表2 各类信息所对应的数据分层
本文中提出的环境感知信息提取过程分为两层。如图3所示,下层感知过程应用了计算机图形学中的碰撞检测算法,负责提取感知范围内的数据库元素;上层模型负责根据传感器特点在数据库中提取元素的不同层次信息,并将其转换成所需的数据格式,需要的话,还可为感知结果加入适当的噪声,以体现检测误差。该方法主要解决了3个问题:一是由于所提出的数据结构不再基于道路中心线,所以信息提取方法也必须有所创新;二是碰撞检测算法计算准确,保证了对周围信息的准确提取;三是利用简单的方法体现了复杂的物理检测误差。
3.1 下层感知过程
碰撞检测算法虽然在虚拟现实和游戏制作等方面有着广泛且成熟的应用,却未被引入驾驶模拟器的智能汽车环境感知算法中。为此,本文中引入了碰撞检测算法实现下层感知模型,如图4所示。首先将已建立的表示所需感知信息数据库中的元素转换成碰撞检测算法能够处理的碰撞检测对象;同时,环境感知范围也用相应的碰撞检测对象表示。根据车辆位姿变化,应用层次包围盒算法计算上述碰撞检测对象之间相交的部分[21],并确定其所属的感知信息数据库元素。因为采用了分类的信息存储方式,在进行碰撞检测计算时,只须将需要感知的信息类别建立碰撞检测对象进行相交测试,不必像传统的信息提取方法一样对整个数据库内容进行搜索。
考虑到进行仿真的驾驶模拟器场景可能会非常大,导致碰撞检测对象占用内存空间太大,虽然碰撞检测算法已经较为成熟,但过大的内存占用还是会对计算效率造成影响[22-23]。在完整的二叉树包围盒中,每个叶节点都只包含一个几何基元,包含该几何基元的包围盒也是如此。如图5(a)所示,在检测两叶节点是否发生碰撞时,首先要对几何基元的包围盒进行碰撞检测,如果相交才进一步对几何基元进行碰撞检测。然而实际上,不进行包围盒的碰撞检测也是完全可以的,如图5(b)所示。所以本文中省略了对几何基元构建包围盒的过程,这样既节省了内存开销,也降低了计算开销。此时的计算开销公式[23]为
T=NV×CV+NP×CP+NPV×CPV
(1)
式中:T为总的碰撞检测计算开销;NV为包围盒进行碰撞检测的次数;CV为包围盒之间进行碰撞检测的开销;NP为几何基元进行碰撞检测的次数;CP为几何基元之间进行碰撞检测的开销;NPV为包围盒与几何基元之间的碰撞检测次数;CPV为包围盒与几何基元之间进行碰撞检测的开销。
3.2 上层感知过程
上层感知过程的主要任务是根据不同的传感器特点,从被检测到的元素中提取不同层次的信息。对于雷达传感器来说,当下层感知模型检测到一个交通桩出现在感知范围内时,雷达传感器只提取其物理层和几何层的信息,而不提取其逻辑层信息。同时,为了体现出真实传感器检测结果的误差和随机性,在检测结果中加入适当的高斯白噪声。如在输出检测到的车道标线点时,距离车体较近的点不引入误差;超出一定距离后,为每一个车道标线点引入误差时,首先产生服从正态分布的[0,1]区间随机数,并根据该点距离车体的远近,为随机数乘以相应的倍数,距离车体越远,乘以的倍数越大。这样,就能体现出距离车体越远,检测误差越大的效果。
将本文中提出的数据结构定义与存储和信息提取两部分内容封装成动态链接库,其中数据结构定义与存储在模拟器仿真前离线完成,信息提取部分根据感知信息内容配置,在仿真过程中对环境信息进行提取。如图6所示,试验对车辆前方50m、30°范围内的车道标线信息和交通标志信息进行检测。
由驾驶员驾驶仿真车辆进行了40km的模拟器道路试验,在监控计算机上开辟一个显示窗口,用来显示车体前方的图像,并用绿色线对感知到的车道标线、交通标志牌和斑马线进行绘制。
4.1 与传统方法的对比
针对文献[13]和文献[15]中的不足,专门在模拟器场景中设置了变车道路段,并应用本文中提出的方法进行数据表达和检测。本文方法的车道标线检测结果如图7所示。该方法能够对道路数目和宽度发生变化的过渡路段等复杂情况进行数据表达和连续地检测,并且在40km的模拟器道路试验中从未出现因为定位算法多解而导致检测信息提取错误的情况。
4.2 引入噪声效果
正常直路行驶时的车道标线检测结果如图8所示,图9为弯路行驶时,检测到车道标线和交通标志牌的情况。由图可见:在加入噪声后,能较好地模拟由于传感器物理特点或者识别算法而带来的误差,在真人驾驶时,能够看到距离车体较远位置的车道标线检测结果误差会增加,并且会出现检测到斑马线、交通标志牌的位置轮廓、大小不断变化的情况。
针对已有驾驶模拟器智能汽车仿真中环境感知过程(建立数据库,根据车辆位置提取所需信息)的不足,提出了分类定义数据结构、分层存储信息的数据库建立方法,并将碰撞检测算法引入到信息提取过程中,实现了分层的信息提取过程。通过试验分析,得出如下结论。
(1) 采用分类、分层的数据结构定义和存储方法,能够全面地存储虚拟交通环境信息。
(2) 引入的碰撞检测算法能够高效、准确地进行相交检测计算,从而实时准确地实现对车辆周围被感知元素的提取。
(3) 在上层感知过程中适当地引入噪声,使本文中提出的环境感知实现方法既能满足驾驶模拟器的实时计算需求,又能体现出由传感器的物理特性和识别算法所带来的感知误差,从而为基于模拟器的智能汽车仿真算法验证提供更加真实的试验条件。
[1] 赵又群,管欣,郭孔辉.开发型驾驶模拟器[J].公路交通科技,1995,12(3):64-66.
[2] 宗长富,刘蕴博,孔繁森.汽车操纵稳定性的模拟器闭环评价与试验方法[J].汽车工程,2001,23(3):205-208.
[3] Hans Antonson, Selina Mardh, Mats Wiklund, et al. Effect of Surrounding Landscape on Driving Behavior: A Driving Simulator Study[J]. Journal of Environment Psychology,2009(29):493-502.
[4] Markus Brockerhoff, Lutz Eckstein. PELOPS White Paper[R/OL].http://www.fka.de/pdf/pelops_whitepaper-e.pdf,2013.
[5] Lee Junyung, Choist Jaewoong, Yi Kyongsu, et al. Lane-Keeping Assistance Control Algorithm Using Differential Barking to Prevent Unintended Lane Departures[J]. Control Engineering Practice,2014(23):1-13.
[6] Franck Gechter, Jean-Michel Contet, Stephane Galland, et al. Virtual Intelligent Vehicle Urban Simulator: Application to Vehicle Platoon Evaluation[J]. Simulation Modelling Practice and Theory,2012(24):103-114.
[7] Thomas Nguen That, Jordi Casas. An Integrated Framework Combing a Traffic Simulator and a Driving Simulator[J]. Procedia Social and Behavioral Sciences,2011(20):648-655.
[8] Mark Vollrath, Susanne Schleicher, Christhard Gelau. The Influence of Cruise Control and Adaptive Cruise Control on Driving Behavior-A Driving Simulator Study[J]. Accident Analysis and Prevention,2011(43):1134-1139.
[9] 唐国明.无人驾驶汽车半物理仿真系统的设计[D].合肥:中国科学技术大学,2012.
[10] Zhang Tao, Liu Xin, Mei Tao, et al. A Novel Platform for Simulation and Evaluation of Intelligent Behavior of Driverless Vehicle[C]. Proceedings of the 2008 IEEE International Conference on Vehicular Electronics and Safety. Columbus, OH, USA. September 22-24 2008:237-240.
[11] Julien Chaplier, Thomas Nguyen That, Marcus Hewatt, et al. Toward a Standard: RoadXML, the Road Network Database Format[C]. Proceedings of the Driving Simulation Conference Europe 2010. Pairs,2010:211-220.
[12] Nicola Hiblot, Dominic Gruyer, Jean-Sebastien Barreiro, et al. Pro-SiVIC and Roads, a Software Suite for Sensors Simulation and Virtual Prototyping of Adas[C]. Proceedings of the Driving Simulation Conference Europe 2010.Pairs,2010:277-288.
[13] Rahul Sukthankar, Dean Pomerleau, Charles Thorpe. SHIVA: Simulated Highways for Intelligent Vehicle Algorithms[C]. IEEE Proceedings of the Intelligent Vehicles’95 Symposium. Detroit,1995:332-337.
[14] Sayers Michael W. Road Characterization for the Simulation of Automotive Vehicle Dynamics[C]. SAE Paper 2011-01-0185.
[15] 邹博维.基于多传感器的车辆局部交通环境感知[D].长春:吉林大学,2013.
[16] Kusano Kristofer D, Gabler Hampton C. Model of Collision Avoidance with Lane Departure Warning in Real-world Departure Collisions with Fixed Roadside Objects[C]. 2012 15thInternational IEEE Conference on Intelligent Transportation Systems,2012 Anchorage, Alaska, USA,2012:1720-1725.
[17] Gruyer D, Grapinet M, Souza P De. Modeling and Validation of a New Generic Virtual Optical Sensor for ADAS Prototyping[C]. Intelligent Vehicle Symposium,2012 IEEE. Spain,2009:969-974.
[18] Xu Youchun, Wang Xiao, Zeng Xianbing, et al. A Hardware-in-loop Simulation Test-platform For the Intelligent Vehicle’s Steering Control System[C]. Intelligent Vehicles Symposium,2009 IEEE. Xi’an,2009:766-769.
[19] Gietelink O J, Ploeg J, Schutter B De, et al. Development of a Driver Information and Warning System with Vehicle Hardware-in-the-loop Simulations[J]. Mechatronics,2009(19):1091-1104.
[20] 朱仲涛.数据结构基础:C语言版[M].北京:清华大学出版社,2009.
[21] Chirster Ericson. Real-Time Collision Detection[M]. San Francisco: Morgan Kaufmann Publishers,2005.
[22] Gottschalk S, Lin M C, Manocha D. OBBTree: A Hierarchical Structure for Rapid Interference Detection[C]. Computer Graphics(SIGGRAPH’96 Proceedings),1996:171-180.
[23] Pierre Terdiman. Memory-optimized Bounding-volume Hierarchies[R/OL].http://www.codercorner.com/Opcode.pdf.
A Research on the Environmental Perception Method in IntelligentVehicle Simulation Based on Layered Information Database
Guan Xin, Hong Feng, Jia Xin, Zhang Yonghe & Bao Han
JilinUniversity,StateKeyLaboratoryofAutomotiveSimulationandControl,Changchun130022
In view of the inadequacy of the most commonly used way of environmental perception in current intelligent vehicle simulation, i.e. database setup and dynamic information update and extraction, a definition and storage method of classified and hierarchical data structure is proposed, which can not only describe complex road condition, but is also easy to modify. On this basis, a collision detection algorithm is introduced into the extraction process of dynamic information to realize the extraction of layered perception information. A perception test of lane markings and traffic signs is conducted on driving simulator with a result showing that the method proposed can fulfill thorough and reliable detection on environment information in real time with the detection error of real sensor given.
driving simulator; intelligent vehicle simulation; environmental perception; database; collision detection
*教育部长江学者和创新团队发展计划(IRT0626)资助。
原稿收到日期为2014年4月11日,修改稿收到日期为2014年7月3日。