陈长浩
(中铁云网信息科技有限公司 北京市 101318)
行车环境感知是高级驾驶辅助系统中最核心的内容,其获取通常依赖于单车智能,而车路协同(V2X)系统作为另一种重要的环境信息感知方式,通过车与路通信技术,实现与智能汽车的交互,从而使系统获取更全面的行车信息。随着汽车产业和汽车技术的发展,汽车智能化应用越来越广泛,自动驾驶技术也渐渐受到了人们更多关注,单车感知的自动驾驶经过了多年的发展仍存在很大的技术瓶颈,很容易受到遮挡、恶劣天气等环境条件影响,在全量目标检测、轨迹预测、驾驶意图“博弈”等方面均存在困难。因此车路协同(V2X)解决方案也渐渐成为了当前使自动驾驶快速落地的最优解。本文所提车路协同系统仅指辅助自动驾驶汽车的电子智能系统。
国家战略层面,我国基本明确了车路协同与单车智能结合的发展道路。政策层面,国家主管部门统筹规划,加强顶层协同,营造良好的产业发展环境;各级地方政府部门也结合自身发展需求和基础优势,积极推动车路协同产业发展。国家层面近几年发布的一系列政策文件,如:2019年7月,交通运输部发布的《数字交通发展规划纲要》。2020年2月,发改委等11 部委联合发布的《智能汽车创新发展战略》。2021年3月,工信部、交通部、国标委联合发布的《国家车联网产业标准体系建设指南(智能交通相关)》等等。地方政府层面,天津市发布《天津车联网(智能网联汽车)产业发展行动计划》,提出加快LTE 网络升级改造和5G 规模化部署。长沙市发布智能汽车产业“火炬计划”和“头羊计划”[1],重点支持智能网联车路协同相关企业,给予资金奖励和政策支持,大力推进重点车辆加装车载智能终端产品、城市道路智能化改造、智能网联云平台建设[2]、特定场景智能网联示范应用等。广州市发布《广州市加快推进数字新基建发展三年行动计划(2020-2022年)》,开展车联网直连通信频谱试运营,促进C-V2X 规模部署,推动建立粤港澳大湾区跨市、跨境测试及应用协同机制,建设大湾区车路协同试验网。北京市发布《北京市智能网联汽车创新发展行动方案(2019-2022年)》,提出部署智能路网试点改造工程。江苏、四川、河北、上海、浙江、深圳等其他省市地区也都发布了相关推进政策。可以说在当今年代建设高等级智能道路、大力发展车路协同自动驾驶、构建安全便捷高效的智能化出行服务体系,既符合政策支持方向,又是智慧城市发展的客观需求。
车路协同是在单车智能的基础上,通过先进的道路感知(如摄像头、雷达等)和定位设备对道路交通环境进行实时监测,按照约定协议进行数据交互,车路协同通过信息交互、协同感知与决策控制,可以极大地拓展单车的感知范围、提升感知的能力,引入高维数据为代表的新的智能要素,实现群体智能。可以从本质上解决单车智能自动驾驶遇到的技术瓶颈,提升自动驾驶驾驶能力,从而保证自动驾驶安全,扩展自动驾驶运行设计域。同时通过车路协同路侧系统的加入,提供了新的以高维数据为代表的智能要素,可以有效分担车载自动驾驶系统的感知、决策和控制压力,降低系统的复杂度。当前典型的车路协同感知应用场景总结涉及3 大类,7个典型场景[1],参见表1。
表1:车路协同感知场景
不同道路环境和感知要求有多种车路协同自动驾驶实现方式,根据大量实际项目验证和效果评估,本文探讨提出了一种有效可靠的开放道路辅助自动驾驶V2X 方案,对于V2X 技术发展交流具有现实的参考意义。
本文所述V2X 系统方案主要由路侧系统、视频服务系统、大屏展示系统、中心服务器系统(云主机)四部分组成。其中路侧系统、视频服务系统、大屏展示系统要求在一个内部专网环境中,通过有线网络进行互通互联,所有设备采用全局IP,以提高此部分网络传输速度和网络可靠性。云主机系统在一个专网环境中可通过互联网与其他三个系统进行互联。系统网络架构如图1所示。
图1:系统网络架构
方案实现需要在开放道路进行路网协同智能化改造,搭建路侧感知、V2X 通信、计算智能基础设施体系;车路协同路侧设备基于全量、连续环境信息,依托边缘计算及AI技术,准确识别路网交通状态、事件、车辆等信息,提供数据采集、融合、预处理、分发等基本功能,实现对自动驾驶车辆、V2X 网联车的安全辅助与效率引导支持。一套V2X含有N 个路侧系统,每个重点路口和路段都会组成一个路侧系统,与车端通信依托低延时、高带宽的V2X 通信网络,为周边网联车辆提供标准化的数据服务。(详见本文第2 部分)
一般由多台服务器及存储构成,主要对前端感知相机采集的视频信号进行管理和存储,是后期维护、配置、数据分析和挖掘的重要平台。
对整套系统进行界面化展示、可视化指挥、运营监控以及接待参观。
通过公/私有云部署车路协同云控平台,是车路协同系统的数据核心,基于标准化通信协议,利用云计算大数据能力解决系统性的资源优化与配置问题,促进人、车、路运行按需响应和动态优化,是智能网联汽车应用的数据协同中心、计算中心与资源优化配置中心。
高精地图:通过地图数据采集对数据进行点云处理、三维重建等处理,可获取厘米级精度的数字正射影像图。用于精确的场景感知和标定工作。
基站:通过基站,为安装北斗系统接收芯片的自动驾驶车辆及路侧设备提供厘米级定位精度。
车路协同路侧设施是车路协同系统的核心,可实现路网数据的全局感知、专用通信、车路群智协同控制,突破单车智能感知、决策限制。环境感知是高级驾驶辅助系统中最核心的内容[3]。经过大量工程实践对比,基于相机和激光雷达融合的动态目标感知正确率高于单一传感器的检测方式。因此本文就相机加激光雷达融合的感知方案进行阐述。
基于视觉传感器获取的图像数据,对道路图像进行灰度化、高斯滤波等预处理,利用不同的检测方法,实现了车道线的检测。采用阈值掩盖法和霍夫变换完成了道路直道的检测,针对弯曲道路,基于滑动窗口多项式拟合的检测方法,实现了对弯道的检测[4]。
其次,根据深度学习算法,实现了对道路场景中动态目标的检测,包括车辆和行人。采用 Haar 特征+Adaboost[5]分类器的方法训练车辆检测器,实现了车辆的识别,采用HOG 特征+SVM[6]分类器的方法训练行人检测器,完成了行人的识别,利用 TenserFlow 深度学习框架,搭建卷积神经网络,实现了道路场景中行人、车辆等多动态目标的检测。
然后,利用激光三维点云的特性,结合 Mean-Shift 聚类算法[7],对道路场景中的动态障碍物进行了聚类研究。通过分析视觉传感器和激光传感器两者的检测特性,结合两者的优点,采用了基于感知相机和激光雷达信息融合的动态目标检测方法。利用软件平台,对两传感器进行了联合标定,得到了联合标定参数,利用标定结果实现三维点云到二维图像的融合,再分别针对融合后的信息采用YOLO-v3[8]算法和欧几里得聚类[9]实现了动态目标检测。
下面我们以标准路口为例对V2X 路侧设备部署方案进行阐述,标准路口所需部署设备包括(如图2)。
图2:V2X 路口部署方案
感知摄像头通过图像捕捉,实现环境信息采集和存储,作为解析路网环境信息的数据源,根据部署位置和高度调节设备角度,获取目标区域的全景信息,并发送给计算单元。从图中我们可以看到8 台枪机分别装设在路口4 个方向设备杆的前后照射位,捕捉路口四个方向所有双向车道前后图像。
同枪式摄像机原理,鱼眼相机弥补枪机盲区负责两前后枪机正下方无法照射到的区域图像信息,路口每方向设备杆各装设一台鱼眼相机。
实现对环境内多目标对象的检测与跟踪,利用激光束来覆盖所有车道,通过测距、测角和独有的多目标跟踪技术来精确定位车辆,并将原始数据发送给计算单元。如图中所示在主干道路口两侧设备杆分别朝向路口方向装设两台激光雷达。
车路协同路侧设备核心组件,实现传感器采集的环境数据解析、融合,包含采集传感、计算决策、通信汇聚、安全认证、状态检测等。可实现信息编辑、信息优先级设置,控制RSU 信息播发,同时可根据既定规则根据传感设备信息识别结果进行交通设施控制。安装于路口任意立杆上与其他各设备通过高速有线网络进行通信。
RSU 通讯单元负责ECU 与网联车的通信,可为车辆提供LTE-V 网络服务,实现信息车路双向的快速传递,并提供时钟校准信息。支持超高频率大带宽通信,有效传输距离300-500m。安装于路口最近杆件横臂上与其他各设备通过高速有线网络进行通信。
当然要实现车路协同自动驾驶不光需要上面的架构和硬件还需要一系列关键技术的加持。
协同感知技术最重要的就是传感器的高精度标定。以感知相机为例,图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立摄像机成像的几何模型,这些几何模型参数既是摄像机参数。在大多数情况下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为摄像机标定。
而无论是在图像测量或者机器视觉应用中,摄像机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此,做好摄像机标定是做好后续工作的前提。感知相机标定又分为内参标定和外参标定。
3.1.1 内参标定
内参标定简单的讲就是确定摄像机从三维空间到二维图像的投影关系[10]。内参标定具体步骤如下:
确认摄像机参数:在标定之前需要对标定摄像机的参数进行确认。例如,图像分辨率、焦距、CCD 尺寸,其值会直接影响标定流程。
摄像机初始化设置:在进行摄像机标定之前需要按照业务使用需求,预先对摄像机进行初始化配置,如密码、视频帧率、比特率、编码、播放性能等参数。
内参标定环境配置:标定环境主要包括ROS 的安装、Calibration 标定工具的安装、Matlab 标定工具包、摄像机标定驱动程序的开发和使用。
标定:使用棋盘标定板等工具左右上下缓慢移动翻转对相机进行标定工作。如图3所示。
图3:内参标定工具-棋盘标志板
3.1.2 外参标定
相机外参标定即为确定摄像机坐标与世界坐标系之间相对位置关系。外参标定分为以下几步:
世界坐标系下特定点的坐标采集:使用测绘车辆采集路网信息,建立路网在世界坐标系的三维模型。针对路网信息不明显的特殊场景,使用人工采集坐标的方法。采集N 个特定点的坐标,并建立特定点集在世界坐标系下的三维模型;
相机安装与相机图像采集:根据感知场景需求,将相机安装在特定位置并调整角度。完成安装及角度调整后,使用该相机抓取图片;
世界坐标系下相机位置坐标采集:同样在相机安装及取景角度调整完成后,使用人工采集的方式,采集相机在世界坐标系下的位置坐标;
标定:使用工具将采集图片中特定点的位置标注出来,并与特定点的采集坐标进行匹配。通过解算特定点的位置坐标在世界坐标系与相机坐标系的转换关系,从而确定相机坐标系和世界坐标系的定量关系[11]。如图4,图中黄圈和篮圈为标定回投点。
图4:外参标定图片
3.2.1 高精地图
高精地图(HDMAP)是无人驾驶中重要的坐标指导及行车线路依据,一辆具有高精度地图数据的自动驾驶汽车,不仅能够对所处的环境进行精准预判,提前选择合适的行驶策略,也能把对环境的监测重点放在应对突发情况上,提升车辆安全性,降低车载传感器和控制系统的成本。高精度地图在精度和信息量上与传统导航地图有着显著差别:不同于传统地图米级的精度,其精度能达到厘米级。HDMAP 不仅记录高精度道路数据(道路形状、坡度、曲率、铺设、方向等),还要记录车道属性相关数据(车道线类型、车道宽度等),更有诸如高架物体、防护栏、树、道路边缘类型、路边地标等大量目标数据。相比于普通的导航地图,适用于自动驾驶的高精度地图会将所有环境要素均精准的体现出来“还原现实世界”。
高精地图的生产流程分为:数据采集、数据处理、元素识别、人工校验、最终生成。数据采集是通过地图采集车在实际道路上采集数据,采集车上会有传感器设备、数据记录和存储设备等。数据处理包含点云拼接和底图生产环节。然后会进行基于深度学习的元素识别和点云分类。之后,依赖人工完成车道线、路沿、信号灯、标志牌等元素的人工校验。最终通过数据融合处理生成最终的高精地图。
高精度地图具备精度高、地图元素详尽、属性丰富的特点,是自动驾驶车辆感知环境不可或缺的技术内容。高精度地图可以帮助车辆预先感知路面复杂信息,如坡度、曲率、车道信息、交通标志等,结合车载传感器数据和智能算法对车辆进行定位,并在此基础上为自动驾驶提供动态、实时的数据服务。
3.2.2 高精定位
为支持自动驾驶车辆的高精度定位,方案采用融合差分基站(建设数量根据自动驾驶汽车行驶道路范围确定)。利用多基站网络RTK 技术建立连续运行(卫星定位服务)参考站,连续采集高质量的GNSS 原始观测数据为智能网联车辆提供毫米级-厘米级高精度定位服务。基准站-移动站差分是指采用两台GPS 接收机。一台是基准站GPS,另一台是用户端GPS,并且知道一个已知点的坐标,原理是在已知坐标的固定点上架设一台GPS 接收机(称基准站),通过GPS 的定位数据和已知坐标点的数据解算出差分数据(RTCM),再通过数据链将误差修正参数实时播发,用户端通过数据链接收修正参数和自己的定位数据进行修正解算,即可将定位精度提高到厘级、甚至毫米级。如图5所示。
图5:高精定位系统
现代先进通信技术包括:直连无线通信技术、蜂窝移动通信技术、有线网络传输技术等。车路协同系统对于网络的依赖非常高,与自动驾驶车辆的低时延、高可靠的通信是V2X 系统能够落地的最重要因素之一。系统内部采用了高速有线网络进行内部子系统之间的高速通信,外部与车侧是基于先进无线通信、传感探测等技术获取车辆和道路信息,通过车路通信进行交互和共享,实现车辆和路侧基础设施之间智能协同与配合,达到优化利用系统资源、提高道路交通安全的目标[12]。近些年得益于5G 的普及与V2X(DSRC、LTE-V、NR-V2X、C-V2X)等通信技术的快速发展,使得高可靠、低时延、大连接车路信息交互成为可能。
方案中V2X 通信依托LTE-V2X 网络技术拥有低延时、高带宽的特点,支持3GPP Rel.14标准,通信延时可达毫秒级。并以CSAE 0053 标准为基础,对自动驾驶车辆提供标准化服务,支持不同厂家、型号车辆享受该服务。
当然,要实现车路协同自动驾驶还需要攻克其他一系列的关键技术,包括:
(1)协同决策与协同控制[13]技术:
意图预测、博弈仲裁、引导调度等协同决策;车辆、设施、人类等协同控制引导;
(2)云计算技术:
边缘计算MEC 技术;多级云控平台技术;大数据和人工智能平台技术;
(3)网络安全与预期功能安全;
(4)物联网IoT 技术;
(5)网络安全技术等。
由于篇幅原因这里不再分别阐述。
上述方案已在实际场景中得到了有力的验证,V2X 系统通过RSU 与车端OBU 相连将开放道路感知环境信息可靠传输给车端进行决策辅助,降低约30%的L4 级别自动驾驶在开放道路上人工接管的次数,道路盲区信息及突发事故预警更加提前,自动驾驶可靠性显著提高。当然,在检测高速移动目标时闪烁和偏移现象会偶发性出现,相信随着5G 高速无线网络及车联网技术的发展配合先进硬件设备的加持,后期还会有更好的解决措施和方案落地。
4.1.1 车路协同自动驾驶是自动驾驶规模商业化落地的必然趋势
单车智能自动驾驶规模商业化落地面临较大挑战,而车路协同自动驾驶可以解决自动驾驶安全、ODD 限制、经济性等一系列问题,助力自动驾驶车辆在环境感知、计算决策和控制执行等方面的能力升级,加速自动驾驶应用成熟落地,可能是未来自动驾驶发展的必然选择。
4.1.2 发展车路协同自动驾驶需要高等级智能道路
从服务于不同等级自动驾驶车辆规模商业化落地的角度,需要建设具备协同感知(全量高精度协同感知)、协同决策、协同控制能力的智能化道路,部署建设配套智能设施(感知设施、计算设施、通信设施、定位设施等)和云计算网络(MEC、区域云或中心云)等,全面支撑车路协同自动驾驶技术演进、规模化测试验证和商业化落地。
4.1.3 建设部署高等级智能道路“面向未来,兼容当下”,具有显著经济性和巨大社会效益
建设高等级智能道路不仅可以“面向未来”满足车路协同自动驾驶规模商业化落地的发展需求,还可以“兼容当下”降维解决低等级自动驾驶和车联网的发展需求,支撑开展智能交通管理、智慧出行服务、乃至新型智慧城市建设。
建设高等级智能道路、大力发展车路协同自动驾驶、构建安全便捷高效的智能化出行服务体系,符合人民对美好生活向往的客观需求,是建设现代化经济体系的内在需要,也是全面建成社会主义现代化强国的有力支撑。
但车路协同自动驾驶规模商业化落地是一个循序渐进、由局部到全面逐渐发展的过程:首先,需要实现关键技术突破,如VICAD 系统[1]、车路高效通信、云控平台等;其次,智能车辆的渗透率和智能道路覆盖率需要达到一定水平;第三,需要在政策法规和标准方面提供足够的保障支持。
全球范围内车路协同自动驾驶尚处在探索与发展的初级阶段,还有许多挑战与困难需要行业多方协同,共同攻克。