深度学习技术在自动驾驶高精度地图中的潜在应用

大方

（北京轻舟智航科技有限公司，北京 100086）

0 引言

在近年来自动驾驶技术的飞速发展中，高精度地图发挥着至关重要的作用。相比于传统的非高精度地图，高精度地图通常能达到厘米级精度，而且具有细粒度的车道信息，因此能够支持多种传统地图无法提供的查询操作。对于自动驾驶系统而言，高精度地图提供多个层面的信息支持。高精度地图的数据包含视觉或激光雷达特征图，车道线和静态交通标识信息，路上交通流的先验，以及车道连接关系等方面，分别为自动驾驶系统中的定位、感知、预测、规划控制等模块提供支持。

由于精度高、信息量大，高精度地图的制作成本相比于传统地图有较大涨幅，因此在提升高精度地图的采集和制作效率、降低高精度地图制作过程中的人工作业比例方面的科研十分活跃。深度学习技术作为人工智能领域在实践中最为成功的技术之一，在降低高精度地图成本、提升高精度地图应用能力方面有着巨大潜力。

1 高精度地图的测绘及其在自动驾驶系统中的应用

高精度地图通常包括基础地图，语义地图，先验地图三层。基础地图通常保存为二维或三维矢量图或向量图，包含描述道路外观的基础数据。数据的内容由面向自动驾驶应用的传感器配置决定，可以是激光雷达的反射强度、反射率或者相机的三通道颜色数据。制作基础地图涉及的核心技术为同时定位和地图构建技术以及动态物体识别和去除技术。语义地图是建立在基础地图之上，保存道路语义结构的图层，通常保存为矢量图。语义信息内容亦由自动驾驶应用的特性决定，可能包括车道中心线、车道线、停止线、静态交通标识等，以及车道的拓扑连接网络。语义地图通常可由人工标注完成，近年来也有人工智能自动标注技术出现。

先验地图负责提供更高层次的语义信息，主要是在路面上可能出现的交通参与者的各方面属性，包括种类、形态和运动状态等在地图空间内的分布情况。制作先验地图需要收集大量路面交通数据，从中进行数据聚类和统计。

高精度地图的各层次数据在自动驾驶系统中都有不同的使用方式。基础地图由于包含路面外观特征信息，可以应用于自动驾驶系统定位模块中支持基于视觉或激光雷达的高精度绝对定位。语义地图的车道网络和交通标识数据是对交通法规的量化表示，可以应用于自动驾驶系统预测及运动规划模块中支持行为决策和轨迹规划。先验地图中的交通参与者先验数据对于自动驾驶系统中基于最大后验估计方法的感知、预测等算法都是不可或缺的。

2 深度学习技术介绍

深度学习技术是围绕着深度神经网络的训练、推理和应用的机器学习技术，因其使用大于通用近似定理所要求的最小神经网络深度而得名。深度学习技术在过去的十几年里在自然语言处理和计算机视觉等领域发展迅速，在神经网络架构、训练方法、计算架构等方面都有了长足进步，出现了大量开放数据集和预训练模型可为各种应用场景所用。相比于传统机器学习技术，深度学习模型拥有大深度带来的巨大的模型容量，因此可以适应各种困难和模糊的应用场景。

3 深度学习技术在高精度地图各环节的潜在应用

深度学习作为具有灵活适配能力的通用机器学习技术，在高精度地图的测绘和应用的各个环节都有提升效率、改进效果的潜力。本文提出四个有代表性的潜在应用，并逐一分析论述。

3.1 深度学习技术应用于基础地图测绘过程中的点云匹配或视觉特征匹配

基础地图的测绘通常使用同时定位和地图构建技术将传感器原始数据（激光点云或相机图像）集成为基础地图的数据结构。集成的过程需要进行传感器相临帧数据之间的比对，特征匹配和最优变换的计算。对于三维的点云数据，特征匹配算法通常使用正态分布变换或者迭代最近点法；对于二维的图像数据，特征匹配算法通常使用光束平差法。在二维图像数据下，匹配通常使用经过特征提取算法提取的稀疏特征，经过随机抽样一致算法进行配准；传统计算机视觉技术领域提出了大量特征提取算法，比如尺度不变特征变换。在三维点云数据下，匹配所用的特征可以是原始的稠密点云，或者下采样的点云，也可以通过空间离散化提取特征。

深度学习技术在上述过程中有两个潜在的应用方向。第一个应用是通过深度学习技术提取特征。对于二维图像数据，计算机视觉领域的常见任务，如生活中常见物体的分类、目标物检测、实例分割和语义分割都可以提供对视觉特征的有效监督，而很多视觉神经网络架构，例如基于二维卷积的残差网络、稠密网络，和基于自注意力机制的视觉变换器等，都有在大规模图像数据库上的预训练模型可用。对于三维点云数据，通过三维目标物检测预训练也可以获得有效的三维特征。第二个应用是通过深度学习技术直接进行匹配。一个能够完成匹配的深度学习模型通常也会在内部某个中间层完成对数据的特征提取，因此这个应用是前一个应用的超集。直接进行匹配的好处在于标签容易获得，整个模型可以进行端到端训练。

3.2 深度学习技术应用于基础地图测绘过程中的运动物体识别和去除

基础地图测绘的另一个核心技术是识别和去除传感器原始数据中对应于非地图元素的部分，主要是路面上的动态物体。地图的采集过程需要搭载传感器的车辆在路上行驶一定里程，从而实现传感器对路上的各种地图元素从多个方位进行数据采集。受限于市政管理要求，这一过程通常不能假定路上没有其他车辆和行人等交通参与者，而这些交通参与者并不是所要建立的地图的组成部分，因此它们的存在会污染数据采集。传统的基础地图测绘方法中，为解决这类问题，通常要求地图采集车辆在每一路段行驶多次，从而通过统计平均或者基于启发式规则的统计算法完成对动态物体的去除。这个要求成倍地增加地图数据的采集时间，导致地图制作成本大幅上升。

深度学习技术非常适合对路面上的动态物体进行检测、定位和分割。面向三维点云的目标物检测和分割技术在过去的三年中进展明显，目前对常见的物体类型，比如机动车、行人、自行车等，已经能实现在较近距离上非常可靠的检出和分割。通过对传感器原始数据使用深度学习三维目标物检测和分割技术进行过滤，就可以有效地避免动态物体对地图数据造成的污染。

3.3 深度学习技术应用于语义地图制作

语义地图是对基础地图中与交通法规相关的元素的语义解读和标准化的存储组织，因此传统的高精度地图测绘流程中，语义地图通常由人工标注完成。标注人员需要观察基础地图中的二维或者三维图像，并利用对交通法规的常识来提取地图中的车道线和交通标识牌等信息。标注人员通常还需要根据各个独立的车道线，结合路沿、人行道等信息，抽象出车道轮廓和车道中心线，并推测相邻车道之间的连接关系，从而构建车道网络。

深度学习技术在语义地图制作过程中的潜在应用有三个方面。第一个方面是车道线识别。车道线识别普遍被认为是计算机视觉中相对容易的任务，因为车道线通常具有形状规则、色彩反差明显、分布均匀等特点，在传统计算机视觉方法中已获得较好解决。相比于传统方法，深度学习更适合处理理想工况之外的情况，比如车道线由于磨损而褪色，或者复杂的车道分叉、汇合处等场景，这些场景对于传统视觉方法来说仍然是有挑战的。第二个方面是交通标识的识别，比如停止牌、让行牌、固定的限速牌或者交通信号灯等。这些交通标识虽然设计上色彩醒目而且形态高度确定，但有些对于传统视觉方法来说并不友好，比如对限速牌的识别可能需要模板匹配技术搭配文字识别技术才能准确判断限速值，而如果采用深度学习技术，模型的结构可以大大简化。第三个方面是车道网络的构建。虽然地图标注人员对车道概念的抽象和车道网络的构建规则相对简单，一定程度上可以通过基于启发式规则的算法进行自动化，但实际应用中有很多道路的结构很难用简单的规则描述，启发式算法通常有很高的失败率，仍需要大量人工进行检查和修补。通过监督学习训练，深度学习技术可以有效地弥补这一不足。

3.4 深度学习技术应用于高精度地图更新检测

随着城市规划的发展，许多城市道路面临不断地改建、调整和维护，因此外观甚至结构都有可能发生变化。高精度地图在测绘完成后，就会进入维护和更新阶段，在此阶段需要根据道路的实际变化不断更新地图，因此对道路变化的识别至关重要。由于道路变化的形式多种多样，传统的高精度地图测绘流程中，对测绘后地图更新的处理方式通常是在固定的时间周期重新进行数据收集和处理，对比原有地图的特征数据从而判断是否需要更新。这样的流程仍需要大量数据采集成本，因为大多数道路并不会经常发生变化，而为了保证对真正发生变化的道路的及时更新，地图数据重采集的周期必须足够短，这导致大量数据采集工作的浪费。另外，传统流程中仍然需要人工进行道路变化的判断。

深度学习技术不但有潜力提升传统地图更新流程的效率，而且有可能通过自动驾驶车队的运行来提供全新的更经济高效的地图更新流程。在传统流程中，深度学习可以为基础地图数据提供更好的特征提取，尤其是在经过充分的监督训练之后，能够直接提供一帧传感器数据与对应地理位置的基础地图数据相比是否存在非刚性变形的判断，这样就可以节省人工进行道路变化判断的工作。另外，随着自动驾驶车队的部署规模逐渐增长，自动驾驶系统中定位和感知模块中的深度学习模型都逐渐会具备判断道路变化的能力，从而达到在无需专门的地图采集车辆的情况下，实现零延迟的道路变化监测。定位模块可以采用与上述模型相同的方式完成道路变化的判断。而感知系统可以通过带有不确定性的深度学习模型来实现感知系统运行状况的监控；由于感知系统一般依赖高精度地图中的基础地图和先验地图的数据，通过对感知质量的监控就可以发现道路的变化。通过这样的新型流程，高精度地图测绘完成之后，维护和更新过程的成本会大大下降。

4 结语

深度学习技术广泛应用的历史较短，在很多应用领域的作用还处于探索阶段。本文在阐述自动驾驶高精度地图的结构、制作过程和应用，以及深度学习技术的特点和应用的基础之上，提出并分析了多个深度学习技术在高精度地图制作和应用中的潜在应用方向。通过这些探索，深度学习技术有潜力在大幅度降低高精度地图制作成本、提升应用效果方面发挥巨大作用。