面向智能驾驶的高精度多源融合定位综述

许智理,闫倬豪,李星星,申志恒,周宇轩,吴宗洲,李 昕

(武汉大学测绘学院,武汉 430079)

0 引言

人工驾驶的传统交通方式面临着交通事故高发[1-2]、通勤时间过长[3-4]等诸多问题。以自动驾驶[5-6]为代表的智能驾驶技术在增强交通安全性、缓解拥堵等方面具有巨大应用潜力,能够满足人们对于高效率、低风险交通服务的需求,对于交通运输系统具有重大革新意义。

智能驾驶指能够智能地感知、综合、判断、推理、决断和记忆并能实施主动控制以及人机交互与协同的技术[7]。高精度位置信息是智能驾驶感知环境和决策控制的基础与核心。面向智能驾驶日益复杂的应用场景,连续、可靠、无缝的高精度位置服务已经成为产业应用的迫切需求,同时也对现有的导航定位手段提出了更高要求。目前,车载高精度定位的实现依赖各种传感器技术,常用技术包括全球卫星导航系统(global navigation satellite system,GNSS)[8]、惯性导航系统 (inertial navigation system,INS)[9]、视觉传感器[10]、激光雷达(light detection and ranging, LiDAR)[11]、高精度地图(high definition map,HD Map)[12]以及轮速计(wheel odometer)[13]。然而,在复杂多变的城市环境中,使用单一或者两种传感器组合的定位系统已经逐渐不能满足高可靠、高精度的定位需求,例如GNSS的信号容易受到信号衰减、反射或阻塞的影响,INS精度会受到误差累积的影响,视觉和激光雷达等传感器也存在受重复结构、纹理影响等缺陷。充分利用不同传感器互补特性的多源融合技术对于提升车载导航定位在城市复杂环境中的准确和连续性有着重要的实际意义与应用价值,被视为解决定位系统局限性和脆弱性的有效方案。

一套完备的多源融合定位方案,需要建立整体的数据处理流程,包括多源传感器标定、数据预处理、融合算法与质量控制等环节,以确保高精度定位服务的可靠性。其中多源融合算法直接影响到定位结果的质量。当下主流的多源融合算法以卡尔曼滤波(Kalman filter,KF)与因子图优化(factor graph optimization,FGO)两种方式为代表[14]。在智能驾驶应用中依据算力支持、精度需求与搭载传感器种类对两种方案作出合理选择与改进能够实现稳健并泛在的高精度定位。

针对智能驾驶的高精度定位应用需求,本文重点关注智能驾驶系统中的导航定位方法,从不同传感器技术出发,阐述包括GNSS、视觉、激光雷达、惯性测量单元等传感器特性,给出主流的基于滤波和因子图优化的多源融合框架,并对代表性算法进行了整理。最后总结当前的技术研究与应用现状,并对未来智能驾驶导航定位技术的发展作出展望。

1 传感器技术

1.1 全球卫星导航系统

得益于全球覆盖的多频多系统卫星信号在室外提供的全天候高精度定位服务,GNSS是智能驾驶导航定位中获取绝对位置的首选技术方案,全球定位系统(global positioning system,GPS)在1991年便被首次应用于车载导航定位当中[15]。GNSS信号基础的伪距与载波相位观测方程如下

(1)

(2)

随着我国北斗三号全球卫星导航系统(BeiDou-3 navigation satellite system,BDS-3)的正式开通,GPS、伽利略卫星导航系统(Galileo satellite navi-gation system, Galileo)、格洛纳斯卫星导航系统(global navigation satellite system, GLONASS)等全球导航卫星系统的现代化以及准天顶卫星系统(quasi-zenith satellite system, QZSS)、印度区域卫星导航系统(Indian regional navigation satellite system, IRNSS)等区域导航卫星系统的进一步发展,如今已经发展出了多频多系统的卫星导航定位模式,各卫星导航定位系统的基本信息如表1所示。

表1 多频多星座GNSS卫星星座概况Tab.1 General situation of multi-constellation and multi-frequency signals of GNSS

当下,为满足智能驾驶精度需求,以RTK(real-time kinematic)、PPP(precise point positioning)、PPP-RTK为代表的基于GNSS相位测量的定位技术得到了广泛研究[16-21]。其中,利用差分定位的RTK以及网络RTK(network real-time kinematic,NRTK)[21-22]技术可以通过模糊度固定(ambiguity resolution,AR)技术实现瞬时毫米/厘米级精度的定位[24],已经成为目前GNSS车载定位的主流技术方案;PPP[25]技术克服了RTK以及网络RTK技术需要大量布设基站的弊端,仅利用高精度的载波相位观测值与伪距观测值以及精密GNSS产品,即可完成单台接收机的高精度定位,用户能够在确保自身位置隐私不泄露的前提下在全球范围内实现厘米/分米级定位;结合了RTK与PPP技术优点的PPP-RTK[25-26]技术可以在室外开阔环境下达到稳定的厘米级定位精度,并且具备服务范围广、隐私性好等优势,近年来成为智能驾驶领域的理想技术方案,部分全球以及区域卫星导航系统以及商业公司已经开始提供相关服务[27]。不同GNSS技术方案的差异如表2所示。

表2 GNSS定位技术对比Tab.2 Comparations of different GNSS positioning technologies

1.2 视觉传感器

对于智能驾驶载体来说,相机/视觉传感器是获取环境纹理信息的主要传感器,依据其工作方式的不同可以分为单目相机、双目相机、深度相机以及事件相机等。相较于其他传感器,相机成本较低,体积较小,能够获得外部环境的语义特征,因此常被用于多源融合的智能驾驶导航定位技术当中。利用视觉特征的视觉同时定位与建图(visual simultaneous localization and mapping,VSLAM)[10]技术,以相机作为传感器获取外部信息,通过对环境特征的连续跟踪来同时实现自身的位姿估计以及环境结构的重建。

通常来说,完整的VSLAM流程由前端、后端、回环检测与建图组成。图1展示了一般算法的系统流程图。如果侧重于自身的位姿估计而不考虑一致性的建图,则通常称为视觉里程计(visual odometry,VO)。

图1 VSLAM流程Fig.1 Process of VSLAM

根据视觉信息的利用方式,VO的算法主要分为两个大类:特征点法[28]和直接法[29]。特征点法首先提取图像关键点(key-point),通过特征匹配或光流跟踪等方法实现不同图像帧中特征点的数据关联,之后利用对极几何、三角化(triangulation)、PnP(perspective-n-point)及光束法平差(bundle adjustment,BA)等方法估计路标点位置和相机运动。直接法不提取具体的特征点,而是通过直接优化不同图像帧像素之间的光度误差来同时估计像素深度和相机运动,可以充分利用图像中具有梯度的区域信息。两种方法对比如表3所示。

表3 直接法与间接法对比Tab.3 Comparison of direct method and indirect method

近年来,深度学习被广泛应用于车载导航的视觉里程计和回环检测部分[37]。一些端到端的视觉里程计方法[38-40]通过神经网络可以直接输出载体位姿。在回环检测方面,一些在线的深度学习方法可以通过在闭环之前向系统添加训练数据,从而在回环检测期间识别车辆周围环境对象和场景,判断是否发生回环[41]。此外,深度学习也应用于图像数据处理和地图构建,以获得高精度和快速的车辆位姿估计。

1.3 激光雷达

激光雷达是智能驾驶中常用的传感器之一。与视觉传感器相比,激光雷达传感器的显著优点是测距相对准确,误差模型简单,对光照变化不敏感,采集的点云中直接包含空间信息。因此,基于激光雷达的SLAM(LiDAR simultaneous localization and mapping,LiDAR SLAM)技术不存在尺度漂移的问题,可以获得精确的位移估计。此外,激光雷达也常被用于障碍物检测以及匹配定位技术当中。近年来,随着传感硬件的发展,激光雷达的体积、重量、成本都有所减小,越来越多地被用于车载定位。相机和激光雷达在传感器特性上的区别如表4所示。

表4 相机与激光雷达的互补特性Tab.4 Complementarity characteristics of camera and LiDAR

为了适应激光雷达的技术特点,在LiDAR SLAM前端,算法需要对激光雷达点云数据进行统一的预处理,其流程如图2所示。

图2 激光雷达预处理流程Fig.2 Data preprocessing of LiDAR

在实际应用中,需要按照激光雷达的种类选择合适的算法。按照获取点云信息维度上的区别,激光雷达可以分为2D LiDAR与3D LiDAR,纯激光SLAM方案也可以分为2D和3D的方案,其代表性算法如表5所示。

表5 LiDAR SLAM代表算法Tab.5 Representative algorithm of LiDAR SLAM

相较于2D LiDAR SLAM,3D LiDAR SLAM更适用于室外大尺度的复杂场景,但是其数据量和计算量更大,空间特征匹配也更复杂。由于激光点云无序、稀疏、纹理信息较弱等特点,激光SLAM需要对点云特征进行有效的提取,从而获取高精度的几何约束信息。在这一点上,现有的LiDAR SLAM系统仍有很大的改进空间。此外,智能驾驶场景中存在大量的动态物体(车辆、行人等),这对于传统LiDAR SLAM的精度和稳定性会产生一定的影响。近年来,基于深度学习的物体检测技术和多目标跟踪技术被用于LiDAR SLAM,对周围运动物体和自身车辆进行联合估计,以获得高精度和高鲁棒性的位姿估计结果[50]。

目前常用的激光雷达传感器依照结构上的区别可分为机械激光雷达和固态激光雷达。相比于机械雷达,固态激光雷达具有可靠性高、寿命长、成本低、体积小、功耗低等优势,这使得固态激光雷达成为未来自动驾驶系统中的关键传感器之一。大疆、Ouster等公司发布了多款高效商用固态激光雷达,一些学者提出了相应的固态激光雷达SLAM算法,如LiLi-OM[51]、LOAM-Livox[52]。

1.4 惯性导航系统

惯性导航系统由惯性测量单元(inertial measure-ment unit,IMU)与惯性导航算法两部分组成。IMU能够提供高频的载体运动信息,有效填补GNSS、视觉、LiDAR等传感器量测空缺,目前被广泛应用于机器人与车载导航等领域当中。IMU能够输出内置的三轴陀螺仪与加速度计量测信息,通过机械编排[9,53-55]在已知载体初始状态的前提下进行位姿的递推。目前常用的惯导系统包括平台式惯导(gimbaled INS,GINS)与捷联式惯导(strap-down INS,SINS)。捷联式惯导在体积和成本上更具优势,因此消费级车载导航系统更多使用捷联式惯导。本文中惯导代指捷联式惯导。

惯性器件存在不同种类的误差源,主要包括零偏偏差、比例因子误差、交叉耦合误差以及随机噪声等。其中零偏误差是惯导的关键指标,不同级别惯导零偏差别极大,稳定性也各不相同。按照惯导的零偏的水平,可以将其按精度由高到低分为战略级(strategic grade)、导航级(navigation grade)、战术级(tactical gra-de)以及微机械级(micro-electro-mechanical system, MEMS)4类。惯导精度等级越高,其在纯惯导递推时抵抗位置发散的能力越强,其成本也越高昂。因此战略级与导航级惯导一般用于军事、航海航空等高精度定位领域,而精度相对较低的战术级与微机械级惯导则更多地用于车载定位中。

由于上电启动时惯导坐标系三轴指向没有确定方位,因此需要进行初始对准以确定坐标系指向。智能驾驶中常用的战术级与微机械级惯导的初始对准主要包括静基座与动基座两种方法[53-54]。

在车载定位系统中,由于递推误差的快速积累,使用纯惯性导航技术难以完成导航定位工作。然而,在多源融合算法中,惯性导航系统往往被视为算法的核心。这是因为IMU可以提供连续高频的量测信息。惯性导航系统可以与GNSS、轮速计等传感器结合组成POS系统(positioning and orientation system),从而提供更为可靠的位置、方向和速度信息,降低在短时期内面临 GNSS 信号挑战时的风险。即使面临频繁的短时信号中断,POS系统仍然可以提供高精度的位置定位结果。此外,与视觉、LiDAR、高精度地图等具有环境感知功能的传感器结合,可以利用感知技术获取的特征、结构以及语义信息实现感知增强定位,避免长时间处于拒止环境中导致定位结果退化,并能够辅助恢复视觉尺度和补偿点云运动畸变。

1.5 高精度地图

高精度地图一般是指由静态图层、语义图层、定位图层以及动态图层所组合成的复合图层地图。在隧道与林荫等场景下,SLAM技术不可避免地存在误差累积的情况,系统的定位精度不足以满足在城市环境中的高精度定位需要,此时可以利用离线构建的高精度地图,通过检测相关环境信息,如交通灯和交通标志,对定位结果进行增强,实现定位和建图的解耦[58]。高精度地图与传统地图的区别如表6所示。

表6 高精度地图与传统地图区别Tab.6 Differences between high definition maps and traditional maps

结合基于视觉与LiDAR传感器提取的特征制作的先验高精度地图,能够在利用视觉、LiDAR方法进行匹配定位时削弱光照变化与极端天气等不利因素的影响[60-62]。利用高精度地图提供的环境信息,使用感知类型传感器以及基于特征(feature-based)或外观(appearance-based)方法进行定位的大致流程如图3所示[12]。其中,数据关联指将传感器获取的数据与地图数据相关联,位置估计指利用滤波或因子图优化方法进行解算。

图3 高精地图相对定位流程Fig.3 Relative positioning process with HD map

1.6 轮速计与运动约束

对于汽车等轮式机器的导航定位来说,轮速计是一种能够提供连续速度信息的理想辅助传感器[63]。通过获取单位时间内车轮转速,在已知车轮半径的前提下,轮速计可以得到车轮前进方向的速度,从而在定位算法中提供量测进行约束。

车载场景下,除了直接利用轮速计提供的量测进行约束以外,通过判断车体运动模式,进行车体运动约束(vehicle motion constraint,VMC)的方法也能够有效抑制误差漂移[64]。例如,当车体处于静止状态时,由于速度、角速度以及加速度等与载体状态变化相关的速度量在理想状态下均为零,可以采用零速修正(zero velocity update,ZUPT)与零角速度修正(zero angular rate update,ZAUPT)[13]的方式进行约束。当处于运动状态时,由于大多数情况下车体进行直线行驶,车体坐标系下其侧向与法向速度可视为零,非完整性约束(non-holonomic constraint,NHC)[65]能够采用上述特性对车体二维速度提供约束。

2 多源数据融合

考虑到各种传感器的不同特点以及互补特性,对多源传感器数据进行融合可以有效地克服单一传感器的局限性,提升导航定位效果。本章将重点关注多源数据融合方法,首先提出基于不同融合方法的多源融合定位模型,在此基础上对相关传感器融合代表算法以及各类算法特点进行总结。

2.1 状态估计

多源融合算法决定了不同传感器间的信息利用和融合方式,直接影响到融合定位的结果质量。当前主流融合算法估计器以贝叶斯滤波与因子图优化为代表,下文将对两种方法展开介绍。

2.1.1 滤波

在传感器融合中,由于位置、速度、姿态、零偏的估计以及特征检测并不满足线性条件,目前在多源融合滤波中使用最多的算法是非线性的扩展卡尔曼滤波(extended Kalman filter,EKF)[66]、无迹卡尔曼滤波[67](unscented Kalman filter,UKF)、粒子滤波(particle filter,PF)[68]等贝叶斯滤波形式。其中,EKF采用线性化的方式将非线性系统近似为线性系统。UKF与PF不存在线性化的过程,而是选择采用一组随机样本(粒子),利用样本均值代替积分运算的方式来处理非线性问题。相较EKF而言,UKF与PF能够达到更高的精度,但考虑采样过程的UKF与PF具有更大的运算成本[69]。当传感器噪声满足或近似于高斯分布且传感器模型非线性程度不强时,采用易于使用的EKF的方法能够在确保计算效率的情况下满足智能驾驶服务的精度需求。

以EKF方法为例,基于式(3)所示的状态空间模型与量测模型,其滤波过程由时间更新与量测更新两部分组成,如图4所示。其中,X为状态量,Z为观测量,φ为状态转移矩阵,W为系统噪声,V为量测噪声,Γ为噪声分配矩阵,P为协方差阵,Q为过程噪声方差阵,R为量测噪声方差阵,k为增益矩阵,H为观测系数阵。

图4 多源融合EKF流程Fig.4 EKF process of multi-sensor fusion

(3)

基于滤波的多源融合方法一般以惯导作为主滤波器,状态向量包括三维的姿态、速度、位置以及加速度计与陀螺零偏,如式(4)所示,其中δθ为失准角向量、δv为速度误差向量、δp为位置误差向量、δba为加速度计零偏误差向量、δbg为陀螺仪零偏误差向量。其他传感器相关状态向量需要合并至惯导状态向量中进行时间更新,获取的原始观测数据通过量测方程的形式加入量测更新过程当中,如式(5)、式(6)所示。

XINS=[δθδvδpδbaδbg]T

(4)

X=[XINSXGNSSXVisionXLiDAR…]T

(5)

Z=[ZINSZGNSSZVision
ZLiDARZConstraint…]T

(6)

现有的多源融合定位滤波模型大多建立在GNSS/INS组合导航的基础上,通过加入相机、激光雷达等环境感知传感器进行增强。感知传感器技术为高精度定位赋予了环境信息,对于城市峡谷、隧道以及林荫道等GNSS信号遮蔽严重的场景,通过环境感知提供的特征、结构以及语义信息可以增强定位,避免长时间处于拒止环境中导致定位结果退化。由此所建立的多源融合滤波基本框架如图5所示。

图5 基于滤波、以IMU为中心的多传感器融合框架Fig.5 Filtering based and IMU-centric multi-sensor fusion framework

2.1.2 因子图优化

因子图优化方法在近年来表现出巨大潜力[70-72],该方法采用由因子节点(factor)与变量节点(variable)以及相连接的边所组成的因子图表达优化问题,以联合概率密度最大化来解决优化问题。在多源融合定位中,为了将相机与激光雷达等传感器量测帧间的IMU数据整合,需要通过IMU的预积分使位姿解耦,避免重复积分,提高优化效率[73]。GNSS、相机、雷达等传感器作为观测因子加入系统中进行联合优化,如式(7)。

(7)

得益于多次迭代与迭代过程中的线性化以及对历史信息的充分利用,基于因子图优化的方法理论精度比滤波方法更优,但是其对于内存的使用和计算量也相应地增加。在一些应用中,为了平衡算法的精度与效率,可以选择采用基于滑动窗口的边缘化方法。通过消去旧的变量,维护新的变量,在合适的窗口尺度下将算法的计算负担控制在一定的范围内[74]。采用滑动窗口的多源融合因子图优化模型如图6所示。

图6 基于滑窗的因子图优化多源融合示意图Fig.6 Diagram of multi-sensor fusion based on factor graph optimization utilizing sliding window

相比于传统的EKF方案,紧组合的因子图优化方案在一定条件下经验证具有更优的解算精度与鲁棒性[14]。图7展示了经典的GNSS/IMU/Camera/LiDAR等多源融合因子图优化框架。

图7 多源融合因子图优化框架Fig.7 Multi-sensor fusion framework based on factor graph optimization

虽然因子图优化在理论上相对于滤波方法具有更高的精度优势,但在实时车载导航定位中应用并不广泛。主要原因是其受限于大量的历史信息与多次迭代带来的计算负担,需要充足的硬件算力支持,在实时应用中具有一定的困难。尤其是在进行多源融合时,多种传感器测量信息的处理进一步加重了算力负担。然而,精度和扩展性上的优势决定了它在智能驾驶领域具有广阔的应用前景。近年来,在智能驾驶领域,以百度Apollo为代表的无人车研究项目已经开始尝试采用基于因子图优化的框架[75]。

2.2 多源融合算法

智能驾驶中的多源融合定位建立在组合导航的基础上,在智能驾驶导航定位组合当中,结合异构传感器的不同特性有助于提升整体系统对于不同环境的适应能力。在传统应用中,由于GNSS的绝对定位以及INS的位姿推算能力,基于GNSS/INS的POS系统是应用最为广泛的二者组合方案,能够在室外开阔环境下满足智能驾驶的车道级服务需求,进行高精度的定位定姿,并且能够抵抗短时间的GNSS信号中断[67-68]。除了基本的固定单天线GNSS/INS配置外,基于多天线乃至移动天线的POS系统也得到广泛研究,并被验证能够达到更加精确的定位定姿效果[78-80]。Li等人利用轮速计进行量测并辅助车体运动约束,进一步提出了PPP-RTK/INS/Odometer紧组合滤波模型,并在多场景下验证了其定位定姿精度与稳定性的提升[13]。

对于GNSS长时间信号失锁的环境,智能驾驶可以通过搭载的传感器感知环境特征来估计自身的位姿信息,以实现对单一定位方式的补充,避免定位结果退化。感知融合定位中常用的传感器包括相机、LiDAR等。GNSS/INS/Vision(GIV)、GNSS/INS/LiDAR(GIL)、GNSS/INS/Vision/LiDAR(GIVL)也成为智能驾驶中最常用的算法。下文将从以上算法出发介绍多源异构信息融合(multi-source and heterogeneous information fusion,MSHIF)算法在智能驾驶中的发展。

2.2.1 GNSS/INS/Vision融合算法

得益于成本相对较低以及能够获取语义信息的优势,视觉通常是进行感知融合定位的首选方案。在GIV融合算法发展初期,利用松组合的滤波与因子图优化算法占据主流。Chu等人利用滤波方法,结合GPS差分伪距观测值恢复了相机帧间尺度信息,完成了GIV三者的松组合,但该方法在GNSS拒止环境下可用性不强[81]。利用矩阵的稀疏性,Indelman等人利用因子图优化方法,实现了不同传感器的即插即用[82]。松组合算法实现简单,可以从结果层面上实现抵抗单一传感器退化的目标。但由于松组合对信息利用并不充分,没有深入挖掘异构传感器间原始信息的耦合关系,因此整个系统鲁棒性较弱;在单一传感器位置解算失败时,系统会退化到二者组合甚至单一传感器定位方案。在松组合GIV算法的许多研究中,GNSS主要用来提供绝对坐标,削弱INS递推发散以及恢复相机帧间尺度信息,但在进行定位时仅应用了伪距定位的结果,没有充分利用更高精度载波相位观测。由于视觉特征点法更适合全局匹配与回环检测,采用直接法进行多源融合的算法方案较少。Wang等人在GIV因子图优化算法中采用了直接法的视觉方案,并辅以磁力计量测信息,效果比VINS(visual-inertial navigation system)算法更优[83]。

随着紧组合研究的不断开展,如何进行原始观测值层面的耦合成为研究重点。在紧组合算法中,GNSS由于具有多种观测信息与定位模式,融合RTK/INS/Vision、PPP/INS/Vision、PPP-RTK/INS/Vision的GIV紧组合算法也先后被提出。利用半紧组合,Wang等人在带滑窗的因子图优化框架下利用半紧组合结合多系统GNSS的PPP方法与S-VINS(stereo VINS)方法,提升了系统在GNSS拒止环境下的表现[84]。Liao等人利用伪距、相位、多普勒多种GNSS观测实现了紧组合的GIV滤波,将VIO模型从局部框架转换到全球框架,利用差分GNSS在拒止环境下实现了米级定位[85]。Zhu等人提出利用先验特征图的方式辅助GIV紧组合的算法,实现了城市环境下厘米级的定位[86]。Cao等人采用紧组合的方式,将GNSS伪距、多普勒与视觉约束、惯性约束结合到紧组合的因子图优化框架中,仅使用一颗卫星量测信息也能对系统提供增益[71]。

由于相位整周模糊度具有整数特性,考虑相位模糊度固定的GNSS定位方案能够提供更高的精度。文献[87]与[88]在考虑模糊度固定的情况下实现了RTK、PPP、PPP-RTK方法的GIV三者滤波紧组合,并在GNSS挑战环境中得到了效果验证。图8与图9分别展示了RTK/PPP与PPP-RTK结合INS与视觉的融合方案测试结果。图8(a)为设备图,图8(b)为GNSS挑战环境场景,图8(c)表示GNSS挑战场景下的GIV融合定位方案结果,其中VINS-Fusion(RTK)与VINS-Fusion(PPP)代表VINS松耦合RTK或者PPP的结果。可以看出,由于严重的信号中断,基于RTK与PPP的VINS-Fusion都偏离了参考值。相比之下,采用RTK或PPP模型的GIV三者紧组合系统可以有效抑制位置发散,相应轨迹能够得到更好的约束并且更加平滑。图9(a)为设备图,图9(b)为典型场景,图9(c)为PPP-RTK/INS/Vision融合定位方案结果。PPP-RTK可以在卫星观测充足的情况下实现厘米级定位。其他传感器的加入进一步提高了定位性能,减少了定位序列中由于模糊度固定失败产生的异常值。在图9(c)中阴影部分所代表的城市地区卫星数急剧下降的典型情况下,PPP-RTK定位误差发散可达数米。在战术级IMU辅助下,定位仍能达到厘米级精度。然而,MEMS-IMU由于高噪声与零偏不稳定性致使改进有限。但通过将视觉信息加入PPP-RTK/MEMS系统后,在准确性与可靠性方面都达到了PPP-RTK与战术级IMU组合相同的水平。

图8 RTK与PPP方案下融合定位误差序列[87]Fig.8 Position error of fusion scheme integrated with RTK and PPP[87]

图9 PPP-RTK方案下融合方案不同尺度定位误差序列[88]Fig.9 Position error of fusion scheme integrated with PPP-RTK[88]

基于GIV融合代表性成果如表7所示。在表中,仅在GNSS、INS、视觉均采用原始观测值进行融合时,才将该方法视为紧组合方法。其中P指伪距,L指相位,D指多普勒观测值,AR指模糊度固定,LC,TC,STC分别指松组合、紧组合与半紧组合。由于松组合算法只利用了GNSS单独解算的位置、速度信息,表中对应部分以“/”代表GNSS单独解算结果。

表7 GNSS/INS/Vision融合算法代表性成果Tab.7 Representative results of GNSS/INS/Vision fusion algorithm

2.2.2 GNSS/INS/LiDAR融合算法

由于LiDAR的精确测距能力,其能够获得较高精度的位姿推算以及环境三维重建结果,对于智能车辆应用来说具有较强的实用性。在大尺度场景下,结合了GNSS/INS/LiDAR三种传感器的GIL算法得到广泛研究。受LiDAR硬件发展的影响,GIL算法早期以融合2D LiDAR为主,Soloviev在2008年较早地提出了GIL的紧组合滤波方案,在城市环境中实现了厘米级的轨迹重建[89]。利用松组合形式,Gao等人采用创新的扫描匹配算法提升了GPS/INS/LiDAR组合的精度与稳定性[90]。随着3D LiDAR的普及应用,融合3D LiDAR的GIL算法成为主流。Chiang等人利用3D LiDAR,提出了一种INS/GNSS/Refresh-SLAM算法,实现了车道级定位,但只涉及了平面速度[91]。Shan等人提出了基于因子图优化的LIO-SAM(LiDAR inertial odometry with smoothing and mapping)框架,通过可选的GPS因子纠正INS/LiDAR组合结果的发散[70]。在GIL的质量控制方面,Wang等人利用3D-LiDAR辅助GNSS/INS组合,在故障检测、定位性能与完好性评估均得到了提升[92]。

由于LiDAR数据量巨大,在GIL紧组合的应用中,虽然融合算法精度进一步提升[93],但数据处理压力对整个定位系统的实时性带来了挑战。文献[94]使用GNSS的RTK方法与INS与LiDAR进行融合,提高了GNSS挑战环境下RTK固定率与稳定性,但由于LiDAR数据量大的影响,RTK结果输出延迟。Li等人提出了一种PPP/INS/PF(plane feature)-LiDAR算法,首次将GNSS伪距以及载波相位量测、MEMS-IMU数据以及LiDAR平面特征紧组合在滤波框架当中并实现了实时应用,增强了GIL算法的应用能力[77],文献中对比了PF-LiDAR与PLAP(point to line and plane)-LiDAR等方法在融合中的表现,其中GNSS挑战环境下的测试结果如图10所示,其中图10(a)为设备图,图10(b)为典型场景,图10(c)、图10(d)和图10(e)分别为定位、测速、定姿结果。由定位误差序列图可以发现,所有方案垂直精度都低于水平精度,主要原因是GNSS与LiDAR在垂直方向的可观测性较弱。与PPP/INS/PF-LiDAR松组合类似,PPP/INS紧组合积分存在明显的位置发散。通过与LiDAR进行紧组合,定位结果更加平滑,整体精度也提升了一个量级,其中PPP/INS/PF-LiDAR相比PPP/INS/PLAP-LiDAR精度进一步提高。不同方法激光雷达部分的平均运行时长如表8所示。基于GIL的融合算法代表性成果总结如表9所示。

图10 GNSS挑战环境下GIV紧组合算法测试结果[77]Fig.10 Test results of GIV tight integration algorithm under GNSS challenge environment[77]

表8 激光雷达部分平均处理时间[77]Tab.8 Average processing time in LiDAR part[77]

表9 GNSS/INS/LiDAR融合算法代表性成果Tab.9 Representative results of GNSS/INS/LiDAR fusion algorithm

2.2.3 GNSS/INS/Vision/LiDAR融合算法

GNSS/INS/Vision/LiDAR四者融合基本上建立在上述三者融合方案之上,属于较为综合的组合导航方案。由于涉及传感器种类多,系统设计相对复杂,目前文献中关于四者融合的算法研究较少,已有的代表性成果如表10所示。

表10 GNSS/INS/Vision/LiDAR融合算法代表性成果Tab.10 Representative results of GNSS/INS/Vision/LiDAR fusion algorithm

对于因子图优化的方法来说,四者融合的计算负担较重。利用GNSS单独解算提供的绝对位置进行约束是较为可行的方法。Wang等人在基于因子图的紧组合双目视觉/惯性/激光雷达SLAM的基础上,利用GNSS(PPP/RTK)提供的绝对位置信息,实现了一种解耦合的多传感器融合定位算法[95]。Lee等人基于MSCKF提出了MINS方法,实现了GIVL四者组合,并通过了实时测试[96]。Li等人通过滤波方法在原始观测值层面上对GNSS/INS/Vision/LiDAR进行了紧组合,充分利用了异构传感器信息,对传感器退化具有自然的鲁棒性[97]。文献[97]分析了四者紧组合相较三者与二者组合在多场景下的定位性能提升,其定位效果如图11所示,图11(a)为设备图,图11(b)为典型场景,图11(c)、图11(d)和图11(e)分别为定位、测速、定姿结果。可以看出四者融合的方法在GNSS拒止环境下具有最优的综合定位、测速与定姿性能,这些提升主要来自鲁棒的视觉与激光雷达提供的3D环境特征,尤其是在长隧道的环境下表现出了更强的抑制定位结果发散的能力,如图12。图12(a)为长隧道典型场景,图12(b)为不同算法在长隧道场景下的定位结果。然而该方法带来了巨大的运算资源负担。如何实现GIVL紧组合算法的实时应用,将是未来的研究重点。

图11 GNSS挑战环境下GIVL紧组合算法测试结果[97]Fig.11 Test results of GIVL tight integration algorithm under GNSS challenged environment[97]

图12 长隧道环境下不同算法鲁棒性对比[97]Fig.12 Robustness comparison of different algorithms in long tunnel environment[97]

2.3 挑战与机遇

2.3.1 挑战

近年来,关于多源融合定位的系统实现以及性能评估已经有了较多的研究,其结果表明,对于智能驾驶而言,多源融合技术大幅提高了定位系统的精度与鲁棒性。但对于进一步实现实时与泛在的智能驾驶而言,多源融合技术仍面临着如下挑战:

1)在半开阔以及GNSS拒止等极端场景下,现有的多源融合算法定位性能仍有所欠缺。由于极端环境下往往面临严重的多径效应、NLOS以及特征退化等影响,单一传感器定位性能退化严重,相互之间增益有限。例如文献[97]在长隧道中,仅能实现米级定位。对于车位级甚至未来更高精度的定位需求而言,当前的多源融合算法难以满足需要。

2)融合传感器数目以及种类的增加对定位模块带来沉重负担。对于多源融合算法而言,尽管传感器冗余能够提供更高的定位精度,但却增加了算力负担。对于算力有限的智能驾驶平台而言,定位模块的算力压力不仅影响到定位服务性能,而且可能为评估、规划与决策等其他模块带来风险。

3)高精度传感器价格昂贵,制作鲁棒的高精度消费级多源融合定位平台具有挑战性。高精度传感器具有更高的精度与稳定性,但却价格高昂。除了硬件本身的成本,还需要考虑相应定位服务的成本,例如RTK技术需要相应厂商的基站配合提供高精度定位服务。

2.3.2 机遇

近年来,随着导航定位应用领域的进一步拓宽以及制造业技术的进一步发展,定位算法与传感器硬件都开始展现出新的发展趋势,为智能驾驶的定位性能提供了新的机遇:

1)多车协同与多源同构等算法得到广泛关注[88-89]。多车协同定位算法优化了集群智能体的定位性能。随着智能网联车的应用,多车协同的定位算法得到推广,对于未来基于V2V(vehicle to vehicle)的集群智能驾驶应用来说具有重要意义。多源同构进一步提升了多源融合定位的精度与鲁棒性。除了本文所详细讨论的多源异构定位之外,多源同构定位方法也得到了广泛研究。多天线、多IMU定位等多源同构定位方案在现有的研究中展现出巨大的应用前景。

2)传感器技术的快速进步。高精度定位需求的上升推动了传感器需求爆发式增长,传感器制造能力与应用也迎来了技术性突破。例如,多频多星座系统与低轨卫星增强、MEMS IMU性能进一步提升、事件相机与4D雷达技术的发展以及相关传感器成本的下降,都为高精度智能驾驶提供了更大的发展空间。

3 结论

本文介绍了智能驾驶中常用的传感器技术,分别阐述了目前采用GNSS、视觉、LiDAR、INS等技术的定位方法与发展现状。由于没有任何一种单一的传感器可以满足城市多种复杂环境下的高精度定位,本文从弥补单一技术缺陷的角度出发,进一步总结了基于滤波与因子图优化的多源融合定位框架,并介绍了GIV、GIL与GIVL融合方式的代表性成果。结果表明,多源融合的定位方法大幅提升了智能驾驶定位模块的精度与鲁棒性。

然而,目前智能驾驶的多源融合定位方法仍面临一些挑战,例如在极端场景下的定位性能退化、多源数据严重影响定位模块的实时性、多源传感器平台搭建成本高昂。同时,导航定位应用领域的进一步拓宽及硬件制造能力的提升为智能驾驶的多源融合方案提供了新的机遇。多机协同、多源同构等方向的研究将会进一步提升智能驾驶的定位性能,传感器的革新会加速上述技术的应用。