GNSS/VO组合导航研究现状及发展趋势

曾庆喜，邱文旗，冯玉朋，刘德辉，贾丰源

(1.南京航空航天大学 自动化学院，南京 210016；2.汽车仿真与控制国家重点实验室，长春 130012；3.奇瑞汽车股份有限公司 前瞻技术研究院，安徽 芜湖 241009)

0 引言

精确的导航技术是无人驾驶车辆的核心技术之一。为满足车辆厘米级的定位要求，多传感器融合技术与单一传感器相比具有时空覆盖范围广、导航信息精确度和可靠性高等优点。目前常用组合导航系统是全球卫星导航系统(global navigation satellite system，GNSS)及惯性导航系统(inertial navigation system，INS)的组合导航系统，但是要达到无人车的定位精度，需要使用高成本的INS；文献[1]采用轮式里程计取代INS与GNSS组合，但是通常会由于车轮打滑、抱死等原因导致系统误差迅速增大；目前无人车都装有摄像头，且摄像头价格便宜，能够提供高分辨率的定位信息，操作要求较低，易与目标跟踪、地图构建、避障等功能进行融合：所以近些年出现了采用视觉里程计取代INS与GNSS组合的导航方法。

1 全球导航卫星系统

全球卫星导航系统(global navigation satellite system，GNSS)包括美国的全球定位系统(global positioning system，GPS)、俄罗斯的格洛纳斯卫星导航系统(global navigation satellite system，GLONASS)、欧洲的伽利略卫星导航系统(Galileo navigation satellite system，Galileo)，以及中国的北斗卫星导航系统(BeiDou navigation satellite system，BDS)，是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统[2]。GNSS系统由卫星星座、地面监测系统、GNSS接收机3部分组成。地面GNSS接收机通过接收和解算卫星播发的无线电导航定位信号就可以获得导航定位信息。由于GNSS系统属于无线电导航系统；即使现代的GNSS接收机也只有在对卫星直接可见(line of sight，LOS)的条件下才可以实现高精度定位[3]。潮湿的树叶、森林、高山或者建筑物都可能导致导航信息暂时丢失[4]。又由于水面、山的侧面、墙体等造成多路径接收；用户接收机同样也无法识别，并可能导致相当大的误差。装有GNSS的智能车辆大部分是在密集的城市环境中使用，在这种情况下，无线电导航信号可能与几个障碍物相互作用后再传播到达GNSS接收机。所以GNSS接收机接收到的信号可能是直接信号和几个非视距(non line of sight，NLOS)延迟信号的总和，从而导致定位准确性严重下降，甚至会使卫星信号短暂消失；因而单独的GNSS接收机并不能满足智能车在复杂的城市环境中的定位要求。

2 视觉里程计

视觉里程计(visual odometry，VO)是将单个或多个摄像头在运动过程中采集的图像作为输入，并基于相机模型与视觉几何学模型等来估计车体旋转运动和平移运动的定位方法。按照VO所需的摄像机的个数，可将VO分为单目VO和立体VO。单目VO的缺点是缺乏尺度信息[5-6]，需要其他传感器的辅助[7-8]；双目VO的缺点是受双目VO基线的限制，无法运用于像微型无人机等微型机器的导航[9]。与轮式里程计很类似，轮式里程计通过累记轮子的转动来推算载体的位置方位，视觉里程计则通过累积估计相邻2帧图像间摄像机的运动来估计载体的位姿。与轮式里程计相比，它能够适应车轮打滑、车轮侧向移动、非平地运动等轮式里程计无法适应的场景。

经典的视觉里程计系统大多基于2帧计算框架，其模型如图1所示，双目视觉里程计需要在能够获取清晰图像的前提下，保证相邻2帧图像中具有足够的特征重叠区域，用来确保对载体运动估测的准确性。其工作流程如图2所示：一般包括特征的选择与关联，以及基于所获得的特征关联集合的帧间位姿估计；采用多帧图像信息的局部优化是视觉里程计系统的可选模块。视觉里程计所采用的摄像头不仅能够实现对载体的运动进行估计，还可以用于很多其他的应用，如目标跟踪、距离测定、地图构建[10-13]、避障等场景[14]。

图1 VO 2帧计算框架模型

图2 VO工作流程

3 GNSS/VO组合系统

3.1 GNSS/VO组合方式

参考GNSS/INS信号融合分类方法，现有基于GNSS的多传感器组合导航的信号组合方式可以分为3类，分别是松组合、紧组合、超紧组合。各种组合系统的优缺点如表1所示。根据目前相关文献检索，GNSS/VO现有的组合方式有松组合和紧组合。GNSS/VO松组合系统是使用独立分开的GNSS和VO模块，首先以不同的运算速率对载体的6个自由度信息(包括3个自由度载体旋转运动、3个自由度载体平移运动)，进行估计；然后再将各自输出的载体运动信息进行融合。GNSS/VO松组合系统的优点是没有改变GNSS和VO的系统结构，同时保持了 GNSS系统和VO系统各自的独立性，有利于对各个系统的独立优化；缺陷是当GNSS系统卫星数目低于4颗的情况下，组合系统失效。GNSS/VO紧组合系统继承了GNSS/VO松组合系统的优点，同样保持GNSS和VO系统的独立性，不同点在于GNSS/VO紧组合系统的输入数据不再是载体的位姿信息，而是较为原始的伪距、伪距率、载波相位数据；所以GNSS/VO紧组合系统能够在卫星数目低于4颗的情况下参与组合系统的定位。不论是GNSS/VO松组合系统还是GNSS/VO紧组合系统，绝大部分系统所使用的融合算法工具都是扩展卡尔曼滤波器(extended Kalman filter，EKF)。

表1 基于GNSS的组合导航系统信号融合方式及性能对比

3.2 GNSS/VO松组合系统

GNSS/VO松组合系统的结构和GNSS/INS松组合结构相似，是将GNSS输出的位姿信息与VO输出的位姿信息通过扩展卡尔曼滤波器进行组合。文献[15]于2006最早提出低成本GNSS/立体VO松组合系统，该系统充分利用了VO系统与低成本的GPS在估计误差方面具有互补的特点：即VO能够提供精确的局部一致的位姿信息，但是随着时间推移，位姿信息会发散；低成本的GPS接收机在良好的工作环境下，在北、南方向上的标准差在3 m左右，但在短期内会受到小的跳跃和漂移的影响。考虑到低成本GPS接收机对高度测量的不可靠性，将GPS接收机输出的南、北位置信息，以及航向信息与VO系统通过卡尔曼滤波器进行融合，用来校正视觉里程计的位置估计值。在该文中，位置信息用于校正位置状态，速度信息独立用于校正航向。当低成本GPS接收机至少有一个3维位置的定位时，使用位置信息校正系统位置状态；为了限制GPS关于速度测量的噪声对航向估计的影响，当车辆行驶速度不低于0.5 m/s时，速度信息才独立用于校正航向。此外，该系统又单独采用INS系统对载体的运动进行估计，以保证在VO系统失效的情况下，系统仍然能够对载体的运动状况进行估计，增加系统的可靠性。该文将GNSS/VO松组合搭载到如图3所示的平台小车上进行实验，采用环路闭合误差(起点和终点的距离与总的环性长度的比值)来评定各个系统的性能。实验表明，立体VO的性能优于轮式里程计的性能，GNSS/VO松组合系统的性能优于纯立体VO系统的性能。

图3 GNSS/VO组合系统搭载平台

文献[16]于2010年借鉴GNSS/INS组合导航系统模型，提出一种类似于GPS/INS松组合方式的GPS/VO组合导航系统，如图4所示。GNSS/VO松组合与GNSS/INS松组合结构相似，都是利用卡尔曼滤波器将GPS/VO系统进行组合，具有相同的状态量和量测量。文献[16]提到的系统不需要如平台的动态、地图匹配、特征跟踪、可视环路闭合、重力矢量或诸如惯性测量单元(inertial measurement unit，IMU)、磁罗盘等附加传感器这样的额外限制或假设。该文通过构造观测矩阵，对该观测矩阵的秩进行分析，从理论上证实了当加速度矢量不平行于速度矢量时，系统姿态完全可观测。该文利用基于控制变量法和数值模拟法对系统的可观测性进行实验验证，证明了当加速度矢量垂直于速度矢量时，系统姿态是完全可观测的。文献[17]又在文献[16]的基础上对尺度信息未知的单目视觉里程计系统进行了扩展研究，通过小型飞机采集的真实数据验证了系统误差可观测性分析的可靠性。文献[17]通过实验数据验证了在直线飞行和水平飞行的情况下，俯仰和偏航会立即向真正的值收敛；滚动很难估计，但在操作过程中会收敛。这种行为与GNSS/INS组合系统是互补的，在GNSS/INS组合导航系统中，滚动和俯仰是由重力向量所限制的，但是偏航必须通过操纵来观察。

图4 GPS/INS松组合系统与GPS/VO松组合系统对比

文献[18]旨在解决在GNSS/VO松组合系统中，由于相邻2帧图像中重叠区域的特征点较少导致视觉里程的位姿解算误差偏大，以及由于遮挡等原因导致的卫星只能间歇性给出定位的问题。在解决相邻2帧图像中重叠区域的特征点较少导致视觉里程的位姿解算误差偏大问题的时候，首先假设该文提出的像素噪声模型是准确的；其次假设运动中的偏差可以近似于该文中最初估计的偏差；最后建立改进的双目视觉里程计位姿估计模型。在解决卫星只能间歇性给出定位问题的时候，由于间歇性的GPS信息可能会延迟整个状态的可观测性，将局部测量量和全局测量量进行统一表示，把GNSS/VO松组合转化为非线性最小二乘问题来对载体的位姿信息作最优估计。该结构能够用来推断全局定位，并能从不准确的初始估计中恢复过来。该文通过小船在水面上的实验，验证了在相邻2帧图像中重叠区域的特征点较少情况下，改进的双目视觉里程计的精度是传统双目视觉里程计的5倍。该文通过小车在环形路面上行驶2 km范围内的实验，验证了该文中设计的GNSS/VO松组合系统仅仅只有6个卫星数据就能完成整个路段的全局定位；使用改进的视觉里程在平均位置误差方面有2倍的改进。

文献[19]采用的视觉里程计定位方法与以往的相对定位方法不同，该双目视觉里程计利用已知的简易基站点作为绝对坐标信息来完成智能车的绝对定位。其算法流程为：第一步完成左、右2台摄像机的标定；第二步通过如图5所示的基于尺度不变特征变换(scale invariant feature transformation，SIFT)的特征匹配，提取基站在左、右相机中的坐标；第三步求取相机相对基站的坐标。该文中指出，基站并不需要专门搭建，只要是具有可辨认的特征以及绝对坐标已知的物体，都可以作为基站。在该文中提到，单独的视觉里程计绝对定位是采用2个相同的分别率为960 个像素×720个像素的Logitech摄像头，安装基线的距离为1.2 m，摄像机的同步采样频率为1 Hz，测得8个点的绝对坐标值，得出平均误差在4 m左右。为了进一步提高智能车的定位精度，该文采用GNSS/VO松组合的方法。该GNSS/VO松组合方法与经典的将系统误差作为状态量的方法相比，相同点在于都是通过卡尔曼滤波器将2个独立系统融合，不同点在于GNSS/VO松组合系统的状态量是水平位置、水平角度、载体的行驶速度信息，观测量是VO输出的水平位置、左摄像头与道路边缘的距离、汽车行驶速度、相对于地图的偏航角信息、GNSS输出的水平位置信息。

图5 SIFT匹配算法流程

3.3 GNSS/VO紧组合系统

GNSS/VO紧组合系统采用载波相位或者伪距作为系统数据融合量，能够解决卫星数目低于4颗时导航卫星系统不能参与定位的问题。文献[9]旨在证明在城市、室内等GPS信号不太好的环境下将GPS与VO进行紧组合的可行性。当GPS卫星数目低于4颗的情况下，导航卫星系统不能给出定位结果，但仍可以用于辅助VO系统。尽管立体视觉里程计可以给出尺度信息，但是受到双摄像头间的基线长度约束；无法在诸如微型无人机等小平台上使用：所以该文中采用GPS的厘米级载波相位信息辅助单目视觉里程计获取尺度信息。单目VO系统在获取尺度信息之后，可以在卫星完全失效的情况下独立工作。如图6所示，在该文献介绍的GPS与VO互相融合的方法中，融合系统的输入量包括：已经获取尺度信息的单目VO输出的6个自由度信息、GPS给出的多普勒频移和载体的速度，以及INS输出的方向余弦矩阵(direction consine matrix，DCM)。由于系统的DCM随时间变化，使得GPS/VO组合系统为非线性系统。为了获得线性化的GPS/VO组合系统，该文献采用INS辅助获取DCM。该文献采用线性最小均方法(least mean square，LMS)对系统的位置改变向量、累计的时钟漂移进行估计。当接收机时钟已经被初始化并且相机的方向已知的情况下，组合导航系统完成定位解算只需要1颗卫星；对于校准的时钟和未知的方位，需要2颗卫星；如果时钟和方位都未知的情况下，就需要3颗卫星。该文将该系统在平台小车上进行试验，试验参数为：1)小车以2 m/s做直线运动；2)GPS的载波相位测量误差为5 mm；3)低成本INS的陀螺漂移为0.1 rad/s；4)视觉里程计的特征测量噪声为1个像素；5)系统的数据更新速率为1 Hz。试验结果表明该GPS/VO组合系统能够成功得到平台位置厘米级的变化量、平台的3 rad左右的航向角、单目视觉里程计的厘米级的尺度信息。

图6 卫星载波相位与视觉组合导航系统

文献[20]采用的GNSS/VO组合方法和GPS/INS紧组合系统相似，都是将位置误差、速度误差、姿态误差、接收机时钟误差、接收机时钟漂移作为状态量，GNSS与VO的伪距差、伪距率差作为观测值，对系统进行建模，并利用卡尔曼滤波器对状态量进行估计。该文的系统结构只包括低成本的GPS接收机和双目VO。该系统采用双层容错结构，对VO数据和GNSS数据进行检测，以增加系统的稳定性；但是一旦系统检测伪距出现故障，整个可见星的伪距都不可用。该方法解决了在松组合系统中卫星数目低于4颗不能参与定位的问题。该融合系统不仅能够兼容2个系统的数据更新率，而且能够兼容不同数据的有效时间。该文实现了数据更新的速率可达到200 Hz。实测数据在定位精度方面超过了型号为OxTS RT3003的INS与GPS组合系统。

4 结束语

为确保视觉里程计对载体运动估测的准确性，需要在能够获取清晰图像的前提下，保证相邻2帧图像中具有足够的特征重叠区域。单目视觉里程计存在尺度模糊的问题，需要具有厘米级精度的额外传感器对其进行辅助。双目视觉里程计由于受到基线长度的约束，不能运用于小型设备的定位导航。单独的卫星导航系统只有在卫星数目达到4颗或以上时才可以完成定位，不利于在城市中独立运行。GNSS/VO松组合系统在GNSS不能完成定位的情况下，VO系统可以独立运行，增加了定位系统的可靠性。GNSS/VO紧组合系统解决了当卫星数目低于4颗时不能参与定位的问题。但是目前的GNSS/VO组合方案基本上都是采用卡尔曼滤波器，并没有考虑到模型误差等对系统的影响；对GNSS故障性的检测机制中，一旦检测出伪距出现故障，整个卫星系统将不参与GNSS/VO组合系统的定位；没有考虑GNSS/VO组合系统的运算量以及运算速度问题。

参考GNSS/INS组合的发展特点以及GNSS/VO组合自身的特点，分析得出GNSS/VO组合系统未来会向如下几个方向发展：1)GNSS/VO组合导航系统向着超紧组合方向发展，将组合系统的输出数据反馈到接收机的跟踪环路，以提高GNSS信号的有效信噪比，改善GNSS接收机的性能；2)开展GNSS/VO组合导航系统的故障检测与隔离机制研究，以增加系统的可靠性；3)开展GNSS/VO组合系统在各个组合阶段的卡尔曼滤波算法改进研究，以改善组合系统的精度和稳定性；4)GNSS/VO组合系统采用并行的算法结构，以加快系统的运算速度。

[1] 甘雨，隋立芬，张清华，等.GNSS/里程计组合定位抗差估计法[J].测绘科学技术学报，2015，16(3)：252-255.

[2] 宁津生，姚宜斌，张小红.全球导航卫星系统发展综述[J].导航定位学报，2013，1(1)：3-8.

[3] RABAOUI A，VIANDIER N，DUFLOS E，et al.Dirichlet process mixtures for density estimation in dynamic nonlinear modeling：application to GPS positioning in urban canyons[J].IEEE Transactions on Signal Processing，2012，60(4)：1638-1655.

[4] 马云峰.MSINS/GPS组合导航系统及其数据融合技术研究[D].南京：东南大学，2006：4-10.

[5] AQEL M O A，MARHABAN M H，SARIPAN M I，et al.Adaptive-search template matching technique based on vehicle acceleration for monocular visual odometry system[J].IEEE Transactions on Electrical and Electronic Engineering，2016，11(6)：739-752.

[6] BERAN L，CHMELAR P，REJFEK L.Navigation of robotics platform using monocular visual odometry[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 25th International Conference on Radioelectronica.Pardubice：IEEE，2015：213-216.

[7] FU H，MA H，XIAO H.Real-time accurate crowd counting based on RGB-D information[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 19th International Conference on Image Processing.Florida：IEEE，2012：2685-2688.

[8] MING Y，RUAN Q，HAUPTMANN A G.Activity recognition from RGB-D camera with 3D local spatio-temporal features[C]// The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 19th International Conference on Multimedia and Expo.Melbourne：IEEE，2012：344-349.

[9] SOLOVIEV A，VENABLE D.Integration of GPS and vision measurements for navigation in GPS challenged environments[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 2010 Position Location and Navigation Symposium(PLANS).Indian Wells：IEEE，2010：826-833.

[10] TAO Z，BONNIFAIT P.Sequential data fusion of GNSS pseudoranges and dopplers with map-based vision systems[J].IEEE Transactions on Intelligent Vehicles，2017，1(3)：254-265.

[11] TAO Z，BONNIFAIT P，IBANEZ-GUZMAN J.Road-centered map-aided localization for driverless cars using single-frequency GNSS receivers[J].Journal of Field Robotics，2017，34(5)：1010-1033.

[12] TAO Z，BONNIFAIT P，FREMONT V，et al.Lane marking aided vehicle localization[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 16th International IEEE Conference on Intelligent Transportation Systems.The Hague Netherlands：IEEE，2013：1509-1515.

[13] TAO Z，BONNIFAIT P.Tightly coupling GPS with lane markings for autonomous vehicle navigation[C]// The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 17th International IEEE Conference on Intelligent Transportation Systems.Qingdao，China：IEEE，2014：439-444.

[14] 江燕华，熊光明，姜岩，等.智能车辆视觉里程计算法研究进展[J].兵工学报，2012，33(2)：214-220.

[15] AGRAWAL M，KONOLIGE K.Real-time localization in outdoor environments using stereo vision and inexpensive GPS[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 18th International Conference on Pattern Recognition.Hong Kong,China：IEEE，2006：1063-1068.

[16] DUSHA D，MEJIAS L.Attitude observability of a loosely-coupled GPS/visual odometry integrated navigation filter[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of 2010 International Conference on Robotics and Automation.Australia：IEEE，2010.

[17] DUSHA D，MEJIAS L.Error analysis and attitude observability of a monocular GPS/visual odometry integrated navigation filter[J].International Journal of Robotics Research，2012，31(6)：714-737.

[18] REHDER J，GUPTA K，NUSKE S，et al.Global pose estimation with limited GPS and long range visual odometry[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 17th International Conference on Methods & Models in Automation & Robotics(MMAR).Minnesota：IEEE，2012：627-633.

[19] 周莉.基于GNSS与视觉的道路检测与避障技术[D].成都：电子科技大学，2015：24-30.

[20] SCHREIBER M，KÖNIGSHOF H，HELLMUND A M，et al.Vehicle localization with tightly coupled GNSS and visual odometry[C]//The Institute of Electrical and Electronic Engineers(IEEE).Proceedings of the 2016 IEEE Intelligent Vehicles Symposium.Gothenburg：IEEE，2016：858-863.