卫星/惯性/视觉组合导航多源融合技术现状及发展

方文轩，丛佃伟

(1.信息工程大学 地理空间信息学院，河南 郑州 450001；2.中国人民解放军31636部队，云南 楚雄 675000；3.航天工程大学 航天信息学院，北京 101416)

0 引言

随着社会生产力的变革与提高，工业时代退出舞台，信息时代的曙光愈发耀眼。信息作为一种虚无与现实的矛盾结合体，正逐渐融入人类的生存与发展，已在各个领域大放异彩。各种信息技术得到蓬勃发展，其中多源信息融合技术因其活跃的发展与广泛的应用，研究热度居高不下。多源信息融合技术通过数字计算机对基于时间序列的多种(个)传感器的观测数据进行融合优化处理得到任务需求的信息[1]。这一解决问题的思路充分利用多传感器信息，与组合导航的发展趋势十分契合，将多源信息融合技术应用于组合导航得到越来越多的关注。

目前，国内外在组合导航系统的研究与应用上基本以惯性导航为主，辅以卫星导航、视觉导航系统以及车载里程计、雷达高度计、星光敏感器、地磁传感器等量测仪器。与单一信息收集渠道相比，组合导航收集多种(个)传感器的信息进行融合处理，得到的结果能够更好地满足预期需求。根据多源信息融合理论的划分，组合导航多传感器信息融合层级是位置级和属性级[2]，属于信息融合系统基础层级。组合导航要求系统能够自适应地接收和处理有效观测数据，并对导航信息进行融合，输出满足用户精度需求标准的位置、速度和姿态等导航信息；同时，组合导航系统需要具备一定的可靠性、鲁棒性以及较强的容错能力。

将多源信息融合技术与组合导航系统结合已经成为新的热点研究方向。因此，本文对面向卫星/惯性/视觉组合导航的多源信息融合技术进行研究、归纳，从组合导航系统、卡尔曼滤波与多源信息融合技术以及多源信息融合技术研究与应用趋势3个方面进行阐述。

1 卫星/惯性/视觉导航应用发展现状及融合优势

单一导航系统因存在各自的缺点而影响定位和导航等功能的正常使用，将不同导航系统的多种(个)传感器(至少2类及以上)汇集的信息和功能结合起来，形成综合性更强、协和超越、优势互补的组合导航系统，成为解决单一导航系统缺点的重要手段。目前，以卫星导航、惯性导航以及视觉导航为主要信息源的组合导航系统在舰船航行、飞行器着降、智能无人驾驶、室内定位导航、工业机器人以及精准农业等方面得到发展与应用。

1.1 卫星/惯性/视觉导航应用发展现状

卫星导航系统可为任意地球表面或近地空间的用户提供全天候位置、速度及时间信息，具有定位精度高、定位误差不随时间增长等特点。卫星导航已形成了以美国GPS系统和中国北斗三号系统为代表的卫星导航产业链，在民用领域如交通管理、目标定位、工程测量、气象预报和精准农业等方面广泛、良好、深刻地影响人们的日常生产、生活。目前，卫星导航系统正迈向统一、合作、开放与共享的发展道路[3]，致力于为广大用户提供更精确、更快速、更稳定、更连贯的导航定位服务[4]。

传统惯性导航系统将惯性元器件加速度计和陀螺仪安装在惯导平台或直接固连在载体上，通过导航计算机控制以数字形式采集惯性传感器输出的加速度和角速度信息，并进行数值积分运算(姿态更新算法、速度更新算法和位置更新算法)求解得到载体的姿态、速度和位置等导航参数。随着工业制造水平、电子技术及计算机技术的发展，高精度的激光陀螺惯性导航系统正在逐步取代平台式和捷联式惯导系统。MK39系列激光陀螺惯导系统[5]已列装多个国家的海军舰船平台。AN/WSN-7系列激光陀螺捷联式系统已经成为美国海军水面舰艇和常规潜艇的标准配置[6]。

视觉导航通过视觉传感器主动或被动捕获载体周围环境的视觉影像，利用计算机技术分析图像中的诸如色彩、边缘、形状和结构等特征信息，经过视觉算法处理得到相应的载体运动信息。随着图像捕捉、图像处理和高性能处理器等技术的大力发展，计算机视觉能够与不同传感器相结合，从多个角度生成视觉图像、抓捕图像特征、融合图像信息，解算载体运动、特征点位移等。视觉导航发展至今，分类广泛、各具特色、互有交叉。目前，主流视觉导航可以分为基于自然特征和基于人工特征的视觉导航。视觉传感器与图像处理技术的发展使得视觉导航能够提供与卫星和惯性导航精度相当、类型一致的导航信息，具备组合导航的基础条件；同时，视觉导航多样化的技术手段促进多源信息融合向更多领域发展。

1.2 卫星/惯性/视觉导航融合优势

卫星、惯性和视觉3种主要导航方式有各自的不足。卫星信号在复杂地形环境中易受遮挡和多路径效应影响；对于高动态场景的载体，卫星信号的载波相位易出现短暂失锁；此外，愈发复杂的电磁环境和部分带有敌意的欺骗(如某地区农业撒药无人机因信号干扰集体失控事件)易对卫星信号造成干扰。这些问题使得卫星导航在高楼、室内、丛林、峡谷、水下等区域以及部分高动态需求的军事应用中受到限制，不能充分发挥卫星导航的功用。惯性导航的积分推算方式使得其定位误差累积较快，不能长时间使用，使其系统精度的长期稳定性较差，需要辅以其他传感器修正输出的载体位姿信息。视觉导航面临着提取影像和图像特征时计算机运算量过大引起的实时性问题和对于自然场景(目标)的多样性、丰富性、动态性的适应问题。总之，卫星/惯性/视觉导航中的任一种或2种组合都无法完全满足用户对准确性、可靠性、抗干扰及鲁棒性的要求。基于卫星/惯性/视觉组合导航的多源信息融合技术能够综合各传感器的长处、互补不足，达到更好的导航性能，如表1所示。目前，常用的卫星/惯性/视觉组合导航多源融合处理框架如图1所示，是将惯性导航误差模型、初始对准、视觉标定、特征检测与匹配、多传感器导航算法、故障检测等形成联系，在内部进行信息融合，使得各导航系统之间相互取长补短，不仅能够修正惯导的误差累积量，也能够提升整体的精度和可靠性。

表1 3种导航方式及其组合系统优势比较Tab.1 Comparison of the advantages of three navigation methods and their combined systems

图1 卫星/惯性/视觉组合导航多源融合处理框架Fig.1 Multi-source fusion processing framework for satellite/inertial/visual integrated navigation

国内外对于卫星/惯性/视觉组合导航多源融合技术的研究与应用日益广泛。Kim等[7]提出了基于GPS/INS/视觉的直升机导航系统框架，创造性地提出了双目相机相互垂直方案，其前视摄影部分使用SIFT特征提取方法，实现4 Hz的处理频率，而下视摄影部分使用Harris角点检测算法，实现10 Hz的实时处理。Bell206直升机搭载实验表明，在模拟卫星信号不可用情况下，该系统依然能够实现2 m以内的位置估计误差。Mourikis等[8]提出了视觉辅助惯性导航系统，集成了惯性测量单元、GPS及摄像机。该系统利用视觉辅助惯性导航系统拍摄下方地面得到二维特征点，将其与地表实物三维特征建立关系，再通过扩展卡尔曼滤波器(Extended Kalman Filter,EKF)将2种类型的视觉特征观测与惯性单元测量紧密结合，以信息自适应和实时方式精确估计航天器与地球的相对位置、姿态和速度。测试结果表明，该系统的速度估计误差为0.16 m/s，着陆位置估计误差为6.4 m。美国德雷帕实验室联合麻省理工学院设计开发了结合惯性状态的平滑和映射评估系统(Smoothing and Mapping with Inertial State Estimation，SAMWISE)[9]。在2016年4月和11月的2次FLA里程碑事件中，SAMWISE分别实现模拟室内仓库环境时不到1%的位置误差和高达5.5 m/s的飞行速度以及模拟露天有障碍物环境时约3%的误差和高达20 m/s的飞行速度。在国内，李建军等[10]基于视觉图像辅助完成了深空探测器着降阶段的落点区域地形匹配，获得了探测器与落点的相对位置与姿态信息，并基于误差卡尔曼模型修正惯性导航结果的方法提高了导航精度的同时保证了实时性要求。李俊学等[11]着重研究了多传感器融合SLAM中具有代表性的VISLAM技术,该技术基于视觉传感器与惯性元器件的强烈互补性，通过松耦合和紧耦合2种多源融合方式以及卡尔曼滤波和光束法平差后端优化方法解决了VSLAM中存在的光照变化影响、图像模糊和目标特征较弱等问题，在移动机器人领域取得良好应用效果。李丰阳等[12]在研究无人机自主着降时分析总结了基于多源导航信息融合的发展趋势，提出了在利用多传感器观测量及几何关系融合的基础上，加入外界环境变化特征信息，使整个系统更加真实、有效的方法。

2 多源融合方法

目前，卫星/惯性/视觉组合导航多源融合技术在算法方面研究与应用的重点是卡尔曼滤波[13]。它是一种线性最小方差估计，采用状态空间法在时域内进行滤波，估计多维随机过程的时域滤波方法。该算法一经提出就在阿波罗登月飞船和C-5A飞机导航系统设计等[14]案例中得到成功应用。最初的卡尔曼滤波使用条件较为苛刻，主要受线性系统及白噪声要求的限制。在卡尔曼滤波基础上，研究人员提出了不同的改进算法以适应实际系统的真实状态，发展出了多样的信息融合技术。本节主要介绍基础卡尔曼滤波与常用信息融合技术。

2.1 标准卡尔曼滤波与信息滤波

在理想条件下，卡尔曼滤波算法采用状态空间法构建线性系统的状态方程与量测方程；同时统计系统噪声与量测噪声的白噪声特性，并通过数字计算进行实时递推，由系统每一时间刻度的观测量对系统状态作最优估计，其主要步骤如下：

① 状态一步预测：

(1)

② 一步预测均方误差阵：

(2)

③ 滤波增益：

(3)

④ 状态估计：

(4)

⑤ 状态估计均方误差阵：

Pk=(I-KkHk)Pk/k-1，

(5)

卡尔曼滤波的飞速发展与应用，使得多传感器信息融合理论与技术的研究也得到极大发展，其中就有与之密切相关的信息滤波技术。信息滤波基于从信息融合的角度探讨系统状态最优估计问题，具有卡尔曼滤波的基本结构[16]。由卡尔曼滤波基本方程可以得到以信息矩阵Ik表示的信息滤波公式为：

(6)

(7)

Ik/k-1=(I-Nk-1)Mk-1，

(8)

(9)

(10)

(11)

2.2 卡尔曼滤波发散问题

由式(2)可以看出，基本卡尔曼滤波对组合导航系统中噪声统计模型的要求是较为理想化的。但是，实际应用中当卡尔曼滤波计算增益矩阵时，若Φ，H，Q和R阵发生变化，不再满足最优估计条件，系统状态的估计将出现较大误差，使得增益矩阵计算错误，系统得不到准确调节，导致发散。目前，常用的抑制滤波发散的方法主要有衰减记忆滤波、限定记忆滤波和自适应滤波法。衰减记忆滤波和限定记忆滤波均是对新、旧时刻的观测数据进行处理，前者的解决思路是加强新信息在滤波算法中的作用，减少旧信息对滤波的影响，如孙陶莹等[18]针对水下SLAM融合数据受海洋背景噪声和水声传感器量测噪声影响导致关联复杂、精度低的问题，提出一种基于衰减记忆滤波的平方根无迹卡尔曼滤波PHD-SLAM方法，解决滤波发散问题；后者则是适时地放弃比较靠前的观测值，仅使用离k时刻最近的若干量测值；朱文超等[19]为解决扩展EKF无法实时、精确跟踪系统状态突变而导致整体鲁棒性较差的问题，提出一种基于限定记忆滤波的自适应扩展卡尔曼滤波算法，该算法减小旧量测数据对滤波效果的影响，提高估计精度；通过引入自适应因子与渐消因子来实时调节新旧滤波增益阵，并预测状态值，实现对系统突变状态的精确跟踪。

自适应滤波法抑制发散问题的思路是在滤波计算过程中，持续地利用预测修正值对系统模型参数和噪声统计特性进行估计和修正。在递推滤波过程中，由滤波本身去判断系统模型是否变化，若有变化，则将这种变化视为随机干扰加到噪声统计中去，并及时对噪声模型修正。如林雪原等[20]提出了一种改进的GNSS/SINS组合导航系统自适应滤波算法来解决GNSS/SINS组合导航系统中GNSS输出信息存在误差方差突变、误差方差缓变、硬故障和软故障的问题。在自适应滤波算法中，当系统噪声序列方差阵Qk和量测噪声序列方差阵Rk不可(准确)知时，可以利用观测信息对其估计和修正，也可以直接对增益矩阵K进行估计和修正，消除滤波误差。

2.3 模糊控制与神经网络

基于卡尔曼滤波的组合导航信息融合技术在解决实际应用问题时，总是存在着理想条件下系统模型精确度与现实中系统复杂的差异和变化的矛盾。近年来，随着信息处理、数据统计等领域的交流与融合，针对组合导航中卡尔曼滤波器发散、精度较低和降维等问题，研究人员基于模糊理论、神经网络等方法，研究出了智能多源信息融合技术，对组合导航系统模型、噪声模型及增益矩阵进行调整，在不损失状态估计精度的前提下，抑制滤波发散，增加系统鲁棒性。

2.3.1 模糊控制

“模糊”这一概念很早就出现于人们的认知中，比如今天天气有些冷，那么就加衣服；今天天气有些热，那么就减衣服。这里的冷和热是能够明显区分开的2个概念，但是它们之间又没有明确的区分界限。模糊概念就是将认知上分属于2个不同集合的事物、信息、状态和感知等进行部分交叉，这样就能够用计算机数字语言表达出重叠部分的含糊概念。因此，将此概念应用于组合导航系统状态估计中，区别于传统滤波方法一个输入对应着一个输出，模糊控制对输入的要求就显得不那么“精确”。实际上，模糊控制中的每一个输入都对应一个特定的输出，且这个值可以预测，所以模糊控制本身是不模糊的，它可以用来精确解决不精确、不完全信息融合问题。组合导航系统中，确定输入量、输出量和模糊规则是建立基于模糊控制滤波器的关键[21]，将精确的输入量转化为模糊变量，再结合设计好的模糊规则来计算模糊控制量，将其进行清晰化处理后得到精确的模糊输出量。

如吴贤宁等[22]在研究旋翼无人机自主着降过程中，因自身机械振动和复合风场环境等因素的干扰，无人机集群回收不够高效、准确、迅速等问题时，提出一种基于模糊控制和视觉导航的集群自主着降算法。通过模糊控制处理无人机与对应降落标识间的实际水平距离后，得到精准降落控制指令，最终实现无人机集群精准着降；戴卿等[23]为解决GNSS/SINS组合导航中因量测噪声统计特性的时变性导致载体长时间运行定位精度降低的问题，提出一种基于模糊推理的自适应拓展卡尔曼滤波算法，通过模糊控制线上调整量测噪声协方差，实现了滤波结果的最优估计。

2.3.2 神经网络

神经网络是近年来兴起的一个热点研究领域。神经网络借由仿生学模拟生物神经系统的神经单元，由许多可以并行运算的处理单元连接构成，单个神经元结构简单，功能有限，但是当大量神经元构成一个大规模、非线性、分布式、并行处理神经网络系统后，它可以分布式存储信息、协同处理信息，具有集体运算能力和自适应学习能力，具备较强的鲁棒性和容错性[24]。神经网络在控制系统中已经得到诸多研究与应用，但应用于多源信息融合组合导航系统状态估计方面的研究还不够深入。目前，比较有代表性的神经网络模型有多层感知器、多层BP网络、RBF网络、PPLN网络等[25]。神经网络的非线性特性非常适用于多源信息融合组合导航非线性系统的识别、预测、控制和估计等。组合导航系统状态估计滤波的本质是输入和输出之间的某种映射关系[26]，采用神经网络进行多源信息融合组合导航系统状态估计的思路是通过神经网络算法将多传感器的输入信息映射(滤波、线性与非线性变换)为系统输出的运动参数等状态信息。神经网络算法无需对组合导航系统数学建模，且能够很好地映射非线性特征，在特定条件下可以获得较高的参数估计精度。另外，神经网络计算稳定，不需要矩阵求逆和迭代逼近，计算时间明显少于常规算法，利于提高系统实时性。

目前，基于神经网络的多源信息融合技术应用于组合导航，主要解决惯导系统初始对准、组合导航状态估计以及多源信息融合容错评估、故障诊断等问题。如鲜勇等[27]应用BP神经网络解决弹道导弹捷联惯导系统初始对准问题，以SINS与GPS之间的量测位置偏差作为输入量，以初始对准误差作为输出量，分别采用3层和6层的BP神经网络建立位置偏差与初始对准误差之间的映射关系，生成BP神经网络结构，比较了三输入BP神经网络、六输入BP神经网络和卡尔曼滤波算法估计初始对准误差的效果。袁英等[28]在基于星光角距的自主天文导航系统研究中，为了克服传统滤波算法的缺陷，提出基于深度BP神经网络的智能信息融合算法，利用其强大的学习能力和非线性映射能力，实现对卫星轨道动力学模型的模拟，并结合观测值对轨道参数进行修正，为非标准多传感器信息融合问题提供智能化的解决方案。王超等[29]提出一种BP神经网络辅助的导航姿态估计误差补偿方法来解决SINS/GPS组合导航姿态估计精度不足问题，通过分解卡尔曼滤波的增益矩阵并构建其降维特征向量作为信息输入;然后，以姿态估计误差作为期望输出，对BP神经网络进行训练;最后，利用BP神经网络输出信息辅助修正SINS/GPS组合导航的姿态估计结果，在明显降低计算耗时的同时，姿态估计精度能够提高2个数量级。

3 多源信息融合层级结构

多源信息融合层级结构主要分为数据层、特征层及决策层融合[30]。目前，卫星/惯性/视觉组合导航多源信息融合技术的研究与应用无法明确地定义其融合层级，因为其中往往运用了不同层级结构信息融合之间的交叉互补与关联变化，不再是单层级的简单归纳[31-32]。下面简要介绍各层级的特性及其优缺点：

① 数据层融合处理较为常见的是各传感器单独采集到的数据与信息的处理[33](图2(a))，如视觉传感器中多源图像复合、图像分析与解释、特征检测与匹配等；卫星导航方面则是伪距、伪距率及载波相位信息的获取与分析；惯性测量单元输出的载体角运动与线运动的观测量。尽管数据层融合能够保持较为完整的原始数据，但其局限性也较为明显[34-35]：信息处理时间长、实时性差；对传感器采集的原始信息的准确性、稳定性和完全性要求较高；数据交流量巨大，致使系统整体抗干扰性较差。

(a) 数据层

② 在多种传感器融合处理组合导航信息时，涉及较多的就是信息的特征层融合(图2(b))。特征层数据融合预先提取了原始信息的特征并进行分析和整理，能够实现信息的压缩与去冗余，最大限度地为信息融合提供特征信息，优于数据层融合的性能。缺点是数据丢失容易引起准确性下降[36]。

③ 决策层融合(图2(c))是目前该领域研究的新方向、新热点，通过多个不同类型的传感器观测同一目标完成基本处理后关联进行决策融合判定[37]。该方式在组合导航应用中能够获得比单传感器更精确、清晰的决策[38]。优点主要有：对信息交流传输带宽要求较低，系统灵活性好；能够聚集目标与环境之间的不同类型信息；对一个或多个传感器融合具有较强容错能力，可以灵活调整融合策略；对传感器依赖较小，可以从不同类型的传感器获取丰富、多源的信息进行融合处理。但是由于目标和环境的高动态变化、先验信息的匮乏、数据量的巨大以及更为友好的面向对象的交互系统设计，决策层融合的理论与技术仍有很大的发展空间。

4 卫星/惯性/视觉组合导航多源融合技术研究扩展趋势

尽管多源信息融合技术在卫星/惯性/视觉组合导航方面的研究与应用已经取得令人满意的成功，但是随着越来越多应用场景的融合与交叉，以及信息时代多源信息之间多变的交流与革新，基于组合导航的多源信息融合技术依然存在一些难题以及值得深入、扩展的研究内容[39-40]：

① 多源信息融合层级方面，目前的融合应用多为数据层和特征层融合，前者通过提取不同传感器的数据解算结果进行融合处理，即直接融合不同导航系统解算得到的速度、位置和姿态等信息；后者更深入一步，通过提取不同传感器观测信息的原始特征，进行融合处理，形成信息的特征矢量说明。然而，这2个层级的信息效果都不及决策层，决策层信息融合更为复杂与深入，传感器采集信息与融合系统处理信息之间仍有扩展空间，因此对于决策层信息融合的研究还有待开展。

② 在融合方式方面，目前的多源信息融合多是阶段性应用，其目标较为单一。例如，在引导飞行器自主着降应用中，对使用人工特征的视觉导航进行融合，往往是在自主着降过程的最后一个环节，对全过程采集信息的利用率较低，而且视觉系统初始化耗时较长。另外,对于采用自然特征的视觉导航系统，有时外界因素会导致视觉图像需要重新连接、采集，视觉信息连贯性受到影响。因此，如何利用卫星导航和惯性导航信息辅助视觉导航快速恢复连续工作状态是未来研究的一个重点。

③ 目前的多源信息融合技术如模糊控制、神经网络等研究对象多为卫星/惯性组合导航，与视觉导航融合较少，即目前大部分融合研究的实质是在GNSS拒止情况下改为利用视觉导航信息辅助修正惯导输出的位姿精度，无法完全做到卫星、惯性和视觉三者融合[41]。然而，视觉导航捕获的信息的本质是某时刻成像载体与视觉特征之间的线元素与角元素的动态关系，这与卫星、惯性导航信息的数学特性截然不同，可以深入研究如何更好地利用其视觉元素的特征属性参与多源信息融合。

④ 目前，多源信息融合技术理论研究较为丰富，而组合导航中应用较多的是相对成熟的卡尔曼滤波相关算法[42]，主要原因在于实际应用中，硬件方面只有嵌入式主板，计算能力较弱，滤波成了不得已的选择；很多系统基于滤波方法已经达到很好的效果(比如组合导航)，且这些效果是大量工程实践累积的经验，换成其他方法需要重新设计、重新验证，若将其作为提高生产力、创造力主流方案，则需要一定的沉淀周期。因此，理论研究与应用价值之间的转化同样是一个亟待解决的难题。

5 结束语

随着信息时代的来临，多源信息融合技术在各行各业大放异彩。本文归纳、梳理了应用于卫星/惯性/视觉组合导航的多源信息融合技术，通过探讨其方法理论与融合结构，整理、分析了多源信息融合技术在卫星/惯性/视觉组合导航领域研究与应用中面临的亟待解决的难题及目前的解决思路，如非线性系统、滤波发散及融合层级深度等问题，为该领域实现从理论研究向应用价值的转化提供一些新的参考。