GNSS/INS/视觉组合导航数据融合研究探讨

李凯林，李建胜，王安成

GNSS/INS/视觉组合导航数据融合研究探讨

李凯林，李建胜，王安成

（信息工程大学 地理空间信息学院，郑州 450000）

为了进一步提高导航定位的可靠性、精度、连续性和完好性，融合各类可用导航传感器构成组合导航系统成为必然趋势；随着全球导航卫星系统（GNSS）终端、惯性导航系统(INS)器件和视觉传感器向模块化、小型化、低成本不断发展，GNSS/INS/视觉组合导航得到了广泛关注。分析其研究进展：通过介绍GNSS/INS/视觉组合系统的基本结构与原理，总结出GNSS/INS/视觉组合系统关键技术发展现状及行业应用情况；然后梳理GNSS/INS/视觉融合架构与典型算法；最后分析GNSS/INS/视觉组合系统中当前存在的主要问题与发展趋势。

组合导航；数据融合；时空同步；联邦滤波；图优化

0 引言

随着综合定位、导航与授时（positioning, navigation and timing，PNT）体系[1]和弹性PNT框架[2]的完善，多源PNT数据融合技术朝着智能融合和自适应融合不断发展。为了防止国防行动过分依赖于全球定位系统（global positioning system，GPS），早在2010年，美国就开始谋划国家综合PNT架构[3]，多源PNT系统在美军的无人潜航器、无人机等无人自主平台上应用广泛[4]，是未来无人系统自主导航发展的重点方向。全球导航卫星系统（global navigation satellite system，GNSS）/惯性导航系统（inertial navigation system，INS）/视觉组合导航系统作为多源PNT系统的一种，单目相机和低成本惯性测量单元（inertial measurement unit，IMU）的融合可以显著提高GNSS失效情况下的局部定位精度和鲁棒性，而GNSS定位有效时可以为视觉/惯导组合导航位置解算提供全局性的定位轨迹修正，对研究低成本、高精度、高可靠性的导航方式具有重大意义。

国内外对GNSS/INS、INS/视觉2种传感器组合的研究已经比较成熟，综述类文献比较多。文献[5]对2009年以前20年内非线性滤波理论所取得的成果进行了总结，且阐述了它们的优缺点及在组合导航系统中的应用情况。文献[6]对新近的GNSS/INS自适应智能组合导航算法进行了分类并一一解析。文献[7]对基于滤波技术的视觉/惯性组合技术做了全面的介绍，特别是对滤波器的客观性和滤波状态的一致性进行了深入分析。文献[8]的研究中介绍了近年来发展迅猛的基于机器学习的视觉/惯性组合导航方法。GNSS/INS/视觉组合导航技术近年来取得了长足的发展，文献[9]对GNSS/INS/视觉组合导航系统的现状、架构、测量模型进行了全面的解析。国内在GNSS/INS/视觉组合方面的研究相对较少，这方面的综述性文献不多。本文首先介绍GNSS/INS/视觉组合导航系统组成，其次从数据融合方式和算法框架等层面给出GNSS/INS/视觉组合导航技术目前的整体现状，最后分析GNSS/INS/视觉组合导航技术当前所处阶段以及未来的发展趋势，以期在GNSS/INS/视觉组合导航技术的系统层面和算法层面为后续研究提供参考。

1 系统组成与工作原理

GNSS/INS/视觉组合导航系统按硬件结构可以划分为GNSS接收机、惯性测量单元、图像采集单元（相机）、时间同步电路和数据处理单元（如图1所示）。

图1 GNSS/INS/视觉组合导航系统组成

1.1 传感器组成

GNSS/INS/视觉组合导航系统的传感器由GNSS接收机、惯性测量单元和图像采集单元（相机）3个部分组成。GNSS接收机在空旷环境下可以解算载体的位置、速度和航向，也能够输出伪距、伪距率、载波相位等观测量。一般而言，其输出频率不超过10 Hz，在组合系统中输出频率最低。惯性测量单元由三轴陀螺仪和三轴加速度计组成，直接输出惯性坐标系下的三轴角速度和比力测量值。惯性测量单元作为组合导航的核心单元，输出频率最高，一般为50、100、200 Hz甚至以上[10]。图像采集单元即为一般意义上的相机，由视角数分类，有单目、双目、全向相机等。相机用来提供对应时刻的图像，为后续位姿估计提供原始数据。一般的相机输出频率可达20 Hz。在3种传感器中，由于相机和IMU的输出频率较GNSS更大，因此在局部或短期内，利用相机和惯导的组合可以提供精度更高的定位定姿结果。

1.2 组合导航系统时空同步

在GNSS/INS/视觉组合导航系统中，由于3种传感器具有不同的采样电路和输出频率，需要时间同步电路实现数据之间严格的时间同步。时间同步的主要目的是为了避免数据融合时产生较大的时间偏移，导致系统发散，因此需要将传感器输出数据的时间戳统一到同一时间参考系下。除了硬件上的时间同步，在软件层面上，需要对传感器进行空间同步。空间同步的过程就是组合导航系统的初始化过程，用以确定各传感器坐标系之间的旋转平移关系。对于 GNSS/INS/视觉组合导航而言，需要同时确定GNSS和惯导的杆臂值以及相机和惯导坐标系之间的相机-惯导外参数。

1.3 数据融合框架

数据融合处理单元在硬件选择上往往是一台计算能力可观的上位机，用来对经过时间同步后的传感器数据进行融合，具体的融合框架视使用的算法结构而定。目前主流的算法框架有滤波和图优化2种。

利用融合结果重置子滤波器，进行时间更新。仿真结果表明，整体定位误差控制在6 m以内。

第二级滤波，即信息融合，融合过程的表达式为

在子滤波器的算法选择上，GNSS/INS组合除了EKF之外，还有能够有效解决显著动态模型误差问题的模型预测滤波器（models predictive filter，MPF）算法[12]、以近似非线性函数的概率分布为核心思想的无迹卡尔曼滤波（unscented Kalman filter，UKF）算法[13]和基于贝叶斯采样估计的顺序重要采样滤波方法粒子滤波（particle filter，PF）算法[14]等等。相比于EKF，MPF能够通过模型误差实时调整系统模型，UKF在处理强非线性系统时具有更高的稳定性和滤波精度，PF不受高斯模型以及非线性的限制。还有学者将EKF、MPF、UKF、PF等算法综合应用于GNSS/INS组合滤波器中[15]，取得了不错的滤波效果。在INS/视觉子滤波器的选择上，使用最广泛的是多状态约束卡尔曼滤波（multi-state constraint Kalman filter，MSCKF），该方法能在保证算法实时性的基础上取得较高的精度。

2）基于图优化的算法框架。文献[16]提到信息融合问题可表述为给定所有可用测度，计算系统状态随时间后验概率的最大后验概率( maximum a posteriori, MAP )估计值。其中因子图优化方法将系统状态的改变表示成因子形式的递进，因子图模型如图2所示。

以贵州习水案为例，此案中人们的普遍感受是，行为人主观恶性大，造成社会影响十分恶劣，行为上符合强奸罪构成要件，但也许摄于行为人手中掌握的公权力的强大，他们被定为嫖宿幼女罪，替换了强奸罪，免去了强奸罪的更高刑法处罚，拿到了免死牌。恶劣行径不能施以应有惩处，此罪因此被认为是让人钻了法律的漏洞。

图2 因子图模型

施工技术人员应在生产制造钢结构构件时利用Tekla Structure软件模拟建档施工时间与构件制造时间，得到最佳的钢结构施工工期，有效控制施工进度。实际施工期间，为了确保钢结构工程在预期时间内完成，技术人员应有效开展工期控制，充分利用BIM技术的4D演示功能，全方程模拟钢结构的施工情况。除此之外，在施工管理期间，技术人员还应利用4D模型全过程分析施工流程，及时发现施工期间存在的时间问题，并完善改进，提高施工效率。

并行式在GNSS/INS/视觉组合导航中，是将传感器分组融合，最后再将组合结果进行融合，例如文献[19]采用的联邦卡尔曼滤波算法。算法结构如图3所示，其中GNSS/IMU、IMU/相机分别构成2个子滤波器，将子滤波器的局部最优估计输入到主滤波器求解，得到最终导航结果。

通常，因子节点所代表的误差函数可以由导航系统的量测函数和测量值的差值给出，即

东博会举办的十几年确实给南宁的旅游业带来了极大的促进作用，南宁的知名度在一定程度上得到了提升，来南宁旅游人次每年都有不同程度的上升，但同时也存在较多问题。

1) 从通航设施看，船舶吃水主要受航道水深和船闸门槛水深两方面制约，但结合航运实际经验，考虑到进船闸时船舶航速较低，最大船舶限制吃水通常指向航道限制吃水。因此，船闸门槛水深一般不作为船舶通航的限制因素。

随着新获取的观测信息，根据相应的观测方程和代价函数进行变量节点的状态更新。

文献[17]分别采用基于因子图框架的增量式平滑组合导航方法和传统的扩展卡尔曼滤波方法，在装配有IMU、光流传感器的四旋翼无人机上进行实验，结果验证了基于因子图的增量式平滑算法在即插即用和整体精度方面，相比传统的滤波算法性能更好。

以佳能专业级胶片单反相机EOS-1V为蓝本而开发的1Ds在机身性能上得到了充分性的优势性特显，不论是机身的耐用程度还是操控性设计都超越了同时期的对手。再加上优秀的对焦系统和成像，1Ds成了当时当之无愧的旗舰。1Ds机身设计指标足够过硬，因此市场反响非常强烈，是一款极受欢迎的顶级产品。最终这款产品在2003年初上市后的三年的2006年内退市。

林孟是个性格开朗的人，他的茶杯是一只很大的玻璃瓶，装速溶雀巢咖啡的玻璃瓶，他喜欢将一把椅子拖到门后，靠着门坐下来，端着那只大玻璃瓶，对着我们哈哈地笑，他的话超过十句以后，就会胡说八道了。他经常很不谨慎地将他和萍萍之间的隐私泄露出来，并且以此为乐，笑得脑袋抵在门上，把门敲得咚咚直响。

2 GNSS/INS/视觉组合导航系统发展与应用现状

2.1 GNSS/INS/视觉组合导航数据融合方式

文献[18]将多源传感器的数据处理方法分为集中式、并行式和序贯式3类，GNSS/INS/视觉组合导航数据融合方式也是基于这3类发展的。

集中式立足于建立统一的观测方程组求解导航参数，缺点是随着变量数增加，计算负担会变得很大，实时性较差。由于各个传感器的输出频度不一致，GNSS/INS/视觉组合导航中很少采用这种方式。

紫苏叶总三萜超声提取工艺优化及对10种常见致病菌的抑菌作用研究 …………………………………… 魏 磊等（16）：2193

图3 联邦卡尔曼滤波结构

序贯式是将各个传感器的观测量按照其输出频率依次融合，适应传感器的输出频率不同的融合场景，融合结构灵活。例如，文献[20]在对描述卫星和特征点空间几何分布强度的性能指标所展开的研究中，采用了序贯的数据融合模式。如图4所示，IMU为核心传感器，先利用更新频率次于IMU的相机测量值与IMU测量值进行融合，最后再用更新频率最低的GNSS测量值与二者结果进行融合。

图4 序贯式数据处理方式

2.2 GNSS/INS/视觉组合导航算法框架

GNSS/INS/视觉组合导航技术是在GNSS/INS、INS/视觉组合导航技术的基础之上发展的，因此很多方法继承了传统的组合导航卡尔曼滤波框架以及实时定位与地图构建（simultaneous localization and mapping，SLAM）领域的图优化框架。

国外相关研究中，文献[21]于2005年在GNSS/INS导航系统中融合了计算6自由度位姿的SLAM方法，仿真实验结果表明，该系统能够在GNSS拒止环境中提供可靠的导航解。但由于采用松耦合的滤波结构，在视觉信息的利用上不够充分，精度有待提高。2012年文献[22]同样基于EKF采用松耦合模式构建了相机/IMU/GNSS 组合导航系统，利用GPS伪距观测值来恢复相机帧间尺度信息，从而计算帧间旋转和平移，最后将结果与惯导进行松耦合。该方法中尺度的确定依赖于初始的GPS定位精度且在初始环境处于卫星拒止条件时不可用。2013年文献[23]提出了一种多传感器融合的拓展卡尔曼滤波框架，能够处理具有时延的相对测量和绝对测量。同年，文献[16]提出了一种基于因子图优化的增量式平滑方法，该方法同样采取松耦合方式。与卡尔曼滤波框架不同的是，该方法采用因子图模型来表示联合概率分布的最大后验估计，充分利用了系统的稀疏性，提供了传感器即插即用的能力，实现了多位姿约束下的整体最优解，但仍存有误差向下累积的问题。2014年，针对GNSS卫星和视觉传感器特征点分布不均匀，GNSS挑战环境下的位置解算精度有时会下降的问题，文献[20]提出并采用加权最小二乘法推导了衡量卫星和特征点空间几何分布强度的性能指标权重精度因子（weighted dilution of precision，WDOP），该成果在评估传感器测量值质量上迈出了第一步。仿真和实测结果表明，WDOP值合理地对3种传感器进行了选择性集成，提高了GNSS挑战环境下的定位精度。同年，文献[24]首次将GPS载波相位差分计算出的位置测量值纳入基于光束法平差的SLAM算法中，GPS差分得到的全局位置用于关键帧的选择，IMU测量值只作用于导航滤波器来进行状态更新，而不作用于后端批优化（bundle adjustment，BA）。仿真表明，该系统在室外开放区域可获得厘米级以上的绝对定位精度和分度级绝对姿态精度。自2013年，基于优化的组合导航方法不断发展延拓，到2018年，文献[25]提出了一种基于解耦图优化的多传感器融合方法（graph-optimization based multi-sensor fusion，GOMSF），该方法将融合看作视觉惯性里程计局部坐标系与全局坐标系之间的实时对准问题，通过优化包含机器人最新状态的滑动窗口位姿图来不断更新与这些坐标系相关的对准变换。实验结果表明，该方法可以为无人机在非结构化室外环境中进行长期作业提供精确、高速率的位姿估计。

国内相关研究起步较晚，文献[26]最早在2013年将数字可量测影像（digital measurable image,DMI）作为融合滤波框架的一部分与GPS/IMU进行松耦合，信息的融合与利用尚不够充分。2015年，文献[27]对基于GPS 位置的影像/ GPS/INS 组合导航算法开展了研究，采用GPS/INS松组合、INS/影像紧组合的模式。仿真与实验结果表明，该算法能够在局部GNSS拒止环境下提供较高的定位定姿精度。2017年，文献[28]将卡尔曼滤波与图优化方法结合，通过GPS/INS卡尔曼滤波松组合，解算图像帧初始位姿，从而解算特征点空间位置，最后用SLAM图优化方法对信息进行融合得到最终的定位定姿结果。该方法在GPS恶劣的情况下本质上是一种基于图优化的视觉惯性实时定位与建图（visual inertial-simultaneous localization and mapping，VI-SLAM）方法。2019年，文献[29]对低成本卫星/惯性/视觉组合导航关键技术开展了研究，提出借助载波相位历元间差分定位结果对系统进行约束，解决了由于伪距定位误差较大而导致视觉惯导解算约束效果差的问题。位姿融合后位置精度优于3 m，航向角精度优于0.12°。同年，文献[30]基于滑动窗口的非线性优化方法提出了一种基于图优化的多传感器状态估计器视觉惯性系统-融合（visual-inertial system-fusion，VINS-Fusion），该方法采用视觉/IMU紧耦合的方式，获得了较小的全局误差漂移和厘米级的局部定位定姿精度。

总体上，GNSS/INS/视觉组合导航经历了卡尔曼滤波框架到图优化框架的发展过程，这个过程很大程度上受到GNSS/INS组合导航、INS/视觉SLAM技术发展的影响。目前的研究大部分是在算法框架和滤波结构上的改进，在传感器的接入策略和测量值的优劣评价机制上进行的研究还比较少。

2.3 GNSS/INS/视觉组合导航系统应用

由于GNSS/INS/视觉组合导航硬件成本较低，因此广泛应用于机器人、无人车等智能平台，国内外众多研究机构也发布了自己的数据集。例如，米兰理工大学在轮式机器人上搭载单目、双目、三目及全向相机、IMU、GPS接收机和激光测距仪等传感器，搭建了一个适用于大场景的组合导航平台[31]。德国卡尔斯鲁厄理工学院于2012年公开了基蒂（KITTI）数据集[32]，研究人员在自动驾驶平台上搭载双目相机、IMU、激光雷达、载波相位差分（real-time kinematic，RTK）/INS组合导航系统，采集了不同城市、乡村等场景下的多组数据，KITTI数据集是目前视觉、激光、惯导、卫导组合导航方向使用最为广泛的数据集。密歇根大学研究人员在平衡车上搭载了高精度GNSS接收机、全向相机、激光雷达、IMU等传感器采集数据，于2015年公开了北校区长期数据集（north campus long-term，NCLT）[33]。阿尔托大学在2018年公开了一组真实的视觉惯性里程测量数据集（authentic dataset for visual-inertial odometry，ADVIO）[34]，他们将GNSS、IMU 和相机集成在智能设备上，该数据集同样被业界研究人员广泛使用。此外，一些商用公司也开始设计和研发自己的组合导航智能平台来满足自身的自动驾驶需求，例如百度的阿波罗（Apollo）平台、恩智浦的自动驾驶工具包（automated drive kit），以及英伟达（NVIDIA）的海普瑞开发者工具包（ Hyperion developer kit）等等。

3 存在的问题与发展趋势

近十年内，随着滤波方法和图优化方法不断发展，局部定位精度达到厘米级，GNSS/INS/视觉组合技术的发展也在不断向前推进，总的目标是精度更高、实时性更好、硬件模块化、环境适应力更强。未来的主要工作在以下几个方面展开：

1）更具备环境挑战性的数据集。目前的数据集如KITTI和ADVIO，数据质量相对完好。在GNSS数据方面，基本不存在如GNSS干扰区域、欺骗区域的数据；在视觉方面，对于光照强度变化大、纹理特征少、特征不明显的区域，缺乏如隧道、地底通道等场景。由于环境鲁棒性算法的研究依赖于涵盖特殊场景的数据集，因此，目前的GNSS/INS/视觉组合算法所具备的鲁棒性还只是停留在GNSS拒止环境下组合导航定位这一阶段，未来的数据集将会具备更强的环境复杂度。

Application of the tongue-and-groove method in concrete pipeline joint construction

2）更具鲁棒性的算法框架。目前的数据集不能满足算法鲁棒性的进一步拓展。文献[20]建立了一种卫星和空间特征强度的评估机制，是鲁棒性算法的先驱性工作。传感器数据是组合导航算法的基础；基于传感器的数据接入策略，应用于算法相关权重的数据质量评估机制将会成为未来鲁棒性算法的拓展方向。其次，目前的算法框架都具有很强的独立性。文献[23]的滤波算法和文献[16]的优化算法各自在实时性和定位精度上寻求平衡点，二者在不同环境下具备各自领先的精度优势，未来的组合导航算法会考虑最优的算法框架应用于当前环境，实现真正意义上的算法灵活性和鲁棒性。

3）多机协同组合导航定位。目前国内外的组合导航平台大多是单一的独立平台，是为数据采集、算法验证服务的。鉴于未来导航任务的复杂性，在完成大场景、宽范围的定位导航以及SLAM建图任务时，单一平台的工作效率往往很低，而且受到自身平台误差影响会很大，多机协同的定位与建图模式能够平衡单机误差，并且成倍提高工作效率。但是由于目前无论是在误差分析还是在算法模型上，多机组合的研究还不够深入，GNSS/INS/视觉的组合在多机协同导航定位方向上还有很长的路要走。

传统的教学评价过分强调了对学科知识的考查，而忽视了对学生思维品质、学习策略、情感态度、文化意识等方面的评价。殊不知，英语核心素养的培养离不开对学生思维能力的培养、对英语学习策略的点拨和对文化意识的灌输。新课标指出，英语课程评价体系要有利于促进学生综合语言运用能力的发展，要采用多元优化的评价方式。所以，教学评价的内容和标准要以新课标为依据，优化评价方式，从多个维度进行评价，形成科学、立体的多元评价模式，激发学生学习的积极性。

4）更加模块化、小型化、低成本的GNSS/INS/视觉组合导航硬件。目前国内尚无公开报道满足实用要求的GNSS/INS/视觉组合模块，更多的是2种传感器组合的设备集成来应用于GNSS/INS/视觉组合的定位，成本方面会偏高。文献[29]设计的低成本卫星/惯性/视觉组合导航具有模块化的雏形，但是在小型化方面做得还不够好。随着视觉相机和惯导设备越做越小，GNSS定位元件目前也已经是芯片级，低成本的GNSS/INS/视觉组合导航定位器件将会做到更加模块化、小型化。

很多家长会觉得被欺负就打回去，是最简单粗暴有效的方式。但这种方式“粗暴”是够粗暴的，但真的简单和有效么？我们设想一下自己如果被“欺负”了会如何。

4 结束语

随着研究的深入和技术的发展，GNSS/INS/视觉组合导航作为一种高精度、高可靠性、低成本的导航方式目前已经被广泛采用。GNSS/INS组合导航技术的不断发展以及VI-SLAM技术的推广应用，都为GNSS/INS/视觉组合导航的融合与创新奠定了基础，以低成本的组合方式来解决全域、无缝导航定位也将成为重点的研究方向。而未来的导航定位任务面临更强的环境复杂度，GNSS和视觉技术的应用在很多具备挑战性的环境中仍然存在很多难题需要解决。本文研究结果可为该领域学习者和研究人员提供参考思路。

[1] 杨元喜. 综合PNT体系及其关键技术[J]. 测绘学报, 2016, 45(5): 505-510.

[2] 杨元喜. 弹性PNT基本框架[J]. 测绘学报, 2018, 47(7): 893-898.

[3] HUESTED P, POPEJOY P. National positioning, navigation, and timing architecture[C]//The Institute of Aeronautics and Astronautics(AIAA).AIAA SPACE 2008 Conference & Exposition. San Diego, California: ARC, 2008: 7785[2022-03-09].

[4] 薛春祥, 黄孝鹏, 朱咸军, 等. 外军无人系统现状与发展趋势[J]. 雷达与对抗, 2016, 36(1): 1-5,10.

[5] 赵琳, 王小旭, 丁继成, 等. 组合导航系统非线性滤波算法综述[J]. 中国惯性技术学报, 2009, 17(1): 46-52,58.

[6] 赵方, 吴凡. GNSS/INS自适应智能组合导航算法综述[J]. 北京邮电大学学报, 2022, 45(2): 1-7.

[7] HUANG G. Visual-inertial navigation: a concise review[C]//The Institute of Electrical and Electronics Engineers (IEEE).2019 international conference on robotics and automation (ICRA). Brisbane, Australia: IEEE,2019:9572-9582[2022-03-09].

[8] 张礼廉, 屈豪, 毛军, 等. 视觉/惯性组合导航技术发展综述[J]. 导航定位与授时, 2020, 7(4): 50-63.

[9] AFIA A B. Development of GNSS/INS/SLAM algorithms for navigation in constrained environments[D]. Toulouse: Institut National Polytechnique de Toulouse, 2017.

[10] 莫善会. GNSS与视觉里程计辅助IMU的行人导航方法研究[D]. 成都: 电子科技大学, 2019.

[11] 薛伟罗晨, 岳富占, 董启甲. 视觉辅助的INS/GNSS导航系统在动态场景下的特性分析[C]//中国卫星导航系统管理办公室学术交流中心.第九届中国卫星导航学术年会论文集: S10多源融合导航技术.北京:中国卫星导航系统管理办公室, 2018: 113-117[2022-03-09].

[12] CRASSIDIS J L, MARKLEY F L. Predictive filtering for nonlinear systems[J]. Journal of Guidance, Control, and Dynamics, 1997, 20(3): 566-572.

[13] JULIER S J, UHLMANN J K. A new approach for filtering nonlinear system[C]//The Institute of Electrical and Electronics Engineers (IEEE).Proceedings of the 1995 American Control Conference. Seattle, WA, USA: IEEE,1995: 1628-1632[2022-03-09].

[14] GORDON N, SALMOND D. Novel approach to non-linear and non-Gaussian Bayesian state estimation[J]. IEEE Proceeding of Institute Electric Engineering, 2002, 140(2): 107-113.

[15] MOURIKIS A I, ROUMELIOTIS S I. A multi-state constraint Kalman filter for vision-aided inertial navigation[C]//The Institute of Electrical and Electronics Engineers (IEEE).International Conference on Robotics & Automation. Brisbane, Australia: IEEE, 2007: 2-6[2022-03-09].

[16] INDELMAN V, WILLIAMS S, KAESS M, et al. Information fusion in navigation systems via factor graph based incremental smoothing[J]. Robotics and Autonomous Systems, 2013, 61(8): 721-738.

[17] LANGE S, SÜNDERHAUF N, PROTZEL P. Incremental smoothing vs. filtering for sensor fusion on an indoor UAV[C]//The Institute of Electrical and Electronics Engineers (IEEE).Proceeding of International Conference on Robotics and Automation(ICRA). Brisbane, Australia: IEEE,2013: 1773-1778[2022-03-09].

[18] 唐璐杨, 唐小妹, 李柏渝, 等. 多源融合导航系统的融合算法综述[J]. 全球定位系统, 2018, 43(3): 39-44.

[19] CARLSON N A. Federated square root filter for decentralized parallel processors[J]. IEEE Transactions on Aerospace and Electronic Systems, 1990, 26(3): 517-525.

[20] WON D H, LEE E, HEO M, et al. Selective integration of GNSS, vision sensor, and INS using weighted DOP under GNSS-challenged environments[J]. Transactions on Instrumentation and Measurement, 2014,63(9): 2288-2298.

[21] KIM J, SUKKARIEH S. 6DoF SLAM aided GPS/INS navigation in GPS denied and unknown environments[J]. Journal of Global Positioning Systems, 2005,4(1): 120-128.

[22] CHU T, GUO N, BACKÉN S, et al. Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J]. Sensors, 2012, 12(3): 3162-3185.

[23] LYNEN S, ACHTELIK M W, WEISS S, et al. A robust and modular multi-sensor fusion approach applied to mav navigation[C]//The Institute of Electrical and Electronics Engineers (IEEE). 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo, Japan: IEEE, 2013:3923-3929[2022-03-09].

[24] SHEPARD D P, HUMPHREYS T E. High-precision globally-referenced position and attitude via a fusion of visual SLAM, carrier-phase-based GPS, and inertial measurements[C]//The Institute of Electrical and Electronics Engineers (IEEE).Position, Location and Navigation Symposium. Monterey, CA, USA: IEEE, 2014:1309-1328[2022-03-09].

[25] MASCARO R, TEIXEIRA L, HINZMANN T, et al. GOMSF: graph-optimization based multi-sensor fusion for robust UAV pose estimation[C]//The Institute of Electrical and Electronics Engineers (IEEE).International Conference on Robotics and Automation(ICRA). Brisbane, Australia: IEEE,2018:1421-1428[2022-03-09].

[26] 张晓东. 可量测影像与GPS/IMU融合高精度定位定姿方法研究[D]. 郑州: 信息工程大学, 2013.

[27] 王力. 影像/GNSS/INS组合精密定位定姿方法研究[D]. 武汉: 武汉大学, 2015.

[28] 王加芳. GPS/Visual/INS多传感器融合导航算法的研究[D]. 杭州: 浙江大学, 2017.

[29] 冯哲煜. 低成本卫星/惯性/视觉组合导航关键技术研究[D]. 郑州:信息工程大学, 2019.

[30] QIN T, CAO S, PAN J, et al. A general optimization-based framework for global pose estimation with multiple sensors[EB/OL]. [2022-03-09]. https://arxiv.org/pdf/1901.03642.pdf.

[31] CERIANI S, FONTANA G, GIUSTI A, et al. Rawseeds ground truth collection systems for indoor self-localization and mapping[J]. Autonomous Robots, 2009, 27(4): 353-371.

[32] GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the kitti vision benchmark suite[C]// The Institute of Electrical and Electronics Engineers (IEEE).2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012: 3354-3361[2022-03-09].

[33] CARLEVARIS-BIANCO N, USHANI A K, EUSTICE R M. University of Michigan north campus long-term vision and LiDAR dataset[J]. The International Journal of Robotics Research, 2016, 35(9): 1023-1035.

[34] CORTÉS S, SOLIN A, RAHTU E, et al. ADVIO: an authentic dataset for visual-inertial odometry[C]//FERRARI V. Proceedings of the European Conference on Computer Vision(ECCV). Munich, Germany: Springer, 2018: 425–440[2022-03-09].

Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusion

LI Kailin, LI Jiansheng, WANG Ancheng

（Institute of Geospatial Information, Information Engineering University, Zhengzhou 450000, China）

In order to further improve the reliability, accuracy, continuity and integrity of navigation and positioning, it is an inevitable trend to integrate various available navigation sensors into an integrated navigation system; furthermore, with the continuous development of global navigation satellite system (GNSS) terminals, inertial navigation system (INS) devices and visual sensors towards modularization, miniaturization and low cost, GNSS/INS/visual integrated navigation has received extensive attention. The paper analyzed the research development: the basic structure and principle of GNSS/INS/visual integrated system were introduced, and the key technology development status and industry application of the integrated system were summarized; then the visual fusion architecture and typical algorithms were sorted; finally, the main problems and development trends in GNSS/INS/visual integrated system were discussed.

integrated navigation; data fusion; space-time synchronization; federated filtering; graph optimization

P228

A

2095-4999(2023)01-0009-07

李凯林，李建胜，王安成. GNSS/INS/视觉组合导航数据融合研究探讨[J]. 导航定位学报, 2023, 11(1): 9-15.（LI Kailin, LI Jiansheng, WANG Ancheng. Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusion[J]. Journal of Navigation and Positioning, 2023, 11(1): 9-15.）DOI:10.16547/j.cnki.10-1096.20230102.

2022-03-31

李凯林（1998—），男，湖南娄底人，硕士研究生，研究方向为机器视觉与智能应用。

李建胜（1975—），男，湖北钟祥人，博士，教授，研究方向为视觉导航、计算机视觉等。