无人飞行器异源图像匹配辅助惯性导航定位技术综述*

罗世彬，刘海桥，胡茂青，董 晶

(1. 中南大学 自动化学院， 湖南 长沙 410083； 2. 中南大学 航空航天学院， 湖南 长沙 410083；3. 国防科技大学 空天科学学院， 湖南 长沙 410073)

无人驾驶空中飞行器(Unmanned Aerial Vehicle, UAV)近些年得到了迅速发展，逐步应用到生活中，如巡航导弹、无人侦察机等[1-2]。由于空中环境的特殊性，常用于陆地和水中的一些传感器(如里程计、声呐)不能得到有效应用，在无GPS或GPS信号受到干扰、欺骗等情况下，空中飞行器定位将面临巨大挑战[3-4]。

近年来，国内外学者开始对UAV采用自身携带的图像传感器，配合其他传感器(惯性导航系统、罗盘等)在航行过程中自主探索、识别周边环境进行自身定位等问题进行研究[5]。上述导航定位方法就是飞行器领域的研究热点，特别是视觉与惯性导航的融合技术[6-7]。为了得到全天候的定位系统，异源图像匹配辅助惯性导航定位方法是飞行器在未知环境中实现真正自主导航的有效途径。目前，图像匹配辅助惯性导航理论大多应用在结构化的环境、固定的场所或者是低空飞行环境[8-9]，能够形成有效闭环信息，从而达到消除累积误差的目的，而在高空中较难获取有效闭环信息来消除累积误差。因此，为了能够得到有效闭环信息，达到消除累积误差的目的，需要引入图像匹配技术，同源图像匹配易受到环境变化和图像采集时间不同的影响[10-11]，因此，需要采用异源图像匹配。由于异源图像匹配需要考虑的因素较多，精度提升较难，确定控制点算法鲁棒性不高，因此在飞行器自主定位中应用的还较少。

异源图像匹配技术结合惯性导航技术进行定位，具有无源、自主式定位的优点[12-14]。异源图像匹配导航技术是指采用机载传感器采集的实时数据与预存储的地图进行匹配，得到飞行器位置的一种导航方式[15]。异源图像匹配定位方法的精度能达到米级，惯性导航结果随时间发散，可采用异源图像匹配的结果对惯性导航的结果进行修正，达到提高飞行器定位的目的[16-18]。

以往飞行器导航定位技术进行综述的文献中，已经包含了对现有的飞行器导航技术 (如：GPS、惯性导航、视觉导航和地球物理导航)的综述[19-21]，异源图像匹配辅助惯性导航技术的综述报道还较少。文献[22]是对飞行器异源图像辅助惯性导航方法理论进行了总体论述，并没有指明具体的应用环境和应用对象；文献[23]虽然是针对飞行器异源图像辅助惯性导航方法的综述，但只介绍了飞行器异源图像匹配辅助惯性导航方法的几种常用方法，未将异源图像匹配辅助惯性导航的飞行器自主定位方法关键技术进行研究和分析。到目前为止，尚没有文献对飞行器异源图像匹配辅助惯性导航方法及关键技术进行全面综述。近十年来，随着传感器技术和处理器计算能力的发展，异源图像匹配辅助惯性导航的飞行器定位问题也有了新进展[24-26]。因此，本文主要对异源图像辅助惯性导航方法在飞行器中的应用进行综述，主要内容包括：国内外研究进展、异源图像辅助惯性导航方法的关键技术，并探讨了飞行器异源图像辅助惯性导航方法未来的发展趋势。

1 异源图像匹配辅助惯性导航飞行器定位技术研究进展

飞行器定位技术按照主动和被动方式进行划分，可以分为有源和无源两种，有源定位方法主要有卫星导航(如GPS导航、北斗导航)和雷达导航，无源导航方式主要有地磁导航、惯性导航、视觉导航和视觉、惯性的组合导航[27-29]。

GPS导航技术由美国开始研究并在全球进行推广，具有定位精度高、使用方便等优点，但GPS易受到遮挡影响，并能够被干扰、欺骗，因此，在部分领域的应用受到了一定限制，特别是在军用领域[30]。北斗导航系统是由我国自主研发和使用，目前正逐步接替GPS导航系统，但北斗系统由于起步较晚，现阶段还不是很成熟，目前无论是民用，还是军用都还相对较少[31]。地磁匹配依靠地球本身的磁场性质来进行导航，使用方便、安全，但地磁导航精度较低，无法实现飞行器高精度自主导航[32]。视觉导航精度高，无累积误差，但计算量较大，而且容易受到环境影响，在高动态环境下难以实现稳定、实时、高精度定位[33]。惯性导航具有自主定位和不受环境影响的优点，短时间内具有较高精度，但长时间导航具有累积误差，难以单独实现长航时、高精度的飞行器定位[34]。为了达到长航时高精度的导航目的，需要融合视觉和惯性导航，如异源图像匹配辅助惯性导航定位。

异源图像匹配导航技术，包括：可见光与高分地图之间的匹配、红外与高分地图之间的匹配、合成孔径雷达(Synthetic Aperture Radar，SAR)与高分地图之间的匹配以及各种不同传感器采集的图像之间的匹配导航技术，统称为异源图像匹配导航定位技术[35]。

异源图像匹配技术可包含在景象匹配范畴，并对惯性导航进行辅助。国内外学者取得了较为丰富的研究成果，文献[36]提出顺序相似度检测算法(Sequential Similarity Detection Algorithm，SSDA)，利用像素间的相关性进行有效图像匹配，该方法是早期图像匹配的经典手段，是后期匹配方法的基础；文献[37]通过利用快速傅里叶变换(Fast Fourier Transform，FFT)把图像变换到频域进行匹配，有效缩短了匹配时间。文献[38]通过改进图像间的相似度度量方法，克服了异源图像方向反转的问题，有效提高了匹配算法可靠性。文献[39]使用小波变换和多分辨率分析的方法，由粗匹配到精匹配，使得计算量有较大幅度的减小，提高了匹配计算效率；文献[40]通过采用3D-2D的立体匹配方式，通过提取图像边缘特性，减小计算量的同时，也提高了匹配可靠性。文献[41]通过增加快速旋转的手段，改进特征，使得该方法在大角度旋转的异源图像尺度不变特征变换(Scale Invariant Feature Transform, SIFT)匹配中具有良好性能。

国内在异源图像匹配辅助惯性导航的飞行器定位技术领域的研究虽然起步较晚，但也取得了很多重要的成果。文献[42]提出一种基于自适应多尺度方向的图像描述，它能够准确地提取图像结构信息并且适应异源图像间的非线性畸变和噪声。文献[43]提出一种采用图像相位描述图像特征的方法，并通过改进SIFT算法，采用主成分分析(Principal Component Analysis, PCA)方法提取图像主方向，有效解决了因光线而导致的匹配效率低的问题。

异源图像匹配技术在飞行器中的应用具有学术研究意义，同时武器装备也有很好的应用前景。国外研究人员开始对异源图像匹配研究较早，他们利用异源图像匹配提高了巡航飞行器的制导精度，文献[44]中的飞行器使用视觉进行自主定位，并指引飞行器飞行，该方法不仅实现了自主定位，同时进行地图构建，为飞行器的路径规划等后续动作提供了保障。文献[45]中，采用视觉和惯性导航融合定位，同时采用非线性优化的方式进行最优位置求解，方法不仅有局部的视觉修正惯导，同时也有全局的图像匹配修正视觉惯性里程计，定位精度得到提高，同时不容易发散。文献[46]采用了单目、双目和深度相机进行图像匹配辅助惯性导航，该方法为后面研究者提供了多样研究方向，同时可针对不同设备需求进行装配。异源图像匹配属于景象匹配领域中的一类，国内外景象匹配飞行器定位研究详情如表1所示。

表1 国内外景象匹配飞行器定位研究情况

总的来说，异源图像匹配辅助惯性导航的飞行器定位技术取得了巨大进展，国内外学者提出了各种稳定可靠的算法，但由于环境差异、异源图像匹配基准图、实时图获取的时间、天气以及摄像头都不同，难以实现统一的匹配方法。目前提出的异源图像匹配辅助惯性导航还局限于基于灰度信息和基于特征的层次上，算法也都存在部分缺陷，要构造出稳定可靠的导航系统尚需进一步研究。

2 异源图像匹配辅助惯性导航飞行器定位关键技术

与视觉精确制导技术类似，异源图像匹配辅助惯性导航飞行器定位技术使用红外相机或SAR两种或多种不同成像设备，以获得全天时、全天候的导航能力。这也使得异源图像匹配技术成为视觉导航系统中的一项关键技术，异源图像辅助惯性导航飞行器定位整体系统组成如图1所示。

图1 飞行器平台及定位系统结构Fig.1 Aircraft platform and positioning system structure

由视觉传感器(相机)和惯性传感器进行数据采集，在中央处理器中进行数据预处理和实时处理，将处理结果传到地面站进行显示，同时进行存储。异源图像匹配辅助惯性导航飞行器定位技术关键技术主要包括相机-惯性导航标定技术、异源图像匹配技术、视觉位姿解算技术、数据融合技术和后端优化技术五个部分。

2.1 相机-惯性导航标定技术

视觉、惯性导航融合算法都需要精确的相机-惯性导航外参标定值。相机-惯性导航外参起到相机坐标系和惯性导航坐标系之间状态转换的作用。不准确的外参标定会造成运动估计中的系统误差，降低系统的整体精度，甚至导致定位发散。目前，单目相机-惯性导航外参标定主要有离线标定和自动标定两种方法。

文献[47]中首次提出利用最优估计来计算相机-惯性导航的安装关系，并开源了标定工具Kalibr，该方法分别根据相机、惯性导航进行姿态解算，再用优化算法估计出两者的相对位置关系。但相机-惯性导航外参离线标定过程复杂且耗时，标定需要技术人员在设备使用前移动棋盘格标定目标，并且当传感器因受到冲击或调整时，导航参数发生变化会影响定位精度，需要重新标定，进行设备重校准[48-50]。图2表示视觉、惯性坐标系和导航坐标系之间的转换过程。

图2 坐标系示意图Fig.2 Coordinate system diagram

相机-惯性导航外参自动标定是指系统的初始化中，估计系统的初始状态并在线标定相机-惯性导航外参。

自动标定法快速为系统提供结果，同时也对初始化过程提出了更高的要求[51]。文献[51]将相机-惯性导航外参作为待求解的状态向量，使用扩展卡尔曼滤波 (Extended Kalman Filter，EKF)进行估计，该算法没有对外参标定结果进行系统的分析，并且其收敛情况取决于初始化过程中状态估计情况。也有文献在初始化过程中利用线性估计方法优化求解相机-惯性组合导航的零偏，在后续发布的视觉、惯性导航系统中，将零偏作为一个状态量，在滑动窗口中进行优化估计，这类方法可以有效减小惯性导航的系统误差和随机误差，但增加了优化算法的维度，计算量增大。在运动初始化过程中假设惯性导航零偏未知，但固定不变，构造线性方程组标定相机-惯性导航外参与其他参数，这类方法初始化精度较高，但相机-惯性导航外参在初始化后就成为定值，没有达到在线估计的目的。还有文献提出利用强化学习辅助标定相机、惯性导航系统外参的方法，通过不断迭代反馈和训练，得到最优的外参参数，该类方法可以有效提高精度，但标定过程复杂、耗时，不能有效实时应用[52-55]。相机-惯性导航具体的标定过程如图3所示。

图3 相机-惯导标定过程Fig.3 Camera and inertial calibration process

目前来看，相机-惯性导航系统参数在线自动标定技术使用更加方便，应用更加广泛。

2.2 异源图像匹配技术

图像采集、传感器参数、传感器类型不同以及光照条件变化都会导致图像产生灰度畸变，对匹配产生不利影响，从而降低结果的可靠性。灰度畸变是异时异源图像匹配研究力图解决的主要难题，异源图像匹配基本流程包括基准图、实时图的制备、特征描述、相似度度量和误匹配剔除，如图4所示。

图4 异源图像匹配基本流程Fig.4 Basic process of multi-modal image matching

现行的异源图像匹配方法可分为特征匹配和模板匹配两种。特征匹配的主要步骤包含：特征检测、特征描述、相似度计算和特征匹配四个步骤，匹配过程如图5所示。

图5 基于特征的图像匹配示意图Fig.5 Feature-based image matching diagram

模板匹配的主要步骤包含：本征图像提取、差别或相似性测量、几何变换空间搜索三个步骤，过程如图6所示。

图6 基于模板的图像匹配示意图Fig.6 Schematic image matching based on templates

现有的异时异源图像匹配算法提升手段通常可以分为两类：一类是通过优化差别/相似性测量准则来提高算法对灰度畸变适应能力的方法；另一类是通过获取图像结构信息并进行分析，以避免灰度畸变对匹配的影响。改进测量准则的算法通常是假设成像条件造成的灰度畸变满足某种变换模型，代表算法主要有：归一化互相关(Normalized Cross Correlation, NCC)、互信息(Mutual Information, MI)和非线性调色原理(Matching by Tone Mapping, MTM)的图像匹配算法[56]。

仅仅改进匹配的测量准则并直接对灰度图像进行匹配，效果往往不太理想，因为这忽略了图像的纹理结构信息。一些匹配算法先使用密集特征描述(Dense Feature Descriptor, DFD)提取图像中的纹理结构信息得到本征图像，然后再对本征图像进行匹配，由于图像中的结构特征通常能够随着成像条件变化保持稳定并且密集特征描述一般不需要对灰度畸变的模型进行假设，基于本征图像提取的异源图像匹配算法在适应灰度畸变上具有优势[57]。现有的本征图像提取算法可以分为基于梯度的和基于相位的两类算法：基于梯度的提取算法能够适应图像对比度和照度的变化，并能有效提取适应图像的结构方向信息，但灰度映射会导致方向反转，影响相似度评价；基于相位的提取算法，能适应各种灰度畸变，但是无法准确提取图像的结构方向信息，并且可能导致混淆效应。除此之外，两类提取算法都对噪声比较敏感，对于极具挑战性的异源图像匹配，这两类算法往往都无法取得较高的匹配正确率[58]。

综合分析不难发现，现有异时异源图像匹配算法在适应灰度畸变、图像噪声和计算速度等问题上仍然存在诸多不足，需要进一步进行研究，才能够提高视觉导航的定位精度。

异源图像匹配的视觉导航技术可以分为异源图像匹配的导航和三维重建的地形匹配导航。其中异源图像匹配导航与精确制导技术原理类似，所不同的是事先装载的基准图像标有绝对坐标。异源图像匹配导航技术可以获取载体的速度和水平位置等参数。立体匹配是三维地形匹配的基础，而立体匹配首先需要进行三维重建，将实时获取的图像数据重新构建成三维地图；然后将重建的三维点云地图与带高程的基准图像进行匹配，从而得到三维点云的绝对坐标；最后利用三维点云的绝对坐标反解出成像载体的运动参数。基于三维重建的地形匹配导航可以得到成像载体相对于地物的位置、速度、姿态、高度和飞行方向等导航参数，从而为运动平台提供全参数的导航信息[59-60]。

2.3 视觉位姿解算技术

视觉位姿解算技术是基于视觉技术和坐标测量的一门技术，该技术一般实现过程为：先获取物体的二维图像，通过反解算，对相机或载体的位置信息及几何信息进行测量。视觉位姿解算技术广泛应用于虚拟现实、逆向工程、工业检测等实时测量中[61]。

对于视觉位姿解算技术应用研究，国内外学者进行了大量的深入探索。文献报道盾构机的研发过程中就采用了视觉位姿解算的相关技术，采用全站仪透光在成像系统上的方式进行位姿解算，该方法精度高、稳定性好，但需要检测到足够数量的特征点，动态环境影响较大。另外，室内定位中采用视觉位姿解算技术，结果精度可达到厘米级，是目前视觉位姿解算技术应用最广泛的领域之一[62-63]。图7为视觉位姿解算的基本示意图，载体通过挂载的视觉传感器进行成像，得到地面控制点的坐标，在进行反解算，得到目标位置。

图7 测量系统坐标系Fig.7 Coordinate system of measurement system

位姿解算精度直接影响定位系统，是定位系统精度提升的关键因素。常见N点透视(Perspective-N-Point, PNP)位姿解算算法是通过3至N个(其中N≥3)控制点进行反解算[64]。飞行器定位过程中，视觉位姿解算如图8所示：a、b、c、d、e分别代表地面控制点，且坐标已知，通过反解算，可以得到空中飞行器的位置。

图8 PNP飞行器位置解算Fig.8 PNP aircraft position solution

针对位姿解算过程的精度失真问题，可以采用最小二乘算法，以进一步提高视觉测量系统光学特征点的位姿解算精度。

2.4 数据融合技术

异源图像匹配辅助惯性导航一般可分为两类：一类是利用相机观测已知绝对坐标的特征点进行飞行器绝对位姿的估计。另一类是利用相机连续观测坐标未知的特征点进行载体相对位姿信息的估计：第一类方式的典型应用包括航天器着陆与返回和巡航导弹的自主导航，都可以使用异源图像匹配辅助的方式。由于图像不包含成像场景的深度信息，异源图像匹配导航一般采用与双目相机或惯性导航等传感器组合的方式来估计飞行器与成像空间之间的尺度因子，再进一步得到所需的导航参数。另一类方式主要用于低空飞行器，它要求目标区域具有较明显的特征，一般分辨率较低[65]。两种方式现阶段都有广泛应用，主要区别在于图像匹配结果和惯性导航结果的融合方式，因此，数据融合技术是异源图像匹配辅助惯性导航飞行器自主定位的关键技术。图9描述的是数据融合的基本过程。

图9 融合定位方法架构Fig.9 Fusion positioning method architecture diagram

近年来，国内外在异源图像匹配与惯性导航的融合定位方面取得了较多的研究进展，其中基于滤波的异源图像匹配与惯性导航融合方法越来越多。依据异源图像匹配与惯性导航融合现状，现阶段的异源图像匹配和惯性导航数据融合有两种方法：一种是异源图像匹配、惯性导航在前端通过导航信息进行融合，从而达到数据融合的目的，被称为松组合，如图10(a)所示；另一种是两种传感器分别进行解算，对解算结果进行融合，这种称为紧耦合的融合方式，如图10(b)所示[66-67]。

(a) 松耦合方法(a) Loose coupling method

(b) 紧耦合方法(b) Tight coupling method图10 异源图像匹配和惯性导航的融合方式Fig.10 Fusion of multi-modal image matching and inertial navigation

国内外学者在数据融合技术上做了很多的研究。通过融合图像特征点和无人机状态，实现了未知环境下无人机导航与标志点坐标估计，但随着观测特征点数量的增加，待估量维度增大，算法的计算复杂度也急剧增大，这种方法属于紧耦合方式。香港科技大学沈劭劼教授团队采用紧耦合的方式，用视觉和惯性导航采集数据进行后端融合，并开源了VINS框架[68]；文献[69-70]在进行视觉惯性融合的时候采用视觉、惯性导航分别解算，然后采用Kalman滤波进行数据融合，这就是典型的松耦合方式。

就目前来看，紧耦合方式使用得较多，同时由于紧耦合采用的是原始数据而不是导航结果进行融合，充分发挥了两种传感器的优势，使得紧耦合方式一般比松耦合方式略高，但随着数据纬度的上升，紧耦合又面临数据维度过大、计算过程复杂的问题，所以选用哪种方式进行数据融合，需要根据实际情况和实际需要进行选择，并没有统一的准则进行参考和指导。

2.5 后端优化技术

异源图像匹配辅助惯性导航飞行器定位系统后端负责对前端提供的结果进行优化处理，主要有滤波理论(优化理论、扩展卡尔曼滤波、粒子滤波、扩展信息滤波)或图优化算法， 从而得到最佳的位姿估计[71]。

飞行器视觉、惯性导航融合后端优化算法目前研究已经较为深入，从早期的基于滤波的融合到基于图优化的融合，再到现在最前沿的基于深度学习的框架，飞行器视觉、惯性导航后端优化已经初步实现了自主导航优化功能，但也远没有达到实际应用阶段，研究潜力依然很大。对于多飞行器定位系统后端优化算法，由于涉及局部优化到全局优化的转变，单一定位信息到多定位信息的转变，还有彼此之间位姿关系确定的问题，滤波算法在处理过程中可进行独立累加处理，容易进行数据融合优化，这样从单飞行器算法扩展到多飞行器比较方便，所以目前应用到实际的多飞行器定位系统大多是基于滤波的方法，但基于图优化的飞行器后端优化算法和基于深度学习的飞行器后端优化算法在复杂性和精确性上的优势，多飞行器定位系统领域也逐步开始向基于图优化的定位系统和基于深度学习的定位系统算法研究方向迁徙。下面将详细介绍两类后端优化算法。

1) 滤波理论优化。基于滤波理论优化的方法主要是利用贝叶斯原理，从开始时刻到结束递归地进行。依据上一时刻置信度和运动变换概率的积分(或求和)估计当前状态的置信度，然后利用当前时刻传感器的观测数据概率乘以当前时刻状态的置信度，得到后验概率。对于全局估计问题，由于存在很多不同的假设，每一种假设都会形成不同的后验模式，从而存在不同的滤波器算法。常见的有：卡尔曼滤波(Kalman Filter, KF)和EKF、信息滤波器(Information Filter, IF)和粒子滤波器(Particle Filter, PF)[72-73]。滤波算法具有时间约束和增量特性。滤波理论描述如图11所示。

图11 滤波优化原理Fig.11 Filter optimization schematic

2) 图优化方法。与滤波理论的求解过程不同，基于非线性图优化方法不依赖于某一时刻的信息，而是通过飞行器所有的运动信息和观测数据来优化飞行器完整的运动轨迹。其核心思想是：把后端优化算法转换成图的一种形式，图中的顶点代表了不同时刻飞行器的位姿和环境特征，有约束关系的各个顶点用边来表示。建好图之后，利用图优化算法对飞行器的位姿进行求解，使得顶点更好地满足对应边上的约束条件，优化算法结束之后，对应的图即是飞行器运动轨迹和观测量对应的约束关系。现阶段的图优化方法基本可分为：最小二乘法的优化、松弛技术的优化、随机梯度下降法的优化、流形优化四种[74-75]。图12为基于图优化的后端优化方法流程图。

图12 基于图优化的后端优化方法框架Fig.12 Framework of back-end optimization method based on graph optimization

3 异源图像匹配辅助惯性导航飞行器定位发展趋势

异源图像匹配辅助惯性导航飞行器定位技术发展迅速，但目前研究依然存在诸多不足：针对更加符合实际的地球曲面3D图像匹配较少，平面匹配居多；前端数据融合，后端结果优化的框架，计算量较大，在实际工程应用中受到限制；单一飞行器定位研究较多，多机协同定位研究较少等。未来，将会以高精度、未知环境实用化、智能化发展为方向进行如下研究。

1)随着飞行器可利用机载设备的不断发展，结合模式识别和立体视觉的最新进展，使用双目立体视觉传感器可获得更多、更准确的3D环境特征，进行空中立体匹配，并结合视觉惯性及时定位与建图(Visual Inertial Simultaneous Localization And Mapping, VISLAM)技术，消除VISLAM的累积误差，从而达到飞行器高精度定位的目的。

2)随着通信技术，特别是5G技术的飞速发展，多飞行器之间数据传输将变得容易，彼此之间共享传感器数据和各自位姿信息，进行协同定位。多方面定位结果可以相互补充，使每个飞行器都具有定位误差分辨能力，从而提高定位精度。

3)深度学习技术的快速发展，其多层网格特性可用于异源图像特征点提取，提高准确性，同时可将特征描述变得多元性，提高异源图像匹配精度。另外，网络结构具有的多路反馈机制，为判定数据准确性提供了帮助，用于数据融合，可提高传感器互相修正的能力，得到鲁棒性更好的导航系统。

4)随着计算机技术的快速发展，计算能力大幅提升，未来，可将相机内参、惯性导航系统内参系数无偏差地带入网络，经过网络进行学习与反馈，确定异源图像匹配和惯性导航的各项重要参数，提高组合导航的定位精度。

4 结论

本文对异源图像匹配辅助惯性导航飞行器定位技术做了全面的分析、研究和总结。从相机-惯性导航标定技术、异源图像匹配技术、视觉位姿解算技术、数据融合技术和后端优化技术五个部分分别进行分析研究，归纳性地阐述了异源图像匹配辅助惯性导航飞行器定位的关键技术，并指出了基于深度学习的异源图像辅助惯性导航飞行器定位等四个未来可能的发展方向，为未来智能飞行器定位提供了一个新的研究思路。随着异源图像匹配技术的不断成熟和完善，相信异源图像匹配辅助惯性导航飞行器定位技术一定能在智能飞行器导航领域具有更加显著的应用价值以及更加广阔的应用空间。