不同季节下无人机航拍图像与卫星图像匹配方法研究

任 艳，刘胜男，陈新禹，黄振家

(1 沈阳航空航天大学人工智能学院，辽宁 沈阳 110136；2 沈阳航空航天大学自动化学院，辽宁 沈阳 110136)

0 引言

先进的导航系统是决定无人机完成作战任务、提高生存力的关键。目前无人机常用的导航方式有:全球卫星导航系统(global navigation satellite system,GNSS)[1-2]、惯性导航系统((inertial navigation system,INS)[2-3]、地形辅助导航、多普勒导航、组合导航系统等。其中使用最广泛的为GNSS。然而,GNSS系统易受其他无线电信号干扰,导致定位精度降低,恶劣时甚至完全无法定位。INS系统通过处理陀螺仪和里程计传感信号来间接估计无人机的航路与位置,可靠性较高,但由于导航系统中缺少闭环校正过程,在航程中会产生误差累积,存在着无法单独使用和难以持续稳定导航的问题。

随着视觉传感器、计算机视觉技术的迅速发展,视觉导航技术逐渐显露出解决上述问题的优势[4-5]。同时视觉处理包含有信息校正的闭环回路,因此视觉导航技术可以作为其他导航系统的有益补充。目前视觉导航技术主要是将计算机视觉与INS相结合,即以计算机分析得到的地面图像信息来修正INS的误差。但由于INS质量较大,上述技术尚不适用于负载能力有限的无人机。

近年来,无人机视觉定位技术受到了研究者的大量关注,各类基于计算机视觉的图像匹配算法被陆续提出。文献[6]提出了一种基于NCC(normalized cross correlation)的图像匹配算法。该算法通过计算像素值的累积和与平方和,并使用降采样过程,降低了程序运行时间和复杂度。但该算法对局部强度的变化很敏感,匹配效果不佳。文献[7]提出了一种基于改进SURF(speeded up robust features)[8]的图像匹配算法。该算法引入了颜色、信息熵理论和一系列约束条件来提高图像匹配精度。该算法匹配速度快,且具有仿射和旋转不变性的优点,但在处理四季变化图像时,易出现匹配错误。文献[9]提出了一种面向目标定位的、基于区域划分的图像匹配框架。该算法将检测到的Harris角点合并到SIFT(scale invariant feature transform)关键点集中,以实现图像匹配。该算法在复杂的模拟航拍图像上进行验证,取得了较好的效果。但该算法是利用遥感图像来模拟无人机航拍图像,未体现对真实无人机航拍图像的实验验证。文献[10]提出了一种基于abBRIEF描述符的无人机图像与不同尺度卫星图像的匹配算法。该算法在BRIEF(binary robust indenpendent elementary features)[11]描述符中添加了颜色信息。然而,颜色信息在显著的季节外观变化中没有获得较理想的匹配结果。文献[12]提出了一种基于空间尺度卷积的双通道深度卷积神经网络,该网络在图像之间进行匹配模式学习,以实现图像匹配。卷积神经网络方法需要基于大量的标注数据,目前尚未有公开的、真实的四季变化(尤其是雪景图)的无人机航拍图像库供深度网络进行训练。

因此,在面向视觉定位的图像匹配中,实时图像和基准图像获取的传感器不同、光照差异、季节变化会造成两者提取到的特征存在差异,从而导致匹配错误[13]。例如冬季雪后地物被冰雪覆盖,会造成无人机航拍图像和春季卫星图像在同一场景的视觉特征上出现较大差异,导致两者在匹配时得到错误的定位结果。由于图像边缘特征集中了图像中信息的大部分结构信息,也是地物被遮挡后较稳定的特征,较图像的特征点相比,对四季变化特征不一致性具有较强的鲁棒性。同时由于模糊信息粒具有描述不精确、不确定事件与现象的能力,因此文中基于模糊信息粒来提取地物信息被遮挡情况下无人机航拍图像的不清晰边界,进而建立针对四季变化、光照差异条件下异源图像匹配方法,最后将该方法应用到无人机的视觉定位中。

1 算法

在无人机绝对视觉定位技术研究中,以参考数字卫星地图为基准图像,无人机实时航拍图像为待匹配的目标图像。由于基准图像幅面大,因此将定位问题转化为无人机航拍图像与参考区域内所有瓦片图像的匹配问题。通过解算目标图像和瓦片图像之间的匹配映射关系对无人机位置进行估计,得到定位信息。无人机绝对视觉定位示意图如图1所示。在无人机视觉定位中,高效的图像匹配算法起着至关重要的作用。本节将提出一个基于模糊信息粒的异源图像匹配算法。

图1 无人机绝对视觉定位示意图Fig.1 UAV absolute visual localization diagram

首先,根据卫星图像和无人机航拍图像的分辨率确定无人机航拍图像的尺度缩放系数,进而对无人机航拍图像进行尺度预处理;然后,基于模糊信息粒边缘检测算子,提取无人机航拍地物图像与待匹配卫星瓦片图像的边缘;最后,对提取的图像边缘进行二值化,遍历卫星瓦片,计算无人机二值图像与卫星瓦片二值图像之间的相似性,并根据相似性结果寻找最大值,从而得到最终的匹配结果。

1.1 尺度预处理

在一些应用中,来自卫星和无人机的异源图像之间的匹配是非常重要的。例如,无人机的视觉定位、战场感知目标识别中异源图像间的信息融合等。无人机影像和卫星影像由于成像传感器不同、高度变化等原因,分辨率存在较大差异。无人机影像的地面分辨率一般优于卫星影像,通常可以达到亚米级别甚至更小[14],而卫星影像的地面分辨率一般较低,通常在米级别或数米级别[15]。

现假设无人机飞行的地理参考区域的卫星图像为G(卫星地图的级别为l,地球赤道周长为d),在该区域上共有U幅瓦片地图,即G={G1,G2, …,GU},其中Gu(u=1, 2, …,U)。令无人机航拍图像为Iuav(即待匹配图像),无人机的飞行高度为h,a为机载摄像机的像元尺寸,f为机载摄像机镜头的焦距,lat为地理参考区域卫星图像G的纬度信息。无人机航拍图像的地面分辨率ruav[16]与卫星瓦片图像的地面分辨率rtile[17]的计算公式分别为:

(1)

(2)

则无人机航拍图像的尺度缩放系数β为:

(3)

经尺度缩放之后的无人机航拍图像为:

(4)

1.2 基于模糊信息粒的边缘检测方法

在四季变化的异源图像(无人机航拍图像与卫星图像)匹配过程中,图像在灰度特性和环境外观等方面存在较大差异,导致异源图像匹配困难。边缘特征作为图像的基本特征,集中了图像信息的大部分结构信息,在无人机航拍图像和卫星瓦片图像之间具有较高的一致性。同时由于模糊信息粒具有描述不精确、不确定事件与现象的能力,因此文中基于模糊信息粒边缘检测方法实现异源图像匹配,进而为无人机视觉定位提供技术储备。

1.2.1 图像的模糊信息粒表示

在图像I的x和y维度上分别定义模糊集P={P1,P2, …,PM}和Q={Q1,Q2, …,QN},其中Pm(m=1, 2, …,M)和Qn(n=1, 2, …,N)可看作是由模糊集表示的信息粒,如图2所示。

图2 图像的模糊信息粒示意图Fig.2 Schematic diagram of fuzzy information granules for one image

Tmn(x,y)=(Pm×Qn)(x,y)=Pm(x)tQn(y)

(5)

(6)

(7)

(8)

1.2.2 模糊信息粒边缘检测算子

1) 生成FIG算子卷积核[19]。设信息粒Pm和Qn是高斯型隶属度函数,即:

Pm(x)=exp(-σ(x-2)2)

(9)

Qn(y)=exp(-σ(y-2)2)

(10)

1.3 匹配

(11)

2 实验结果与分析

为评估文中方法的性能,本节将在夏季和冬季的无人机航拍图像上实验验证,并将结果与其他图像匹配算法进行对比分析,主要包括SIFT[22],SSD(sum of squared differences)[23],NCC[24],SAD(sum of absolute differences)[25],MatchNet[26]和2chDCNN(2 channel deep convolution neural network)[12]。

2.1 实验数据

在冬季,尤其是地面被积雪覆盖的情况下,卫星影像包含的地面特征大量减少,图像缺乏丰富纹理,故冬季卫星图一般不适宜作为无人机视觉定位的基准图库。而夏季卫星图地面信息特征明显,更适合作为基准图库。因此文中选用夏季卫星图作为匹配的基准图库。

实验所用的夏季无人机航拍图像来自于西北工业大学的数据集,图像分辨率为2 000×2 000,待匹配的卫星图像是在太乐地图下载器下载的17级Google地图,其中每幅瓦片图像的分辨率为256×256。若选择15级Google地图,地面分辨率较大,无人机航拍图像经过尺度预处理后较小,因此选择17级Google地图。所用的冬季无人机航拍图像是由大疆无人机在辽宁省沈阳市沈北地区上空拍摄得到的,飞行高度为200 m与300 m,图像分辨率为4 000×3 000。待匹配的卫星图像是由太乐地图下载器下载的15级Google地图,其中每幅瓦片图像的分辨率为256×256。夏季与冬季无人机航拍图像如图3、图4所示。

图3 夏季无人机航拍图像Fig.3 Summer UAV aerial image

图4 冬季无人机航拍图像Fig.4 Winter UAV aerial image

2.2 匹配结果

在25对夏季图像和10对冬季雪景图像上对文中方法进行了验证。其中每对图像由无人机航拍图像和相应地面实况的春季Google卫星瓦片组成。

由于FIG检测算子受σ取值的影响,下面以航拍图像为例,σ分别取0.01、0.02、0.04,得到不同的边缘检测算子,图5给出了应用三个不同FIG算子得到的边缘检测结果。

图5 不同σ取值的边缘检测结果Fig.5 Edge detection results with different σ values

从边缘检测结果可以看出,如果σ数值太大,则提取的边缘体现的是图像的主干边缘,边缘点较少,虽然提高了匹配速度,但边缘会出现断线现象。如果σ数值太小,则图像的边缘细小,此时边缘会有噪声出现,从而导致匹配难度的增加。因此综合上述分析,文中飞行高度为200 m的无人机航拍图像和卫星瓦片图像选取的σ分别为0.22与0.11,飞行高度为300 m的无人机航拍图像和卫星瓦片的σ分别为0.08与0.04。

为了进一步验证文中匹配方法的有效性,使用交并比RIoU作为客观评价指标,对匹配结果进行评价。RIoU评价图像匹配结果时主要指模板图像的地面真实位置和预测位置之间的重叠率,即两个矩形框的交集和并集的比值[27-28]:

(12)

式中:Be表示预测的矩形框面积;Bt表示地面真实的矩形框面积。

RIoU值越大,表明真实值与测试值越接近,从而得到的图像匹配效果也更好。图6、图7给出了文中方法与其他六种方法的图像匹配示例图。从左到右依次为UAV image,SIFT,SSD,NCC,SAD,2chDCNN,MatchNet和文中方法。红色矩形为每个方法的预测位置,蓝色矩形为地面真实位置。从矩形框可以看出,文中方法的匹配结果与地面真实位置最接近,明显要优于其他方法。

图6 冬季无人机航拍图像匹配结果Fig.6 The matching results of UAV aerial images in winter

图7 夏季无人机航拍图像匹配结果Fig.7 The matching results of UAV aerial images in summer

此外,文中利用接收者操作特性曲线(ROC曲线)来进一步评价匹配结果的好坏[30]。ROC曲线给出了图像重叠率大于重叠阈值所占比例,其中横轴为重叠阈值,纵轴为成功率。重叠阈值越大,成功匹配的标准就越严格,即匹配成功率随着重叠阈值的增加而降低。

文中提出的方法在冬季与夏季数据集上与其他六种方法的ROC曲线如图8、图9所示。

图8 冬季图像上各种方法的ROC曲线Fig.8 ROC curves of various methods on the winter UAV aerial image

图9 夏季图像上各种方法的ROC曲线Fig.9 ROC curves of various methods on the summer UAV aerial images

曲线下方的面积SAUC量化了整体的准确性,较大的SAUC代表了较好的性能。不同匹配算法的SAUC指标结果如表1所示。可以发现,文中方法在夏季和冬季数据集上的SAUC得分均高于其他匹配方法。虽然夏季图像中不存在积雪遮挡,但无人机航拍图像和卫星图像通常是在不同时间、不同传感器、不同观测点/角度以及不同气象条件下获得的,导致两幅图像同一场景视觉特征上存在较大的差异,给图像匹配带来了影响。文中利用模糊信息粒描述不精确、不确定事件与现象的能力来提取地面图像特征,并将相似但不完全一致的特征进行匹配,克服了差异性对匹配的影响,提高了图像匹配的准确性。同时,模糊信息粒能够通过简单的计算实现图像特征提取,具有高效性。此外,所有方法在夏季数据集上的表现都优于冬季数据集,这说明了积雪对无人机航拍图像匹配的影响较大。文中方法在夏季数据集上的SAUC结果比冬季数据集的SAUC结果高,这是由于夏季相对于冬季图像,能够更加清晰地显示出图像的细节和特征,这对于图像匹配的准确性有一定的促进作用。

表1 不同方法的实验结果对比Tab.1 Comparison of experimental results of different methods

2.3 在无人机绝对视觉定位上的应用

为了验证文中所提出的图像匹配方法的有效性,将该方法应用在无人机绝对视觉定位上[29-30]。该实验将无人机航拍图像作为输入图像,将其与预存参考区域的Google卫星地图进行匹配。文中选用的参考区域地图是使用Arc Tiler下载器从Google地图中下载的,由50幅分辨率为256×256的瓦片图像组成,如图10所示。其中每幅瓦片都带有瓦片坐标。此时定位问题可转化为无人机航拍图像与参考区域内瓦片图像的匹配问题。

图10 卫星瓦片图像Fig.10 Satellite tile images

在匹配过程中,式(11)用来计算和评价无人机航拍图像Iuav与参考区域内瓦片图像的匹配结果。最终与输入图像匹配度最高的瓦片坐标记为(xtile,ytile)。

然后,根据瓦片坐标与经纬度坐标转换式[31](13)、式(14)将瓦片坐标转换为无人机的经纬度位置信息(°),从而得到无人机的定位结果。

(13)

(14)

无人机绝对视觉定位软件界面以Visual C++为开发平台,使用MFC库设计并实现了界面显示。

该软件界面由4部分组成。第一部分由3个路径设置控件组成,用于设置无人机图像、卫星图像和瓦片地图的存储路径。第二部分由3个图像显示控件组成,用于显示无人机测试图像,与当前位置无人机图像匹配度最高的瓦片图像,以及无人机的定位结果(定位结果指当前无人机在参考区域卫星图像上的位置)。第三部分由两个文字显示控件组成,用于显示无人机当前位置的经纬度计算结果。最后一部分由1个进度条控件和1个按钮控件组成,用于实时显示无人机定位任务完成的进度和控制无人机定位软件的启动和停止。

图11给出了可视化界面结果,无人机当前的定位结果被红色正方形框选在参考区域卫星图像上。同时,界面的右下角给出了当前无人机的经纬度坐标。

图11 无人机绝对视觉定位结果Fig.11 The result of UAV absolute visual localization

在图12所示的航拍图像上,将文中方法获得的无人机位置信息与无人机实时的GPS位置信息进行对比,进而验证方法的有效性。表2给出了文中方法获得的无人机位置信息、无人机实时的GPS信息以及误差。从结果可以看出应用文中匹配方法获得的无人机定位结果误差较小,范围在0.02%～0.88%之间。因此,文中的匹配方法能够实现对无人机准确、稳定的定位。

表2 无人机航拍图像的定位结果对比Tab.2 Comparison of localization results of UAV aerial images (°)

图12 无人机航拍图像Fig.12 UAV aerial image

综上所述,文中提出的基于模糊信息粒的图像匹配方法适用于不同季节的无人机航拍地物场景。该研究可以拓展当前无人机视觉定位研究工作,为多季节下无人机视觉引导下的准确定位与导航提供一定的技术支撑。

3 结论

文中基于模糊信息粒提出了一种不同季节下无人机航拍图像与卫星图像匹配方法,该方法能够提取到地物信息被遮挡情况下无人机航拍图像的不清晰边界,有效解决了四季变化、光照差异条件下异源图像匹配困难的问题。文中将该方法与SIFT,SSD,NCC,SAD,2chDCNN和MatchNet匹配算法进行了比较,并在ROC曲线和SAUC值上进行了仿真和分析。同时,文中还将所提出的匹配方法应用在无人机绝对视觉定位上,并将定位结果与无人机实时的GPS位置信息进行对比,验证了文中方法的定位准确性。实验结果表明文中方法具有较高的匹配精度,具备一定的工程应用价值。