无人机航片和卫星影像融合算法

牛丽峰，李轶鲲，杨树文，李小军

(1.兰州交通大学 测绘与地理信息学院，兰州 730070；2.甘肃省地理国情监测工程实验室，兰州 730070；3.地理国情监测技术应用国家地方联合工程研究中心，兰州 730070)

0 引言

无人机航测已成为对地观测的重要手段，获取的影像具有分辨率高，影像细节显示明显以及可视区丰富等优点。高分辨率卫星遥感影像具有获取范围大、全天时、全天候、实时获取影像等优点，但是其成像易受高大地物遮挡而形成大面阴影，影响地物信息识别[1]。因此，将无人机航片和高分辨率卫星影像进行融合具有非常好的应用前景。

近年来，国内外学者研究的重点多在高分辨率影像融合方面[2]。如李成铁等人[3]提出了基于字典学习的超分辨率影像融合方法，有效提高了多光谱影像的分辨率；李盛阳等[4]提出了曲面波变换_超球面彩色变换算法 (Curvelet_HCS)，构建了影像融合数据源选取的决策树算法，该算法很大程度改善HCS算法的光谱失真。在无人机影像融合方面，韩文超等人[5]提出了利用最佳缝合线的融合方法，融合图像的目视效果明显增强；任伟健等人[6]改进了加权平均融合算法，有效去除了拼接线缝隙，融合影像质量较好。在航片与卫星影像融合方面，学者们也做了有益探索，如吴松等人[7]使用一些传统的融合方法对无人机高分辨率数据与陆地卫星8 (Landsat-8)的多光谱数据进行融合；陈利军等人[8]将航片与地球观测系统(SPOT)影像融合时，发现HIS融合方法在很大程度上能减少光谱失真；贾永红等人[9]通过相关计算获得原始全色影像的I分量，实现了航片与多光谱影像的有效融合。

综上所述，虽然以上融合方法有很好的适用性，但是融合影像空间信息有损失和光谱真，且无人机航片间融合时存在信息扭曲等缺点。而无人机影像和高分辨率卫星影像融合主要集中在传统融合方法，这些方法融合效果不佳。因此，针对无人机影像和卫星影像使用传统HIS融合中存在的光谱信息填补不足、空间信息丰富度低的问题，提出无人机影像最优波段替代I分量进行融合，融合结果较好地加强了空间信息特征，有效地增强了无人机影像的光谱信息。

1 融合方法

1.1 最邻近扩散算法融合(nndiffuse pan sharpening，NNDiffuse)

NNDiffuse融合[10]是一种针对高分辨率影像的融合方法。其原理是融合影像中的每个像素是其邻近的超像素光谱的加权线性混合值，每个光谱看作是最小操作元素。因此，整个算法中涉及因素有像素大小比、空间光滑性和强度平滑性，融合算法公式为：

(1)

δ2=minNj(x，y)j=1，2…，9

(2)

其中Nj(x，y)在9个相邻像素中是不相同的。

Nj(x，y)=∑(p，q)∈Ωj(x，y)|p(x，y)-Pp，q|
j=1，2…,9

(3)

Ωj定义了9个相邻超像素中的每一个的扩散区域(x，y)是表示像素在高分辨率坐标中的位置。

该融合算法相比于其传统的HIS变换、PCA变换和色彩标准化变换(colornormalized，rovey)影像光谱逼真，增强了空间特征。针对国产高分二号影像的多光谱和全色影像目前主流的融合方法分别是高通滤波法(high-pass-filter，HPF)、叶斯法及改进算法(Pansharp 及Pansharp2)。汤耶磊等[11]已经对这几种融合方法做了评价分析，对于高分二号影像融合效果最适合的是NND、HPF、Pansharp融合算法。NND融合方法所获得融合影像光谱性良好。本文以此为根据，使用NNDiffuse融合方法对高分二号影像的多光谱和全色影像进行融合处理。

1.2 HIS影像融合

HIS是一种颜色模型，它跟人类视觉认知系统非常相似，在进行HIS影像显示时，将I分量的分辨率提高则整个图像的分辨率也会提高。处理MS影像的主要局限在于HIS变换只能使用于RGB真彩色影像。Te-MingTu等人[12]针对超过3个波段的高光谱影像的应用，提出了GHIS 变换。在后期的研究中W.DON提出它的公式[13]如下：

(4)

(5)

W=[ω1，ω2，…，ωN]其中W是权重，是正变换矩阵的第一行，并且可以尽可能地选择测量多光谱影像(MSS)和全色影像(PAN)信道之间的频谱重叠度{ωi}k=1， …，N，一般N=3。在N=3时，MSI是高光谱影像，MSP是经过GHIS融合后的影像。亮度I不是通过单个波段确定而是给每个波段加一个权重，然后将所有波段，这样集中了各波段的光谱信息，很好地减少了光谱扭曲度，显著增强空间特征。

1.3 改进的HIS变换方法

HIS变换是将低分辨率的影像RGB模型转换成HIS模型，然后用高分辨率影像全色影像(PAN)代替I分量，最后经过HIS逆变换，得到融合影像。虽然这种方法在多光谱遥感影像和PAN影像中融合效果好且方便，但是在航片影像中很难应用，必须从无人机影像(unmanned aerial vehicle，UAV)中选取最恰当的波段影像。本文基于波段的选择提出如下公式：

(6)

式中：I′表示的是从无人机影像中获取的波段；UAV(：，：，K)表示无人机影像的波段数。其中a值是通过计算多光谱影像(MSS)的直方图和波段的相关系数确定。

相关系数是对变量之间线性相关程度的衡量指标，以2个变量与各自平均值的利差为基础，通过2个利差相乘来反映二者之间的相关程度。本文使用计算公式如下：

(7)

α是余弦角，α越大则2个波段之的相关性越低。遥感影像融合中相关系数指标反映2幅影像之间的光谱保持度[14]。因此，本文通过计算无人机影像与遥感影像各波段之间的系数，确定需要融合的影像波段。

研究中，笔者对要融合的原始影像，利用高分二号影像自带的RPC参数对MSS和PAN进行正射纠正，以PAN影像为基准，对MSS和UAV影像做空间配准。本文融合主体分为2个部分：MSS与PAN的融合、MSS与PAN融合后影像和UAV影像的融合。过程如图1所示。

图1 整个融合流程

①利用8个系数的偶立方核对[15]原始MSS图像进行插值运算和空间匹配处理，得到纠正影像(MSI)。

②使用 NNDiffuse变换方法对MSI影像和PAN影像融合，得到融合影像 (NND)。

③使用相同的插值方法将NND影像的大小与UAV影像大小相同，计算NND影像的3个波段和UAV影像的3个波段的直方图及他们各个波段之间的余弦角α，如表1所示。取UAV影像中的与NND影像各个波段相关性强的波段作为本次融合波段。

表1 UAV影像与MSP影像各波段的余弦角

通过HIS融合原理可知，只需要一个波段来顶替I，根据表1可知选择第三波段，且a=7，b=1。因此，公式(6)变为：

-UAV：，：，1-UAV：，：，2)

(8)

④用选取的UAV影像波段代替原始I影像得到I′影像。

⑤最后对H、S和I′做HIS逆变换得到融合影像(MDD)。

2 实验结果

2.1 实验数据

本文实验数据采用高分二号影像的MSS影像和PAN影像，它们的分辨率分别为0.8 m×0.8 m和1.6 m×1.6 m，PAN影像相比于原始MSS影像其分辨率要高很多。所用MSS影像大小为23像素×30像素，PAN影像大小为92像素×120像素。所采用的UAV影像分辨率是0.2 m×0.2 m，它的分辨率要比PAN影像高，图像更清晰。其大小是368像素×480像素，具有4个波段。

2.2 融合结果

本文实验是通过MATLAB语言实现，通过上述算法流程融合的结果如图2所示。评价和分析HIS融合方法、PCA融合方法和改进HIS方法的融合结果与NND影像和多光谱影像之间的相关性。

图2(a)是无人机波段影像，图2(b)是高分二号影像的MSS影像，图2(c)是MSS影像和PAN影像的融合结果，本文中用NND表示，图2(d)～图2(f)分别是改进HIS方法融合结果、原始HIS融合方法融合结果和PCA融合方法融合结果。

图2 原始影像及融合影像

2.3 融合效果评

本文使用Gemine Vivone[16]采用的评价指标。光谱扭曲度越小表明光谱越真，光谱扭曲越小。空间失真度值越小则空间信息越真实。光谱映射角越大融合效果越差。融合质量评价指标值越大表示融合效果越好。融合影像相关系数是对原始影像和融合相信相关性的描述，值越大相关性越高。通过MATLAB计算得到评价指标和影像直方图如图3所示。

在视觉上，图2(d)影像清晰，色彩上与NND影像接近，图2(e)影像色彩与NND影像有所差别，更接近原始MSS影像色彩，图2(f)所获得影像色彩更接近无人机影像。图3(b)是MSS与PAN融合结果NND影像和NND影像与无人机航片影像的融合结果的灰度直方图，灰度直方图能够反映出影像差异[17]。另外，结合图3(a)和图3(b)可以明显得到：本文改进后的融合方法所获得的融合影像光谱信息扭曲度最低，空间信息扭曲度也最低，融合质量明显高于原始HIS融合方法，且其融合质量的数据分辨率高，这表明通过此方法融合影像能更好地保留遥感影像的光谱信息，融合影像很好地突出了影像空间细节；传统HIS融合方法所得融合影像细节成分较突出，且与MSS影像相关性好，PCA融合影像相关性好。

图3 影合影像质量评价

3 结束语

无人机航片影像对于无人机影像融合中面临I分量替换波段选取问题，本文提出一种波段提取的方法，改进HIS变换。实验结果表明该方法一定程度上改善了空间信息的损失，弥补了航片影像光谱信息匮乏的缺点，波谱变化变化趋势基本一致，光谱保真度较好且融合效果好，融合影像分辨率明显提高，特别是其融合后影像空间信息丰富，细节显示明显提升；表明通过影像波段之间的相关性确定无人机航片影像融合波段具有一定的合理性，且该方法具有较强稳定性和适用性。但是，通过这种方法提取的波段HIS融合方法中代替I分量，融合后影像与原始图像的相关性要比原始HIS融合方法差一点，这也是后期需要改善的地方。