资源一号02D卫星高光谱与多光谱融合数据滨海湿地分类应用

孙伟伟 任凯 肖晨超 孟祥超 杨刚

(1 宁波大学 地理与空间信息技术系, 浙江宁波 315211)(2 自然资源部国土卫星遥感应用中心, 北京 100048)(3 宁波大学 信息科学与工程学院, 浙江宁波 315211)

滨海湿地即陆地生态系统和海洋生态系统的交错过渡区域，具有重要的生态和经济价值。卫星遥感的大面积同步观测和可重复观测等技术优势为实现滨海湿地的动态监测和科学管理提供重要支撑。近年来，国产卫星事业发展迅速，特别是高光谱卫星的出现为湿地的精细监测提供了可能。2019年9月，我国成功发射第2颗高光谱遥感卫星资源一号02D卫星(又称为5米光学业务卫星)，是我国首颗民用高光谱业务卫星，其空间分辨率为30 m，光谱范围从400～2500 nm，可见光与近红外(VNIR)范围内的光谱分辨率为10 nm，短波红外(SWIR)范围内光谱分辨率为20 nm，可获取166个连续光谱波段，幅宽可达60 km[1]。然而，由于传感器在设计过程中不能同时兼顾高空间分辨率与高光谱分辨率，使得资源一号02D卫星数据在地物精细识别与监测等应用中无法直接发挥其更大的应用价值。影像融合作为当前提升高光谱数据(HS)空间分辨率最主要的技术手段近年来不断发展，同时，多光谱数据(MS)具有比全色影像(PAN)更多的光谱波段，与HS具有更大的光谱相关性，因此，一种可以有效融合HS数据与MS数据的方法是非常重要的[2-5]。当前针对HS与MS进行融合的方法众多，根据其原理大致可分为以下4类：基于成分替换的方法、基于多分辨率分析的方法、基于机器学习的方法与基于深度学习的方法[2]。基于成分替换的方法主要通过使用高空间分辨率的影像替换低空间分辨率影像的强度分量进行逆变换获取融合影像，代表性的方法包括自适应的Gram Schmidt 算法(GSA)、亮度-色度-饱和度(IHS)等[6]。基于多分辨率分析的方法通过滤波器、小波变换等方法提取高空间分辨率影像中的空间结构信息，并将其注入到低空间分辨率影像中实现图像融合，代表性的方法包括抽取小波变换(DWT),调制传递函数-拉普拉斯金字塔(MTF-GLP)[2]。基于机器学习的方法首先建立影像融合模型，通过迭代最佳化求解得到融合后的影像，代表性的方法包括耦合非负矩阵分解(CNMF)、基于Sylvester公式的快速融合方法(FUSE)[2]。基于深度学习的方法通过建立复杂的网络训练MS影像、HS影像与高空间分辨率的HS间的关系，并将关系映射于需要融合的MS和HS数据得到融合后的影像，比较典型的方法有3-D卷积神经网络(3-D CNN)、拉普拉斯全卷积神经网络(PFCN)[6]。

因此，本文针对当前方法在空间保真性、光谱保真性和计算效率中所存在的权衡提出了一种成分替换与神经网络相结合(CSNN)的高光谱与多光谱融合方法，实现资源一号02D卫星影像与多光谱影像的高质量融合，提升滨海湿地的分类应用效果。

1 结合成分替换和神经网络的融合方法

本文提出了一种新颖的高光谱影像融合方法，首先对HS数据进行插值并根据数据间的波段相关性进行波段分组，使HS波段对应于相应的MS波段；其次通过权重矩阵提取HS波段组的强度分量，并将提取出的强度分量作为引导图像对MS波段进行降分辨率；之后训练降分辨率的MS波段与强度分量间的映射关系，将训练得到的关系映射于原始MS波段得到高空间分辨率的强度分量；最后使用高空间分辨率的强度分量减去低空间分辨率的强度分量，使用权重矩阵将得到的差分影像注入到原始HS波段中实现本组的影像融合，并依次完成其它组数据的融合之后进行波段合成(如图1所示)。

注：LRHS为低分辨率的高光谱影像，HRMS为高空间分辨率的多光谱影像，HRHS为融合后的高空间分辨率的高光谱影像，Wk为权重矩阵，Gk为转换权重矩阵。

1.1 波段分组

在影像融合的过程中，数据间的相关性对最终的融合质量具有一定的影响。当前大多多光谱传感器所获取影像的波谱范围为400～900 nm，资源一号02D卫星高光谱传感器则可获取400～2500 nm范围内的影像，影像中非重合波段的融合一直是数据处理中的一个难点。为了解决这一难点，在保证非重合波段较小失真的基础上提升总体融合质量，试验中计算了资源一号02D卫星HS每个波段与MS每个波段间的相关系数，寻求每个HS波段对应的具有最大相关性的MS波段对数据进行分组融合。具体计算公式为

(1)

1.2 强度分量预测

基于成分替换的方法首先将HS数据中的强度分量进行提取，采用直方图匹配后的高空间分辨率影像对所提取的强度分量进行替换实现影像融合。由于高空间分辨率影像与原始HS数据强度分量间存在较大的差异，替换强度分量后的HS数据光谱特性被改变，存在严重的光谱失真。因此，一个适当的强度分量对于影像融合是非常重要的。本文采用基于成分替换的方法与神经网络算法相结合获得了高空间分辨率的强度分量，通过使用高空间分辨率的强度分量替换HS数据的强度分量进行逆变换实现影像融合，具体步骤如下。

(1)提取HS数据波段组中低空间分辨率的强度分量，具体公式为

(2)

(3)

(2)对MS的波段进行降分辨率，本次研究采用导向滤波器，具体公式为

(4)

(5)

式中：Mlt表示Ml的第t个像素，ε为正则化参数。

(6)

(7)

式中：wj表示隐含层第j个神经元到输出层的权重矩阵，b2表示误差矩阵。以上w和b通过不断迭代更新得到的，具体公式为

wj=wj+α·(Ap-Ar)·Ap·(1-Ap)·aj

(8)

b2=b2+β·(Ap-Ar)·Ap·(1-Ap)

(9)

wji=wji+α·(Ap-Ar)·wj·aj·

(10)

b1=b1+β·(Ap-Ar)·wj·aj·(1-aj)

(11)

式中：α和β为学习参数，并且α=0.6和β=0.7，Ar为目标数据。通过以上算法可获取数据间的非线性映射关系，通过将训练得到的非线性关系映射于MS波段得到高空间分辨率的强度分量，具体公式为

(12)

1.3 成分替换

根据成分替换方法的原理，通过将训练得出的高空间分辨率的强度分量替换原始HS波段数据的强度分量并进行逆变换得到融合的HS波段数据，具体公式为

k=1,…,θ

(13)

(14)

2 资源一号02D卫星的融合与湿地分类试验

2.1 数据集

本次试验共采用了两组模拟数据集和一组真实数据集对CSNN进行了验证，表1展示了试验所采用数据的具体信息。本文采用不同的光谱响应函数和降采样系数进行数据模拟，验证本方法对于不同数据集的鲁棒性。其中，模拟数据集-1捕获了2019年12月2日河北省廊坊市的部分区域。通过移除水汽吸收严重的波段，最终采用了155个高光谱波段，并且采用斯波特-4(SPOT-4)卫星的光谱响应函数，降采样系数为4得到模拟MS数据；模拟数据集-2于2020年5月19日采集，覆盖太湖流域的部分区域，移除11个水汽吸收严重的波段，最终共采用155个波段进行试验，采用地球之眼-1(GeoEye-1)卫星的光谱响应函数，降采样系数为5对HS进行光谱重采样获取了模拟MS数据。真实数据集所采用的高光谱数据同样来源于资源一号02D卫星传感器，该影像位于杭州湾南岸区域，移除22个水汽吸收严重的波段，最终144个波段被使用进行融合试验，并且所采用的高光谱数据像素为1300×1600。此外，多光谱数据来源于欧洲哨兵-2A卫星(Sentinel-2A)传感器，其中4个空间分辨率为10 m的波段被使用，像素为3900×4800。为了探索不同融合方法的具体应用性能，我们对真实数据集融合后的图像进行了分类分析。通过使用Google Earth软件和实地采样，获得了真实数据中主要湿地地物类型的感兴趣区域。训练样本和测试样本从所选的感兴趣区域中随机选取。为了保证分类精度，训练样本数与测试样本数的选用比例为3∶7，利用性能稳定的支持向量机(SVM)分类器对图像进行分类。

表1 试验数据集Table 1 Experimental datasets

2.2 试验结果

本文一方面从可视化的角度对影像融合结果进行了定性评价，另一方面采用了支持向量机(SAM)、综合全局误差(ERGAS)、峰值信噪比(PSNR)和通用图像质量指数(Q2n)对融合影像进行了定量评价[7-8]。此外，选用了CNMF、FUSE、GSA、MTF-GLP、混合色映射(HCM)5种主流的融合方法与CSNN进行了对比，从更加客观的角度对CSNN进行了评估[8-10]。

图2与图3展示了模拟数据的融合结果。

注：红光波段为636 nm,绿光波段为550 nm,蓝光波段为473 nm。

注：红光波段为636 nm,绿光波段为550 nm,蓝光波段为473 nm。

由图2、图3可知CNMF与FUSE取得了较好的融合效果，在光谱保真性与空间分辨率增强方面都取得了很好的性能；GSA取得了较好的空间锐化效果，但存在全局性的光谱失真；MTF-GLP对于影像的空间分辨率增强效果有限，但是具有较好的光谱保真性，HCM取得了最差的可视化结果。CSNN对于地物的空间分辨率具有最好的增强效果，并且具有很好的光谱保真性。为了更客观的对各种方法进行评估，表2展示了对融合图像的定量评估结果。其中CSNN在各项指标中都取得了最好的结果，其次为CNMF与FUSE，GSA与MTF-GLP取得了一般的定量评估结果，HCM在所有方法中结果最差。

图4展示了真实数据的融合结果，所有方法都取得了较好的空间分辨率增强效果，但是融合影像间存在一定的光谱差异，例如FUSE和GSA在海洋区域存在严重的光谱失真，CNMF在滩涂区域与LRHS具有一些光谱差异，HCM在植被区的光谱保真性较差。其中，MTF-GLP和CSNN具有最佳的光谱保真性。此外，对融合影像的光谱曲线与真实地物参考光谱曲线进行了对比，如图5所示，我们的方法在植被，湖泊和海洋中保持了最好的光谱保真性。为了进一步对各种方法的应用性能进行评估，对真实数据集的融合影像进行了分类，并通过总体分类精度(OA)指标和Kappa系数(KC)对分类结果进行了评估。图6展示了原始影像与融合图像的分类结果，可看出混分区域主要存在于河漫滩和海洋的部分区域，水田和植被的部分区域，坑塘和养殖池的部分区域。通过表3的精度评估结果可看出，所有融合影像的分类精度都高于原始影像，说明通过影像融合可有效地提升数据分类精度。此外，各种融合方法对分类精度的提升效果不一，其中CNMF、FUSE和GSA取得了较好的效果，MTF-GLP和HCM次之，CSNN取得了最好的结果。

表2 模拟数据集定量评估结果Table 2 Quantitative evaluation results of the simulated datasets

注：红光波段为636 nm,绿光波段为550 nm,蓝光波段为473 nm。

图5 典型地物的光谱曲线对比Fig.5 Comparison of spectral curves of main ground objects

图6 真实数据集影像融合结果分类图Fig.6 Classification map of different image fusion results for real data

本次试验所有方法都运行于Intel Core i5处理器和8G RAM上，采用MATLAB 2018a对算法进行操作。表4列出了各种方法在不同数据集上的运行时间，可以看出CNMF和FUSE取得了最低的计算效率，GSA和MTF-GLP次之，HCM获得了最高的计算效率，但其融合质量存在巨大的缺陷。除HCM之外，本文的方法取得了最佳的计算效率。

表3 不同方法的分类精度对比Table 3 Classification accuracies from different methods

表4 不同方法的运行时间对比Table 4 Comparison in computational time of different methods

3 结束语

本文针对资源一号02D卫星更好地应用于滨海湿地分类，提出了一种高光谱与多光谱数据融合方法，该方法创新性地将成分替换方法与神经网络算法相结合，一方面改进了融合数据的融合质量，另一方面提升了算法的计算效率。采用了模拟数据和真实数据对方法进行了验证，并且将其应用于滨海湿地分类，取得了很好的结果。但是由于成分替换框架本身的缺陷，一些光谱失真仍然存在，当前多分辨率分析方法的框架可有效地降低融合影像的光谱失真，如何将多分辨率分析框架与神经网络算法相结合是未来的一个重要的研究方向。