基于多尺度空谱特征提取的高光谱遥感图像重建

朱新忠，彭 娜，张 宁，曹李莉，彭 勋，刘丽芹，史振威

（1.上海航天电子技术研究所，上海 201109；2.北京航空航天大学 宇航学院，北京 100191）

0 引言

随着高光谱成像技术的发展，遥感高光谱图像（Hyperspectral Image，HSI）凭借其丰富的光谱信息被广泛地应用于坏境、农业、气象、地质、军事等领域［1-4］。然而，遥感高光谱面临图像成本高、传输难等问题。另外，相对于多光谱图像，HSI的空间分辨率通常更低，这些问题的存在限制了HSI的应用范围，光谱超分辨（Spectral Super-Resolution，SSR）图像如图1所示。

图1 SSR 图像Fig.1 SSR images

相较于HSI，多光谱图像空间分辨率更高，成像范围更广，成像成本更低。因此，研究人员提出利用多光谱图像生成高光谱图像解决HSI 成像成本高、传输难等问题。

2008 年，PARMAR 等［5］提出通过稀疏恢复的技术从RGB 图像生成高光谱图像，对高光谱数据进行降维找到一组有代表性的特征，然后采用线性求解的方式从RGB 图像生成高光谱图像。2016 年，ARAD 等［6］提出了采用字典翻译的稀疏恢复方法，证明在特定的环境中，从RGB 图像生成高光谱图像有较好的效果。卷积神经网络的出现为SSR 问题提供了新的解决方案。2017 年，GALLIANI 等［7］使用DenseNet 网络实现了从RGB 图像到高光谱图像的映射。其主要思想是通过DenseNet 实现多尺度的特征提取，通过深层网络实现复杂映射关系。2018 年，CAN 等［8］使用一个仅包含9 个卷积层的残差结构网络实现了较好的SSR 效果。2017 年，ALVAREZ-GILA 等［9］通过UNet 解决SSR 问题［10］，并首次在这类问题中引入条件生成对抗［11-12］的思想优化网络参数。2020 年，ZHANG 等［13］提出了一个基于像素感知的深度卷积网络解决SSR 问题。2021 年，HE 等［14］提出了一个光谱响应函数引导的卷积网络，引入通道注意力机制［15］解决SSR 问题。但这些方法对输入RGB 或多光谱图像中的空间光谱先验利用不足，同时很少关注高光谱波段间的信息，因此SSR 的效果有限。

本文实现了一种基于SSR 的高光谱图像生成方法，仅借助输入的RGB 图像信息生成空间像素对应的高光谱图像。由于RGB 图像每个像素的值可能对应多条光谱曲线，这类SSR 问题实际上是约束严重不足的欠定求解问题。本文采用ResUNet 结构提取图像的空谱特征，建立空谱先验。另外，通过对大量光谱曲线的分析发现高光谱图像相邻波段间相关度较高，因此在本文中使用组归一化（Group Normalization，GN）方法［16-17］更好地关注相邻光谱之间的相关性。为了更好地优化网络参数，提升生成高光谱图像的真实性，还引入了条件生成对抗训练方式。通过该方法，可以实现更加逼真和精确的高光谱图像生成。

1 网络结构

1.1 生成网络

该网络用于学习输入RGB 图像到输出高光谱图像的映射，由于问题的约束、不确定性高等问题，因此需要充分挖掘RGB 图像中的空间和光谱特征，以建立空谱先验，实现高光谱图像的高质量生成。为挖掘RGB 图像中的各层语义特征，设计了基于ResUNet 的生成器。该生成器沿用语义分割领域的经典工作UNet［10］，充分挖掘各语义抽象程度的特征，融合包含语义类别信息的深层特征和边缘细节信息的浅层特征，实现对RGB 图像中特征的充分挖掘。为解决多次卷积操作会造成图像模糊、空间细节信息有多丢失的问题，在UNet 中引入残差块，通过残差块的shortcut 连接，使UNet 的特征提取能力进一步增强，同时可以使输入图像的空谱特征较好地保留图像的细节，便于后续高光谱图像的生成。该设计方案与ResUNet［16］设计思路一致。

通过分析大量高光谱图像的光谱曲线，发现高光谱图像的波段间具有很强的相关性，而这种相关性可以进一步缩小生成高光谱图像的优化范围，实现更真实的高光谱生成。文中应用了一系列通道注意力机制处理光谱之间的相关性。通道注意力机制是在获取特征图全局信息的前提下，对每个通道的特征进行相同权重的调整。经过实验发现，这种方式对于某些局部特征来说并不适合，甚至可能弱化某些重要特征的权重。因此，采用GN 方法的方式，对网络中不同维度特征进行分组归一化，使其对应高光谱图像中某些波段之间的高相关性，而弱化与其他相关性低的波段的关联。GN 符合高光谱图像相邻光谱波段相关度高的事实，通过对特征进行分组归一化，同组的特征有相同的归一化与缩放操作。该方式可以实现类似光谱波段分组生成的效果，同时又不会破坏每个像素处光谱曲线的整体特征，可以实现较好的波段间相关性关注。GN 的另一个优势在于在每批训练数据较少的情况下，通过特征分组，获得了更多数据的统计信息，避免了数据量不足导致的统计信息偏差较大的问题。

本文提出的高光谱图像生成网络结构如图2 所示，RGB 图像输入后，经过五层编码，逐步实现语义的抽象，然后在解码部分再重用编码器对应语义抽象程度的信息，实现深浅层特征的高度融合。深浅层融合特征与输入图像经过一层卷积shortcut 的特征相接，实现原分辨率特征的利用，保留更多对恢复高光谱图像边缘有利的信息。

图2 基于ResUNet 的高光谱图像生成网络Fig.2 HSI generation network based on ResUNet

每次特征的编码均由残差模块进行，图2 中残差模块如图3所示。生成网络为每个特征图设置组数为16 的GN 方案，实验发现，在图2 的特征维度条件下，组数为16能够达到最优的高光谱图像生成效果。

图3 残差模块Fig.3 Schematic diagram of the residual module

1.2 判别网络

为了更好地判断输入高光谱图像的真假，本文使用了“Patch GAN”结构［17］。判别器的输入为成对的RGB 和高光谱图像，输出为通道为1 的一组判别数据，表示输入高光谱图像真假的概率。由于同时输入了RGB 图像和高光谱图像，判别器的设计应该满足以下两个条件：1）关注RGB 图像与高光谱图像的空间与光谱对应关系；2）关注高光谱图像光谱之间的相关性。本文采用判别器网络结构，如图4所示，由于需要获取更多的信息，因此判别器特征维度较生成网络有所上升。另外，实验中仍采用了GN 的方式，但其目的是防止每批训练数据过少统计信息偏差较大，导致判别网络区分能力差。实验中，特征图分组归一化的组数设置为48 组。

图4 判别器网络结构Fig.4 Structure of the discriminator network

1.3 网络优化

网络的损失函数包含L1 损失函数和生成对抗损失两部分。实验所用的DFC2018 Houston 数据集高光谱数据进行归一化后，平均值较小，使用L2损失函数无法获得较好的优化结果，本文放弃使用L2 损失函数而采用L1 损失。

另外，在训练过程中，生成网络生成的高光谱图像是逐渐趋于真实值的。在训练初期，判别器可能得到不合适的特征区分真假高光谱图像。所以本文仅在L1 损失无法继续优化生成网络时，才使用生成对抗损失。

式中：Loss为训练初期的损失函数。

式中：Loss1为L1 损失无法继续优化后的损失函数。

提取空谱特征时，存在类别不平衡的问题，某些地物出现的频率高，而有些地物可能仅存在于几个小场景中。但由于缺少标注，在训练过程中，无法发现是哪类地物出现的频率更低，因此本文采用了难样本挖掘的方式，通过对高损失的样本进行重复训练的方式，实现对频率低的地物的重点关注，在一定程度上，优化了高光谱图像的生成效果。

2 实验结果

2.1 实验数据集

DFC2018 Houston 数据集是美国休斯顿大学的高光谱图像分析实验室和国家机载激光测绘中心（National Center for Airborne Laser Mapping，NCALM）为2018 年IEEE GRSS 数据融合大赛发布的多传感器数据。该数据集包含：分辨率为0.5 m 的多光谱激光雷达数据；分辨率为1.0 m，光谱范围在380～1 050 nm，48 个波段的高光谱数据；分辨率为0.05 m 的高分辨率RGB 图像数据。这些数据是由NCALM 于2017 年2 月16 日格林威治时间16∶31 至18∶18 期间在休斯顿大学校园附近获取的。实验选用该数据集中的高光谱数据，其全景图像如图5 所示。实验中，训练集与测试集比例是6∶1。

图5 DFC2018 Houston 数据集高光谱图像全景Fig.5 HSI panorama of the DFC2018 Houston dataset

2.2 生成高光谱图像评价指标

对于生成的高光谱图像，本文所采用的评价指标有平均绝对误差（Mean Absolute Error，MAE）、均方根误差（Root Mean Square Error，RMSE）、平均峰值信噪比（Mean Peak Signal to Noise Ratio，MPSNR）、平均结构相似度（Mean Structural Similarity，MSSIM）、光谱角度制图［18］（Spectral Angle Mapping，SAM）。

2.3 实验结果对比

本部分主要验证本文采用的网络结构生成的高光谱图像在5 个评价指标上的结果，并展示了不同网络生成结果在不同波段上与真实值的偏差。本文选用了当前先进的6 种主流方法进行重建结果对比，对比结果见表1。其中，BN 为Batch Normalization［19］，IN 为Instance Normalization［20］，GN 为 组归一化。

表1 生成高光谱图像评价指标Tab.1 Generated HSI evaluation indices

对比结果显示：本文提出方法生成的高光谱图像较CanNet，均方根误差下降了48.3%，平均峰值信噪比上升了20.7%。高光谱图像生成结果不同波段与真实值的相对偏差与所有波段相对偏差的平均值分别如图6 和图7 所示，测试图像不同点生成的光谱曲线与真实值光谱曲线如图8 所示，计算相对偏差y1和平均相对偏差y2的公式如下：

图6 高光谱图像生成结果不同波段与真实值的相对偏差Fig.6 Relative deviation of HSIs generated in different bands from the real value

图7 高光谱图像生成结果不同波段与真实值的平均相对偏差Fig.7 Average relative deviation of HSIs generated in different bands from the real value

图8 生成高光谱图像与真实高光谱图像光谱曲线对比Fig.8 Spectral curves of the generated HSIs and the real HSIs

式中：xfake为生成光谱曲线；xreal为真实光谱曲线。

3 结束语

本文提出了一种基于SSR 的高光谱图像生成方法，实现输入RGB 图像，输出对应分辨率的高光谱图像，可以克服高光谱成像成本高、成像范围有限等问题。具体地，设计了基于ResUNet 的图像空谱先验提取方法，充分挖掘输入RGB 图像中的地物类别等信息，同时设计组归一化方案，实现高光谱波段相关性的关注。

为增强生成光谱的真实性，设计了条件GAN的生成框架和难样本挖掘的训练方案，实验证明，所提出的高光谱生成方法可以实现优于其他先进方法的高光谱图像生成。