基于分流的高光谱遥感图像超分辨重建

徐英豪，吕玉超，刘斯凡，朱习军

青岛科技大学 信息科学技术学院，山东 青岛266061

高光谱传感器通过许多相邻狭窄的光谱通道收集电磁光谱中的能量。可以在每个像素中捕捉到详细的反射率或亮度分布[1]。每种物理材料都有自己的反射特征或发光特征。因此，高光谱遥感具有优越的分辨能力，特别是对于视觉上类似的材料。然而，高光谱遥感图像在空间分辨率和光谱分辨率之间存在权衡[2]。由于光谱切片[3]很窄，只有非常有限的一部分辐射能到达传感器，导致满足光谱分辨率同时空间分辨率得不到满足，细小地物的识别和判读得不到保证，无法满足成图精度。为了解决获取超清高光谱图像的困难，高光谱（HIS）超分辨率（SR）重建走进了人们的视野。高光谱超分辨率重建是一种很有前景的图像处理技术，旨在从其低分辨率（LR）图像中获取高分辨率（HR）图像，以克服其固有的分辨率限制。Dong 等[4]提出了映射低分辨率和高分辨率图像的端到端深度学习方法，该网络结构简单，易于实现，但存在卷积层数少而导致的重建性能差的问题；在此基础上，席志红等[5]提出了多路径模式的局部残差学习与多权重递归学习相结合的模式来增加网络深度的同时加快收敛速度；但速度仍有提升空间，刘超等[6]提出了超分辨率卷积神经网络加速算法通过缩小滤波器尺寸结合深度可分离卷积的方式实现重建的高速运行。尽管深度学习在SR 中取得了突破，但当在大尺度上进行超分辨率重建时，其中一个还没有解决的问题是如何恢复出更详细的纹理细节[7]。Ledig等[8]利用生成对抗网络（GAN）进行图像SR 来解决上述问题；彭晏飞等[9]对SRGAN 算法进行了改进，以支持向量机中的hinge 损失作为目标函数，harbonnier 损失代替L2 损失函数使网络稳定性得到提升同时解决了普通区域产生斑点伪影的问题；蒋明峰等[10]提出了基于自注意力机制SRGAN 框架，自注意力机制产生的权重参数可以更准确地对全局图像结构施加复杂的几何约束，而且生成器和判别器在空间区域之间建立更准确的关系依赖。但上述文献仍然未考虑到图像空间信息分布不均匀，SR 重建时占据相同计算量导致资源浪费问题。研究者开始使用不同的处理策略来处理不同的图像区域。RAISR[11]将图像patch 划分为簇，并为每个簇构造相应的滤波器，还使用了一种有效的哈希方法来降低聚类算法的复杂性；Kong 等[12]设计了一种利用数据特性加速超分辨率网络实现特定区域的划分重建。与现有方法不同的是子图像分流和细节增强策略可以提供一种新的方法来处理高光谱遥感图像超分辨率重建问题，即采用子图像预先分流后提取高低频信息分别进行重建的方式，这样避免了高光谱遥感图像空间信息分布不均匀占据相同计算量所带来的资源浪费问题，并进一步对细节信息实施增强细化超分辨率重建。然而，目前文献中很少有文章提出一个统一的框架来同时解决计算过载和细节增强的问题。因此，迫切需要一种统一的、灵活的分辨率增强框架，同时解决过量计算和细节细化的问题。

因此本研究提出的多层级分流和细节增强的高光谱遥感图像超分辨率重建框架，为高光谱遥感图像重建提供了一种可靠的解决方案。高光谱遥感图像作为子图分流网络的输入，分流网络将得到的结果提取高低频信息后分别输入不同复杂程度的CARN[13]算法进行深度学习模型训练，建立高光谱遥感图像分支重建模型，实现高光谱遥感图像空间超分辨率重建。与典型的基于CNN的方法相比，提出框架更加有效，且需要较少的参数，但在高光谱遥感图像重建方面具有更好的性能。

本文的主要贡献可以总结如下：

（1）提出了一种新的用于高光谱遥感图像的多层级分流和细节增强的超分辨率重建框架。与典型的基于CNN 超分辨率重建模型相比，本模型能够高效地编码空间光谱信息。

（2）为了充分考虑高光谱遥感图像空间信息分布，在图像预处理阶段利用子图像分流网络进行分流，有效地利用局部空间特征。

（3）通过改进带细节增强的多尺度Retinex 算法提取高光谱遥感图像空间高低频信息，有效地利用高光谱遥感图像的细节纹理特征，达到细化细节的效果。

（4）在青科大一号卫星和Pavia University 数据集上大量实验表明，该方法可以在高光谱遥感图像超分辨率重建问题上优于其他基于CNN的方法。

1 分流超分辨率重建框架

基于分流的高光谱遥感图像超分辨重建框架图如图1所示。该框架主要由子图分流模块、高低频信息提取模块、区域图像超分辨率重建模块三部分组成。

图1 高光谱遥感图像超分辨率重建框架图Fig.1 Super resolution reconstruction frame of hyperspectral remote sensing image

首先对输入图像进行空间分解[14]，使用基于DenseNet模型的轻量级子图分流网络对子图像信息复杂程度进行分流处理；再通过改进带细节增强多尺度Retinex[15]算法把图像的高低频信息进行分离；最后汇入小型、中型和大型三种不同复杂程度的网络分别对高低频信息进行超分辨率重建；对完成超分辨率重建的图像高低频信息进行线性加权融合，把子图拼接成完整图像，重构清晰图像。

1.1 子图分流网络

遥感图像中各区域空间信息复杂程度不同，例如光滑区域（湖泊、田地）和复杂区域（工厂、住宅），这表明可以使用更小的网络来处理光滑的图像区域，使用深度网络去处理复杂区域[16]。根据这个观察，可以将大尺度遥感图像分解为子图像，对分解后包含不同形态信息的区域采用不同的网络进行超分辨率重建。对于大尺度遥感图像来说子图像分解尤其重要，因为有更多的地区重建起来相对简单。根据统计，Pavia University数据集约36%的LR子图像（32×32）属于平滑区域，而青科大一号卫星采集的高密市高光谱数据集这一比例上升到56%。也就是说对大尺度遥感图像进行子图像分解并分流进行重建不仅可以降低计算量在实际应用中节省内存空间还为后续提取高低频信息做好准备。

子图分流网络的目标是根据子图像是否容易重建进行分类，分为容易重建和困难重建两类，网络利用图像之间详细的纹理信息进行分类。受到DenseNet模型的启发设计基于DenseNet 模型的轻量级子图分流网络，如图2 所示。轻量级子图分流网络设计为4 个卷积层、3个LRelu层、1个平均池化层和1个全连接层，并以前馈方式将每一层连接到每一层，卷积层负责特征提取，池化和全连接层输出概率向量。子图分流网络具体参数如表1所示。具体来说，把大尺度图像X分解成子图xi；这个分类模型能接受对每一个子图xi都生成概率向量P(xi)。然后通过选取概率值最大的指标来确定子图属于哪一类。实验表明，该结构简单且能够取得良好的分类效果。

表1 子图分流网络参数设置Table 1 Subgraph shunting network parameter setting

图2 子图分流网络Fig.2 Subgraph shunting network

使用基础DenseNet 网络训练时，网络收敛到一个极端点而导致的图像都被分类到复杂纹理的分支。在输出向量时，例如分流结果向量为[0.90，0.10]优于[0.54，0.46]，因为后者看起来像是随机选择，这样子图分类网络将失去它的功能。为了避免这种情况，确保两个分支有平等的机会被选择。因此，设计了基于DenseNet模型的轻量级子图分流网络来执行子图的分流任务。子图分流网络，可以将纹理信息较少大致为均匀的统一体的图片分流到容易重建；将纹理复杂，非随机排列较多的图片分流到困难重建，提高了分流的有效性。

1.2 高低频信息分离

Retinex算法是利用人类视觉系统提出的一种图像增强算法。使用传统的多尺度Retinex算法提取高频和低频图像信息，得到的结果中高频信息的局部细节会很差。因此，对Retinex多尺度算法进行了改进，提出带细节增强的多尺度Retinex算法以分离高光谱遥感图像的高频和低频信息。假设低频信息为空间平滑图像、原始图像S(x,y)，高频信息为R(x,y)，低频信息为L(x,y)，r(x,y)为输出图像，*为卷积符号，Fi(x,y)为中心环绕函数，K为高斯中心环绕函数的个数，K值通常取3，Wi为尺度的权重因子且W1=W2=W3=1/3,h(x,y)为恢复系数通过恢复系数实现高频信息细节部分的增强；由此得到改进带细节增强多尺度Retinex 算法，其表达式为：

低频信息提取的表达式为：

Retinex算法改进前后提取高频信息结果图如图3，图3 中imgae1 和imgae2 分别为容易重建和困难重建数据集中部分提取出的高频信息结果，对比改进前后效果图发现，改进后高频信息中的地物与背景的边缘部位细节更加清晰，图像边缘的灰度值变化更快，使区域图像超分辨率重建模块对细节特征信息的提取更加敏感，局部特征提取更加完善。

图3 高频信息对比图Fig.3 High frequency information comparison diagram

从原始遥感数据中提取图像的高频信息和低频信息，部分结果如图4所示。从图4可以看到，高频信息中包含遥感图像的主特征和细节信息，低频信息包含遥感图像中包含大量平滑信息。因此，在执行超分辨率重建任务时应对高低频信息使用不同处理策略。

图4 高低频信息分离效果图Fig.4 Effect drawing of high and low frequency information separation

1.3 区域图像重建模型

采用不同的网络来处理不同复杂程度的子图像，即采用分而治之的思想实现超分辨率重建。CARN 使用本地和全局级联机制来整合来自多层的特性，这具有反映不同层次输入的效果，以便接收更多的信息。本文不涉及CARN算法的任何优化问题，在CARN的基础上研究了一种区域化图像重建的方法。如表2 所示（-O：原始的网络），本文使用了三个网络结构相同但信道数不同的CARN模型。首层分别含有32、50、64个通道的网络被用于从简单和困难中分离出子图像高低频信息的训练，即困难重建的低频信息和容易重建的低频信息，容易重建的高频信息，困难重建的高频信息。通过子图分流网络过滤困难重建的低频信息和容易重建的低频信息，发现空间复杂程度相差不大所以归为一类。由表2可以看出，CARN（32）和CARN-O（64）在“困难重建的低频信息和容易重建的低频信息”子图像上几乎没有差别，而在“容易重建的高频信息”子图像上CARN（50）可以达到与CARN-O（64）大致相同的性能。这表明可以使用轻量网络来处理简单的子图像，以节省计算成本。所以提出区域图像重建方法，它可以区别处理不同的区域图像实现重建并到达不错的效果。

表2 CARN三个SR分支获得MPSNR值Table 2 MPSNR value is obtained from three SR branches of CARN

设计区域图像重建模型，它由3个独立的分支组成Simple、Medium和Complex。每个分支是基于级联残差网络CARN 超分辨率网络。采用这种CARN 网络作为基础网络，并将其设置为最复杂的分支，其他分支则通过降低网络复杂度得到。使用每个卷积层的信道（卷积）数量来控制网络复杂度，通过减少卷积层数来完成网络复杂度的降低。找到能完成所有训练任务的最小层数和卷积数作为最大分支，然后依同样的方式去完成中型网络和小型网络的训练模型。对已完成超分辨率重建任务的图像高低频信息进行线性加权融合，把子图拼接成完整图像，重构清晰图像。线行线性加权融合公式如下，R(x,y)为高频信息，L(x,y)为低频信息，S为高低频信息线性加权融合后的完整图像，l为加权系数，取值均为0.5。

为了充分证明框架编码空间光谱信息的能力，在2、4和8倍上采样因子中均进行了测试，由表3数据显示，提出的方法获得了比原始网络更好的性能和更低的计算成本，实现高效编码空间光谱信息，FLOPs 降低到70%至52%。运算量的减少并没有导致图像质量的下降，这表明性能的提高不是以运算负担为代价的。这证明了，将输入的子图像分流到更合适分支的重要性。

表3 各上采样因子实验的MPSNR值Table 3 MPSNR value of each up sampling factor experiment

2 实验分析

该框架在ubuntul10.4 系统上进行了训练，使用NVIDIA GTX1080Ti GPU 设备，图像内存为28 GB。该网络由开源Pytorch深度学习框架实现，采用Adam修正法对网络参数进行优化[17]，初始学习率设置为0.001。尝试设置学习速率为0.1、0.01、0.001和0.000 1。实验结果表明，当初始学习率为0.001 时，与其他学习率相比，得到的结果最好。

2.1 数据集

本节将提出的方法应用于两个高光谱图像数据集青科大一号卫星数据集和Pavia University[18]数据集。青科大一号卫星数据为2019 年7 月中国山东省潍坊市的高光谱遥感影像。其中光谱范围为400～1 000 nm，并等分为256（任选32）个波段，空间分辨率为10 m。将平均大小为5 000×5 000 像素的图像裁剪成尺寸为128×128 像素。Pavia University 数据为2003 年意大利的帕维亚城的一部分高光谱数据，涵盖了从430～860 nm 的103 个光谱波段，空间分辨率为1.3 m 并标注由9 类样本。对于每个数据集，选择一个128×128像素的子区域来评估提出的多层级分流和细节增强的高光谱遥感图像超分辨率重建框架性能，另一个128×128子区域用来验证，剩余的用于训练。制作训练集时，设置高光谱遥感图像为基础HR图像，通过模拟遥感图像的模糊方式，增加Disk模糊，经双三次插值得到LR图像。其中Disk模糊分为不同的模糊核，来使LR 图像具有不同的模糊程度[19]。

2.2 评估标准

为了综合评价所提方法的性能，使用了经典评价指标和遥感图像分类应用相结合的方式进行验证[20]。经典评价指标为：信号重构误差（signal to reconstruction error，SRE）、平均峰值信噪比（meanpeak signal-to noise ratio，MPSNR）、平均结构相似度指数（mean structural similarity index，MSSIM）、平均均方根误差（mean root mean square error，MRMSE）[21]。SRE是根据重构图像与场景实况图像之间的信号误差反映图像质量的全局指标，MPSNR和MRMSE可以通过均方误差估计生成图像与地面真像之间的相似性。MSSIM强调与地面真实图像的结构一致性。SRE、MPSNR和MSSIM的理想值为1。对于MRMSE，最优值均为0。遥感图像分类应用的评价指标主要有总体精度（overall accuracy，OA）、生产精度（producer accuracy，PA）、平均精度（average accuracy，AA）以及Kappa 系数[22]。OA 是整个分类器性能的反映，PA 是每个类别所对应的准确率，AA 是所有类别生产精度的平均，Kappa系数是分类结果与真值地物之间的一致性。

2.3 实验结果分析

本节在青科大一号卫星和Pavia University 两个基准数据集上进行了一系列的实验，评估本文提出框架的性能，选择了三种具有公共代码的最先进的深度学习方法作为基线在4 倍上采样因子进行比较：FSRCNN、LapSRN[25]和CARN。实验结果如表4所示，对应的可视化结果如图5 和图6 所示，青科大一号卫星数据集以1波段显示，Pavia University 数据集以49 波段显示。其中在图像的右下角的红色矩形区域表示图像被放大了三倍。

图5 青科大一号卫星数据集实验结果Fig.5 Experimental results of QUST-1 satellite dataset

图6 Pavia University数据集实验结果Fig.6 Experimental results of Pavia University dataset

表4 超分辨率重建实验结果Table 4 Experimental results of super-resolution reconstruction

在高光谱遥感数据实际应用中，需要光谱数据的同时还需要用到其对应的空间形态信息。高光谱遥感数据的劣势是光谱信息丰富但空间形态信息匮乏，所以在很多地物分类、识别的过程中无法做到精准的判读，判断空间形态信息需要有高的空间分辨率，而高光谱遥感数据本身无法满足需求。虽然Ahn 等[13]也研究使用了级联残差方法为实现空间分辨率的提高做出了贡献，但存在处理信息分布不均数据时同等对待而不能对不同地物空间形态信息做出对症重建的缺点。实验结果表明，提出方法能够在不损害光谱信息和有效利用计算负载的前提下，保留地物的真实空间形态信息对症重建，实现空间分辨率进一步提高的同时地物识别精度也得到提高。

由表4 中青科大一号卫星数据实验结果表明提出的多层级分流和细节增强的高光谱遥感图像超分辨率重建模型在SRE、MPSNR、MSSIM和MRMSE指标的值最优，分别为38.20、31.85、0.65、6.95，与FSRCNN 模型对比SRE、MPSNR 和MSSIM 分别提高了1.84、2.98、0.07，MRMSE 降低了1.75。提出方法在处理像青科大一号卫星数据集这种以平原、田地和小城镇等自然场景为主相对简单的不规则自然图案数据时，子图分流结构将大部分子图划分到容易重建一类，通过带细节增强的多尺度Retinex的结构将细微的纹理信息和光谱信息很好地保存下来，并传递到区域图像重建模块的简单分支进行重建，局部图像信息更加平滑，使用较少的运算量实现更好的效果。

从表4中Pavia University数据的结果可以看出，提出的方法与其他方法相比仍然具有较好的重建结果。与FSRCNN相比，SRE提高了1.84，MPSNR提高了3.64，MSSIM 提高了0.06，MRMSE 降低了1.79。在处理像Pavia University 数据集这种包含不同频段城市场景组成的规则人工图案数据时，子图分流结构将大部分子图划分到困重建一类，通过带细节增强的多尺度Retinex的结构和区域图像重建模块的复杂分支对不同频段的边缘、纹理细节特征更加全面地提取并使之参与到重建计算中，避免图像出现锯齿状边界，描绘出的形状更加真实。当然在处理类似城郊结合的中等复杂数据时提出方法也可以做出灵活处理在计算量和性能上达到最优。

为了进一步说明提出框架的优越性，在图5 和图6中给出了可视化结果，在图7 中给出了实验光谱曲线。在图5 青科大一号卫星数据集实验结果的FSRCNN 效果图中发现FSRCNN 未能提取和恢复地面真像图像中小建筑物之间的缝隙。虽然在LapSRN 和CARN 的重建结果中可以观察到，但这条缝隙不明显，不容易被检测。相比之下，提出框架利用增强的细节纹理特征将保留细节，使其更加清晰。在图6Pavia University 数据集实验结果中，地面真像中有一个“一”字形建筑物轮廓，这个轮廓在其他方法的结果中很难区分出来。相比之下，这个“一”字轮廓仍然可以在提出的结果中观察到。这表明提出的框架可以利用利用高光谱遥感图像的细节纹理特征，并受益于区域图像重建模块重建精细纹理，说明该网络可以更好地保存光谱信息，更好地保持细节特征。

图7 展示了青科大一号卫星和Pavia University 数据集各波段的MPSNR 性能，本文提出的方法MPSNR在各波段都持续高于其他方法。由以上结果表明本文算法在考虑局部空间细节时，可以更好地学习和强化空间特征，提高结构特征的连贯性。因此，可以得出结论，本文提出的算法在CMOS 和ROSIS 传感器采集的这两个数据集上都能够获得较好的表现。

图7 各波段的MPSNR性能展示Fig.7 MPSNR performance display of each band

为验证提出模型的有效性，采用SVM 分类算法在原始Pavia University 数据集和经提出框架重建后的Pavia University 数据集上进行分类对比实验。分类结果的评价指标如表5。图8直观地展示了分类图。从图表中可以看出，在使用相同分类算法的情况下，重建数据的分类性能均超过原始数据的性能，从而证明提出的超分辨率重建模型对图像质量的提升在分类应用有良好的效果。

表5 原始图像和超分图像分类对比结果Table 5 Classification and comparison results of original image and super divided image %

文章进行了消融实验来验证提出框架中各组成部分的重要性。消融实验中不同模块的设置包括：不加子图分流网络分支，不加高低频信息提取分支，不加改进高低频信息提取分支，这三种比较方法除了被消融的模块，其他均与提出模型具有相同的设置。在青科大一号卫星和Pavia University数据集进行实验，结果如图9所示，从图中可以看出使用改进细节增强算法比不改进算法的超分辨率重建结果在MPSNR值上提升了约1.2%，从而证明了细节增强的有效性。所提出框架的超分辨率重建指标超过了其他消融实验模型的指标，证明了所提出框架中每个组件的重要性。

图9 青科大一号卫星和Pavia University数据集上消融实验结果Fig.9 Ablation experiment on QUST-1 satellite and Pavia University

3 结束语

为了提高高光谱遥感图像的空间分辨率，提出的多层级分流和细节增强的高光谱遥感图像超分辨率重建框架。针对高光谱遥感图像的空间信息分布不均匀导致重建时占据相同计算量的问题，本文设计子图分流网络进行分流，实现计算负载的有效利用；针对高光谱遥感图像细节部分重建后不够精细问题，设计高低频信息提取模块对纹理细节部分重点提取以充分保留纹理细节信息和消除不必要的噪声，使重建工作更加细化具体。在两个数据集上的实验结果表明，与其他高光谱遥感图像超分辨率重建方法相比该框架能够恢复更精细的细节且具有较高的效率。在未来的研究中，如何在一定的约束条件下进行更精确的图像高低频信息加权融合是本文研究的重点。