基于双路回归神经网络的遥感图像超分辨率重建方法

刘 淼 龚炳江

1邯郸工程高级技工学校 邯郸 056009 2河北工程大学信息与电气工程学院 邯郸 056009

0 引言

近年来，高分辨率成像系统已成为现代军事行动不可或缺的关键信息采集设备之一[1]。根据奈奎斯特采样理论，最高空间频率成像传感器可收集的信息是探测器像素。因此，当遥感成像的分辨率系统受到探测器像素大小的限制时，提高红外成像分辨率的最简单方法就是通过减小像素的大小来提高分辨率[2]。然而，受探测器制造工艺的限制，像素尺寸不能进一步加工成更小的尺寸，于是学者们提出使用计算成像方法重建将低分辨率图像重建出高分辨率图像，而大多数学者利用各种超分辨率方法来增强遥感图像的视觉效果[3]。

图像超分辨率重建旨在通过技术手段生成高分辨率图像，在放大图像的同时提高图像质量。单图像超分辨率（SISR）的重建是非对称问题，旨在通过使用低分辨率（LR）观察图像恢复图像采集过程中丢失的高频信息重建高分辨率（HR）图像，具有困难的正向过程和简单的反向过程。深度神经网络以其强大的非线性拟合、特征提取和高维数据处理的容错能力，在各领域特别是在图像处理领域得到了广泛应用[4]。随着神经网络技术的日益成熟，计算机视觉领域的技术问题得以解决，基于卷积神经网络的SISR应运而生，包括深度盲超分辨率和加速超分辨率[5]。平板电脑和手机等智能设备逐渐成为主流工具，但其计算资源仍然有限，故迫切需要实现高效的SR技术。Dong C等[6]将CNN网络应用于单图像超分辨率重建，提出了一种3层卷积神经网络SRCNN，而后越来越多的研究尝试使用CNN实现SISR，浅层神经网络的特征提取水平较低，但层越深特征提取水平就越高，更多研究集中在探索深度对模型表达能力和性能的影响；Kim D等[7]提出了VDSR，将层数增加到20层，并提高了超分割性能；Goswami S等[8]提出了一种更广泛更深入的网络架构EDSR，该架构将网络深度增加到60层以上，并提高了超分割性能。RCAN借鉴了ResNet的残差思想，通过全局残差结构和局部残差结构直接将网络深度增加到400层[9]。RCAN网络性能的巨大提高证明了网络深度对SR技术至关重要，然而增加网络层的数量可能会导致更高的计算成本，同时提高SR性能。智能手机和平板电脑等移动终端的广泛普及，导致用户对高分辨率图像的需求不断增加，但这些移动设备的硬件资源有限，无法承受过高的计算成本[10]。为了解决该问题，知识提取将从复杂模型或多个模型中学习的知识迁移到另一个轻量级模型中，使模型更轻但却不会损失性能。此外，剪枝方法已证明能够有效减少深度神经网络的大小，同时保持几乎完整的准确性[11]，但这些方案仍涉及冗余计算。图像SR重建侧重于恢复图像中丢失的细节，即边缘和纹理区域中存在的高频信息，故平滑区域（平滑区域）需要更少的计算资源[12]。然而，这些基于CNN的SR方法从原始LR输入中提取特征，并平等对待所有位置，这样的过程会导致低频特征的冗余计算。

为此，本文设计了双路回归超分辨率重建网络。随着多尺度反馈的引入，传统SRFN不能在多个文本尺度上单一地表示知识丰富的层次特征，但能用高层次信息存储低层次信息，更好地表示LR图像对之间的关系。此外，本文所提方法可以扩展到任何只对网络进行最小调整的放大因子，通过分析提供灵活性，以定义和培训具有不同深度的网络，利于从模型走向最终结构，有效地消除边缘结构的锯齿效应。

2 本文算法

2.1 模型架构

图1为本文提出的超分辨率图像重建架构。通过将多尺度卷积核与反馈连接合并，提出最后尺度投影单元（MSPU），在每个分支中引入不同的内核进行上下采样操作。MSPU可以自适应捕获图像特征的不同尺度，这些尺度具有较低多尺度特征，可充分利用局部特征的不同资产属性表现出多尺度接受场和信息共享。此外，利用1×1协同进化层来实现维度和纹理以及跨通道多尺度特征融合，还可通过将非线性分解添加到前一层的学习表示中提高网络的泛化能力。这种多路径学习增强了远程信息通信，进一步增加了网络的感知范围，并改进了向导结构。

图1 双路回归反馈网络结构

2.2 跳级连接模块

为了生成高质量高分辨率图像，本文设计了图2所示对称网络。本文提出的方法由浅特征提取、深特征提取和上采样等3部分组成。浅层特征提取部分由卷积层组成，卷积层用于提取图像的边缘、形状和其他信息。深度特征提取部分用于提取更抽象的语义信息。图2显示了浅特征和深特征可视化的结果。深度特征提取部分借鉴了ResNet网络的残差思想，使用多个串行残差组，其中每个残差组包含多个构建块，即短跳跃连接。短跳跃连接也称为残余连接，解决了网络深度增加导致的梯度消失问题，同时增加了网络深度并实现了高性能图像。

图2 跳级连接模块

低层特征具有较高的分辨率，包含更多的位置和细节信息，但其语义信息越来越少，噪声越来越大。高层特征的分辨率较低，对细节的感知能力较差，但其语言信息更丰富。卷积层用于对输入的低分辨率图像执行浅特征提取，其操作可表示为

式中：ILR为低分辨率图像，F（·）为卷积运算。

为了获得更抽象的特征表示，将获得的低层特征Y0∈·RC×H×W输入到多个残差组中进行深度特征提取，其操作可表示为

式中：FRG（·）为多个剩余组，用于进一步提取输入浅特征。

将获得的高层特征YRG经卷积层后逐像素添加到底层特征Y0，从而实现特征融合，然后将融合后的深层特征输入上采样模块，完成图像超分辨率重建。该操作可表示为

大多数超分辨率重建网络使用基于像素的损失函数来训练网络，但像素损失函数未考虑图像的感知、纹理质量，且网络通常输出感知上不满意的结果（如输出图像缺少高频细节等）。此外，本文还采用了Bruna等[11]提出的感知损失函数，该函数可以恢复更丰富的高频细节，以及预训练样本提出的特征重建损失函数VGG19网络用于提取特征空间中的超分辨率重建图像和原始高分辨率图像进行特征映射，其表达式为

式中：G为生成的高分辨率图像，φj为通过VGG19网络的第j次卷积获得的特征图。

2.3 生成对抗模块

GAN网络主要由生成网络和对抗网络组成，生成网络的输入和输出为低分辨率图像和高分辨率图像（ISR），对抗网络的输入和输出由发生器生成网络的原始高分辨率图像和高分辨率图像。对于GAN，生成器（G）和对抗（D）是博弈的双方，通过持续对抗优化网络参数。优化目标可表示为

式中：G为生成网络，lSR为损失函数。

首先，卷积层和ReLu激活函数层通过生成网络输入的低分辨率图像。然后，使用由16个残差块组成的残差密集网络来提取图像特征。每个残差块由2个卷积层、2个批量归一化层（BN）和1个ReLu激活功能层组成。最后，经过2次上采样后输入图像的长度和宽度是原始图像的4倍，再通过卷积层调整图像通道的数量，输出长度和宽度分辨率比原始图像高4倍的超分辨率图像。生成网络结构如图3a所示，判别网络的结构如图3b所示。

图像SR重建的视觉结果如图4所示。用于测试的图像选自公共数据集Urban 100，经比较表明，本文所提方法生成的图像更清晰，细节更好，对比度更高；本文所提方法比双三次、SRCNN、VDSR、LapSRN和CARN有显著改进。就图像Img001的4倍放大效果而言，本文所提方法生成的图像中建筑物的条纹更清晰，而通过其他方法生成的图像中建筑物的条纹非常模糊，与原始图像相比具有明显的失真。

图4 空间注意力模块和通道注意力模块

3 试验及结果讨论

3.1 实验和结果

本实验中使用的遥感数据集图像大小为600×800。对获得的图像进行下采样以获得相应的LR遥感图像。然后，双三次插值方法用于将LR遥感图像采样到目标大小。遥感图像被切割成128×128块，并发送到网络进行训练。学习从LR图像到HR图像的端到端映射需要精确估计由卷积核和反卷积核表示的权重，即

在网络中，批量大小设置为16，Epoch设置为200。为了证明网络模型的优越性，将本文网络结构的训练结果与SRCNN和VDSR进行比较。训练期间的峰值信噪比曲线如图5所示。

图5 在不同的上采样尺度下，每个网络在训练期间的峰值信噪比变化曲线

3.2 与最先进水平的比较

为了验证模型的复杂性和有效性，将本文所提方法与Bicu bic、RDN-DAQ、SRCNN、VDSR、LapSRN和CARN进行比较，定量结果如表1所示，可视化结果如图6所示。这些方法的实现基于官方发布的源代码，并使用训练的权重评估其实验结果。如表2所示，对于当前最先进的方法，拟议的本文所提方法在大多数数据集上实现了最高的峰值信噪比和SSIM。例如，对于2 SR本文所提方法实现的性能比CARN更好，在浮点和参数方面分别减少了1%和33%。在具有可比模型尺寸的情况下，本文所提方法在FLOPs方面的推力效率更好（66.7 G vs.118.8 G）。本文所提方法实现了比VDSR更高的PSNR和SSIM值，但其FLOPs值比VDSR小得多。这些结果表明，本文所提方法很好地克服了性能改善带来的困境，实现了较高的峰值信噪比性能和较低的计算成本。

表1 Set5上具有2 SR的消融研究

表2 Set5、Set14、B100和Urban100测试集上每个网络模型的性能评估（2、3、4）

图像SR重建的视觉结果如图6所示。用于测试的图像选自公共数据集Urban100，经比较表明本文所提方法生成的图像更清晰，细节更好，对比度更高；本文所提方法比双3次、SRCNN、VDSR、LapSRN和CARN有显著改进。就图像Img001的4倍放大效果而言，本文所提方法生成图像中建筑物的条纹更清晰，而通过其他方法生成图像上建筑物的条纹非常模糊，与原始图像相比有明显失真。

图6 Urban100数据集上×4SR的视觉比较

4 结论

本文提出了一种基于双路回归神经网络的图像超分辨率重建方法，自注意力机制来抑制不重要的信息并跳级冗余计算。空间自注意力模块捕获图像的重要特征，通道自注意力模块抑制非重要通道，然后将2个对称模块的输出相加，以进一步增强特征表示，从而定位冗余计算。通过跳跃连接卷积神经网络的遥感图像超分辨率重建方法。通过GAN网络卷积层提取图像特征，反卷积层恢复图像细节，有效地完成了图像SR重建任务，并在降低计算成本的同时实现了优异的性能。具有良好的遥感图像超分辨率重建能力。