基于自适应重建的双路径图像超分辨率重建网络

邵俊

（福建师范大学光电与信息工程学院 福建省福州市 350007）

1 引言

单张图像超分辨率(SISR)旨在从低分辨率图像(LR)建恢复准确的高分辨率图像(HR)。单张图像超分辨率被广泛应用于监控成像和卫星遥感图像等领域。早期的单张图像超分辨率方法，例如，双三次插值法近年来很少受到关注，因为它往往生成过于平滑和不自然的图像。由于深度学习在计算机领域取得的进步，促使许多基于深度卷积的超分辨率算法被提出来。Dong 等人[1]首先引入用于图像重建的三层卷积神经网络，提出了使用深度卷积网络的图像超分辨率方法。Lim 等人[2]提出了一个具有残差块的非常深和宽的模型，并且在保真度方面取得了令人满意的性能。Ledig 等人[3]提出了一种使用残差网络实现图像超分辨率(SRResNet)的方法，但这些方法往往专注于恢复高频信息，对图像的低频信息恢复不足。为了解决这个问题，使用宽激活的高效和精确图像超分辨率算法[4]将亚像素卷积上采样[5]作为跳层以单独对低分辨率图像进行重建，但是亚像素卷积上采样使用单尺度结构进行重建，不能充分利用低分辨率图像中的特征信息。为了解决这个问题，本文提出一种基于自适应重建的双路径图像超分辨率重建网络。具体而言，自适应亚像素重建层(AFSL)[6]使用具有多个卷积核尺度的亚像素卷积结构实现上采样，并能根据网络中自动学习的权重删除一些比例较低的尺度分支，该方法可以充分利用图像的特征信息，并且已被证明AFSL 的性能优于亚像素卷积上采样方法。本文引入自适应亚像素重建层到SRResNet 中，以SRResNet 为网络主干，将自适应亚像素重建层作为跳层以单独重建低分辨率图像，最后将主干输出结果和跳层输出结果融合作为最终重建结果，所提的基于自适应重建的双路径图像超分辨率重建网络能充分利用低分辨率图像的特征信息来提高重建质量。

2 方法

2.1 网络架构

图1 展示了本文的网络架构，网络基于SRResNet 网络进行改进, 分为主体和跳层两个部分，主体与SRResNet 的结构组成相同，浅层特征提取阶段由一个卷积层和一个池化层组成，深层特征提取由16 个残差块组成，每个残差块的结构是卷积层-批归一化层-池化层-卷积层-批归一化层。重建使用了亚像素卷积层，跳层部分使用自适应亚像素重建层。输入低分辨率图像分别经过主干部分和跳层部分后，主干的重建结果与跳层的重建结果相加，得到最终的重建图像。使用AFSL 作为跳层可以帮助网络充分利用低分辨率图像的特征信息。

2.2 自适应亚像素重建层

如图2 所示，自适应亚像素重建层由四个不同卷积核大小的亚像素卷积分支组成，卷积核大小分别为3、5、7 和9, 然后输入图像ILR经过4 个分支。

x1,x2,x3,x4,最后通过一个concat 层将4 个输出级联，经过一个1×1 的卷积层后，使用一个3×3 卷积层得到重建结果。

表1：Model，Model-Ⅰ和Model-Ⅱ在四个公共数据集上以4 倍放大的重建结果的PSNR 和SSIM

图1：基于自适应重建的双路径图像超分辨率网络

图2：自适应亚像素重建层

2.3 损失函数

本文使用内容损失范数L1作为损失函数来训练网络。损失函数的计算可写为公式（1）。

其中，IHR表示原始高分辨率图像。G 表示本文网络。

3 实验

3.1 数据集及训练细节

本文使用数据集DIV2K800 作为训练集，其包含800 张原始高分辨率图像，在数据集Set5，Set14,BSD100 和Urban100 上测试。将不同的训练图像裁剪为128×128 的高分辨率图像块，并对高分辨率图像块下采样，以获得低分辨率图像。批尺寸大小为16，学习率初始值为0.0002，总共迭代500000 次。使用Adam 优化器进行优化。使用PyTorch 框架在NVDIA GTX1060 GPU 和16G 内存上实现模型训练。

图3：Model，Model-Ⅰ和Model-Ⅱ的重建结果

3.2 对比实验

本文使用峰值信噪比(PSNR)和结构相似度 (SSIM)来评估图像超分辨率方法的性能。将RGB 图像转到YCrCb 色彩空间，在Y 通道上计算两种指标。为了验证在残差网络将自适应亚像素重建层作为跳层可以提升重建质量，本文以SRResNet 为基础网络，表示为模型Model,在Model 的基础上，分别将亚像素卷积层和自适应亚像素重建层作为跳层，进而构建了Model-Ⅰ和Model-Ⅱ两个模型。表1 展示了Model，Model-Ⅰ和Model-Ⅱ在四个数据集上以4 倍放大的重建结果的PSNR 和SSIM，粗体字表示最佳。由表可知，Model-Ⅱ在两个数据集上的PSNR 值和SSIM 值均达到最佳。这表明将自适应亚像素重建层作为跳层对重建质量有一定的提升。图3展示了Model,Model-Ⅰ和Model-Ⅱ对BSD100 数据集中的102061以4 倍放大的重建结果的定性比较，重建结果下方是局部放大区域，由图可知，由于自适应亚像素重建层充分利用了低分辨率图像的特征信息，Model-Ⅱ比Model-Ⅰ生成了更真实的纹理。

4 结语

本文在残差网络图像超分辨率重建算法中将自适应亚像素重建层而不是亚像素卷积层作为跳层，以实现图像超分辨率。实验结果表明提出方法的有效性和优越性，解决了在残差网络中以亚像素卷积层作为跳层不能充分利用低分辨率图像特征信息的问题。