高质量轻量级超分辨率重建网络模型的设计

黄扬鈚， 梁红珍， 彭智勇

(1.桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004;2.桂林生命与健康职业技术学院，广西 桂林 541001)

图像超分辨率重建能针对细节缺失的低分辨率图像，重建出细节更丰富、画质更清晰的高分辨率图像。在医学图像处理、卫星遥感影像、安防监控及图像压缩、传输等领域中有着广泛的应用。但一幅低分辨率图像，有无数幅与其对应的高分辨率图像，故超分辨率重建是一个病态问题。为解决该问题，研究人员提出了多种基于深度学习的图像超分辨率重建算法[1]。

2014年，由Dong等[2]首次提出基于卷积神经网络的图像超分辨率重建算法SRCNN，该网络仅使用3个卷积层，却取得比传统方法更好的重建质量；Kim等[3]采用残差结构提出VDSR，其网络有20个卷积层，更深的网络层拥有更大的感受野，并引入全局残差学习，超分辨率重建性能得到较大的提升；SRCNN和VDSR结构中，先使用双三次插值将低分辨率图像放大到目标尺寸作为第一个卷积层的输入，增大了计算量[4]。Dong等[5]对SRCNN进行改进，提出快速超分辨率卷积神经网络FSRCNN，直接以低分辨率图像作为输入，在最后一层使用反卷积进行图像放大；Tai等[6]对VDSR进行改进并提出DRRN，把网络结构加深到52层，引进局部残差和多权重递归学习方法，使性能得到进一步提升；2018年，Li等[7]提出多尺度残差MSRN，第一次在残差结构中使用多尺度模式，采用不同的尺度提取到更丰富的特征，但所用的多尺度特征提取模块计算复杂度高、参数量大；陶状等[8]在整个网络中引入多个反馈模块，把低分辨率图像和前一个反馈模块的输出作为后一个模块的输入，通过自顶向下的反馈机制，用网络中的高层信息来细化低层信息，产生非常好的高层表征能力。近年来，基于CNN的超分辨率重建算法从重建的性能指标上及重建视觉效果上都取得了较好的成果。

SRCNN与FSRCNN采用层与层之间堆叠的方式构建模型，没有充分利用网络各层的特征；VDSR则采用全局的残差结构，尽管有效地把低层特征传递到高层，但没有充分利用中间层的特征，导致重建的图像纹理细节不够清晰。针对此问题，Tong等[9]在密集网络的基础上提出SRDenseNet，将稠密块结构DenseNet[10]应用到超分辨率问题上，充分地利用网络中每个深度的特征，但是过于密集的网络存在大量的特征冗余，计算成本高，不利于快速重建。

针对上述问题，设计了一个既能充分利用网络各层提取的特征信息，同时尽量减少过多的冗余信息的轻量级网络结构来进行单帧图像超分辨率重建。以Res2Net[11]和MSRN的框架为基础，提出了基于卷积神经网络的多尺度多阶段特征提取融合网络，实现单帧图像的超分辨率重建，主要有以下两点贡献：1)在残差学习的思想上，使用跳跃的连接方法，分别对局部特征和全局特征进行有效融合，实现特征多层复用，为重建放大模块提供了丰富的不同频率信息；2)提出了多尺度多阶段特征提取融合模块，分别使用两条路径，由不同卷积核尺寸进行特征提取，有效地得到多种感受野特征。

1 网络结构

1.1 网络总体结构

SSD[12]算法采用尺寸大小不同的特征提取模块检测图像特征，将每一个特征提取模块所提取到的特征通过跳跃的连接方式直接传到全局特征融合单元，从而较好地融合了不同尺度特征，此算法在目标检测中有广泛的应用。网络总体结构采用类似于SSD网络结构，如图1所示，构建了一个具有多尺度特征提取，同时包含局部特征融合和全局特征融合的轻量级卷积神经网络，实现端到端的超分辨率重建。该网络主要由3种类型模块构成：复合特征提取模块、全局特征融合单元、重构放大模块。

图1 网络总体结构示意图

图1中，图像块输入后先通过3×3的卷积层进行浅层特征提取，然后通过多级复合特征提取模块提取图像不同程度抽象特征(测试使用6个复合特征提取模块)。设计的复合特征提取模块内部融合有多尺度多阶段特征，增加了小的残差块，增大每一层的感受野，在不增加网络计算负载的前提下，使特征提取能力更加强大。随后，通过1×1的卷积层把提取到的各级特征进行全局融合，有效地利用网络中不同抽象程度信息。最后通过重构放大模块把融合后的所有特征信息进行有效利用，重建出纹理细节清晰的超分辨率图像。

1.2 复合特征提取模块

提出的复合特征提取模块基本结构如图2(c)所示，总体上为残差结构，但在特征提取的卷积单元上与传统残差结构ResNet[13](图2(a))存在较大差异，为了减轻网络的计算负载，采用了类似于Res2Net结构(图2(b))，但为了融合多尺度、增强特征提取能力，对Res2Net结构进行了改进。提出的特征提取模块，首先通过1×1的卷积对输入特征数量进行线性扩增；然后对所得的特征进行切分，分别输入到模块中的不同路径；最后把所有的输出通过1×1的压缩卷积层进行局部特征融合。其中，Res2Net是通过增加跳跃连接的残差思想来增加每一个卷积层的感受野，在每个3×3的卷积层中使用分组卷积进行运算，在不增加计算复杂度和网络参数量的前提下实现了性能的提升。如式(1)和式(2)所示，分别表示分组卷积和传统卷积参数量的计算公式：

图2 不同特征提取模块结构示意图

p1=cin×cout×k×k，

(1)

(2)

式中：n表示把特征分为n组；k为卷积核尺寸；cin和cout分别为卷积层输入和输出的特征数量，由式(1)和式(2)得p1/p2=n，表示传统卷积层的参数量是分组卷积层的n倍。

相比于Res2Net的网络结构，本研究采用小的残差结构来增加卷积层的感受野，并联合使用3×3和5×5的卷积核进行特征提取，实现多尺度特征提取，在模块的最后使用1×1的压缩卷积层将模块中每层提取到的特征进行融合，得到多尺度复合特征。

在测试实验中把图2的3种结构放在本模型中进行了对比测试，证明了提出的复合特征提取模块相对传统结构的优越性。

1.3 全局特征融合模块及重构放大模块

在深度学习网络中，为了提高网络性能，往往使用深层次的卷积神经网络，但是随着网络深度的增加，模型计算量迅速增大，但模型的性能可能不再提升，且网络难以训练，同时特征在传输的过程中逐渐减弱。将图1中浅层特征提取模块(3×3卷积层)和各级复合特征提取模块的所有输出,通过跳跃连接方式输入到全局特征融合模块，充分利用不同抽象程度特征，有效地将低层的特征快速传到高层，使得低层特征信息在最终结果中也有很好的体现，同时也加快了网络的收敛速度。全局特征融合模块表达式为

(3)

最后，利用重构放大模块重建出纹理细节清晰的超分辨率图像。使用Shi等[14]提出的基于亚像素图像放大的超分辨率算法ESPCN进行重构放大，该方法把低分辨率影像中的不同亚像素位置，通过滤波器卷积时周期性地激活，将各通道数据周期性地映射到亚像素位置，从而将r2个尺寸为w×h的通道数据卷积扩展成尺寸为r×w×h×r的单通数据(r为放大倍率)。重构放大模块表达式为

(4)

其中：P为上采用运算；s为上采样因子；ISR为输出的超分辨率图像。

2 模型训练及测试

训练数据集为DIV2K，包含800张训练集图像和100张验证集图像；在训练时先将图像作增强预处理，对每一张图像作随机旋转0°、90°、180°、270°，水平和垂直镜像翻转。参照EDSR[15]，在训练初始阶段，先对数据进行归一化、中心偏移处理。测试时在图像的Y通道进行测试，数据选用的是4个被广泛使用的基准数据集Set5、Set14、Urban100和BSD100。实验所用的电脑系统为Ubuntu1 6.04，CPU型号为英特尔i9-10900 K，GPU为RTX 2080TI，通过Python 3.6、Pytorch 1.2编程实现。

2.1 训练细节

在训练过程中为加快训练速度、减小训练的内存消耗，对模型输入作裁剪处理，分割成大小为64×64的图像块，批处理的大小为64。使用Adam优化器进行模型的训练，利用梯度的一阶矩阵估计和二阶矩阵估计来动态地调整网络中每个参数的学习率。在训练初始时，将优化器2个动量参数分别设置为0.9和0.999，初始学习率设置为0.000 1，随着训练的进行，不断向下调整学习率，每训练40 000步调整学习率至原来的一半。在梯度计算过程中，以10为上限对梯度大于10的梯度进行裁剪处理。训练时以L1范数作为损失函数，定义为

(5)

式中：IHR为标准高分率图像；ISR为重建出来的超分辨率图像；N为训练图像的数量。

2.2 消融测试

为了验证新超分模型的有效性，从特征提取模块的数量和多尺度卷积的有效性方面设计了多次消融测试，对比分析了模型参数量及超分性能的变化：1)在特征提取模块数量的有效性分析时，用控制变量法对多尺度卷积核尺寸固定，只改变特征提取模块的数量，在此过程中测试的特征提取模块数量有5、6和7三类；2)在多尺度的有效性分析中，控制特征提取模块的数量，测试的卷积核大小有5×5、3×3两种情况。整个消融实验总共进行了6种模型的测试，其结果如表1所示。

表1 消融测试结果(PSNR/SSIM) (×2)

从实验结果可发现，特征提取模块的数量和多尺度卷积对实验的结果产生了显著影响。在特征提取模块数量一定时，模块中使用5×5卷积核的模型取得更优的结果(特征提取模块个数为6时，峰值信噪比在Set5、Set14和BSD100上分别提高了0.03 dB、0.04 dB和0.01 dB)，说明5×5的卷积核在模块中起到了相比于3×3卷积核更有效的特征提取；在采有5×5卷积核基础上，比较特征提取模块的数量时，发现模块数量为6时，相比于模块数量为5，指标提升明显(Set5上峰值信噪比提高了0.09 dB，结构相似度提高了0.000 2；在Set14上峰值信噪比提高了0.09 dB，结构相似度提高了0.000 7等)；而模块数量为7时，相比于模块数量为6，则效果提升较小(Set5上峰值信噪比仅提高了0.03 dB，结构相似度提高了0.000 1；在Set14上峰值信噪比提高了0.01 dB，结构相似度提高了0.000 3等)。因此，在后续实验中，选择6个特征提取模块进行特征提取，即保证了网络的重建质量，同时兼顾网络的参数和计算复杂度。

2.3 对比测试

为了证明提出的复合特征提取模块相的有效性，将模型结构中的特征提取模块分别取用传统残差结构(ResNet)、Res2Net结构及新的复合特征提取结构在标准测试集Set5、Set14、Urban100、BSD100上进行了对比测试，其测试结果如表2所示。

从表2可看出，相比于ResNet和Res2Net，提出的特征提取模块的PSNR及SSIM均高于传统算法，具有一定的优越性，也表明了新复合特征提取结构的有效性。从PSNR、SSIM、模型计算量及参数量几个方面，在标准测试集Set5、Set14、Urban100及BSD100上与经典超分辨率重构网络进行2倍放大对比测试，得出的结果如表3所示。从表3可看到，本算法相比于SRCNN、VDSR等经典算法，在各测试集中均有更好的性能指标，针对所有测集都有更高的PSNR及SSIM；与最近2年提出的轻量级网络(CARN[16]、FALSR[17])进行对比，可以发现本算法在参数量及计算量更低的情况下，在各测试集上也均取得了略高的指标，在Set5、BSD100数据集上，峰值信噪比分别为37.83、32.10 dB，均为最优；在Set14数据集上，与CARN、FALSR网络基本一致。

表2 不同特征提取模块对比试(PSNR/SSIM) (×2)

表3 与经典算法的对比测试(PSNR/SSIM) (×2)

在对比实验中，除了对重建图像的质量在PSNR和SSIM两个评价指标上进行对比，同时也从视觉效果上与经典算法进行了对比测试，具体测试结果如图3所示。对真实高清图(原图)进行局部放大得到HR。从局部细节中可发现，本算法的重建出的纹理细节清晰度优于传统的BICUBIC、FSRCNN、LAPSRN与VDSR。进一步验证了本结构的有效性和实用性。

图3 重建效果对比

3 结束语

提出了高质量轻量级超分辨率重建网络模型，通过多阶段多尺度的特征提取融合网络，将各层间分层特征充分利用，同时在新的特征提取模块中使用分组计算，将超分辨率重建网络的计算量与性能得到了很好的均衡。新算法在提高重建质量的同时，并没有明显增加模型计算复杂度和参数量。测试结果表明，本算法与先前的轻量级神经网络相比，在峰值信噪比和结构相似度评价指标上有一定的提升，同时明显改善了超分辨率重建的视觉效果。