基于深度可分离卷积和宽残差网络的医学影像超分辨率重建

高媛 王晓晨 秦品乐 王丽芳

摘 要：为提高医学影像超分辨率的重建质量，提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先，利用深度可分离卷积改进网络的残差块，扩宽残差块中卷积层的通道，将更多的特征信息传入了激活函数，使得网络中浅层低级图像特征更容易地传播到高层，提高了医学影像超分辨率的重建质量;然后，采用組归一化的方法训练网络，将卷积层的通道维度划分为组，在每个组内计算归一化的均值和方差，使得网络训练过程更快地收敛，解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题，同时网络表现出更好的性能。实验结果表明，对比传统的最近邻插值、双三次插值超分辨率算法，以及基于稀疏表达的超分辨率算法，所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法，基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法，所提算法在峰值信噪比（PSNR）和结构相似性（SSIM）上有显著的提升。

关键词：超分辨率;宽残差;深度可分离卷积;组归一化;残差块

中图分类号：TP391.41

文献标志码：A

Medical image super-resolution reconstruction based on depthwise separable convolution and wide residual network

GAO Yuan*， WANG Xiaochen， QIN Pinle， WANG Lifang

School of Data Science， North University of China， Taiyuan Shanxi 030051， China

Abstract：

In order to improve the quality of medical image super-resolution reconstruction， a wide residual super-resolution neural network algorithm based on depthwise separable convolution was proposed. Firstly， the depthwise separable convolution was used to improve the residual block of the network， widen the channel of the convolution layer in the residual block， and pass more feature information into the activation function， making the shallow low-level image features in the network easier transmitted to the upper level， so that the quality of medical image super-resolution reconstruction was enhanced. Then， the network was trained by group normalization， the channel dimension of the convolutional layer was divided into groups， and the normalized mean and variance were calculated in each group， which made the network training process converge faster， and solved the difficulty of network training because the depthwise separable convolution widens the number of channels. Meanwhile， the network showed better performance. The experimental results show that compared with the traditional nearest neighbor interpolation， bicubic interpolation super-resolution algorithm and the super-resolution algorithm based on sparse expression， the medical image reconstructed by the proposed algorithm has richer texture detail and more realistic visual effects. Compared with the super-resolution algorithm based on convolutional neural network， the super-resolution neural network algorithm based on wide residual and the generative adversarial-network super-resolution algorithm， the proposed algorithm has a significant improvement in PSNR （Peak Signal-to-Noise Ratio） and SSIM （Structural SIMilarity index）.

Key words：

super resolution; wide residual; depthwise separable convolution; group normalization; residual block

0 引言

随着医学影像在医疗实践中的不断发展和广泛使用，計算机断层成像（Computed Tomography， CT）[1]、磁共振成像（Magnetic Resonance Imaging， MRI）[2]、正电子发射计算机断层扫描（Positron Emission Tomography， PET）[3]等技术成为临床诊断不可或缺的工具，而清晰的医学影像可以提供丰富的病灶信息，辅助医生进行更加精确的诊断。但由于成像技术和成像原理的不同，获得的医学影像的分辨率也就不同，低分辨率的医学影像中，噪声和伪影会损害诊断信息，在临床上很难进行全面综合的诊断，因此，对医学影像进行超分辨率重建，可以在不增加高分辨率成像技术成本的基础上，降低对成像环境的要求，通过复原出的清晰医学影像，实现对病变部位的精准探测，有助于医生对患者病情作出更好的诊断[4]。

目前，图像超分辨率（Super Resolution， SR）技术的研究方向分为两类：1）基于整体视觉效果的超分辨率重建。经典算法如基于生成对抗的超分辨率网络（photo-realistic single image Super-Resolution using a Generative Adversarial Network， SRGAN）[5]，以及具有感知损耗的实时传输超分辨率网络（perceptual losses for Real-time style Transfer and Super-Resolution， RTSR）[6]等。该类方法追求符合人类认知视觉的整体效果，但对细节部分的重建要求不高。应用场景如低分辨率电视视频的恢复、相机模糊图像的恢复等。2）基于细节的超分辨率重建。传统算法如最近邻插值（bilinear）[7]和双三次插值（bicubic）[8]，以及基于稀疏表达的图像超分辨率（image Super-Resolution Via Sparse Representation， SRVSR）[9];基于深度学习的算法如使用深度卷积网络的图像超分辨率（image Super-Resolution using Deep Convolutional Networks， SRCNN）[10]，单图像超分辨率的增强型深度残差网络（Enhanced Deep residual networks for single image Super-Resolution， EDSR）[11]，以及宽残差的高效超分辨率网络（Wide activation for efficient and accurate image Super-Resolution， WDSR）[12]等。该类方法对细节要求苛刻，力求恢复出图像真实可靠的细节及纹理信息，应用场景如医学影像上的超分辨率重建、低分辨率摄像头人脸或者外形的恢复等。

传统的超分辨率算法，如基于稀疏表达的图像超分辨率，通过强化高分辨率图像和低分辨率图像的字典之间稀疏表示的相似性，学习低分辨率图像和高分辨率图像之间的稀疏系数，使用学习到的稀疏系数和高分辨率字典重建出了较为清晰的高分辨率图片。而基于深度学习的超分辨率神经网络算法，通过加深网络的深度，学习图像的高级特征信息，重建出的图像更加清晰，在PSNR和SSIM上均取得比传统方法更好的效果。医学影像的超分辨率重建要求细节明显、纹理清晰，同时减弱噪声的影响。因此，在对医学影像进行超分辨率重建时，定位在对超分辨率神经网络的优化上：即如何在图像尺寸放大的同时获得更好的细节收益，且不放大噪声，减弱噪声对重建的影响。

Yu等[12]提出的WDSR网络认为，在单图像超分辨率（Single Image Super-Resolution， SISR）网络的问题中，具有更广泛特征信息激活的网络具有更好的性能，因此，基于WDSR算法，本文提出了基于深度可分离卷积的宽残差超分辨率神经网络算法（Wide Residual Super-Resolution neural network based on depthwise separable convolution， WR-SR）。该算法利用深度可分离卷积（Depthwise separable convolution）[13]进一步扩宽了卷积层的通道数，使得浅层更多的特征信息传入到深层，增大了医学影像在上采样4倍时的细节收益，同时利用组归一化（Group Normalization， GN）[14]方法在卷积层的通道维度内计算均值和方差，在提升网络训练速度的同时提高了网络的性能。实验结果显示，使用深度可分离卷积扩宽卷积层通道这一方法效果显著，与SRGAN、WDSR等超分辨率算法相比，获得了更高的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和结构相似性（Structural SIMilarity index， SSIM）。

1 相关理论

1.1 宽残差的高效超分辨率网络算法

宽残差的高效超分辨率（WDSR）网络算法在NTIRE 2018数据集DIV2K（一个大型的自然图像数据集，具有大量的RGB图像）的超分辨率挑战赛上获得了3个比赛方向上的冠军。该算法的网络结构如图1所示，包括全局残差学习、递归学习和上采样处理3个模块。网络使用低分辨率图片作为输入，在低分辨率阶段使用3×3卷积核（3×3 Conv）提取图像所有特征;之后在递归残差块（Residual Body）内学习图像的高级特征，再使用3×3卷积核（3×3 Conv）提取学习到的高级特征;最后在上采样层中使用像素重组（Pixel Shuffle）的方式对图像进行放大。同时使用全局残差学习（Global Residual Learning）将原始低分辨率图像进行上采样处理，与学习的高级特征叠加后输出超分辨率图片。

网络深度的增加给表示能力带来了好处，但同时未充分使用来自浅层的特征信息。WDSR中证明非线性激活函数（Rectified Linear Unit， ReLU）阻碍了从浅层到深层的信息流，不同于在其他网络中添加各种跳过连接（Skip Connection）的方式，只需在激活函数ReLU之前扩展特征图（Feature map）的大小，即可顯著改善图像的重建质量。为此，该算法提出了线性低秩卷积（如图2所示）构建超分辨率网络的残差块，它将大卷积核分解为两个低秩卷积核，其中一个1×1的卷积核用于减少特征图的通道数，另一个3×3的卷积核用于提取特征。

WDSR使用残差块扩展特征图大小的同时，又使用了1×1卷积核减少了特征图的通道数，解决了网络过宽导致难以训练的难题。但是，该方法限制了网络宽度的增加，使得之后的3×3卷积层提取的特征信息不足，导致网络学习的浅层特征较少，从而影响了网络的重建效果。

1.2 深度可分离卷积

线性低秩卷积是实现空间相关性和通道相关性的联合映射，即同时考虑输入的空间特征和通道特征。Sifre等[14]认为，卷积层通道间的相关性和空间相关性是可以解耦合的，将它们分开映射，能达到更好的效果。提出深度可分离卷积模块将空间和通道的计算分开，在输入的每个通道上单独地执行通道卷积，之后再进行不添加非线性激活函数的空间卷积。

如图3所示，Input表示卷积核的输入通道数，Output表示卷积核的输出通道数，该模块将线性低秩卷积的3×3×Input×Output卷积核分解为一个3×3×1×Input的卷积核和一个1×1×Input×Output的卷积核。线性低秩卷积核所需参数为3×3×Input×Output，而深度可分离卷积核所需的参数为3×3×1×Input+1×1×Input×Output。当网络的宽度增大时，即输入与输出通道数增大时，深度可分离卷积操作所需的参数将远小于线性低秩卷积所需的参数。

深度可分离卷积首先使用3×3的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道的相关性，再通过1×1的卷积核进行卷积，以同时学习空间上的相关性和通道间的相关性。与同时学习通道和空间相关性的线性低秩卷积操作相比，深度可分离卷积实现了通道和空间的分离，不仅比线性低秩卷积减少了所需要的参数，使得网络的训练速度变快，而且进一步提升了网络的宽度，使得更多的特征信息能够在网络中进行传播，提高了网络的重建质量。

1.3 归一化层

神经网络中的每一层都面临输入的分布随训练而变化的情况，所以每个中间层需要不断适应其输入的变化，导致网络变得难以训练。归一化层通过标准化输入的均值和方差，使得每一层都能够学习到更稳定的输入分布，确保网络能够使用更大的学习率，从而提高了网络的训练速度，提高了网络表达能力。

在深度学习中，常见的归一化层有以下四种。如图4所示，其中每个图表示特征图张量，H和W表示特征图的高和宽，C表示通道维度，N表示批量维度，深色区域的内容表示使用的是相同的均值和方差，通过聚合该区域的像素值来计算该归一化。1）批量归一化（Batch Normalization， BN）[16]。BN沿样本的批量维度N执行全局归一化，当输入分布发生变化时，之前计算的数据分布也可能改变，这导致网络每层的权重训练不一致。Nah等[17]在图像去模糊工作中认为，由于批量标准化层对特征进行了规范化，导致网络变得不灵活，并且消耗了计算资源，去除BN层后使网络的重建性能获得了提升。2）层归一化（Layer Normalization， LN）[18]。LN沿通道维度C进行归一化，仅针对每个样本操作，解决了批量归一化中网络过度依赖批量大小的问题，但在大多数卷积神经网络中，LN训练的效果不如BN。3）权重归一化（Weight Normalization， WN）[19]。WN对卷积核的权重进行归一化，而不是对特征进行操作。WN层同样不会受到批量维度的影响，但WN仅针对卷积核的参数归一化，扩宽卷积核的通道后将导致网络的训练速度降低。4）组归一化，简称GN层，将通道维度C划分为不同的组，在组内进行归一化。

由于图像的形状、照明、纹理等特征的系数相互依赖，它们的依赖关系在网络中表现为前后不同的几组通道。因此，将网络通道进行分组归一化来处理，可使超分辨率网络学习到这些特征之间的依赖关系，有效提升网络的性能。本文将在扩宽网络宽度的基础上，使用GN层在卷积核的通道维度内进行归一化，从而加快网络在训练时的收敛速度并提高网络的性能。

2 深度可分离卷积宽残差超分辨率神经网络

2.1 改进思想

影响超分辨率网络重建性能的两个重要因素是网络的宽度和深度。基于更多的特征信息有益于提高超分辨率网络的重建性能这一思想，WDSR算法提出线性低秩卷积，用以扩展输入通道的特征维度，但随着网络宽度的增加，网络变得难以训练，限制了其宽度的继续增长。本文运用深度可分离卷积，改进WDSR算法的残差块，进一步提升网络的宽度，提出了基于深度可分离卷积的宽残差超分辨率神经网络（WR-SR）。同时，运用组归一化的方法，解决了由于网络变宽导致难以训练的难题，将输入特征的维度进行分组归一化处理，不仅可以加快网络的训练速度，而且可以提升网络的性能。

2.2 网络结构

2.2.1 基于深度可分离卷积的宽残差超分辨率神经网络

WR-SR的网络深度为34层，包括32层的残差块（Residual Body）以及残差块前后2个提取特征的卷积层。通过改进残差块与使用组归一化方法，设计的整个WR-SR网络结构如图5所示。

WR-SR算法直接使用随机裁剪的3×24×24大小的补丁作为输入，在残差块前后使用大小为3×3的卷积核（Conv）提取特征，使用GN层进行归一化;之后在残差块内学习图像之间的高级特征，输出3×42×24×24的补丁，其中4是上采样的比例;最后通过像素重组（Pixel Shuffle）的方式将补丁上采样为3×96×96的大小。同时，使用全局残差学习（Global Residual Learning）将输入图像的原始特征信息与深层学习的高级特征信息叠加，输出重建的超分辨率图像。最终将原始的低分辨率图像放大4倍为超分辨率图像，且重建的图像细节信息丰富，同时减弱了噪声的影响。

2.2.2 构建残差块

为扩展卷积层的特征维度，即通道数，基于Laurent Sifre提出的深度可分离卷积模块对WDSR算法的残差块作了改进：通过分别计算通道和空间上的特征，使用3×3的卷积核和1×1的卷积核线性组合的方式重新设计了维度更高的残差块，将网络的特征维度分别扩展至了1536维和2048维。同时使用GN层对卷积层的通道数进行归一化，以加快网络在训练时的收敛速度。

每个残差块内输入的特征图大小是x×x×256，其中x表示特征图的高或宽，256表示其通道数。首先，在通道相关性上，使用3×3大小的卷积核提取通道特征，得到x×x×256大小的特征图，再使用1×1大小的卷积核对这些特征图提取空间特征，即联合映射所有维度的相关性，得到x×x×1536大小的特征图;其次，继续使用3×3卷积核和1×1卷积核以同样的方式将特征图扩宽至x×x×2048;之后，使用ReLU作为激活函数，以增加输入的非线性;最后，使用3×3和1×1的卷积核，将卷积层的通道数由2048维降到256维，以实现网络的快速训练。最终输出x×x×256大小的特征图。残差块的深度为32层，前一层的输出为后一层的输入。每层残差块的定义如图6所示。

通过该残差块结构以及扩宽特征维度的方式，网络中来自浅层的低级图像特征可以更容易地传播到深层。改进的残差块获得了更清晰的细节及纹理信息，同时减弱了图像的噪声及伪影的影响。

2.2.3 组归一化

针对医学影像超分辨率，小批量的医学影像其均值和方差差异较大，因此不适用使用BN层进行归一化。由于WR-SR扩宽了卷积层的通道，LN层和WN层归一化也不适用于该网络的训练。因此，本文采用了GN层对WR-SR网络进行归一化。

描述特征归一化的一般公式：

i =（xi-μi）/σi（1）

其中：xi是由某一层计算的特征，i是索引，在二维图像的情况下，i=（iN，iC，iH，iW）是以（N，C，H，W）顺序索引的4维向量，其中N是批量向量，C是通道向量，H是高度向量，W是宽度向量。 μ和σ是由式（2）和式（3）计算的均值和标准差：

μi=1m∑k∈Sixk（2）

σi=1m∑k∈Si（xk-μi）2+ε（3）

其中：m是该集合的大小，ε是一个常数，k是索引。如式（4）所示，Si为μ和σ的约束条件，它是计算均值和方差的像素集合。

Si=kkN=iN，kCC/G=iCC/G（4）

其中：iN和kN表示沿批量向量N的i和k的索引，这表示相同批量索引的像素被一起歸一化。iC和kC表示索引i和k在同一组通道中。G是组的数量，它是预定义的超参数。C/G是每组的通道数。 GN沿（H，W）向量在一组通道内计算μ和σ。如Razavian等[20]在通过减少内部协变量偏移来加速深度网络训练中所述相同，组归一化也学习了一个通道线性变换，以补偿表示能力的可能丢失：

yi=γi+β（5）

其中：γ和β是可训练的比例和位移。

综上所述，GN层由等式（1）、（2）、（3）、（4）、（5）定义。具体而言，同一组中的像素通过计算相同的μ和σ被一起归一化。除此之外，GN还学习每个通道的γ和β。通过运用组归一化的方法，WR-SR算法在训练期间加快L1损失收敛速度的同时获得了更高的PSNR值。

2.3 实验参数及训练过程

实验所采用的数据集来源于开源的美国国家医学图书馆MedPix数据库中的肺部淋巴结数据，并从中选取了不同病人的900张512×512高分辨率医学影像用作训练与测试。实验使用800张图像作为训练集，100张图像作为测试集。为减少测试所需的时间，在训练期间取测试集中的10张图像作为验证集，以验证训练期间的L1损失和PSNR值。在训练期间，使用随机水平和旋转两种方式增强训练集。在训练之前将512×512的医学影像转为png格式的RGB图片，之后使用随机裁剪的方式将512×512的图像裁剪为96×96大小的补丁，并将其作为高分辨率（High Resolution， HR）图像，接着将96×96的HR图像下采样为24×24的低分辨率（Low Resolution， LR）图像并作为网络的输入。网络通过端到端的映射将LR图像上采样4倍为96×96大小的超分辨率（Super Resolution， SR）图像，通过计算并不断迭代SR和HR之间的L1损失以优化网络中的参数。

实验采用PSNR和SSIM作为医学影像超分辨率的评价指标，同时以L1损失验证网络训练期间的收敛速度。

3 实验结果

本文的实验采用mini-batch的训练方式，mini-batch大小设置为16。初始学习率设置为10-4，每迭代2×105次，学习率减半，以加快网络的训练。本文的实验环境为Ubuntu 14.01.5 LTS操作系统，Pytorch V0.4.1，CUDA Toolkit 9.0，Python3.6。整个网络在两块NVIDIA Tesla M40上运行了2天。基于残差块的改进与GN层的替换，本文在相同的实验环境下做了两组对比实验，以验证改进算法WR-SR在医学影像超分辨率上的PSNR值和SSIM指标，该评价指标以验证集作为参考图像，通过计算测试结果与参考图像之间的差异评判网络的准确性。此外，在相同的实验环境和数据集下，与传统的超分辨率方法（包括Biliner和Bicubic）以及基于深度学习的超分辨率算法（包括SRGAN、WDSR）作了对比，以显示WR-SR算法的优越性。本文共做了三组对比实验，实验证明WR-SR算法在性能和评价指标上与其他算法相比，确实有明显提高。

3.1 改进残差块对比实验

为了验证进一步扩宽特征维度的改进残差块与未改进的残差块的效果，在使用GN归一化层的基础上，以及相同的实验环境和数据集条件下做了两种残差块的对比实验。实验运行了250个时期（epoch），每个epoch内迭代了1000次，共迭代了2.5×105次。同时在10张图像的验证集上计算了网络的L1损失和PSNR值以验证网络的收敛性和准确性，同时对测试结果计算了SSIM，以评价各残差块在医学影像超分辨率上的优劣。两种方法的L1损失及PSNR值如图7和图8所示。

图7中，上下两条线分别代表WDSR网络和WR-SR网络的训练结果。从图7中可以看出，在迭代相同的250个Epoch的情况下，与WDSR网络相比，WR-SR网络在训练过程中，其L1损失收敛得更快，且获得了更低的损失值。证明WR-SR算法在改进残差块后，加快了网络的训练速度，同时提升了网络性能。

图8中，上下两条线分别代表WR-SR网络和WDSR网络的训练结果。从图8中可以看出：两种方法均在200至250个Epoch期间趋于稳定。同时，与WDSR网络对比，WR-SR在改进残差块后收敛得更快，且获得更高了PSNR值。

该组对比实验证明，通过使用深度可分离卷积扩展残差块的特征维度，改进的WR-SR网络获得了更快的收敛性和更高的准确性。

3.2 GN对比实验

该组实验在相同的数据集以及实验环境下分别使用GN归一化层和WN归一化层进行了实验。实验在10张图片的验证集上以L1损失评估两种方法的训练过程的准确性及收敛速度，其结果如图9所示。

从图9（a）中可以看出，使用WN层归一化WR-SR网络时，其开始的L1损失较高。在网络训练至20个Epoch后，L1损失才出现明显收敛。

从图9（b）中可以看出，使用GN层归一化WR-SR的网络其L1损失开始值远小于使用WN层归一化的网络。网络在训练至10个Epoch后出现明显收敛，且其L1损失为3.97，远小于使用WN层训练的网络，表示网络的准确性更高。

该组对比实验证明，通过使用组归一化的方法，WR-SR网络获得了更快的收敛性，显著提升了网络的性能。同时，实验对比了各个方法的PSNR值和SSIM指标，其结果如表1所示。

从表1中可以看出，同时修改残差块和添加GN层归一化的方法，其PSNR值和SSIM指标均高于其余任何方法。且单独修改残差块的方法，其PSNR值和SSIM指标均显著高于单独未修改残差块的方法。同时，添加GN层的方法其PSNR值和SSIM指标均高于使用WN层的方法。

3.3 改进算法的对比实验

本文将修改的残差块和使用GN层训练的网络作为最终模型，在测试集中选取了4幅图像，与传统的超分辨率算法（包括Bilinear、Bicubic算法和SRVSR算法）以及基于深度学习的SRCNN算法、SRGAN算法和WDSR算法进行了对比，并以PSNR与SSIM作为评价指标计算原图像与各算法生成的图像之间的差异。各算法的评价指标如表2所示，实验结果如图10所示。

由表2可以看出，WR-SR算法在PSNR和SSIM上均顯著高于传统方法与基于深度学习的算法，此外，WR-SR算法与WDSR原始算法对比，亦提升了1～2dB的PSNR值与0.2～0.3的SSIM指标。

图10（a）为原始高清图像（Ground Truth），图10（b）～（h）为表2中提到的各个算法训练出的实验结果。由图10显示的结果可以看出，使用WR-SR网络训练的实验结果其图像更加接近于原始图像，且均明显优于其他方法，得到了较好的超分辨率图像。该组对比实验证明，WR-SR算法在医学影像超分辨率上显示出了更好的细节收益以及更少的噪声以及伪影信息。

4 结语

本文提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法，该算法使用深度可分离卷积构建残差块，以扩宽卷积层的特征维度，即通道数;使用组归一化方法对卷积层的通道分组，在组内进行归一化。三组对比实验显示，对于肺部淋巴结的4倍超分辨率图像，WR-SR算法在测试集上的PSNR和SSIM指标上均显著高于传统的超分辨率方法和其他基于深度学习的超分辨率算法。同时生成的图像细节丰富，减弱了噪声的影响，充分证明了改进算法在医学影像超分辨率上高效与准确性。在下一步的工作中，将使WR-SR算法结合生成式对抗网络（Generative Adversarial Network， GAN）框架，探讨感知质量良好但PSNR值较低的GAN网络对于医学影像，其超分辨率的结果是否也具有较高的准确性。

参考文献

[1]RIVIERE P J L， VARGAS P， FU G. et al. Accelerating X-ray fluorescence computed tomography [C]// Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway， NJ： IEEE， 2009：1000-1003.

[2]PELEDS， YESHURUNY. Superresolution in MRI： application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine， 2001， 45（1）： 29-35.

[3]SUBBARAO M. High-sensitivity Single-Photon Emission Computed Tomography （SPECT）： safer， faster， and more accurate SPECT [C]// Proceedings of the 8th International Conference and Expo on Emerging Technologies for a Smarter World. Piscataway， NJ： IEEE， 2011： 1-2.

[4]PARK S C， PARK M K， KANG M G. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine， 2003， 20（3）： 21-36.

[5]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 105-114.

[6]JOHNSON J， ALAHI A， LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Berlin： Springer， 2016： 694-711.

[7]蘇衡，周杰，张志浩.超分辨率图像重建方法综述[J].自动化学报，2013，39（8）： 1202-1213.（SU H， ZHOU J， ZHANG Z H. Survey of super-resolution image reconstruction methods [J]. Acta Automatica Sinica， 2013， 39（8）： 1202-1213.）

[8]KEYS R. Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1981， 29（6）： 1153-1160.

[9]YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[10]DONG C， LOY C C， HE K. et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.

[11]LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 1132-1440.

[12]YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ：IEEE， 2018. 2621-2624.

YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [EB/OL]. [2019-01-23]. https：//arxiv.org/pdf/1808.08718v1.pdf.

[13]CHOLLET F. Xception： deep learning with depthwise separable convolutions [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 1800-1807.

[14]WU Y， HE K. Group normalization [EB/OL]. [2018-12-12]. https：//arxiv.org/pdf/1803.08494.pdf.

[15]SIFRE L， MALLAT S. Rotation， scaling and deformation invariant scattering for texture discrimination [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ ：IEEE， 2013： 1233-1240.

[16]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015，37： 448-456.

IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1502.03167.pdf.

[17]NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 257-265.

[18]BA J L， KIROS J R， HINTON G E. Layer normalization [EB/OL]. [2019-01-20]. https：//arxiv.org/pdf/1607.06450.pdf.

[19]SALIMANS T， KIMGMA D P. Weight normalization： a simple reparameterization to accelerate training of deep neural networks [C]// Proceedings of the 30th Neural Information Processing Systems. New York： NIPS， 2016： 901-909.

[20]RAZAVIAN A S， AZIZPOUR H， SULLIVAN J， et al. CNN features off-the-shelf： an astounding baseline for recognition [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2014：512-519.

GAO Yuan， born in 1972， M. S.， associate professor. Her Research interests include image processing， artificial intelligence.

WANG Xiaochen， born in 1995， M. S. candidate. His research interests include deep learning， computer vision.

QIN Pinle， born in 1978， Ph. D.， associate professor. His research interests include machine vision， big data processing.

WANG Lifang， born in 1977， Ph. D.， associate professor. Her research interest include machine vision， big data processing.