基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建

刘朋伟，高 媛，秦品乐，殷 喆，王丽芳

(中北大学 大数据学院山西省生物医学成像与影像大数据重点实验室，山西 太原 030051)

0 引 言

医学图像处理的对象是各种不同成像机理的医学影像，磁共振成像(Magnetic Resonance Imaging，MRI)是一种安全的，利用强磁体、无线电波和计算机创建图像的技术.它可以在任何方向拍摄身体的大部分部位，获得人体组织结构信息，并以高质量的图像呈现这些信息.但是由于成像技术与成像原理的不同，获得的医学图像可能常常会伴随着噪声和伪影，从而影响临床诊断.对医学MRI影像进行超分辨率重建，有助于获得细节丰富、纹理清晰的医学影像，有助于医生对患者病情作出更好的诊断[1].

图像超分辨率(Super-Resolution，SR)技术是指将低分辨率图像(Low Resolution，LR)重 建 成 高 分 辨 率 图像(High Resolution，HR)的技术.SR 在诸如高光谱成像[2]、医学影像[3-4]、面部识别[5]等领域均有着广泛应用.自从Dong等[6]开创性地将卷积神经网络运用到超分辨率领域(SRCNN)以来，基于深度卷积神经网络的SR方法迅速发展，人们运用各种网络体系结构设计和训练策略不断提高SR的性能.Kim等[7-8]提出了深度递归卷积网络(DRCN)和基于深度卷积的精准图像超分辨率(VDSR)在进一步增加网络深度的同时改善了SR性能；Zhang等[9-10]结合SR框架中的残差块提出了基于密集残差的图像超分辨率网络(RDN)，并进一步提出了基于深层残差通道注意力机制的超分辨率网络(RCAN)，在峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)性能上表现更卓越.

但是，这些方法通常容易产生棋盘伪影，影响图像的重建效果.Ledig等[12]结合图像识别领域的深度残差学习(ResNet)方法[11]提出了基于生成对抗网络的超分辨率(SRGAN)算法，改善了基于深度卷积网络超分辨方法中存在的结果过于平滑的问题.Wang等[13]通过在增强型超分辨率生成对抗网络(ESRGAN)中引入残差密集块(Residual in Residual Dense Block，RRDB)来增强以前的框架，通过结合感知损失[14]、对抗损失[15]以及相对判别器[16]的思想，使得ESRGAN比SRGAN获得了更加丰富的图像纹理信息.尽管这些现有的感知驱动方法确实改善了超分辨图像的整体视觉质量，但是在恢复细节时，它们有时会生成不自然的伪影，包括几何失真[17].Fattal 等[18]通过学习不同分辨率的先验依赖性，提出了一种基于图像梯度边缘统计的方法，Sun等[19]提出了代表图像梯度的梯度轮廓和梯度场变换方法，Yan等[20]提出了基于梯度轮廓锐度的SR方法，以提高重建图像的清晰度.在这些方法中，根据在LR图像中学习到的参数，通过估计与HR边缘相关的参数来建模统计依存关系.但是，建模过程是逐点完成的，既复杂又不灵活.

与这些方法不同的是，Ma等[21]提出基于梯度指导的结构保留超分辨率(SPSR)算法，对于深度生成对抗网络，梯度约束可以更好地为图像重建提供额外的监督.受SPSR启发，本文提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法(Medical MRI Image Super-Resolution Reconstruction Network Based on Multi-Scale Residual Generative Adversarial Algorithm，MSRGAN).多尺度残差块(Multi-Scale Residual Block，MSRB)在残差结构的基础上使用不同大小的卷积核自适应地检测图像特征，同时，在不同尺度特征之间使用跳跃连接，可以彼此共享和重复使用特征信息，充分提取图像的局部特征[22].为了充分利用MSRB的特性，本文设计了基于MSRB的多尺度残差组(Multi-Scale Residual Group，MSRG)结构，通过这种方法逐步收集图像的局部信息.为避免浅层和局部特征信息随着网络深度的加深逐渐丢失，设计了局部残差特征聚合模块(Local Residual Feature Aggregation Module，LRFAM)将残差组聚合在一起，实现残差特征的非局部使用，减少了局部特征信息在网络传播过程中的丢失.在残差组之间添加注意力模块，通过注意力机制获取对关键信息响应程度更高的通道和空间特征图，进而提升重建图像的细节纹理效果；通过梯度分支生成的梯度图(Gradient Maps，GM)保留图像的结构信息，并将LR图像的梯度图恢复得到的HR图像梯度图集成到SR分支中，为SR提供结构先验信息，并且可以更好地突出锐度和结构应该注意的区域，从而明确地指导高质量超分辨率图像生成.实验证明，多尺度残差组与注意力机制结合使用的效果显著，与ESRGAN，SPSR等算法相比，MSRGAN算法重建出的医学图像细节丰富，纹理清晰，在峰值信噪比(PSNR)和结构相似性(Structural Similarity Index，SSIM)的指标上表示更佳.

1 相关工作

1.1 生成对抗网络

生成对抗网络(Generative Adversarial Network，GAN)源于博弈论中的二人零和博弈，GAN强大的高保真图像生成能力使其在图像合成、图像超分辨率重建、文物修复和医学图像处理等领域广泛应用.

GAN的基本网络框架主要由生成器模型和判别器模型组成，网络的训练方式为对抗式训练.相比于其他的生成模型，GAN只利用了反向传播，不需要复杂的马尔科夫链，而且可以生成更清晰真实的样本.判别器的作用是最大化真实样例与生成器生成样例之间的差异，生成器则根据判别器反向传播的参数信息更新网络中的参数，生成更真实的样例，减小与真实样例之间的差异.

1.2 注意力机制

注意力机制根据其作用域的不同，可以分为通道注意力机制和空间注意力机制，分别在通道维度和空间维度上关注图像的特征信息.瓶颈注意力机制(Bottleneck Attention Module，BAM)通过两条不同的路径学习在通道维度和空间维度上的图像特征信息，并有效地提取中间特征[23].BAM结构如图1 所示，分为通道和空间注意力分支.

1.2.1 通道注意力

通道注意力分支产生特征信息Mc(F)∈RC是在获取不同通道间的特征.由于每个通道包含特定的特征响应，为了获取不同通道中的特征映射，采用全局平均池化(Global Average Pooling，GAP)得到通道向量FC∈RC×1×1，该向量对通道中的全局特征信息进行编码.为计算通道向量间的通道注意力，本文使用了具有一个隐藏层的多层感知器(Multi Layer Perceptron，MLP).为了节省参数开销，将隐藏激活大小设置为Rc/r×1×1，其中r为缩减比.在MLP之后，添加批归一化(Batch Normalization，BN)层以利用空间分支输出调整比例.

1.2.2 空间注意力

空间注意力分支产生特征信息Ms(F)∈RH×W是在关注不同空间位置中的上下文特征信息,根据权重去度量不同特征信息的重要性，通过对特征信息进行相关与不相关的抉择建立动态权重参数，以强化关键信息和弱化无用信息.首先，采用1×1卷积将输入特征F∈RC×H×W投影到缩小尺寸的Rc/r×H×W，以在整个通道维度上对特征图进行结合和压缩；然后，使用两个空洞率为4的3×3空洞卷积(Dilated Convolution，DConv)以有效地利用上下文信息，空洞卷积能够扩大空间注意力模块中感受野的大小，聚合图像的特征信息；最后，使用1×1卷积将特征简化，提高网络的运算效率.

从两个注意力分支获取通道注意力特征信息Mc(F)和空间注意力特征信息Ms(F)之后，由于两个特征注意图具有不同的尺寸，将两者均扩展到RC×H×W，然后将它们按元素求和以实现有效的梯度流，求和后，取Sigmoid函数得到注意力特征M(F)，取值范围为0～1.M(F)与输入特征F进行元素级乘，然后与原始输入特征相加，得到最终的注意力特征F′.

2 基于多尺度残差的生成对抗网络超分辨率重建

2.1 改进思想

SPSR通过在SR分支堆叠多个RRDB块提取图像特征，并将SR分支的部分特征信息输入到梯度分支，梯度分支合并来自SR分支的携带结构特征的信息，利用图像的梯度图引导网络生成更真实的重建图像.对于SPSR网络，梯度空间约束可以为图像重建提供额外的监督，但网络没有充分利用局部残差信息，没有学习图像各位置特征之间的相关性，未在通道和空间维度上强调对重建任务有用的图像特征信息，限制了医学图像超分辨率重建研究在临床上的应用.本文提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法(MSRGAN)，针对SPSR算法的生成器进行改进，设计了多尺度残差组和局部残差特征聚合模块，局部残差特征聚合模块将残差组聚合在一起，实现了残差特征的非局部使用，减少了局部特征在网络中的丢失.引入注意力机制使网络能够获取对关键信息响应程度更高的通道和空间特征映射，进而提升重建图像的细节纹理效果，提高了超分辨率重建结果在临床上的实用性；梯度分支合并来自SR分支的结构信息，通过梯度分支恢复高分辨率梯度映射，为超分辨率重建提供额外的结构先验，从而明确地指导高质量图像的生成.

2.2 MSRGAN

2.2.1 网络结构

如图2 所示，生成器结构包含两个分支.一是用于获取最终的SR输出的SR分支，在SR分支中采用MSRG，并在每个MSRG之间添加BAM注意力模块，以充分利用通道和空间特征信息；LRFAM将局部残差特征聚合传播到网络的末尾，实现了残差特征的非局部使用.二是含有梯度信息的梯度分支，由于SR分支具有丰富的结构信息，梯度分支合并来自SR分支的结构信息，通过梯度分支恢复高分辨率梯度映射，能够为超分辨率重建提供额外的结构先验，从而指导高质量图像的生成；最后将梯度分支得到的梯度特征与SR分支的特征进行融合来重建最终的SR输出.

2.2.2 多尺度残差组

多尺度残差网络(Multi-Scale Residual Network for Image Super-Resolution，MSRN)为了解决增加网络深度不能有效改善网络性能的问题，在残差结构的基础上提出多尺度残差块(MSRB)，MSRB结构如图3 所示，采用不同大小的卷积核自适应地检测不同尺度下的图像特征，同时，在不同尺度特征之间使用跳跃连接，以便可以彼此共享和重复使用特征信息，有助于充分利用图像的局部特征.本文在MSRB的基础上设计了多尺度残差组(MSRG)，结构如图4 所示，将MSRG的输入与第一个MSRB的输出连接起来，并传递给下面的MSRB，在MSRG内的MSRB重复此递归，逐步收集局部特征信息，有助于提升重建图像的精度.

图3 多尺度残差块结构Fig.3 Structure of multi-scale residual block

图4 多尺度残差组结构Fig.4 Structure of multi-scale residuals

网络采用低分辨率图像作为输入，首先，通过3×3卷积层提取浅层特征；其次，利用MSRB的不同大小的卷积核提取不同尺寸的图像特征，并将其作为局部特征；然后，将每个MSRB的输出组合起来进行全局特征融合；最后，将局部特征与全局特征相结合，以最大限度地利用LR图像特征来减少特征在传输过程中的丢失.多尺度特征融合计算公式为

(1)

式中：ω和b分别表示权重和偏差，上标表示所在的层数，下标表示在该层中使用的不同大小的卷积核；σ(x)=max(0,x)表示RELU函数；[S1,P1],[P1,S1],[S2,P2]表示串联操作；M表示输入到MSRB的特征图数量.

为了使网络更加高效，每一个多尺度残差块均采用残差学习降低计算的复杂度.计算公式为

Mn=S′+Mn-1,

(2)

式中：Mn-1和Mn分别表示多尺度残差块的输入和输出.S′+Mn-1是通过残差连接和逐元素相加进行.

2.2.3 BAM

BAM采用双分支结构设计来提取图像的中间特征信息，网络中使用BAM可以对图像的浅层特征(如背景纹理特征)进行早期去噪，侧重于关注图像中的组织器官，有助于提升重建医学图像的细节和纹理信息.如图2 所示，注意力模块放置于残差组之间，以充分利用通道和空间特征信息.对于给定的输入特征图F∈RC×H×W，首先计算两个单独分支的空间注意力特征信息Ms(F)∈RH×W和通道注意力特征信息Mc(F)∈RC，空间注意力模块计算公式为

(3)

式中：BN表示批量归一化；fconv1×1表示用于通道压缩的1×1卷积；fDconv3×3表示空洞率为4的3×3空洞卷积，用于聚合具有较大感受野的上下文信息.通道注意力模块计算公式为

Mc(F)=BN(MLP(AvgPool(F)))=

BN(W1(W0AvgPoot(F)+b0)+b1),

(4)

式中：W0∈RC/r×C,b0∈RC/r,W1∈RC×C/r,b1∈RC.注意力模块得到的注意特征图为M(F)∈RC×H×W,此时M(F)被表示为

M(F)=σ(Mc(F)+Ms(F)).

(5)

2.2.4 局部残差特征聚合模块

随着网络深度的增加，浅层和局部特征信息会逐渐丢失，但是这些特征有助于重建图像的细节信息.为了充分利用浅层和局部特征信息，本文提出局部残差特征聚合模块(LRFAM)，如图5(b)所示，将所有MSRG的输出输送到网络末端进行串联，有效避免了浅层和局部特征在网络传播过程中的丢失，最后使用1×1卷积层来自适应地控制输出信息，降低计算复杂度.

图5 残差组不同组合方法Fig.5 Different combination of residual groups

2.2.5 梯度块

梯度块(Gradient Block，GB)结构如图6 所示.

梯度分支将来自SR分支的结构信息进行合并，通过梯度块恢复高分辨率梯度映射，为超分辨率重建提供结构先验.梯度信息反映了图像的边缘细节变化，为避免梯度变化差异大，在梯度还原时弱化了图像边缘的锐度，从而保证生成平滑的边缘信息引导超分辨图像生成.因此，本文采用全局平滑池化层(Global Smooth Pooling，GSP)平滑HR的边缘锐度，可以使生成图像更具有平滑的纹理信息.GSP通过计算相邻像素之间的差异，实现对梯度分支图像的响应激活.计算公式为

Ix(x)=I(x+1,y)-I(x-1,y),

Iy(x)=I(x,y+1)-I(x,y-1),

(6)

Mx(I)=‖I‖2,

MX+1=BMSRBx(Mx⊕Fx)⊗SGSPx(MX⊕Fx),

式中：Ix(x)是x在水平方向上的差分；Iy(x)是x在垂直方向上的差分；M(I)是Ix(x)和Iy(x)对应位置元素的平方和，再开方；M(·)获得的梯度图LR梯度只记录梯度的幅值信息，不考虑方向信息，因为幅值信息足以表明图像局部区域的锐度(sharpness)，其元素是坐标x=I(x,y)的像素的梯度长度；Fr表示来自SR分支的特征；BMSRGx表示梯度分支与SR分支的特征叠加；SGSPx示经过全局平滑池化之后的特征权重.

2.2.6 损失函数

在超分辨率领域，损失函数用于测量重建误差和指导模型优化.像素损失可以减少重建图像和原始图像之间的像素差异，有利于PSNR评价指标，能够加快收敛，但会造成过拟合.

(7)

式中：Φi()表示VGG网络的第i层输出.

本文对原始低分辨的图像进行超分辨重建时，为保证重建效果，采用GAN的生成器(G)-判别器(D)结构，保证生成的超分辨率图像与真实图像尽可能相似，通过引入对抗损失，来约束网络重建的超分辨图像效果，计算公式为

LG=(D(ISR)-1)2,

LD=(D(IHR))2+(D(ISR)-1)2,

(8)

式中：LG,LD分别表示生成器和判别器的对抗损失.

上述损失函数约束的模型只考虑了图像的空间约束，而忽略了梯度空间提供的语义结构信息.由于梯度图(Gradient Map，GM)能充分反映图像的结构信息，因此可以作为二阶约束为生成器提供约束.本文通过减小从SR图像中提取的梯度图与从相应的HR图像中提取的梯度图之间的差异来确定梯度损失.计算公式为

(9)

在SR分支采用了逐像素损失、感知损失、对抗损失，梯度分支采用逐像素损失约束生成的SR的梯度图与HR的梯度图.本文损失函数计算公式为

(10)

3 实验结果和分析

3.1 实验参数

本文实验采用的数据集是开源的医学CT OR MRI数据集和CHAOS数据集，从中选取了纵隔清晰，高低频信号对比明显，富含纹理细节的3 000张图像来进行实验.实验采用2 500张图像作为训练集，200张图像作为验证集，300张图像作为测试集.为充分对比本文提出算法的有效性，将HR图像采用Bicubic下采样2，3，4倍得到LR图像分别训练模型，在训练期间，对每个LR图像执行水平翻转等几何变换以获取额外的7张LR图片，最终将训练集扩大至20 000张图像.将LR图像随机裁剪后得到的尺寸为30×30的补丁输入网络进行训练.在每个epoch训练结束后，将验证集输入模型以跟踪该epoch的训练结果，在200个epoch训练完成后使用测试集进行最终测试.实验采用PSNR和SSIM作为医学影像超分辨率的评价指标，同时以损失函数L验证网络在训练期间的收敛速度.

本文的实验采用mini-batch的训练方式，mini-batch大小设置为16.采用预训练的VGG网络计算感知损失中的特征距离，以像素损失、感知损失、对抗性损失和梯度损失为优化目标，MSRGAN使用VGG网络作为判别器.初始生成器和判别器的学习率均设置为10-4，为减少网络的训练时间在50×103，100×103，200×103，300×103次迭代时学习率减半.实验环境为Ubuntu 16.04 LTS操作系统，Pytorch V1.1.0，CUDA Toolkit 9.0，Python3.6.本算法使用ADAM优化器，初始参数设置为β1=0.9,β2=0.999,ε=10-8.整个网络在两块NVIDIA Tesla M40上训练48 h.

3.2 对比实验

3.2.1 局部残差聚合模块对比

为了验证局部残差特征聚合模块(LRFAM)的作用，该组实验在网络主体上分别使用去除(如图5(a)所示)和含有(如图5(b)所示)LRFAM的网络结构，在相同的实验环境和数据集条件下做了两组对比实验.实验运行了200个epoch ，每个epoch 内迭代1 000次，共迭代2.5×105次.同时，在验证集上计算网络的PSNR和SSIM指标以评价LRFAM在医学影像超分辨率上的优劣.表1 列出了实验结果，可以看到完整的MSRGAN在 3个尺度下的PSNR和SSIM指标均达到了最高，这也证明了LRFAM有效提升了重建图像的质量.

表1 LRFAM效果对比的PSNR值和SSIM指标Tab.1 PSNR value and SSIM index of LRFAM effect

3.2.2 多尺度残差块对比

多尺度残差块能够自适应地检测不同尺度的图像特征，充分挖掘图像的潜在特征.为了验证该模块的有效性，设计了与Residual Block(RB)和RRDB块在SISR任务中进行性能对比的实验.分别对网络中的特征提取模块进行了替换，每个网络只包含一种特征提取块.在验证多尺度残差块的基础上对网络中的注意力模块和梯度分支的有效性进行验证，结果如表2 所示，可以看到，使用MSRB、注意力模块和梯度分支后，重建效果均有不同程度的提升.

表2 使用不同残差块和各模块对比的PSNR值和SSIM指标Tab.2 PSNR values and SSIM indicators compared with each module using different residual blocks

为了进一步直观地体现MSRGAN网络模型中各模块的有效性，如图7 所示，分别列出了尺度分别为×2，×3，×4时采用各模块PSNR和SSIM指标的折线图.从图7 可以看出，本文所提算法的两项指标在3个不同尺度下均达到了最高.

图7 不同模块对比的PSNR和SSIM值折线图Fig.7 Comparison of PSNR and SSIM values charts of different modules

3.2.3 网络收敛速度对比

为了验证本文所提MSRGAN算法和SPSR算法训练的收敛速度，在相同实验条件下进行对比实验，实验结果如图8 所示.

图8 MSRGAN和SPSR的损失曲线Fig.8 Loss curve of MSRGAN and SPSR

由图8 可知，MSRGAN在10个epoch时出现明显收敛，最终L损失为1.87，SPSR在第25个epoch时才出现明显收敛，最终L损失为 2.13.MSRGAN的损失值及收敛时间均小于SPSR，说明MSRGAN的收敛性更好.

3.2.4 多种算法效果对比

为进一步验证MSRGAN网络模型的有效性，本文将MSRGAN与SRCNN，SRGAN，ESRGAN，DCRN，RCAN和SPSR进行效果对比.表3 列出了尺度分别为×2，×3，×4时各算法的PSNR值和SSIM指标.与SPSR相比，MSRGAN的PSNR值在各个尺度平均提升了0.72 dB，MSRGAN重建的图像恢复了更多的高频信息，纹理清晰，具有更好的视觉效果.

将表3 图例化展示为图9，可以直观地看出，在尺度为×2，×3，×4的实验中，本文算法相较于其他6种算法在PSNR和SSIM两项指标上均达到最优.

表3 各算法在测试集上的PSNR值和SSIM指标Tab.3 PSNR value and SSIM index of each algorithm on the test set

图9 各算法对比的PSNR和SSIM值折线图Fig.9 Comparison of PSNR and SSIM values charts of different algorithms

为了客观对比MSRGAN与各个算法的重建效果，本文从测试集中选取了2幅高分辨率图像通过Bicubic下采样4倍后分别输入以上7个网络，重建效果如图10 所示，可以看到相比其他6种方法，从视觉效果上来看，MSRGAN重建出的医学MRI影像纹理细节丰富、视觉效果逼真，减弱了噪声的影响，与SPSR相比，在图像的细节上取得了更逼真的还原度.

图10 各算法重建效果对比Fig.10 Comparison of reconstruction effects of each algorithm

3.2.5 模型参数对比与残差组数量的选取

为分析MSRGAN模型的使用残差组数量的有效性以及比较本文所提算法与SPSR算法的参数及性能，在相同实验环境下，分别采用6个残差组，7个残差组(即本文方法)及8个残差组的模型进行对比.表4 列出了4种模型结构的参数数量与不同尺度的PSNR值，实验数据说明采用7个残差组的MSRGAN相较于采用6个残差组的MSRGAN性能要好，而采用8个残差组所需参数较多且指标提升不明显.最终，本文选取残差组数量为7的MSRGAN，其参数数量比SPSR稍多，但在重建图像的PSNR和SSIM两个指标上均高于SPSR算法，并且在视觉效果相比SPSR算法所重建的医学图像的细节更加丰富.

表4 各模型参数数量以及不同尺度下的PSNR值Tab.4 Different model’s parameters and PSNR for different scale

4 结 论

本文提出了基于多尺度残差的生成对抗网络医学MRI影像超分辨率重建算法，该算法使用多尺度残差块构建多尺度残差组，并在每个残差组之间添加注意力模块，充分获取图像的通道和空间特征信息；为避免局部特征信息在网络传播过程中的丢失，设计了局部残差特征聚合模块，将残差组聚合在一起，实现了残差特征的非局部使用，在图像细节上取得了更逼真的还原度；梯度分支合并来自SR分支的特征信息，通过梯度分支恢复高分辨率梯度映射，为超分辨率重建提供结构先验，提高了SR分支的性能，达到了性能和尺寸的最佳权衡.MSRGAN算法PSNR 和 SSIM 上优于其他基于深度卷积神经网络的超分辨率算法，同时重建出的图像细节丰富，纹理清晰，充分证明了本文所提算法重建超分辨率医学MRI影像的高效性与实用性.在下一步的工作中，将着重构建更加有效且轻量级的网络结构，在追求最终重建效果的同时，关注时间和空间的消耗.