基于残差网络编解码的磁共振图像修复算法

刘 哲，刘剑毅，刘 凯，彭 召

(西安交通大学 软件学院，陕西 西安 710049)

0 引 言

由于磁共振成像MRI(magnetic resonance images)[1]特殊的成像方式，致使成像过程中产生伪影和噪声，进而影响对病情的判断。因此，MRI受损图像的修复成了当今磁共振成像最为关键的研究热点之一。

为了消除图像中的伪影和噪声，获得更好的图像修复效果，相关研究人员提出了许多图像修复算法。传统去噪算法利用图像自身的自相似结构块做加权平均来估计参考块的中心点，例如非局部均值算法(NLM)[2]、全变差去噪算法(TV)[3]，但该类算法对原图像的结构信息保护不够以及对平坦区域抑制噪声不充分。贝叶斯最小二乘-高斯尺度混合模型算法(BLS-GSM)[4]和3维块匹配滤波算法(BM3D)[5]对图像进行多尺度、非局部去噪，但该算法的实现过程比较复杂。近年来，随着深度学习方法在图像修复问题上取得了良好效果。例如生成对抗网络算法(GAN)[6]利用G网络将低分辨率的图像生成高分辨率图像，然后由D网络判断获得的图像是否是来自G网络生成的，但是该网络存在训练不稳定、模式崩溃的问题。基于卷积神经网络算法(CNN)[7]用于图像修复，但是该算法的缺点是随着网络深度的增加，容易出现梯度爆炸或梯度消失的问题。

针对上述算法的图像修复效果不佳、性能不足、算法复杂等问题，本文提出了一个基于深度的残差神经网络编码-解码框架算法，用来解决受损图像的修复问题。该算法由多层的残差神经网络层和反卷积层组成，学习一个从受损图像到高质量图像的端到端映射。残差网络层实现图像特征的提取，捕获图像内容的抽象信息，同时消除噪声和损失。相对应地，反卷积层用来恢复图像细节，进而达到良好的修复效果。

1 网络结构与原理

本文所提出的网络包含一系列残差网络层和反卷积层，使用残差网络的原因在于该网络采用跳跃结构进行连接，较好地解决了网络深度变深以后的性能退化问题以及梯度消失问题。残差网络层主要用于受损图像的编码，该编码过程基于修改的resnet 101-layer[8]，并将该网络中最后全连接层和全局平均池化层操作去掉，原因在于本文使用该网络主要用来提取受损图像的主要特征，不做图像分类。通过深层残差网络编解码框架完成受损图像修复。

图1、表1分别给出了本文算法的网络结构和相关参数配置。编码(Encoder)和解码(Decoder)过程结构对称。在编码过程中，采用深层残差网络作为特征提取器，使更多的特征传入到下一层，进而更完整地保留原始输入图像的上下文信息。解码过程采用反卷积操作，用来恢复图像的边界信息。编解码过程主要是在受损图像和高质量标签图像的相关空间中优化学习字典，该字典表示为受损图像和高质量标签图像间的补丁以及输入的最近邻特征，在受损图像的空间中找到补丁，其相应的高分辨率补丁用于重建。本文设计的网络优势在于残差网络层保留了主要的图像特征，通过网络将编码层的特征图传递到解码层，有助于解码层拥有更多的特征图像信息，因此在较好地保留了原始图像内容的同时，也达到了去除伪影和噪声的效果。网络遵循恒等映射，确保输入输出图像的大小一致。

图1 网络结构

表1 网络结构参数配置

2 网络设计与训练

2.1 网络预处理

本文首先使用双三次插值算法将每幅受损图像调整到我们期望的大小320×320，然后将该类图像裁剪为4幅160×160大小作为网络的输入图像X，将图像X的集合称之为训练集。使用双三次插值算法对图像进行预处理的目的在于：①放大受损图像的噪声和伪影，起到增强数据特征信息的效果，从而利于网络提取特征，更好地修复受损图像。②扩大网络训练的样本数。本文算法的目标是将输入图像X尽可能修复成为接近于高质量的标签图像Y。图像X与Y的大小相同，网络通过学习一个从受损图像到高质量图像的端到端映射，从而完成图像修复工作。

2.2 网络的训练

本网络训练过程由特征提取、非线性映射、反卷积重建构成。特征提取操作需要从受损图像X和高质量标签图像Y中提取特征信息，建立从受损图像到标签图像的补丁，然后将每组补丁表示为高维向量。这些高维向量包含一组特征映射，其大小等于高维向量的维数。通过一组过滤器对受损图像进行卷积，形式上将f1(X) 定义为特征提取操作的输出，如式(1)所示

f1(X)=W1*X+B1

(1)

其中，W1和B1分别表示卷积核权重和偏移值，W1的维度为c×n1×n1，c表示特征图像的通道数，n1表示卷积核的大小。*表示卷积操作。

在非线性映射操作中，将一个高维向量映射到另一个高维向量，每一个映射向量表示一个高分辨率补丁，这些向量组成另一个特征映射，用于后续的反卷积重建操作，本文使用Leaky Relu作为激活函数，如式(2)所示

f2(X)=max(0.01f1(X),f1(X))

(2)

原因是对零段线加了一定的斜率,防止网络实际的训练太容易饱和和梯度弥散[9]。

反卷积重建操作的目的是恢复更多的图像细节；随着深层残差神经网络的特征提取操作，使得特征图像的大小逐渐减小，反卷积层再逐渐增大特征图的大小至原始输入图像，完成图像的重建操作。该过程首先将卷积核反转，就是将卷积核在上下左右方向进行递序操作。然后将卷积结果作为输入，做补0扩充操作，即往每一个元素后面补0。将f(X)定义为反卷积重建图像操作，如式(3)所示

f(X)=W3*f2(X)+B3

(3)

其中，W3和B3分别为卷积核权重和偏移值，f2(X)为非线性映射操作的输出。

本文提出的网络是通过学习从受损图像到高质量图像间的端到端的映射，从而完成去除受损图像中的伪影和噪声，达到图像恢复的目的。本文分别选取8500幅受损图像和与其相对应的高质量图像进行网络训练。将本文2.1小节中处理的图像作为网络输入，首先，采用大小为7的卷积核将单通道图像提升为64通道，图像大小缩小至40，然后采用大小为1、3的卷积核完成特征提取和反卷积重建，最后，通过指定学习率的优化器不断减小重建图像与真实图像间的损失。网络训练的过程如图2所示。

图2 网络训练流程

2.3 网络参数的调整及设定

(4)

其中，n为训练样本的数量，在本文中n取值为8500。使用该损失函数，主要有利于加快网络权重的优化调整以及网络的收敛速度，进而缩小重建图像与真实标签图像的差别,提高受损图像的修复效果。使用标准反向传播的随机梯度下降算法SGD最小化损失函数(4)。权重矩阵的更新如式(5)、式(6)所示[10]

(5)

(6)

3 实验结果与分析

3.1 实验参数配置

本文提出的算法通过在集群服务器上运行该网络模型进行实验，集群服务器参数为：Intel Xeon处理器2.5 GHz，开发软件Pycharm，Tensorflow 1.3，Anaconda 3，CUDA 8.0，GPU GeForce GTX1080TI，运行内存32 G。本文实验的数据样本是由某医院数据库提供，采用本文2.1小节中的算法对其进行预处理，然后从中选取8500幅受损图像和与其相对应的高质量图像作为网络的训练样本，每个训练样本的分辨率为160像素×160像素。在该集群服务器上训练时长51小时。

3.2 算法修复稳定性对比

本文采用峰值信噪比PSNR(peak signal noise ratio)和结构相似性SSIM(structural similarity)[11]这两个衡量指标来客观评价图像恢复的质量。PSNR是基于对应像素点之间的误差，即基于误差敏感的图像质量进行评价。SSIM是一种综合参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。PSNR和SSIM是通过对受损图像采用相关算法进行处理后的重建图像和高质量的标签图像进行比较的结果，二者能较好地评价图像处理算法恢复后的图像质量。本文随机选取100幅受损图像作为修复效果测试集，为保证算法的公平性，所选取的测试集图像均不在训练集中。将测试集采用各算法修复后的重建图像与真实标签图像间的PSNR和SSIM的均值及方差作为衡量图像修复算法的评判标准。

各算法在测试集上修复后的图像PSNR和SSIM均值的浮动情况如图3、图4所示，从图中可看出，基于深度学习的图像修复算法的稳定性相比于传统的去噪算法较好，同时残差网络的修复性能和效果相比于卷积神经网络较优，表明深层的残差网络更好地提取图像特征，也解决了随着网络深度的增加所出现的网络模型退化问题。

图3 各算法处理后的PSNR对比

图4 各算法处理后的SSIM对比

表2、表3分别给出了各算法在测试集上修复后的PSNR和SSIM的具体均值和方差值，从表中可看出本文修复算法获得了较高的PSNR值和SSIM值，同时具有较低的方差，说明本文算法具有良好的修复效果和稳定的修复性能。原因在于深层残差网络通过大样本数据的训练，使该网络更好地学习从受损图像到标签图像之间的补丁，不断地调整及优化相应的网络参数权重，进而完整地恢复图像细节[18]。

3.3 算法修复效果与性能对比

为了验证本文算法的修复能力，本文任意选取一幅受损较为严重的磁共振图像进行修复效果测试。如图5所示，本文中提出的算法与其它算法的修复效果进行对比。

直观地从以上算法修复效果图上进行分析，文献[12]算法、文献[14]算法和文献[17]算法处理后的图像比

表2 各算法处理后的PSNR均值和方差对比

表3 各算法处理后的SSIM均值和方差对比

原图像在视觉效果上有很大改善，但明显略带有少部分噪声。文献[15]算法尽管消除了受损图像的噪声和伪影，但是该算法处理后的图像清晰度大幅降低，影响医学应用价值。虽然文献[13]算法和文献[16]算法达到了图像超分辨的效果，但是图像失真比较严重，影响医生的判断。本文提出的算法修复效果几乎接近原始标签图像，较好地还原了原始图像信息。

如表4所示，给出了各修复算法在测试集上修复的平均时长和浮动偏差。本文算法在对受损图像进行修复时，需要加载网络模型的权重，因此修复耗时较长，有待于进一步优化修复时长。

网络训练的损失值较好地反映网络重建图像与标签图像间的差值，同时也反映了网络的拟合程度。图6给出了本文算法与文献[13]算法的loss值对比结果。结果表明，深度残差网络相比于卷积神经网络可以有效解决网络的性能退化问题。

4 结束语

本文提出的一种基于深度残差网络编解码的磁共振图像修复算法，主要解决磁共振图像的伪影和噪声问题，提高其医学应用价值。残差编码层用于提取图像特征，反卷积解码层用于生成图像待修复区域对应的预测图，通过学习一个从受损图像到高质量的标签图像之间的端到端映射，不断减小预测图象与真实的标签图像间的损失，进而将受

图5 各算法修复效果对比

表4 各算法在测试集上修复的平均时长

图6 本文算法和文献[13]算法loss值

损图像修复成为接近于真实标签图像的高质量图像。通过大量实验分析，将原始图像特征使用双三次插值算法进行放大，使受损区域特征更明显,进而有利于网络提取特征，由此提出一种针对特征学习的深度残差网络编解码来完成核磁共振图像修复任务。实验结果表明，该算法与已有的图像修复算法相比，具有更好的修复效果。

尽管该算法在核磁共振图像上具有较强的修复能力，但是该算法的训练需要大量的标签样本数据作为要学习的对象，在一些应用场景中很难获得这些标签数据。此外，该算法无法保证彩色图像的修复，如自然图像和地图遥感图像等。这也是今后需要更进一步深入研究的工作。