基于SA-CycleGAN的3T磁共振图像生成方法

李琳　浦贵阳　李杨　王树超　蒋明峰

关键词：磁共振成像;生成对抗网络;自注意力机制;谱归一化;组合损失函数

中图分类号：TP391 文献标志码：A

0 引言（Introduction）

磁共振成像（MRI）是临床医学常见的影像检查手段，其具有无电离辐射和非侵入性无创伤等特点，因此在临床医学的病理检查和诊断中得到广泛应用[1]。对于磁共振成像设备来说，高场强能带来更好的成像质量，磁共振成像的信噪比与主磁场强度通常成正比，3T的图像质量和信噪比均比1.5T的高，并且能显示更好的解剖细节和组织对比。在神经放射学中使用3T磁体的优势远远大于其劣势，更高强度的磁体在结构和血管扫描、弥散和灌注成像等方面的诊断潜力正在提高，但是使用3T磁体就意味着高场强的成本会大幅增加。超场强磁共振图像生成可以在不升级硬件的情况下，通过算法实现由1.5TMRI生成近似3T MRI，较大幅度地提高了MRI的图像质量。

1 相关工作（Related work）

生成对抗网络[2]（Generative Adversarial Networks， GAN）常用来实现超场强图像生成，它结合了生成器和判别器两个神经网络的系统，上述神经网络通过在零和博弈框架中相互竞争得以实现。自推出以来，人们对与大脑相关的GAN框架的应用产生了浓厚的兴趣，SRGAN[3]首次将GAN应用于单图像的超分辨率重建，JIANG等[4]也将GAN应用到MRI领域。此外GAN已经成功运用到数据增强、图像翻译及图像分割等领域，这些研究证实了GAN网络具有广泛的应用前景[5-12]。本文将CycleGAN作为研究的基本网络，并且专注于研究提高生成医学图像的准确性和真实性[13]。

近年来，图像合成在医学成像界获得了很大的关注，由低场强MRI向高场强MRI的生成、合成技术日益完善。ROY等[14]使用基于字典的稀疏重建处理图像合成，并且使用基于示例的方法进行稀疏表示，该方法已经成功运用到3T MRI合成7T MRI[15]。DAR等[16]提出了基于条件生成对抗网络的多对比MRI合成新方法，保留了生成图像的中高频细节。目前，研究人员可以使用基于学习的方法合成高场强图片，例如线性回归、稀疏学习和随机森林等[17-19]。随着深度学习的发展，高场强MRI的合成也有了新的方法，不仅减轻了对手工制作特征的需求，而且已成功应用于各种图像合成问题。XIANG等[20]提出了一种深度嵌入CNN，即基于3T磁共振图像合成计算机断层扫描（CT）图像的方法。QU等[21]利用空间域和小波域的互补信息完成了低场强到高场强MRI的合成，目前基于CNN的方法通常直接确定复杂的3T到7T映射，而不需要显式利用多尺度信息。有研究表明，通过整合有价值的先验信息可以改善网络学习[22]。

综上研究表明，目前基于深度学习的MRI超场强重建方面的研究不足，针对现有理论，本文提出了一种基于生成对抗网络融合自注意力机制的生成方法SA-CycleGAN，用于从1.5T MRI生成3T MRI。首先以CycleGAN的损失函数为基础，在生成器中加入先验信息对网络进行约束，提出了新的组合损失函数;其次将自注意力引入生成对抗网络作为卷积的补充，有助于生成器生成图像的细节表达，判别器可以更准确地对全局图像结构执行复杂的几何约束;最后使用非局部模型将自注意力模块引入生成对抗网络框架，以便生成器和判别器都可以有效地在空间区域之间建立关系依赖。

2 MRI样本数据库 （MRI sample database）

每一张3D磁共振图像的大小是256×256×176像素值，其中（a）横断面的尺寸为176×256，（b）冠状面的尺寸为176×256，（c）矢状面的尺寸为256×256。本文使用3D Slicer中的Slicer Elastix模块，以3T MRI作为模板，将1.5T MRI配准到3T图像模板上，实现空间域图像配准，经过配准后，使用MRIcro将每一张3D图像切割成3种不同截面的2D图片，建立样本数据库。现有60对3D 磁共振图像，经切片后共有41 300对2D样本图片，其中横断面和冠状面分别有15 360对图片，矢状面有10 580对图片。

在深度学习中，用于训练和测试的数据可能会不足且不平衡，深度网络模型容易过度拟合且泛化能力很差，由于医院和患者的状况并不总是适合于收集数据，并且具有相同疾病的患者数据也并非总是可用。此外，神经网络需要在大量准确而可靠的数据上进行训练，数据不正确或表示不正确可能会导致系统的性能变差。所以，本文使用数据扩增方法生成足够多且平衡的图像。

对于具有很多重要信息的图片，例如医学图像，最好执行不会增加或丢失图片信息的图像增强变换。因此，本文选择使用无损变换、非刚性变换和先进扩增技术完成医学图像扩增。如图1所示，无损变换是借助Python实现，具体方法主要包括水平翻转、垂直翻转和随机旋转。

经过数据扩增，建立了一个标准数据库。该数据库共有10万组2D样本数据对，其中横断面和冠状面切片有40 000对图片，矢状面切片有20 000对图片。

3 基于SA-CycleGAN的3T磁共振图像生成算法（3T MRI generation algorithm based onSA-CycleGAN）

SA-CycleGAN網络主要包含四个模块，分别为两个生成器结构模块、两个判别器结构模块，如图2所示。SA-CycleGAN网络对输入数据要求较低，适用性强。

为了直观地对比不同方法的生成性能，选取一张典型的MRI图像。在图6至图8中可以看出，SRGAN生成的MRI丢失了较多细节，Pix2pix和CycleGAN生成的MRI虽然保留了一些细节，但是与全采样MRI相比，仍有较大的差异。本文所提方法生成的结果则恢复了大部分图像细节，也有较为清晰的纹理，更加接近于全采样MRI。

为了定量比较不同方法的生成效果，研究人员在测试集上计算了不同方法生成MRI的平均PSNR 和SSIM ，结果如表1所示，PSNR 和SSIM 的值是均值±标准差的形式，加粗项为每行最优值。从表1中可以看出，本文所提方法生成的MRI的PSNR 和SSIM 均值均高于其他三种方法，PSNR 的标准差与其他方法相差不大，而SSIM 的标准差则略优于其他方法，这表明本文所提方法在保持生成效果相对稳定的情况下，能明显提高生成图像的质量。

4.2 消融实验结果讨论

为了评估本文所提方法中不同组成部分对训练过程和生成质量的影响，研究人员进行了如下消融实验：（1）不将自注意力机制嵌入GAN框架中（No SA）;（2）在判别器网络层中取消谱归一化处理（No SN）;（3）组合损失函数中不加入先验信息（No Prior）。消融实验结果对比如表2所示，本文所提方法的实验结果大部分优于消融实验的其他结果。这表明本文所提方法的各个组成部分均能有效改善网络的生成性能，提高生成MRI的质量。

大部分图像生成的GAN网络都是使用卷积结构，传统卷积层擅长分析空间的局部性信息，但无法获知图像上较远距离的依赖关系。为解决上述问题，本文在网络中加入了自注意力模块，使模型能够自适应地感知到对生成图像起到作用的区域，增强生成MRI的细节，提高成像质量。如图9所示，对比矢状面切片在无自注意机制嵌入情况下生成的MRI，整体上看，两者的生成效果差不多，但从局部放大图中可以看出，本文所提方法的生成细节更加丰富，纹理还原也更加准确。

训练不稳定问题仍是生成对抗网络方法存在的主要问题，如图10所示，SA-CycleGAN方法损失函数的收敛速度过慢且具有不稳定的性质，加入谱归一化之后，SA-CycleGAN（SN）方法的损失值呈单调下降，而且损失函数收敛速度加快，表明结合谱归一化的SA-CycleGAN（SN）方法使训练变得更加稳定。与之前没有加入先验损失的結果相比，纳入先验损失信息后，PSNR 提升了12 dB，SSIM 也提高了1%～3.8%。

5 结论（Conclusion）

本文提出了一种基于生成对抗网络融合自注意力机制的磁共振图像超场强生成的新方法，本文所提方法的核心之处在于将自注意力机制和谱归一化整合到CycleGAN框架中，并且重新构造了组合损失函数。自注意力机制可确保高场强图像的成像质量和细节，与其他方法相比，本文所提方法获得的超场强图像具有更高的PSNR 和SSIM ，图像细节更接近原始高场强图像，而谱归一化则限制了函数变化的剧烈程度，使模型更稳定;在网络中引入先验信息，使得生成图像的真实性和准确性有所提升。此外，消融实验验证了组合损失函数、自注意力机制和谱归一化的有效性，通过这些模块可以有效地提高图像生成质量。未来，研究人员会将本文所提出的SA-CycleGAN（SN）应用于从3T图像生成7T场强甚至更高场强的磁共振图像，实现可用于临床的超场强图像生成，这是未来需要进一步研究与解决的问题。

作者简介：

李 琳（1997-），男，硕士生。研究领域：计算机视觉，磁共振图像重构。

浦贵阳（1977-），男，博士，高级工程师。研究领域：人工智能，智能物联。

李 杨（1986-），男，博士，讲师。研究领域：深度学习算法，医学图像处理。

王树超（1974-），男，硕士，副主任医师。研究领域：脑神经外科，磁共振图像分析。

蒋明峰（1977-），男，博士，教授。研究领域：生物医学图像处理，磁共振图像重构。