基于卷积神经网络的欠采样脑部核磁共振图像重建方法

杜年茂，徐佳陈，肖志勇

（江南大学人工智能与计算机学院，江苏无锡 214122）

（*通信作者电子邮箱zhiyong.xiao@jiangnan.edu.cn）

0 引言

核磁共振成像（Magnetic Resonance Imaging，MRI）是一种非侵入式的活体成像技术，它具有无辐射、对比度高等特点，被广泛应用于脑部组织的成像。脑部核磁共振检查较计算机断层扫描（Computed Tomography，CT）与超声更为敏感，具有多方向切层、多参数成像的特点；MRI能更精确地显示病变位置、范围大小及组织学特性，是发现脑内部结构病变的首选方法。但是MRI 速度较慢，很容易超过30 min［1］。长时间的数据采集不仅会使得病人感到不舒服（如幽闭恐惧症），而且成像过程中头部的蠕动会带来严重的运动伪影。数据采集时间过长也是MRI 诊断昂贵的原因之一，因此缩短MRI 时间具有很大的临床与经济意义。

MRI 数据采集自k-空间（图像的傅里叶空间），并且是一个点接着一个点的顺序采集的，这是MRI耗时的主要原因［2］。尽管硬件上的改进已经在一定程度上减少了MRI的数据采集时间，如Echo Planar［3］与Parallel Imaging［4］，但是MRI 依然很耗时［2］。根据压缩感知（Compressed Sensing，CS）理论［5-7］，完全采样的MRI 数据是冗余的，因此k-空间欠采样可以加速MRI。由于低于Nyquist 采样频率对数据进行采集会造成混叠伪影，许多组结构将变得模糊无法查看。因此基于欠采样的MRI重建研究主要集中于如何去除图像伪影上。早期的重建方法主要是基于CS理论，这些方法利用MRI在特定域的稀疏性，如全变分（Total Variation，TV）［8-9］、离散余弦变换域［10］、剪切波域［11］、小波变换域［12］等。这些方法相对简单快速，但是会在重建图像中引入阶梯伪影［13］。字典学习方法［14］依靠局部块字典来提高重建精度，非局部方法［15］使用多组相似的局部面片进行联合重建以更好地保留图像细节，这两种方法能产生出较高质量的重建结果，但是也有重建时间长以及正则化方程和超参数选择困难的问题［16-17］。

近年来，深度学习尤其是深度卷积神经网络在欠采样MRI 重建领域引起了很大的关注。与传统方法不同，基于深度学习的方法通过训练，可以学习数据的抽象表示并以此取代传统的手工特征选择。现有的研究表明，基于深度学习方法在重建精度以及速度上超越传统的基于CS、字典学习以及非局部方法。如Schlemper 等［18］提出了一个深度级联神经网络，他将传统的迭代优化问题展开为深层级联网络，并使用数据一致性模块（Data Consistency，DC）来保障数据的保真度。Yang 等［17］提出了一种深度去混叠生成性对抗网络，该网络使用残差U-net作为生成器，并结合了图像域、频域、感知和对抗信息作为损失函数。Wang等［19］提出了复数卷积神经网络，该网络使用了复数卷积核来处理复数数据。除了图像域的卷积，Eo 等［2］与Souza 等［20］研究了混合域卷积神经网络，即在图像域与k-空间混合卷积。

尽管上述基于深度学习的方法相对于传统方法都取得了显著改进效果，但是这些方法都只针对单幅MRI的重建，没有将相邻切片间的联系考虑在内。人体脑部MRI通常是多切片的并且相邻切片间存在着冗余关系。基于此，本文提出了一个能够同时学习切片内与切片间冗余关系的深度级联卷积神经网络，用来提高欠采样脑部MRI 的质量。本文将欠采样的MRI 重建视为图像域的去混叠问题，并以迭代的方式进行重建。在每次迭代中首先使用三维（three-Dimensional，3D）卷积模块来捕获相邻切片间的冗余关系，然后使用二维卷积（two-Dimensional，2D）卷积模块来进行单幅切片的重建。此外，该网络还使用了长跳跃连接来辅助网络信息流动，使得网络专注于高频信息的学习［21］。最后使用DC 模块来提高k-空间的数据保真度。由于本文提出的模型属于级联卷积神经网络，并且使用了两种卷积核，故以下简称为混合级联卷积神经网 络（Hybrid-Cascade Convolutional Neural Network，HCCNN）。

1 问题建模

MRI 数据采集自k-空间信号，对采集到的数据进行反傅里叶变换便可以得到人体组织的图像。这一过程可以用式（1）描述：

其中：y是检测到的MRI 电流信号；x是需要重建的目标图像；下标t表示MRI 切片的编号。在实际情况中采样点是有限且离散的，式（1）经过离散化后的方程如下：

其中：x∈CT*N是复数值的MRI，图像尺寸是，序列长度是T；y∈CT×M是包含了所有的k-空间测量数据的观测矩阵；Fu∈CM×N是欠采样的傅里叶编码矩阵，其中包含采样轨迹；ε是观测噪声。欠采样的MRI 的重建任务就是从部分观测数据y中恢复真实图像x。由于欠采样往往会低于Nyquist采样频率（M＜＜N），这使得矩阵Fu变得线性相关，从而使得公式的反转成为病态问题。为了解决这一问题，必须利用数据本身具有的先验知识。图像x的重建可以转化为一个无约束优化问题来解决：

其中：λ是平衡数据保真度与先验知识的平衡因子；R表示正则化项，对于传统的方法来说，R通常是x在特定变换域（如图像梯度或者小波变换）的l0或l1范式。同样的R也可以泛化为具有高度抽象能力的深度学习模型［17-18］：

其中：fcnn表示前向映射的卷积神经网络；θ是网络参数；xu=表示k-空间的零填充重建图像。由于低于Nyquist 采样频率，xu包含了严重的混叠伪影，因此公式基于卷积神经网络的重建可以视作图像域的去混叠问题。

深度卷积神经网络以数据驱动的特征提取方式取代了传统的手工特征，并且网络参数可以通过目标函数反向传播来优化。这一过程可以被描述为：

近年来的基于深度学习的方法都是基于式（4）及其泛化版本，如文献［2，16-20］。但是这些方法都是针对单幅MRI的重建，即

序列间的关联没有被探索。但是脑部MRI 通常是多切片的，不仅每幅图像内部数据有冗余，图像间也存在着相关性［16，22］。与式（7）不同的是，本文的方法将一个MRI 序列视为一个整体，在网络中处理切片间的数据冗余，最后输出整个MRI序列：

2 本文方法的网络结构

2.1 整体架构

本文方法整体流程如下：1）首先，对采集到的k-空间数据进行0 均值标准化得到y；2）然后，对y进行反傅里叶变换，得到零填充的重建图像x0；3）最后，将y与x0作为本文所提出网络的输入，经过网络若干次迭代后产生重建结果。本文所提出的网络整体架构如图1所示。

整体来说HC-CNN 以迭代的方式对欠采样的MRI序列进行重建，迭代展开在深度卷积网络中的表现形式为级联。这一过程可以被描述如下：

其中：I是总的迭代次数；θi(i∈[1，I])是每次迭代过程中的网络参数；x0=xu。对于第i次迭代，网络对输入xi使用两种不同的卷积核进行优化，之后产生本次迭代的输出xi+1。

1）3D卷积。

首先，网络使用3D 卷积模块来提取输入x中的冗余。这一过程可以用式（10）描述：

其中：ksize表示卷积核的大小。例如当S=5 时，感受野的大小为11，这意味着网络可以学习到相邻的10张MRI切片上的信息以及平面内11× 11的感受野。

2）2D卷积。

与上述3D 卷积模块操作相同，只是将卷积核换成2D。过程可以被描述如下：

此处使用2D卷积模组的原因有两点：一是进一步探索平面内的冗余关系；二是防止3D卷积模组从相邻切片上学习到有害的信息。

图1 本文网络整体结构Fig.1 Overall architecture of proposed network

2.2 数据一致性

DC 是用于维持k-空间数据的保真度的，该方法最早被Schlemper 等［18］应用在欠采样的MRI中。其原理是：既然已经知道了部分k-空间的数据，那么就应该抑制卷积神经网络修改已知的数据。DC项可以用作先验知识来指导网络的学习。具体做法是对网络输出的图像进行傅里叶变换，然后使用原始的k-空间数据来取代预测的数据。该过程的公式描述如下：

3 随机欠采样

MRI 欠采样通常是在相位方向，如图2 所示，相位方向的若干线条被省略。这是因为频率方向的编码速度较快，而相位编码的速度较慢［17］。此外现代大多数的商用MRI扫描仪都是使用Cartesian采样轨迹［1，23］。在欠采样时，需要保留一定比例的低频数据ACL（Autocalibration Line）用于维持图像的基础结构，因此需要进行变密度随机欠采样（variable-density cartesian undersampling）。

本文实验主要使用两种加速因子（Acceleration Factor，AF）的欠采样掩膜（mask）来验证本文方法的性能，它们分别是AF=4 和AF=6。图2 显示了这两种加速模式下k-空间数据可视化与其相对应的零填充重建图。两种加速模式各自保留了8%和4%的ACL。可以看到由于沿着相位方向进行欠采样，图像在该方向上出现了大量的混叠伪影，并且随着加速因子的提高，混叠伪影的严重程度也随之提高。高倍加速因子不仅使得脑部组织结构变得模糊难以分辨，也为图像的重建带来了更大的挑战。

图2 不同采样率的k-空间数据与对应的重建图像的可视化Fig.2 Visualization of k-space data and corresponding reconstructed images at different sampling rates

4 实验与结果分析

4.1 实验设置

4.1.1 实验数据与处理

本文实验使用的数据为Calgary-Campinas数据集［1，24］。该数据集提供了35 个T1 加权单线圈脑部MRI 样本。数据集中每张切片尺寸为256×256 大小，切片厚度为1 mm，成像方向为矢状方向。

以下实验除非特别说明，均使用三折交叉验证：对于其中的两折本文使用23 个样本用于训练，然后12 个样本用于测试；对于剩余的一折，本文使用24个样本用于训练，11个样本用于测试。数据在被送入网络前先进行欠采样，然后被归一化为均值0 与方差1。在经过网络重建后又被重新恢复至原始的数据分布。

4.1.2 实验环境与超参数设置

实验环境：实验通过1.1.0版本的Pytorch实现代码模型；训练时在Google Colab上进行，显卡型号为Tesla P100。

超参数设置：网络总的迭代次数设置为I=5，每次迭代中堆叠的3D 网络与2D 网络的层数设置为S=5。网络中所有的卷积核大小设置为3，步长为1，膨胀系数设置为1。除了输出层外所有的卷积层的通道数为32，输出层的通道数为2（对应复数的实部与虚部）。本文采用的激活函数为泄漏整流器线性单元（Leaky Rectifier Linear Units，LReLU），α值设置为0.1。这是因为复数值没有正负数之分，而且LReLU允许负信号通过。训练时使用Adam 优化器，初始学习率为1E-3，训练轮次为200，并且学习率在170 轮衰减到1E-4。训练和测试时的单个序列长度为32。在训练时序列是被随机截取的，这样做既能减少显存占用，同样也能起到数据增强的效果。

4.1.3 评价指标

本文采用三个常用的图像质量评价指标来评估模型性能。它们分别是标准化均方误差（Normalized Mean Squared Error，NMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）与结构相似度（Structural SIMilarity，SSIM）。选择这些比较方法是为了对重建结果进行互补评估。NMSE 和PSNR是基于误差敏感的图像质量评价，强调整体重建精度，SSIM强调图像质量的感知。

样本最大值的选择将会导致PSNR和SSIM在数值上的波动。为了消除差异，本文使用完全采样的图像重建的最大值。除此之外，测试时完全随机地采样mask 测试结果的波动，针对这种情况，本文在测试时固定了随机数种子，以确保在不同方法时生成相同的mask。

4.2 实验结果

4.2.1 不同优化方法的比较

为了验证方法的有效性，本文选择与如下三种不同的重建方法进行对比：①深度级联卷积神经网络（Deep Cascade Convolutional Neural Network，DC-MR）［18］，该方法将传统的MRI 迭代重建问题拓展到深度学习中的级联卷积学习模型。该模型在实验上验证了深度学习方法的重建精度优于传统的方法。②混合卷积神经网络（Hybrid Convolutional Neural Network，H-CNN）［20］，该方法也是基于DC-CNN 的架构，但是该方法采取了k-空间与图像域的混合卷积，并且仅使用了2D卷积。本文方法与之不同的地方在于，本文使用的是3D 和2D 在图像域混合卷积。③循环卷积神经网（Convolutional Recurrent Neural Network，CRNN）［13］，该网络是用于动态成像的研究。CRNN 使用的是双向循环卷积神经网络来探索切片间的冗余关系，然后使用2D网络来优化单幅切片。虽然动态MRI 序列数据与MRI 数据有所不同，但是在本文的实验结果中可以看到CRNN 在脑部MRI序列上的重建任务上也能取得较好的精度（对比结果见表1）。本文使用该方法的目的是为了对比本文所提出网络在学习脑部MRI序列切片间与切片内冗余关系的能力。

实验结果如表1 所示，可以看出：本文方法在两种加速模式下的三个评价指标都优于其他方法。相较于H-CNN与DCCNN，本文方法使用了脑部MRI切片间的关联作为先验知识，能够使用相邻切片上的信息进行互补重建，因此在高倍欠采样模式下的优势更加明显。如当AF=4 时，HC-CNN 相对于DC-CNN 在PSNR 上的提升为1.75 dB；当AF=6 时，这一提升变为2.57 dB。CRNN 也利用了相邻切片间的关联作为先验知识，在重建精度上优于H-CNN 与DC-CNN。如在AF=4 时，CRNN 在PSNR 上比DC-CNN 高0.43 dB；在AF=6 时，这一提升增大到了1.53 dB。由此可见，利用相邻切片之间的相关性可以达到更好的重建结果。但是，从HC-CNN 与CRNN 的提升对比中可以得出，本文方法在提取脑部MRI 序列中相邻切片间与切片内部冗余的优势更加明显。

表1 4种方法在四倍降采样率下的精度比较Tab.1 Accuracy comparison of four methods under 4x undersampling rate

图3（a）、（b）分别展示了4种方法在两种加速模式下重建出来的图像以及误差图。H-CNN 与DC-CNN 的重建结果相较于全采样的重建图像丢失了大量的边缘细节。如在AF=4时，H-CNN 与DC-CNN 能恢复出小脑区域的少量边缘细节，但是当AF=6 时，两种方法小脑区域的重建出现了模糊，并且H-CNN 相较于DC-CNN 更为严重。CRNN 的重建图像的视觉效果好于H-CNN 与DC-CNN，能在AF=6时保留少量的组织细节。与CRNN 相比，本文方法能够重建出更多更清晰的边缘细节。此外，从CRNN 与本文方法重建的误差图中可以看出，本文方法的误差更小。从重建的结果可以看出，相较于其他方法，本文方法的重建结果更接近于完全采样的MRI；从重建误差图及其下面的彩色刻度条可以看出本文方法重建的图像更为精确。

表2 为4 种方法在模型容量与重建时间的比较。H-CNN主体结构与DC-CNN 相同，但是其网络容量较小，因此运行速度最快，每张约13.9 ms。CRNN 在迭代重建中共享了网络参数，网络大小不会随着迭代次数的增大而增大，因此模型容量最小；但是CRNN 重建速度是最慢的。这是因为CRNN 使用的是双向循环卷积神经网络的结构来处理MRI 序列的重建，并且在迭代过程中需要保存大量的中间变量。本文使用的是3D 卷积模块来处理切片间的数据冗余，可以有效地处理序列数据，无需递归，也不需要保存中间变量，因此重建速度快于CRNN，硬件资源的需求上也小于CRNN。本文网络在重建速度上也与DC-CNN 相当，约每分钟65 张。此外，本文网络是3D网络，但是其模型容量与2D网络DC-CNN相当。由以上对比分析可以看到，本文方法不仅具有较高的重建精度，而且在重建速度与硬件资源需求上都具有优势。

4.2.2 2D卷积与3D卷积

为了进一步对2D 卷积模块与3D 卷积模块进行定性研究，本文对HC-CNN 的结构变体进行了实验。实验采用三折交叉验证，为简化训练过程，下列所有模型的训练轮次设置为100，学习率衰减轮次设置为80，迭代次数I设置为3；并且实验是在4 倍加速因子的模式下进行的，其余超参数设置保持相同。

该部分主要本文所提出网络的四个变体进行对比实验：1）仅使用2D 卷积模块；2）仅使用3D 卷积模块；3）先使用2D卷积模块后使用3D 卷积模块；4）先使用3D 卷积模块后使用2D卷积模块（即本文的网络结构）。

图3 不同方法的重建结果与误差对比Fig.3 Comparison of reconstruction result and error of different methods

表2 4种方法模型容量与重建效率比较Tab.2 Comparison of model capacity and reconstruction efficiency of four methods

实验结果如表3 所示。从对比实验1 和实验2 的结果可以看出，2D 卷积的重建结果高于3D 卷积。这是因为3D 卷积核感受野是固定的，它在切片方向与平面内部的权重是一致的，然而MRI切片间的冗余关系弱于切片内部。只用3D卷积会使得网络从相邻切片上学习到有害的信息，因此有必要在3D 卷积之后使用2D 卷积来强调单幅切片的重建。对比实验3 与实验4 的结果可以看出先3D 卷积后2D 卷积的必要性。除了重建精度上的差异外，图4还展示了4种变体在重建图像的差异。可以明显地看到，仅用3D卷积模块重建出来的图像仍含有垂直方向的条状混叠伪影。这一现象也发生在先2D后3D的重建图像上，但伪影较为轻微。与之相比，仅用2D卷积模块或者先3D 后2D 的网络结构重建出来的图像在去除混叠伪影方面表现更优。此外由于使用了切片间的关系作为先验知识，先3D 后2D 的网络结构重建出来的图像的组织结构比仅用2D 卷积模块的网络结构在视觉上更加清晰，如图4中小脑部位（矩形）。

表3 本文方法4种变体的重建精度比较Tab.3 Comparison of reconstruction accuracy of four variants of proposed method

图4 4种变体重建图像比较Fig.4 Comparison of four variants on reconstruction image

5 结语

本文提出了一种欠采样脑部MRI 的重建方法，该方法通过3D 与2D 混合卷积来探索MRI序列在切片内与切片间的冗余关系，从而提高了重建精度。与没有利用相邻切片联系的方法相比，该方法能够重建出更高质量的MRI，恢复更多细胞组织结构。此外本文方法在高倍加速模式下的重建精度优势更为明显。与使用到相邻切片联系的方法相比，该方法具有更强的提取能力。

本文的实验是建立在单线圈的成像场景，在未来的工作中，可以结合并行成像来对MRI序列进行重建，以达到更高的加速因子与重建质量。此外，本文仅研究了变密度的Cartesian 采样轨迹，以后的研究应该考虑采用其他的采样轨迹如放射型轨迹与螺旋形轨迹。