基于复卷积双域级联网络的欠采样磁共振图像重建算法

邱华禄，蔺素珍*，王彦博，刘 峰，李大威

（1.中北大学 计算机科学与技术学院，太原 030051；2.昆士兰大学 信息技术与电子工程学院，澳大利亚 布里斯班 4702；3.中北大学 电气与控制工程学院，太原 030051）

0 引言

磁共振成像（Magnetic Resonance Imaging，MRI）能提供比许多其他成像方式更好的软组织对比度，可以清晰反映人体组织的不同层次结构以及解剖特点；然而，较长的信号采集时间通常会导致磁共振（Magnetic Resonance，MR）图像上产生因患者在采集期间的生理运动（即心脏运动和呼吸运动）所引起的伪影［1］。为了提高MRI 速度，大多数研究的重点都集中如何在加快K空间信号采集的情况下提高图像保真度。

目前，并行成像和基于压缩感知理论对K空间数据进行欠采样是提高MRI 速度的主要手段。并行成像先采用多通道线圈同时进行MR 信号欠采样，再利用线圈灵敏度编码对MR 图像重建。具有代表性的并行成像技术有基于图像域重建的灵敏度编码（Sensitivity Encoding，SENSE）［2］和基于K空间域重建的泛化自动校准部分并行采集（GeneRalized Autocalibrating Partially Parallel Acquisitions，GRAPPA）［3］算法。研究结果表明：并行成像可以显著提高成像速度，但高昂的成本制约了其应用推广。感知压缩理论既可以与多线圈信号采集相结合，也可与现有的单线圈信号采集相结合，核心是解决和稀疏变换不相关的K空间轨迹设计、图像最优稀疏表示和快速鲁棒的非线性图像重建问题。基于压缩感知理论加速采样MR 信号成本低、效果明显，但仍然存在算法迭代时间较长、参数不易调整等问题［4］。

近年来，深度学习在解决逆问题（包括图像去噪、图像超分辨率重建）方面表现出优于传统算法的性能［5-6］。如Aghabiglou 等［7］利用密集连接残差块分别代替级联卷积块和U 型网络（U-Net）中间层的卷积重建MR 图像。Chatterjee等［8］将改进的残差网络作为网络主干，从欠采样图像中去除伪像，结合数据一致性（Data Consistency，DC）处理，通过将网络输出与K空间欠采样数据融合在一起，改进了重建质量。Zhao 等［9］提出了新的通道分裂串行融合网络，将卷积提取到的特征分解为一系列子特征之后，将这些子特征串行集成在一起，而后采用密集连接融合中间特征，实现了对单幅MR 图像的超分辨率处理。此外，Han 等［10］提出了完全数据驱动的K空间插值深度学习算法用于欠采样MRI 重建，有效解决了低秩汉克尔矩阵完成问题时矩阵分解计算量大和对应矩阵存储需要较大存储空间的问题。Du 等［11］提出了通道和空间注意力并行的U-Net 实现了对多切片MRI 的K空间域的并行重建。另外，Lee 等［12］先利用一个U-Net 重建幅值图像，再用重建结果消除欠采样相位周围的随机相位效应，之后将相位图像利用另一个U-Net 实现重建。Eo 等［13］将欠采样MR 数据的实部和虚部分成两个通道，经过K空间、图像域、K空间和图像域交叉域级联的卷积网络，并以增量方式训练网络。Souza 等［14］提出了插入数据一致性层的卷积神经网络交替地从K空间和图像域提取特征，以端到端的方式实现了MR 图像重建。Zhang 等［15］提出了双任务双域网络，该网络利用部分卷积在K空间中提取特征，以恢复MR 图像。该模型还设计了一个辅助网络根据采样的K空间数据估计采样掩码。这些研究虽取得了较好的效果，但或利用幅值图像进行重建、或将幅值和相位图像分别用两个网络进行重建、或将实部和虚部分两个通道训练，均未考虑实部和虚部之间的相关性［16］，并且仅使用实值卷积限制对MRI 复值数据的特征提取能力。其实，复值数据更容易被复值网络优化，不仅学习速度快，而且具有较强的抗噪声记忆能力和较好的泛化特性［17］。因此，Wang 等［18］将复数卷积引入MRI 多切片并行重建并取得了较好的效果。目前，关于MRI 单切片重建的研究依旧火热［7-9，13-15］。相较于多切片MRI，单切片MRI 体积中的不同切片信息不能相互利用，每个切片都需独立恢复，因此，单切片MRI 重建更为困难。

为此，本文将复值网络与双域学习结合，提出了复卷积双域级联网络（Complex Convolution Dual-Domain Cascade Network，ComConDuDoCNet），以实现对单一切片的MRI 重建。具体地，网络将原始欠采样MRI 数据作为输入，通过级联残差特征聚合（Residual Feature Aggregation，RFA）［19］块交替提取MRI 数据的双域特征，最终重建出具有清晰纹理细节的MR 图像。每个残差特征聚合块使用复卷积作为特征提取器，使用CLeakyReLU 作为激活函数。不同域之间通过傅里叶变换或逆变换进行级联，并加入数据一致性操作实现对原始MRI 数据的保真。

本文的主要工作如下：

1）提出了基于残差特征聚合块的串行双域网络。通过在图像域和K域间交替学习，将欠采样得到的数据进行最大化利用，提高对欠采样单切片MR 图像的重建性能。

2）将复数卷积及激活函数应用到所提出的串行双域网络，使复卷积能够自适应地学习MRI 数据实部和虚部之间的相关性信息。

3）为了证明提出算法的优越性和鲁棒性，在公开膝关节数据集上进行了大量实验；同时通过实验证明了残差特征聚合块相较于链式残差块、复卷积相较于普通卷积在MRI 重建方面的优势。

1 重建算法

1.1 网络结构

所提出的ComConDuDoCNet 模型总体架构如图1 所示。网络以原始欠采样的K空间数据作为输入，经过K空间和图像域交替地学习来重构K空间矩阵，并去除伪影，并重构K空间矩阵，最后对该矩阵进行幅值计算，得到清晰的图像。

图1 ComConDuDoCNet总体架构Fig.1 Overall architecture of ComConDuDoCNet

网络由N个级联块组成，每个级联块包括1 个图像域块和1 个K空间域块。图像域块和K空间域块具有相同网络结构，都是由1 个RFA 块和1 个域变换（Domain Transfer，DT）块构成，而域变换块由数据一致性层以及傅里叶变换或傅里叶逆变换组成。图像域块与K空间域块的RFA 块结构相同。每个RFA 块使用复卷积作为特征提取器，使用CLeakyReLU作为激活函数。不同域块之间通过傅里叶变换F或逆变换F-1进行级联，并且加入数据一致性层fdc实现原始数据保真。

1.1.1 残差特征聚合块

残差学习被广泛用于图像超分辨率重建，图2 所示残差块被使用在EDSR（Enhanced Deep Residual Networks）［20］和ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）［21］图像超分模型中。通过链式堆叠图2 所示残差块能产生原始低分辨率图像的分层特征。不过，在链式残差（Chain of Residual，CR）块中，第一残差块（Residual Block，RB）的特征必须经过重复的加法和卷积运算才能到达最后一个块。这样，残差特征很难被充分利用，在整个网络学习过程中只起到局部作用。

图2 残差块结构Fig.2 Structure of residual block

因此，引入RFA 块，结构如图3 所示，RFA 块中每个RB模块与图2 结构相同。RFA 块以MRI 实部和虚部数据作为输入，之后经过4 个RB，与CR 块不同在于该结构将前三个残差块特征与最后一个残差块特征进行通道上的拼接，而后通过一个1×1 卷积进行融合，将融合结果与输入做残差后即得到RFA 块的最终输出结果。为了提高网络对MRI 复值数据的特征提取能力，每个复数RFA 块中第一个RB 的第一个复卷积包含两个输入通道，其余复卷积具有32 个过滤器，而最后的1×1 融合复卷积具有2 个过滤器。

图3 残差特征聚合块结构Fig.3 Structure of residual feature aggregation block

1.1.2 复卷积

由于MRI 数据本身是复数形式，因此使用复数卷积处理复值数据是必要的。假设输入图像域数据xˉ=a+bi，过滤器k=m+ni，则复卷积操作可表示为：

其中：⊗表示卷积运算，复卷积的每次卷积操作都在实值上完成，即分别将过滤器k的两个核分别与图像域数据xˉ的实部和虚部进行卷积，如图4 所示。K空间域的复卷积操作与上述图像域复卷积相同。

图4 复卷积示例Fig.4 Example of complex convolution

1.1.3 复数激活函数

本文算法使用的激活函数为CLeakyReLU，该激活函数的具体形式如式（2）所示，即分别对图像域数据xˉ的实部和虚部使用LeakyReLU 进行激活。K空间域的复数激活函数操作与上述图像域复数激活函数相同。

1.1.4 数据一致性层

在每一个级联块之间添加数据一致性层，旨在保留采样K空间域数据中的可信值，使得域块专注于恢复丢失的数据。数据一致性层具体操作如式（3）所示：

其中：xk表示原始MR 数据经过采样后得到的数据，S表示原始MR 数据欠采样后保留的点的集合，j表示原始MR 数据中的某个点，fθ表示预测数据所对应的之前所有RFA 块，θ表示fθ所表示的所有RFA 块中可学习参数的集合。当该点数据没有被采样到时，该点的数据使用网络估计的数值；当该点数据被采样到时，选择网络估计值和采样值的线性组合作为该点最终的输出结果。本文将λ值设置为0，表示如果该点被采样到，直接使用采样值。

1.2 损失函数

除了使用均方损失外，还加入了感知损失［22］（如式（5）所示）增强细节，避免重建图像出现过平滑现象［23］。

因此，本文总的损失如式（6）所示：

其中β为超参数。

2 实验与结果分析

2.1 实验设置

2.1.1 实验数据与处理

本文采用的数据集为FaceBook 人工智能研究中心与纽约大学医学院高级成像创新与研究中心分享的FastMRI 数据集。在公开赛的数据集中随机选取10 092 张脂肪抑制和无脂肪抑制质子密度（Proton Density，PD）加权的全采样膝关节MR 切片数据，之后将每个MR 切片裁剪成256×256 大小。其中7 012 个用于训练，2 080 个用于验证，1 000 个用于测试。为了证明本文算法的有效性，采用笛卡尔采样掩码（二维高斯分布采样（2DGaussian）、泊松分布采样（POSSION））和非笛卡尔采样掩码（径向采样（Radial））对全采样的数据进行模拟加速采样。

2.1.2 实验环境与超参数设置

实验环境 实验使用的Pytorch 版本为1.12.1，训练以及测试使用的硬件平台为英伟达TeslaV100GPU 服务器。

超参数设置 在保证重建效果的前提下，为了避免网络训练过于复杂，最终将串行块的个数N设置为3。经过实验比较，最终将训练模型的学习率值设置为0.000 05，总共训练30 个epoch，batch_size 为2，总损失中β的值设置为0.002 5，使用Adam 优化器进行优化。

2.1.3 评价指标

本文采用三种常用的图像质量评价指标评估网络重建的结果，分别为标准化均方误差（Normalized Root Mean Squared Error，NRMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）以及结构相似度（Structural SIMilarity，SSIM）。

2.2 对比实验

为了证明本文算法的有效性，选择与目前具有代表性的单切片MRI 重建研究及主流算法在三种不同的采样率以及三种不同采样掩码下进行对比：单域的正则残差网络（regularised Residual Network for MR image Reconstruction，ReconResNet）［7］、双域的混合卷积神经网络（Hybrid Convolution Neural Network，H-CNN）［14］以及双任务双域网络（Dual-task Dual-domain Network，DDNet）［15］。

2.2.1 定性对比

为了可视化比较本文算法与对比算法，在测试集分别随机抽取了两张脂肪抑制与无脂肪抑制的图像。对10%泊松分布采样后的数据进行重建，重建后的可视化结果如图5 和图6 所示，其中ZF（Zero-Filling）表示零填充的输入图像，GroundTruth 表示真实图像。

图5 无脂肪抑制质子密度加权图像定性可视化Fig.5 Qualitative visualization of proton density weighted image without fat inhibition

图6 脂肪抑制质子密度加权图像定性可视化Fig.6 Qualitative visualization of proton density weighted image with fat inhibition

如图5 和图6 所示，其中，右边矩形框表示对全采样图像与重建图像的感兴趣区域进行放大的结果，左边矩形框表示重建图像与全采样图像感兴趣区域误差放大结果。

如图5 所示，对于无脂肪抑制的膝关节MR 图像，从误差图可以明显看出ComConDuDoCNet 重建图像误差最小。如图5（a）所示，H-CNN 重建结果的边缘信息比较模糊，而ReconResNet 和DDNet 能重建出较为清晰的边缘信息，但组织上的纹理信息比较模糊，信噪比较低，并且ReconResNet 重建结果从整体上看过于平滑。而ComConDuDoCNet 能够重建出少量组织纹理信息，信噪比较高。

如图6 所示，对于脂肪抑制的膝关节MR 图像，从误差图来看，ComConDuDoCNet 与DDNet 的误差较小。和无脂肪抑制图像重建结果类似，H-CNN、ReconResNet 以及DDNet 重建结果组织上的纹理信息模糊，信噪比低。而ComConDuDoCNet 从图6（a）中可以比较明显地看出组织上的一些纹理信息，视觉效果更加逼真。

总的来说，虽然不同算法的重建结果相较于零填充图像都有不同程度改善，但都存在不同程度的信息丢失问题，原因在于K空间的采样率过低，导致了K空间中大量低频和高频信息的丢失；而本文算法不仅能重建出较清晰的边缘和组织纹理细节，而且实现了更加逼真的重建效果。

2.2.2 定量对比

对不同采样率（10%、20%及30%）以及不同采样掩码（二维高斯分布、泊松分布以及径向分布）下的不同算法的重建结果进行定量比较，结果如表1 所示。

从表1 可以看出，与双任务双域网络（DDNet）相比：在采样率为20%二维高斯采样掩码下，所提算法的NRMSE下降了13.6%，PSNR 提升了4.3%，SSIM 提升了0.8%；在采样率为20%的泊松采样掩码下，所提算法的NRMSE 下降了11.0%，PSNR 提升了3.5%，SSIM 提升了0.1%；在采样率为20%的径向采样掩码下，所提算法的NRMSE 下降了12.3%，PSNR 提升了3.8%，SSIM 提升了0.2%。总的来说，本文算法除了在10%泊松分布采样以及10%径向分布采样的SSIM 略低于DDNet 外，其余指标在九种不同采样模式下均优于对比算法。

本文提出的算法和DDNet 的重建结果在3 个指标上都优于单域重建网络ReconResNet，并且H-CNN 除了SSIM 指标低于ReconResNet，其他两个指标均高于ReconResNet。实验结果表明，双域重建优于单域重建。

其次，为了进一步证明提出算法的鲁棒性，将所提算法与对比算法在现有公开的IXI 脑部MRI 数据集上进行测试。IXI 数据集收集了近600 个正常健康受试者的脑部MRI 影像数据，数据集中每个切片大小为256×256，从中随机选取2 048 个T1 加权的脑部MRI 切片用于测试。将提出算法与对比算法在不同采样率（10%、20%及30%）以及不同采样掩码（二维高斯分布、泊松分布以及径向分布）下进行测试，测试的定量结果如表2 所示。

如表 2 所示，除了在 10% Radial 采样下，ComConDuDoCNet 的SSIM 指标低于ReconResNet，其余评价指标在9 种采样模式下均优于对比算法。实验结果表明，所提算法可以在不需要二次训练的情况下重建人体不同部位的MR 图像，即在不同类型的MRI 数据下，所提算法具有较强的泛化性。

值得注意的是，在IXI 数据集得到了与FastMRI 数据集类似的结果：除了IXI 数据集的10% Radial 采样的SSIM 指标外，DDNet 与ComConDuDoCNet 重建结果的评价指标在九种不同采样模式下均高于ReconResNet。H-CNN 除了SSIM 指标低于ReconResNet，其余两个指标在9 种不同采样模式下均高于ReconResNet。实验结果表明，双域网络的重建效果要优于单域网络。

此外，本文对不同算法的参数量以及推理时间进行统计，统计结果如表3 所示。

表3 不同算法的参数量及推理时间对比Tab.3 Comparison of parameter quantities and inference time among different algorithms

结合表1，从表3 可以看出，本文算法使用较少的参数量实现了最优的重建效果，但由于复卷积计算的复杂性，导致提出算法具有较长的推理时间。

2.3 消融实验

2.3.1 复数网络有效性

为了证明复数网络的有效性，将本文网络分别应用于复数卷积及复数激活函数和实值卷积及实值激活函数在采样率为20%（采样率为随机选取）时，用不同采样模式进行对比，结果如表4 所示。

表4 采样率20%时不同卷积的定量结果Tab.4 Quantitative results of different convolutions with sampling rate of 20%

从表4 中可以看出，在不同采样模式下，网络使用复数卷积及复数激活函数得到的重建结果，在3 种评价指标下都优于网络使用实值卷积及实值激活函数得到的重建结果。

2.3.2 残差特征聚合模块有效性

为了证明残差特征聚合块相较于链式残差块，能够实现局部特征重用，从而达到更好的重建效果，将本文网络的级联块分别使用残差特征聚合块和链式残差块对在采样率为20%（采样率为随机选取）的MR 图像进行重建。结果如表5所示。

表5 采样率20%时不同残差块的定量结果Tab.5 Quantitative results of different residual blocks with sampling rate of 20%

从表5 可以看出，网络使用残差特征聚合块后，在二维高斯分布采样下，重建结果的3 个评价指标都有提高，在其他两个分布采样下，重建结果的1～2 个评价指标也有一定提高。

3 结语

目前大多数MRI 重建研究直接对幅值图像进行重建，或者将MRI 数据的实部和虚部分为两个通道，没有考虑到实部及虚部之间的相关性，并且仅使用实值卷积限制了对MRI 复值数据的特征提取能力。针对此问题，本文提出了单一切片的MRI 重建算法ComConDuDoCNet。该网络以原始MRI 复值数据作为输入，使用复卷积残差特征聚合块交叉提取MRI复值数据的双域特征，最终重建出具有清晰纹理细节的MR图像。不同域之间通过傅里叶变换或逆变换级联，并加入数据一致性层实现MRI 复值数据的保真。总的来说，ComConDuDoCNet 不仅能够交替学习MRI 不同域的数据特征，而且考虑到了MRI 数据实部和虚部之间的相关性，能够以少量的参数实现更加逼真的重建效果，并且对不同人体部位的MRI 数据具有较强泛化性；但是复卷积计算的复杂性也给网络带来推理时间较长的代价。

未来将进一步提高ComConDuDoCNet 的重建精度，并且采用网络量化、网络剪枝等技术来降低网络的推理时间。