基于双域交互Transformer 的磁共振图像重建

李博文 王志文 冉茂松 杨子元 张意

摘 要： 对k 空间数据部分采样是加速磁共振成像的主要方法. 从欠采样的数据中重建出高质量的磁共振图像，在临床诊断和研究分析中有着重要的应用价值. 近年来，基于深度学习的方法在磁共振重建领域取得了一些进展，然而单独面向图像域或频域的网络不能同时利用双域特征共同提升重建质量. 另外，虽然已有一些双域重建方法模型，但是缺乏双域数据交互融合限制了重建性能. 针对以上问题，本文提出了一种基于双域交互Transformer 的磁共振图像重建网络模型，使用Transformer 提取双域特征，并利用交互注意力引导双域特征融合，实现了双域特征的高效提取和交互. 具体地，首先，由于频域数据每个点都对应着图像域的所有像素点，因此在k 空间使用1×1 的卷积提取全局特征，同时使用基于窗口的Transformer 将注意力的计算限制在了窗口中，减小了计算负担，并且可以有效地对图像域特征进行表示. 其次，提出了基于交互注意力的Transformer 融合模块引导双域特征融合，通过挖掘双域特征的相关性，实现跨域信息融合. 实验证明，在公开的数据集上，本方法相较于其他基线重建方法均能取得更为优异的重建效果. 同时，消融实验证明了本文所提出的网络模块的有效性.

关键词： 磁共振重建； 卷积神经网络； Transformer； 双域

中图分类号： TP391. 4 文献标志码： A DOI： 10. 19907/j. 0490-6756. 2024. 032003

1 引言

磁共振成像（Magnetic Resonance Imaging，MRI）是一种非侵入性的医学成像技术. 相较于其他成像技术而言，其不需要借助辐射或放射性物质的辅助，具有高分辨率和多对比度成像的特点，广泛应用于临床诊断和化学分析［1，2］. 然而，MRI较长的采集时间限制了它的应用场景，不但会影响患者检查的舒适性，并且可能会产生运动伪影从而导致图像失真，因此缩短MRI 的采集时间不但有助于提高患者满意度、提高成像质量，同时还能为后续的诊断分析提供良好的辅助. 近十年，国内外研究人员针对磁共振成像的特点提出了许多加速磁共振算法，取得了一些成果. 这些成果大致可以分为两类：一类是基于平行成像和压缩感知（Compressed Sensing，CS）的传统算法；另一类是基于深度学习的方法.

平行成像利用接收器表面线圈阵列的空间灵敏度分布，通过每个线圈的测量数据共享，减少来自每个线圈的测量数据，从而减少成像时间. 为了重建多线圈图像，提出了一系列平行成像重建算法［3-5］. CS 理论［6，7］的出现从软件算法层面进一步提高了成像效率. 根据CS 理论，假设目标MRI 图像是稀疏的，即信号信息只存在于部分像素中，或者图像可以变换到另一空间，经过变换的信号在该空间具有稀疏性，从而可以利用这种稀疏性从较少的采集数据中恢复出高质量的图像. 经典的基于CS 理论的方法包括基于全变分［8］，曲线小波［9］，双密度复数小波［10］以及字典学习［11］的重建方法. 然而，由于这类方法需要进行迭代求解，尽管提高了采样速度，但重建过程显著减慢，使得基于CS 的MRI 重建方法在临床应用中举步维艰.

近年来深度学习在计算机视觉领域取得了巨大成功. 卷积神经网络［12］（Convolutional NeuralNetwork， CNN）得益于卷积操作的局部性和共享参数的性质，随着网络层数增加，能够充分提取高维特征. CNN 已经在磁共振重建领域中展示了其优越性. Wang 等人［13］利用CNN 学习欠采样MR图像到全采样MR 图像之间的映射. ADMMCSNet［14］将ADMM 算法的迭代过程展开成网络，端到端地学习网络参数. 在卷积神经网络的基础上，对抗生成模型（Generative Adversarial Network，GAN）因其强大的生成能力也被引入磁共振重建中［15，16］.

相较于CNN，Transformer［17］具有更强的远距离建模的能力，能有效利用像素之间相关性进行特征提取. 近几年，Transformer 在自然语言处理领域取得了突破性的进展［18］，随后引入了计算机视觉领域［19］. 但是，相较于自然语言，图像数据量大，将Transformer 直接应用到视觉任务上会引入巨大的计算量. Swin Transformer 提出了具有移位窗口方案的分层体系结构，通过在窗口内进行注意力操作减小了计算开销［20］. SwinMR 将SwinTransformer 结构应用于磁共振重建领域并取得了不错的重建效果［21］. HUMUS-Net 提出了CNN 和Transformer 的混合网络结构，并且通过降低输入Transformer 的图像分辨率减少了计算量［22］.

以上的方法仅单独对k 空间或图像域的特征进行重建. 由于k 空间和图像域拥有高度的信息耦合，基于双域数据的方法逐渐成为主流，即从频域和图像域同时提取特征完成重建［23-27］. 然而现有的双域方法在频域和图像域使用相同的网络结构，而忽略了两类数据的差异：k 空间数据是由逐条采集的相位编码线组成的，相邻的数据之间存在较大的相位差，而图像域之间的像素点在不同尺度上存在相关性. 另外，在现有的双域网络中，频域特征与图像域特征缺乏交互融合，在重建的过程中不能充分地起到信息互补的作用，重建性能还有进一步提高的空间.

本文针对图像域和k 空间数据的不同特点，充分考虑双域数据之间的差异和联系，提出了基于双域交互Transformer 的重建网络，分别使用两种不同的网络结构提取k 空间数据和图像数据的特征. 根据频域卷积理论［28，29］，k 空间的每一个单独的数据点都对应图像域所有的像素点，参考文献［29-31］在频域卷积的实践，采用1×1 卷积核可以在降低计算量的同时提取全局信息，避免相位差干扰，在交互的过程中为图像域提供更精准的信息补充. 同时，在图像域使用基于窗口的Transformer结构，相较于CNN，基于窗口的Transformer有更强大的关联表示能力，可以有效地提取图像特征［32，33］. 与原始的Transformer 结构相比，在窗口中计算注意力降低了计算量，减轻了计算负担. 最后，采用交互注意力的融合模块将双域特征进行融合. 与简单的特征相加不同，该融合模块通过交换来自双域特征的Query（Q），Key（K）和Value（V）来表示双域特征之间的相关性，实现跨域融合. 实验结果表明，所提出的模型在有效重建磁共振图像的同时，可以保留解剖细节，无论是在定性还是定量的实验结果上，都取得了更好的效果.