基于生成对抗网络的无监督动态对比增强磁共振分解方法

弥佳，周宇佳，冯前进

南方医科大学生物医学工程学院/广东省医学图像重点实验室，广东广州510515

前言

动态对比增强磁共振（Dynamic Contrast-Enhanced Magnetic Resonance Imaging,DCE-MRI）通过快速成像序列连续采集造影剂注射前、中、后的图像，监测血管与血管外细胞外空间（Extravascular Extracellular Space, EES）之间的造影剂交换［1］，可对早期肝癌实现有效的检查［2-3］。药代动力学的定量和半定量分析是DCE-MRI诊断和疾病鉴别的主要评价手段，其通过分析一个感兴趣区域（Region of Interest,ROI）内的时间信号强度曲线（Time Intensity Curve,TIC），可以得到血液动力学特征和对应的药代动力学参数值，反映肿瘤分级、血管生成和细胞增殖情况，从而帮助规划治疗和预测预后［4-5］。

为监测造影剂流入流出情况，图像采集时间需要持续几分钟或者更长。患者的自主和非自主运动不可避免［6］，由此引发的不同时间点上的体素或ROI的位置偏差，会严重影响后续定量分析的准确性。图像配准是解决上述运动问题的最直接方法，然而造影剂的注入为图像引入了新的信息，不同时间点之间的灰度变化同时与运动和造影剂有关，传统基于灰度的配准方法可能会导致配准后增强区域的体积产生错误的膨胀或收缩［7-8］。去增强方法认为运动和造影剂造成的灰度变化的本质属性不同，基于此区分两者，分解数据，如基于Principal Component Analysis（PCA）［9］、Independent Component Analysis

（ICA）［10］、Robust PCA（RPCA）的方法。但是这些方法的分解能力往往取决于运动的性质。Hamy 等［11］提出的基于RPCA 的方法假设DCE-MRI中的灰度变化可以被分解为两类：涉及到绝大部分视野的平滑、缓慢的变化（即运动相关的）和局部的、快速的变化（即造影剂造成的），因此一个时间序列可以被分解为一个低秩成分和一个稀疏成分，使用前者来校正运动造成的各时间点之间的未对齐。但实际上，分解模型并不能完全将两者分解，因为上述假设存在一定的局限性，比如肠蠕动就仅仅出现在一个短暂的时间内且只涉及到局部的灰度变化。且RPCA 并不能完全分离运动和造影剂造成的灰度变化，因此该方法使用迭代的策略，通过调整权衡参数，在每一次迭代中控制低秩矩阵中包含的运动成分。

近年，深度学习的兴起为图像分解问题提供了新的思路。但现有的方法要应用于DCE-MRI 的分解，仍存在困难之处。监督学习的方法需要成对的真实数据，直接合成训练数据的方式被发现在泛化能力上表现较差［12］，精确还原图像的形成过程又是一个复杂的问题。而现有的基于生成对抗网络（Generative Adversarial Networks, GAN）［13］的无监督图像分解方法大部分是对自然图像提出的，往往假设已知两个成分各自所属的分布。在分解过程中使用两个GAN，两个判别器分别对分解出的两种成分的真实性进行评价［14-15］。Liao 等［16］提出ADN 来解决CT 图像中金属伪影的分解，不需要上述假设。ADN将图像分解为伪影成分和语义成分。伪影成分将重新与任意一张不含伪影的图像融合，得到新的含伪影图像。ADN 中的两个判别器分别作用于含/不含金属伪影的图像，降低了对训练数据的要求。

本研究从图像到图像生成的角度，提出一种基于GAN的无监督图像分解方法，以实现DCE-MRI中造影剂造成的灰度变化的分解。该方法假设DCEMRI 中包含增强成分和解剖成分，前者是造影剂造成的灰度变化，后者则是图像中的其他内容，两者可分别独立构成一张图像。排除造影剂的影响后，使用解剖成分即可对运动进行校正。双路生成对抗网络能分别提取解剖成分的信息和增强成分的信息，对两者进行分解。GAN 对抗学习的策略，使得其在不需要成对数据的情况下，仍然能学习到不同数据分布之间的映射，实现源分布到目标分布的生成。在DCE-MRI的分解中，两种成分的信息量是不等的，因此基于各成分复杂度的先验设计生成器，以确保两种信息的有效分解。同时，用两个输出重建原图，作为一种反馈来约束生成。本方法不需要考虑患者各种运动的不同性质，也不需要成对数据的监督。笔者首先在手写体数据集（Mixed National Institute of Standards and Technology database,MNIST）验证了方法的有效性，之后则在临床的DCE-MRI 数据上实现了造影剂造成的灰度变化的分解。实验结果表明该方法能有效分解图像中的增强成分。

1 方法

1.1 框架

假设DCE-MRI 中包含两种成分，一种是造影剂造成的灰度变化（增强成分），另一种是由图像中其他信息构成的成分（解剖成分），运动造成的灰度变化包含在后者中。对图像进行分解后，即可排除造影剂的影响，利用后者完成对运动的校正。

具体地说，增强图像y∈Iy包含两种成分，分别是增强成分contrast（c）和解剖成分anatomy（a）。解剖成分和增强成分的信息在原图中耦合，而独立的生成过程可以对其进行解耦。如图1所示，两个生成器（G1,G0）分别作为两条信息提取通路，用于提取输入图像中的解剖成分信息和增强成分信息。生成器的设计是基于所生成成分的复杂度考虑的，在该成分的信息量一定的情况下，如果生成器在编解码过程中存在冗余，编码中就可能包含另一个成分的信息；而如果编码被压缩到不足以表达所有信息，生成的内容就可能不够完整，信息有所损失。编码尺寸恰好能够容纳所需的信息时，就能更准确地保留所需的信息而去除冗余。在DCE-MRI 分解问题中，增强成分的编码尺寸应该小于解剖成分。

判别器D用于评价生成结果的真实性。G1和G0两者的输出可以重建输入图像，作为对生成过程的约束。

则可以重建原图为：

G1使用了Ronneberger 等［17］提出的U-Net 网络结构。U-net包含收缩路径和扩张路径，网络的收缩路径提取图像浅层的、局部的信息，扩张路径还原特征图分辨率，包含的是图像深层的、抽象的特征。跳跃连接将每一级同分辨率的两种信息融合，结合各层级的结果来优化输出。这样，减少了信息在逐个层级之间的损失，能做到准确定位，得到更精细的结果。收缩路径中，每两个连续的3×3卷积后连接一个步长为2的池化，使用线性整流函数激活。将通道数扩大至512，特征图尺寸为输入的1/16，即20×20。来自收缩路径的特征图与扩张路径中对应的特征图拼接，经过两个连续的3×3 卷积后，双线性插值上采样到两倍的尺寸。扩张路径中特征图通道数不断减小，最终用1×1的卷积实现输出。

G0与G1相似但没有跳跃连接，对称的下采样与上采样过程，最后用1×1的卷积实现输出。上采样之前的过程将特征图压缩至10×10，通道数为4。

D是一个基于patch 的判别器［18］，将输入图像分成patch按照相同的方式独立处理。不同于传统判别器仅输出一个值，输出的是以patch 的判断结果作为元素的矩阵。矩阵的每个元素实际上对应的是一个较大的感受野，适用于对输出分辨率要求较高的GAN。D通过连续的卷积层缩小特征图的尺寸，输出大小为20×20。

1.2 损失函数

网络的参数更新可以分成两个部分。

首先，更新G1和D构成的GAN 的参数。在这个任务中，我们给判别器的标准是真实的无增强图像。G1负责产生对应于输入的无增强图像，D评定G1的输出与真实的无增强图像的接近程度。两者互相对抗以提高生成结果的质量。此外，网络应该学习区分增强图像和无增强图像，在输入无增强图像的时候，网络的生成结果应该与原图完全一致。因此，G1的损失ℒG1包含两项，分别是对抗损失项ℒadv和误差验证项ℒval，均使用均方误差来进行衡量。两者之间通过系数λ进行平衡。

判别器D的损失函数：

第二部分考虑对输入的重建。两个生成器能够有效地实现单个成分的输出时，两者输出之和就可以重建输入。基于这个假设，我们通过重构误差ℒrecon来要求两者输出之和尽可能与输入相似，这一项同时对G0和G1作用。而G0在输入无增强图像时，输出应该是空白图像，以此作为误差验证项ℒval。

2 实验

2.1 实验环境

所有实验均在12 G 的TITAN X（Pascal）上完成，使用深度学习框架PyTorch 1.3.1实现。

2.2 MNIST数据集分解

本文基于MNIST 数据集（http://yann.lecun.com/exdb/mnist/）对提出的方法有效性进行验证。随机取其中的“0”、“1”、“2”、“6”、“8”各1张，按照像素求和，生成混合图像作为网络的输入，用G1分解出其中的“0”，G0分解出其余的“1”、“2”、“6”、“8”，并使用GAN、CycleGAN 和ADN 进行对比。训练集共包含1 600 张图像，批大小设置为32，epoch 为500，学习率为5e-6，训练用时约30 min。

合成的数据可以利用Ground Truth 进行量化分析。使用均方误差（Mean-Square Error, MSE）、峰值信噪比（Peak Signal to Noise Ratio,PSNR）、结构相似性（Structural Similarity Index, SSIM）作为度量。对于MSE，值越小说明误差越小，PSNR和SSIM 则是越大越好。

表1 和图2 展示了各种方法在MNIST 数据集分解任务上的对比。可以看到，本文的方法可以实现有效的分解。GAN 可以生成难辨真假的“0”，但是其与Ground Truth 的误差较大。CycleGAN 和ADN 相对于GAN，则维持了与输入更好的一致性。但是对于CycleGAN 来说，正向的生成（根据多个数字叠加的图像分解出其中包含的“0”）是信息减少的过程，而反向的生成则是信息增加的过程。由于CycleGAN 对称的结构，待转换的两个域复杂度的不对称会影响其表现［20］。而本文方法由于有重构损失作为约束，分解结果能同时考虑与期望数据分布和输入数据的一致性。G1的生成结果是从输入中分解出来的，而不是仅仅靠判别器的指导生成的。上述这些基于GAN 的方法，由于有判别器将输出与真实数据分布进行对比，都将输入中的离群数据进行了修改（如图2 中红色框所示）。注意到，由于ADN 对数据的操作是在其编码上（如伪影与不含伪影的图像融合），而不是直接对图像进行，因此其生成的图像具有较高完整性。

表1 不同方法MNIST分解结果量化对比Tab.1 Quantitative comparison of decomposition results among different methods on MNIST dataset

本文的方法在MNIST 的分解中，在3 个度量指标上都达到了最优，略优于CycleGAN和ADN。

此外，保持G1的编码尺寸不变，修改G0压缩特征图的尺寸，对比分解效果，如表2和图3所示。

图2 不同方法MNIST分解结果对比Fig.2 Comparison of decomposition results among different methods on MNIST dataset

表2 不同尺寸编码下MNIST分解结果量化指标对比Tab.2 Quantitative comparison of decomposition results under different code sizes on MNIST dataset

图3 不同尺寸编码下MNIST分解结果对比（编码尺寸=1×size）Fig.3 Comparison of decomposition results under different code sizes on MNIST dataset(code size=1×size)

从表2的量化对比结果中可以看到，最优的分解结果出现在G0编码尺寸较大的分解中，但并非最大的编码尺寸。说明存在一个与信息量相适应的编码尺寸能较好地保留所需信息且去除冗余。图3 中的结果也说明了这一点，当G0的编码尺寸过小时，G0的生成结果比较模糊，细节有所损失，而这些损失的信息则被G1所提取。随着G0编码尺寸的增大，能容纳更多的信息，其生成结果的细节也逐渐增多，能更好地还原Ground Truth。

2.3 DCE-MRI分解

实验使用的数据是1.5T 的T1加权梯度回波序列下采集的20名患者的3D肝部横断面图像，TR=11 ms，TE=3 ms，翻转角=15°，每个患者根据肿瘤大小获得22～26 个切片。图像大小为320×320，切片像素间距为1.093 75 mm×1.093 75 mm，切片厚度为8.3 mm，切片间隙为4.15 mm。以注入造影剂的时间点作为起点，之后采集的图像为增强图像，之前的则为无增强图像。此外，每个患者还采集了一组静态的3D 肝部横断面图像，翻转角=5°，也作为无增强图像。

以增强图像作为生成器的输入，无增强的图像作为判别器的输入。两种输入取自不同病人，尽可能确保数据之间的独立性。初始学习率设置为5e-5，λ=1.25，批大小为6，训练epoch=200，耗时约15 h。图4 为部分数据的分解结果。可以看到，图像中由于造影剂造成的高对比度被去除，肿瘤显影不再明显，仅有深色阴影（如图中红色框所示）。同时，分解出的成分与原图也保持着良好的一致性。而增强成分则是细节较少，更为平滑的图像。

图4 DCE-MRI分解Fig.4 DCE-MRI image decomposition

图5 对比了分解结果和同位置无增强图像。可见本文的方法能较好地分解增强成分与解剖成分，还原出的无增强图像很接近实际。当然也存在一些误差，可能是由于有些信息无法仅从增强图像中推理出来，所以与实际存在差异（如图中黄色框所示）。

图5 DCE-MRI分解结果与无增强图像对比Fig.5 Comparison of DCE-MRI image decomposition results with no-enhancement images

图6 为对于无增强图像的处理结果。G1的输出很好地还原了输入的原图，而G0的输出则是几乎空白的图像。

与MNIST 数据集上的实验类似，保持G1编码尺寸不变，改变G0的编码尺寸，对分解结果进行对比（图7）。当增强成分对应的编码尺寸较大时，输入图像中亮度较低的部分，在输出中反而亮度比周围组织高。随着编码尺寸减小，这种现象有所改善（如图中白色虚线框所示）。且可以清楚地看到，较小的编码尺寸使得输出中保留了更多真实的细节，而这些细节在较大编码尺寸的输出中是不存在的（如图中白色箭头所示）。

3 讨论

DCE-MRI作为一种可以监测血管与EES之间的造影剂交换的成像技术，可对早期肝癌实现有效的检查。但是由于采集过程中患者不可避免的运动，定量分析参数的准确性会受到各时间点图像之间的未对齐影响。为减少造影剂造成的灰度变化对传统基于灰度的配准方法的影响，本研究提出了一种基于GAN的无监督DCE-MRI分解方法，实现了对造影剂造成的灰度变化的有效分解。

同时，本方法也有一些问题需要解决。分解得到的增强成分图像中仍然保留了一定的解剖信息，如腹部外围的肌肉。这些组织的高亮并不是造影剂造成的，但是网络在区分两者时遇到了困难，一并作为造影剂进行了分解。此外，重新将生成的两幅图像叠加在一起与原图比较，会发现损失了一定的细节。这会对后续的工作产生一定影响。

不同于其他DCE-MRI 的分解方法，本研究利用深度学习，从图像到图像生成的角度解决问题。假设增强图像中包含解剖成分和增强成分两种信息，而这两种成分可以独立构成图像。则问题可以重新解释为根据输入的增强图像生成解剖图像和造影剂图像，以实现两种信息的分解。生成的过程是对图像编码再解码的过程，在对数据进行压缩、抽象的过程中，分离、提取所需的信息。本研究基于分解成分的复杂度设计生成器，以更好地提取所需信息。两种成分的信息也因此在两个独立的编解码过程中被分解开来。从临床数据上的分解结果来看，本文的方法可以实现有效的分解。

本文的方法不需要考虑具体的患者运动性质（如运动涉及的区域大小、运动是周期的还是随机的），其分解能力不取决于运动的性质。此外，本方法也有希望在更多应用中得到推广，如金属植入物在CT 图像中造成的金属伪影的去除、MRI 预处理时的偏移场校正等。对于其他问题，本文所假设的两种成分重建原图的方法可能不再成立，应考虑重新设计重建方式。该方法是一个端对端的方法，适合没有可用监督数据的问题。

本文仅是提出了一种新的解决无监督图像分解问题的思路，在扩展应用范围和提升表现上还有很多工作需要实现。

4 结论

为排除DCE-MRI中造影剂对图像定量分析的影响，本文提出一种基于GAN的无监督DCE-MRI图像分解方法。该方法利用GAN 在无监督条件下，实现源分布到目标分布的映射的能力，来引导有效的分解。基于对各成分复杂度的先验设计生成器，通过双路生成对抗网络，同时但独立地提取解剖成分的信息和增强成分的信息。同时，引入图像重构损失作为反馈信号来约束生成。我们利用该方法实现了DCE-MRI中造影剂造成的灰度变化的分解。该方法无需对数据进行复杂的解释分析，且对于混合图像的物理机制未做任何假设。在未来的工作中可以进一步改善表现、拓展应用。