基于MD-CGAN 的脑部肿瘤图像生成方法研究

何敏，邱圆†，易小平，郭畅宇

（1.湖南大学电气与信息工程学院，湖南长沙 410082；2.中南大学湘雅医院，湖南长沙 410031）

脑肿瘤是一种常见的脑部疾病，发病率及死亡率均较高，严重威胁着人类的健康.目前，对于脑肿瘤的诊断，主要还是依靠医生对脑部磁共振（Magnetic Resonance，MR）图像进行分析来完成，需要耗费大量的时间、精力，且易受主观因素影响.

近年来，随着深度学习理论的发展，人工智能辅助的医学图像识别诊断技术在医学领域得以应用，因此，采用深度学习辅助的诊断技术来进行脑肿瘤诊断的方法也引起了广泛的关注.然而，基于医学图像隐私保护的特点，患者脑肿瘤图像获取难度大，导致样本数量严重不足，影响深度学习模型对脑肿瘤图像辅助诊断的效果［1］.为解决脑肿瘤图像样本不足的问题，行之有效的方法是生成病理图像进行样本扩充［2］.因此，研究图像生成方法，生成高质量、丰富多样性的脑肿瘤医学图像具有十分重要的意义.

目前，用于图像生成的方法主要包括两大类：一是传统方法，如旋转、平移、翻转等.在本质上并未对图像核心内容进行改变且生成的图像高度类似，容易使深度学习模型过拟合，该类方法并不适用于对医学图像进行扩充.二是基于深度学习的方法，如变分自编码器（Variational Auto-Encoder，VAE）［3］和Goodfellow 等人提出的生成对抗网络（Generative Adversarial Networks，GAN）［4］.VAE 是一种将输入的随机噪声映射为生成数据的图像生成模型，主要由编码器和解码器组成.由于VAE 生成的图像与原图的分布较接近，样式比较单一且质量不高，因此，该模型也不适用于对医学图像进行扩充.GAN 是近几年应用广泛的图像生成模型，由一个生成器和一个判别器组成，生成器生成新的图像，判别器判别生成图像的真（真实的）假（生成的），两者通过相互博弈不断提高各自的能力，从而达到一种均衡状态.然而，GAN 在训练过程中存在模型易崩塌，难以收敛等问题，这会导致生成的图像质量差且多样性不足.为了解决这些问题，近年来，GAN 的一些变体GANs 被提出.Radford 等人［5］提出深度卷积生成对抗网络（Deep Convolutional Generative Adversarial Networks，DCGAN），加入了卷积层来代替全连接层，用以增强训练过程的稳定性，但是这种方法不能从根本上解决模型不稳定的问题，生成器G 和判别器D 仍然较难达到平衡状态.Zhu等人［6］提出循环生成对抗网络（Cycle-consistent Generative Adversarial Networks，CycleGAN），能将一个图像域转换生成到另外一个图像域，但这种转换通常是不稳定的.Nguyen 等人［7］提出的双鉴别器生成对抗网络（Dual Discriminator Generative Adversarial Networks，D2GAN）有两个鉴别器，这两个鉴别器仍然与一个生成器进行极大极小的博弈，一个鉴别器会给予真实图像高分数，而另外一个鉴别器却给予生成图像高分数，在一定程度上提高了生成图像的多样性.Zhang 等人［8］提出的自注意力生成对抗网络（Self-Attention Generative Adversarial Networks，SAGAN）将自注意力层加入生成器和鉴别器中，使得生成模型更易学习到图像全局特征之间的依赖关系，提高生成图像的多样性，但其计算负担较大.Karras 等人提出的StyleGAN［9］重新设计了生成器的网络结构，但由于生成的图像伴有伪影，故在2020 年又提出了StyleGAN2［10］，用于人脸图像生成效果优异.上述GANs 虽在自然场景图像和人脸图像生成中表现良好，但面对样本严重不足，且病理区域形状、大小、位置等复杂多变的脑肿瘤病理图像，其生成效果难以满足医学图像智能诊断的需求.

基于上述问题，本文提出多鉴别器循环一致性生成对抗网络（Multiple Discriminator Cycle-consistent Generative Adversarial Network，MD-CGAN）生成脑肿瘤病理区域图像，而后将其与脑部正常图像合成即可得到脑部肿瘤图像，从而解决脑肿瘤图像样本不足的问题.实验结果证明了所提方法的有效性和可靠性.

1 脑肿瘤图像生成方法

1.1 脑肿瘤图像生成方法流程框架

基于MD-CGAN 的脑肿瘤图像生成方法框图如图1所示.

图1 基于MD-CGAN的脑肿瘤图像生成方法框图Fig.1 Diagram of brain tumor image generation method based on MD-CGAN

1）脑肿瘤病理区域图像生成：通过MD-CGAN将脑部正常图像子区域转换生成脑肿瘤病理区域图像.

2）脑肿瘤图像合成：利用所生成的脑肿瘤病理区域图像覆盖脑部正常图像中的子区域，合成得到脑肿瘤图像.

1.2 肿瘤病理区域图像生成

为了生成脑肿瘤图像，首先利用MD-CGAN 生成脑肿瘤病理区域图像.MD-CGAN 结构包括2个生成器G 和F，4 个鉴别器DX1、DX2、DY1 和DY2，2 个生成器共享相同的网络参数，4个鉴别器共享相同的网络参数.MD-CGAN 结构如图2 所示，生成器和鉴别器的网络参数配置如表1所示.

图2 MD-CGAN结构图Fig.2 Structure diagram of MD-CGAN

表1 生成器和鉴别器的网络参数配置Tab.1 Network parameter configuration of generators and discriminators

生成器G用来生成假的脑肿瘤病理区域图G（g），生成器F 用来生成假的脑部正常图像子区域F（b）.鉴别器DX1和DX2用来区分脑部正常图像子区域图像的真假，鉴别器DY1 和DY2 用来区分脑肿瘤病理区域图像的真假.特别地，鉴别器DX1 和DY1 给予真实图像高分数，对于生成图像则给予低分数；而鉴别器DX2和DY2则恰恰相反.

所提图像生成模型目标函数包括双对抗损失（Dual Adversarial Loss）［7］函数和循环一致性损失（Cycle Consistency Loss）［6］函数.

1）对于生成器G，鉴别器DY1 和DY2，双对抗损失可表示为：

式中：g代表真实正常区域子图像域；b代表真实病理区域图像域；λ1用来控制图像间相似度和多样性的相对重要性；Lgan与原始GAN网络目标函数相同.Lgan2定义如下：

相似地，对于生成器F，鉴别器DX1 和DX2，可得双对抗损失函数为：

2）循环一致性损失主要用于保证通过正常区域图像来生成病理区域图像.定义如下：

这里，对于生成器G，损失函数希望生成图像G（g）的重建图像F（G（g））接近于真实脑部正常图像子区域图像g.而对于生成器F，则希望生成图像F（b）的重建图像G（F（b））接近真实脑肿瘤病理区域图像b.

需要特别说明的是，双对抗损失结合了KL 散度和反向KL 散度的差异，生成一个目标函数；然后利用这些分支的互补统计特性捕捉分散预估密度，使得模型达到纳什平衡，从而避免了模型崩塌，保证网络生成的脑肿瘤病理区域图像的质量和多样性.循环一致性损失可以保证两个领域的图像建立一个一对一的映射，而不是多对一的映射.通过这种方式，所提出的生成模型可以更全面地学习到脑肿瘤的特征.同时，无肿瘤的脑部正常子区域图像可以被逐一映射为有肿瘤的脑肿瘤病理区域图像.因此，循环一致性损失使得MD-CGAN 能够利用无肿瘤的脑部正常图像子区域生成有肿瘤的脑肿瘤病理区域图像.

3）依据前述内容，所提生成网络模型（MDCGAN）的总体目标损失函数如下：

式中：λ用来控制双对抗损失和循环一致性损失的相对重要性.最终优化实现目标见式（6）.

本网络模型类似于原始GAN，采用折中训练的方式来更新G、DY1和DY2以及F、DX1和DX2.

1.3 脑肿瘤图像合成

通过MD-CGAN 模型生成得到脑肿瘤病理区域图像后，脑肿瘤图像可以通过以下步骤得到.

1）将生成的脑肿瘤病理区域图像中肿瘤部分截取成新的图像，创建截取的脑肿瘤病理区域图像和脑部正常图像数据集.

2）依据图像边缘纹理特征的相似性，将截取的脑肿瘤病理区域图像与脑部正常图像标记匹配.

3）利用截取的脑肿瘤病理区域图像覆盖与其所匹配的脑部正常图像的子区域，从而合成得到脑肿瘤图像.

2 实验结果与分析

2.1 实验数据

本文的脑部MR 图像数据样本来自中南大学湘雅医院.数据通过磁共振成像仪采集自122 位高级别胶质瘤病人，每位病人的数据包括T1、T1 加权和T2 模态，包含脑部肿瘤图像和正常脑部图像.在进行实验之前，对所持的脑部MR图像数据进行偏置场校正以及标准化等预处理.

获取的脑部MR 图像数据集样本包含脑部肿瘤图像和正常图像，其中，脑部正常图像约7 000张，含肿瘤的脑部肿瘤图像约800 张，经筛选后选其中的1 000 张脑部正常图像和500 张脑肿瘤图像作为实验数据，并对500 张脑肿瘤图像进行手工分割标签（Ground Truth）制作.部分图像样本示例如图3 所示.图3（a）为含有肿瘤的脑部病理图像样本，图3（b）为脑部正常图像样本.

图3 脑部肿瘤图像与正常图像样本Fig.3 Samples of brain tumor images and normal brain images

2.2 脑肿瘤病理区域图像生成及实验对比

1）本文实验环境配置为Ubuntu16.04 操作系统，NVIDIA RTX 2080Ti GPU，Intel Core i7-7820X CPU@3.50 GHz×12，Python 3.7，TensorFlow 1.14.0.

对于所提图像生成模型MD-CGAN 的训练，将λ设置为10，λ1设置为0.2，优化器采用Adam［11］，Batchsize 设置为4.总的训练周期为300 epochs，其中，对于前150 epochs，学习率为0.000 2，在后150 epochs中，学习率按照线性衰减逐渐衰减为0.

2）脑肿瘤图像生成结果：图4为MD-CGAN 模型生成的脑肿瘤病理区域图像和合成的脑肿瘤图像.由图4 可知，所生成的图像具有良好的质量和丰富的多样性.同时，生成的脑肿瘤图像与真实脑肿瘤图像具有高度相似性.因此，本文所提方法对于脑肿瘤图像生成具有良好的性能.

图4 MD-CGAN模型生成的脑肿瘤病理区域图像和合成的脑肿瘤图像Fig.4 The pathological region images of brain tumor generated by MD-CGAN and synthetic brain tumor images

3）不同图像生成方法对比：脑肿瘤病理区域图像生成是本文所提脑肿瘤图像生成方法的核心.因此，将本文所提脑肿瘤病理区域图像生成模型MDCGAN 与近几年典型的图像生成模型SAGAN、Style-GAN 和StyleGAN2 进行对比，即分别用MD-CGAN、SAGAN、StyleGAN 和StyleGAN2 网络模型生成脑肿瘤病理区域图像，以验证MD-CGAN 模型的有效性和优越性.图5 为SAGAN、StyleGAN、StyleGAN2 和MD-CGAN模型生成的脑肿瘤病理区域图像.

图5 SAGAN、StyleGAN、StyleGAN2和MD-CGAN模型生成的脑肿瘤病理区域图像Fig.5 Pathological region images of brain tumor generated by SAGAN，StyleGAN，StyleGAN2 and MD-CGAN

由图5（a）可知，SAGAN 模型生成的脑肿瘤病理区域的形状等特征较类似，且图像质量不高.由图5（b）可知，StyleGAN 模型生成的脑肿瘤病理区域图像伴有伪影，不符合真实脑肿瘤病理区域图像的特征分布.由图5（c）可知，StyleGAN2 模型生成的脑肿瘤病理区域图像边界不够清晰.由图5（d）可知，MDCGAN 模型生成的脑肿瘤病理区域图像清晰且形态各异.由此可知，本文提出的MD-CGAN 模型生成的脑肿瘤病理区域图像具有更高的质量和丰富的多样性.

为了进一步证明本文所提图像生成模型的优越性，采用Fréchet Inception Distance（FID）［12］作为定量分析的评价指标.

式中：μr、μg和Σr、Σg分别表示真实和生成的病理图像的特征均值和方差.即用真实图像与生成图像提取特征向量后的均值和协方差的距离来评价，当生成图片和真实图片特征越相近时，均值之差的平方越小，协方差也越小，则FID 值也越小，生成的图像质量越高.

表2 为不同模型生成的病理区域图像FID 值对比.由表2 可知，本文所提MD-CGAN 模型图像生成模型取得了最小的FID 值，生成的脑肿瘤区域图像的FID 值相比于SAGAN、StyleGAN 和StyleGAN2 的值分别降低26.43%、21.91%、12.78%.由此可知，本文所提模型MD-CGAN性能更优异.

表2 不同模型生成的病理区域图像FID值对比Tab.2 Comparison of FID values of pathological region images generated by different models

本文所提模型有效结合了双对抗损失和循环一致性损失，双对抗损失有效抑制了脑肿瘤病理区域图像生成模型的崩塌问题，确保生成图像的质量；循环一致性损失确保了利用脑部正常图像子区域生成脑肿瘤病理区域图像的可能性和可靠性，解决了脑肿瘤图像样本不充足的问题.

2.3 生成的脑肿瘤病理图像用于样本扩充

为了进一步验证本文所提脑肿瘤图像生成方法的有效性，采用生成的脑部肿瘤图像对原始数据集进行扩充，利用扩充前后的数据集分别训练脑部肿瘤分割网络模型，以验证生成的图像对模型性能的改善作用.采用U-Net［13］、ResUNet［14］、U-Net++［15］分割网络进行脑部肿瘤分割实验，先用原始的300 张脑部肿瘤图像训练这3 种分割网络；而后将生成的328张脑肿瘤图像加入原始数据集中，并用扩充后的数据集训练这3 种分割网络；最后分别用相同的200张原始脑肿瘤图像进行分割性能测试，以Dice 相似性系数（Dice Similarity Coefficient，DSC）和相对改善率（Relative Improvement，IMP）作为评价指标.表3为用于分割实验的脑部肿瘤图像样本分布，表4 和表5 分别为样本扩充前后脑部肿瘤分割性能训练结果和测试结果对比.

表3 用于分割实验的脑部肿瘤图像样本分布Tab.3 Samples distribution of brain tumor images for segmentation experiment

表4 样本扩充前后脑部肿瘤分割性能训练结果对比Tab.4 Comparison of training results of brain tumor segmentation experiments before and after sample expansion

表5 样本扩充前后脑部肿瘤分割性能测试结果对比Tab.5 Comparison of test results of brain tumor segmentation experiments before and after sample expansion

从表4 可以看出，在样本扩充后的数据集上训练的U-Net 分割模型的Dice 相似性系数比在样本扩充前数据集上的高0.26%；在样本扩充后的数据集上训练的ResUNet 分割模型的Dice 相似性系数比在样本扩充前数据集上的高0.62%；在样本扩充后的数据集上训练的U-Net++分割模型的Dice 相似性系数比在样本扩充前数据集上的高3.77%.由表5 可知，在样本扩充后的数据集上测试的U-Net、ResUNet、UNet++分割模型的Dice 相似性系数比在样本扩充前数据集上的精度分别高3.89%、17.88%、1.46%.

从表4和表5可以看出，利用本文所提方法生成的脑部肿瘤图像扩充数据集对分割模型的训练和测试精度都具有改善作用，更有力地证明了本文所提脑肿瘤图像生成方法的有效性，可用于脑肿瘤图像数据样本的扩充.

3 结论

本文提出一种新的脑肿瘤图像生成方法.首先，利用所提出的多鉴别器循环一致性生成对抗网络（MD-CGAN）生成脑肿瘤病理区域图像；然后利用生成的脑肿瘤病理区域图像覆盖脑部正常图像中的子区域从而最终合成得到脑肿瘤图像.将本文所提MD-CGAN 模型与近几年较经典的SAGAN、Style-GAN 和StyleGAN2 模型所生成脑肿瘤病理区域图像进行对比分析，通过计算得出MD-CGAN 模型的FID值最低，证明了所提模型在保证模型稳定性的同时，能够生成高质量的脑肿瘤病理区域图像.为了进一步验证所生成的脑肿瘤图像的有效性，进行了脑部肿瘤图像分割实验，分别用原始的和扩充数据样本后的脑肿瘤图像数据集进行脑部肿瘤分割.实验结果表明，U-Net、ResUNet、U-Net++分割模型在扩充样本后的训练和测试分割结果Dice相似性系数都比扩充前的高，由此进一步证明本文所提方法生成的脑肿瘤图像具有丰富的多样性，能够有效且可靠地扩充脑肿瘤图像数据集.