基于生成对抗网络的乳腺癌免疫组化图像生成

卢梓菡，张 东，杨 艳，杨 双

（1.武汉大学物理科学与技术学院，湖北 武汉 430072；2.桂林航天工业学院电子信息与自动化学院，广西 桂林 541004）

0 引 言

乳腺癌是一种凶险的恶性肿瘤，其发病率位居女性患恶性肿瘤的首位［1］，及时的诊断和准确的治疗是降低患者死亡率的关键。为了对患者制定精细的治疗计划，医学上需要进行组织病理学检查。首先将患者病理组织制成苏木精和伊红（HE）染色的切片，由病理学家在显微镜下对HE 染色切片进行初步观察，随后需要检验肿瘤细胞特定蛋白的表达，如人表皮生长因子受体2（HER2），并根据HER2水平为患者制定精确的治疗计划。HER2 共有0、1+、2+、3+这4 种表达水平［2］，HER2水平越高，肿瘤的侵袭性越高。临床上将HER2 水平为0 或者1+代表阴性结果，此时无需靶向治疗，应主要采取化疗、放疗、手术治疗；将HER2表达为3+代表阳性结果，此时需要用靶向药物赫赛汀进行靶向治疗；若HER2 表达为2+，则需要进一步做基因检测，以判断是否适合靶向治疗［3］。

医学上通常采用免疫组化技术［4］（IHC）来常规评估HER2 的表达［5］。这需要额外制备一个IHC 染色切片，如图1 所示。然后病理学家通过检查IHC 染色的切片，获得HER2的表达状态，划分标准如下：

图1 不同HER2表达水平的IHC图片

1）HER2 0：切片中有≤10%的肿瘤细胞，未见染色或膜染色不完整，微弱/几乎不可见，如图1（a）所示。

2）HER2 1+：切片中有＞10%的肿瘤细胞，膜染色微弱/几乎不可见，如图1（b）所示。

3）HER2 2+：切片中有＞10%的肿瘤细胞，可见弱至中度完全膜染色，如图1（c）所示。

4）HER2 3+：切片中有＞10%的肿瘤细胞，周膜染色完全，强烈，如图1（d）所示。

近些年来，随着神经网络在医学领域的不断发展，HER2 水平的检测方法也有了新的突破［6］。Conde-Sousaa 等［7］提出了一种多阶段ResNet34模型，可以由乳腺癌HE 切片直接预测包含HER2在内的多种免疫组化结果，Chen 等［8］开发出了一种XGBoost 模型，可以由乳腺癌CT 图像预测HER2 状态。Samer等［9］提出了一种金字塔pix2pix网络，可以由乳腺癌HE染色切片生成IHC 染色切片，生成图像的SSIM 为0.477，PSNR为21.16 dB。李雨萌［10］提出了一种基于非配对图像间的肾脏切片HE染色与IHC染色转化方法。

本文提出一种预测网络和一种生成对抗网络，其中预测网络可以直接由乳腺癌HE 染色切片预测HER2水平，且预测准确率可达到97.5%以上，该预测结果与经真实免疫组化染色后的评估结果高度一致。同时，生成对抗网络可以根据预测网络得到的HER2水平，由乳腺癌HE 染色图像生成相应水平的模拟IHC 染色图像，该模拟图像在低HER2 水平下与真实图像有很高的相似度，可以省去额外制作IHC染色切片的时间和费用。

1 方 法

1.1 数据集与算法流程

本文使用的数据集为BCI数据集，这是一个配对的HE 到IHC 图像翻译数据集，也是第一个用于免疫组化图像生成的大规模公开数据集。其中训练集有3696 对数据，测试集共有900 对数据，比例为4：1。数据集的原始图片尺寸为1024×1024，各个级别数据分布不均衡，共有0 级 608 对，1+级1053 对，2+级1500对，3+级1435对，因此首先对低级别数据对进行数据增强，采用旋转、缩放、对比度变化的方法进行数据增强，尽量减少人工干预对数据集扩充的影响，最终使得各类数据对均保持在1200张以上。

本文算法流程步骤如下：

1）数据集制作，包含图像预处理、标签制作、数据集增强等操作。

2）搭建一种基于改进的ResNet34 的预测网络来对HER2水平进行预测。

3）搭建一种多尺度的生成对抗网络来生成模拟IHC染色图像，并自定义损失函数。

4）将测试集分别投入预测模型和生成模型，分析模型效果。

本文算法整体流程如图2所示。

图2 本文算法流程

1.2 预测模型网络设计

ResNet 网络首次将残差学习的思想加入传统卷积神经网络中，很好地解决了网络深度较深时梯度消失的问题［11］。注意力机制能够使网络学习特定的特征并抑制不需要的特征，可以显著提高网络的训练效果。本文的预测网络在ResNet 残差模块上引入了通道注意力和空间注意力机制，实现了混合注意力残差模块。并基于ResNet34 网络构造了一个混合注意力预测网络，即将ResNet34 中原始的残差模块均替换为混合注意力残差模块［12］。混合残差模块由卷积函数、批标准化函数、ReLU 激活函数和CBAM 模块组成，如图3 所示。CBAM 模块由通道注意力机制模块和空间注意力机制模块2个部分构成，如图4所示。

图3 混合注意力残差模块

（a）卷积块的注意力机制模块

CBAM 模块可以帮助网络更有侧重性地学习输入图像在空间和通道维度上的权重分布。其工作流程为：首先将输入特征图F输入到通道注意力模块，得到通道注意力特征图Mc。再将Mc和原始特征图F做矩阵乘法，生成Fc。然后再使Fc输入到空间注意力模块，得到空间注意力特征图Ms。最后将Ms和特征图Fc做矩阵法［13］，生成F′，生成图像的大小与输入图像保持一致。

1.3 生成对抗网络设计

生成对抗网络在医学图像生成领域已经有了很广泛的应用，CycleGan［14］给出了一种无监督的图像转换方法，可以应用于未配对的数据集，但更适合应用于风格迁移，生成图像质量较差［15］。Pix2pix［16］是一种开创性的有监督图像转换算法，它是一种通用的图像转换算法，可以应用于各种配对图像翻译任务。本文方法在Pix2pix 框架的基础上，搭建一个金字塔结构的多尺度生成对抗网络，将生成器由原来的Unet256 替换成由混合注意力残差块构成的ResNet-9blocks 生成器，判别器使用70×70 的PatchGan，并自定义了多尺度的损失函数。整体的网络框架如图5所示。

图5 生成对抗网络结构

ResNet-9blocks 生成器的框架如图6 所示，该网络由卷积模块、CBAM 模块和混合注意力残差模块构成。卷积模块由卷积函数、InstanceNorm 归一化和ReLU 激活函数构成，CBAM 模块和混合注意力残差模块在上文已经叙述过。生成器整体框架是一个编解码结构，网络在编码过程和解码过程之间加入了9个混合注意力残差模块，以充分提取图像信息。

图6 ResNet-9blocks生成器

1.4 损失函数

对于预测网络，本文使用交叉熵损失，与ResNet34保持一致。对于生成对抗网络，本文自定义了生成器的损失函数，其中内容损失由SmoothL1损失、SSIM 损失和自定义的多尺度损失组成，表达式如公式（1）所示，对抗损失仍与Pix2pix 保存一致，表达式如公式（2）所示，生成器G试图最小化这个函数，而鉴别器D试图最大化它。SSIM 损失表达式如公式（3）所示。多尺度损失定义如下：对生成的图像和真实图像进行相同的尺度变换，比较尺度变化后图像间的差异［17-21］。尺度变换包括2 个步骤：首先使用4 个高斯滤波器对图像进行平滑处理，然后对平滑图像进行降采样。这一尺度变化可以执行n层，第i层的尺度损失记作Si，表达式如公式（4）所示，最后总的尺度损失为各层Si之和，表达式如公式（5）所示。生成器的总损失为对抗损失与内容损失的加权和，表达式如公式（6）所示。所有公式中F表示高斯滤波处理，x为输入图像，y为真实图像。

2 实验与结果分析

本文所有实验的硬件实验环境配置均为 Intel i7-9850H 的中央处理单元（CPU），运行内存大小为8 GB 的NVIDIA RTX 2060 图形处理单元（GPU），以及64 位的Windows 10 操作系统。所有实验网络均使用Adam 优化器进行网络优化［22］，所有网络均训练200轮，前100轮学习率为0.002，后100轮学习率线性衰减为0，并保存训练过程最优模型。

2.1 预测网络

为了便于训练，首先对输入图像Resize 为256×256 的图像，然后中心裁剪为224×224，并按照均值和方差将图像归一化到（-1，1），之后将预处理后的HE图像输入到预测网络中，输出为预测的HER2 水平，共有0、1+、2+、3+这4种等级。

2.1.1 评价指标

为了准确分析算法模型的预测效果，选择准确率（Accuracy），召回率（Recall）、精确率（Precision）这3类评价指标来衡量由HE 预测的HER2 水平与实际IHC染色后真实HER2水平的差异。计算公式如下：

式中，真阳性（TP）为预测正样本，实际为正样本；假阳性（FP）为预测正样本，实际为负样本；真阴性（TN）为预测负样本，实际为负样本；假阴性（FN）为预测负样本，实际为正样本

2.1.2 实验结果与对比分析

为了分析本文算法的优越性，实验对比了传统ResNet34、VggNet16［23］网络，并进行消融实验，对比仅在残差块外加入CBAM 模块的效果。最终确定在残差块内加入CBAM 模块具有最好的预测效果。实验分别计算了整体准确率以及各个HER2 水平下的召回率和精确率，结果如表1～表4所示。

表1 ResNet34预测效果

表2 VggNet16预测效果

表3 仅在残差块外引入CBAM预测效果

表4 本文算法预测效果

经过对比实验可知，本文算法具有最高的准确率，达到97.5%以上，相比传统ResNet提高了2.5个百分点以上，同时，在高HER2 水平下预测结果显著优于其他对比实验。召回率和精确率均较传统ResNet提高了3 个百分点以上。值得注意的是，加入CBAM模块的位置对网络的预测结果也有很大影响，若仅仅在残差块外引入CBAM模块，对网络效果并没有很大的提升。同时，引入CBAM模块会提高模型的训练时长。

2.2 生成对抗网络

本文采用有监督的多尺度生成对抗网络来生成模拟IHC染色图像，这需要配对的数据集。首先将数据集中成对的HE图像和IHC图像拼接成一张配对后HE-IHC 图像，便于送入网络。由于内存限制，加载时分别将图像大小Resize 为256×256，batch 的大小设置为2。生成器总损失中λ设置为15，生成器内容损失中的α、β、γ分别为0.4、0.3、0.3。

2.2.1 评价指标

本文使用峰值信噪比（PSNR）、结构相似度（SSIM）［24］和FID 作为生成IHC 模拟图像质量的评价指标。PSNR 是基于2 幅图像对应像素之间的误差，是应用最广泛的客观评价指标之一。然而，PSNR 与人类视觉系统（HVS）的评价结果可能会有所不同［25］。因此，本文也使用SSIM，它全面测量图像亮度、对比度和结构的差异。该评价结果更接近于人类的视觉系统。同时，为了判断生成图像与真实图像特征向量之间的距离，本文也引入了FID 评价指标。PSNR、SSIM及FID的计算分别如式（10）～式（13）所示：

2.2.2 实验结果与对比分析

本文提出一种基于配对数据的有监督生成对抗网络来进行图像转换。现有的图像转换模型包括基于配对数据集的模型和非配对的模型，其中配对模型的代表是Pix2pix，非配对模型的代表是CycleGan。近些年，Pix2pix 的变种网络也得到了发展，如Pix2pixHD 提出了多尺度生成器和鉴别器架构，Pix2pix（ResNet）在生成器中使用ResNet 模块进行特征提取。本文与配对模型Pix2pix、Pix2pixHD、Pix2pix（ResNet）进行了对比，同时也参考对比了非配对模型CycleGan。各种方法的染色图像如图7所示。

图7 不同网络生成模拟IHC图像对比图

各种方法在不同HER2 水平下，生成图像的评价结果如表5～表9所示。

表5 CycleGan生成图像评价结果

表6 Pix2pix（Unet）生成图像评价结果

表7 Pix2pix（ResNet）生成图像评价结果

表8 Pix2pixHD生成图像评价结果

经过对比实验可知，本文所提出的多尺度生成对抗网络，在各个HER2 水平下生成的模拟IHC 图像，都具有最高的SSIM 和PSNR。相较于以Unet 为生成器［26］的传统Pix2pix网络，SSIM 约提高了4个百分点，PSNR 提高了3 dB。相较于CycleGan 则提高得更多。总体来说，本文方法在HER2 低表达（0/1+）的情况下效果更好，生成的图像与真实图像之间的差异较小。但在HER2 高表达（3+）时，本文方法与其他方法相同，生成图像的质量较差，与真实图像的差异很大。这也是未来需要解决的问题。

利用深度学习进行医学图像转换的研究层出不穷，但大多数都是将医学影像作为研究目标，如利用CT 图像合成核磁共振图像，这些图像在结构上严格对齐，转化过程可以看作是一种物理影像学变化，不涉及化学反应。而本文创新性地将研究目标转向了病理切片，临床上制备IHC染色切片需要进行抗原抗体化学反应，所以HE 切片与IHC 切片在结构上对齐性较弱，从而导致切片染色生成效果低于医学影像。另一方面，病理切片中包含“空白”区域和“病理”区域，本文的算法在病理区域上有较好的视觉转换效果，根据生成的IHC 染色图像，可以直观地判断出病理区域的HER2表达情况，具有一定的应用前景

3 结束语

本文首先提出了一种基于混合注意力残差模块的HER2 水平预测网络，基本实现了由HE 染色切片直接预测HER2 水平，预测准确率可高达97.5%以上。其次，本文提出了一种多尺度生成对抗网络，以加入CBAM 模块的ResNet-9blocks［27］为生成器，以PatchGan 为判别器，并构建了多尺度损失函数，实现了由HE 染色图像分别生成各种HER2 水平的模拟IHC 图像，该网络在HER2 低表达（0/1+）有较好的效果，可以初步解决乳腺癌切片IHC染色昂贵且费时的问题。

病理切片有多种染色结果，如HE 染色、糖原染色和针对不同特异性蛋白的IHC 染色，包括HER2 蛋白、Ki-67 蛋白等。现阶段学者对病理切片染色转换的研究较少，且效果普遍不理想。本文提出的网络结构，为乳腺癌HER2 蛋白的IHC 染色图像生成提供了新思路，也为后续其他切片染色的生成提供了可能，且具有一定的参考性。