基于深度对抗生成网络的彩超图像半监督分类研究

李季兰

（四川大学计算机学院，成都610065）

0 引言

近几年以来，随着大数据以及深度学习技术的飞速发展，深层神经网络极大地推动了图像分类和检测领域的进步，因为深度卷积网络模型能更有效地从大量样本中学习到图像特征，避开传统图像分类算法中复杂的特征提取过程，实现端到端的分类和检测。同时人工智能与医疗领域的结合也成为研究关注的重点。因此本文着手于彩超数据中的乳腺彩超图像，利用深度神经网络对图像或图像中病变进行良恶性分类。

深度学习模型依赖于数据精确标签和庞大的数据量，而临床数据存储非结构化的特点导致数据标注工作量大，对标注者专家知识要求严格。因此本文考虑使用半监督学习算法对存在噪音甚至是错漏标签的数据进行研究。通过和三甲医院合作获取到1915 例彩超数据，其中有彩超图像约15000 张。筛选后，选出其中的乳腺部位彩超进行自动标注和研究，检索医院系统中乳腺彩超报告的BI-RADS 分级描述，生成自动标注结果如图1 所示。其中BI-RADS 分级1 类、2 类为良性，5 类和6 类为恶性，其中3 类和4 类根据恶性风险不同有进一步的细分。

图1 某一次自动标注数据结果

根据世界卫生组织的相关报告可知，乳腺癌的高死亡率是一个世界级的公共卫生难题，而临床认为乳腺彩超的筛查可以降低死亡率[1]。其中，乳腺超声筛查由于其便捷实惠，无辐射性、无入侵性和无致敏性而被广泛运用与常规筛查和体检中，因而结合深度学习模型的计算机辅诊断系统能够在一定程度上协助放射技师的工作，且在辅助临床医师进行乳腺彩超良恶性判断上具有一定实际意义。

1 相关工作

1.1 国内外相关工作

利用计算机辅助诊断技术来协助医生进行自动诊断的研究已有多年的发展积累，这些辅助诊断系统能较大程度地减少环境和操作人员对彩超图像影响。对于图像分类问题，该领域的相应辅助技术可分为传统方法和深度学习方法。

传统图像分类法通常分三步：①图像预处理流程：利用小波过滤或滑动窗口算法去除图像中的斑点、伪影和噪声；②特征工程：提取纹理特征，形态特征、基于模型的特征和基于描述的特征等，将高维度的图像数据抽象降维；③有监督机器学习分类：建立线性或非线性的学习模型，包括支持向量机、决策树、神经网络和贝叶斯神经网络等分类算法[4]。

深度学习方法：2016 年Voets 在美国医学协会杂志上发表的糖尿病视网膜病变诊断工作，验证了端到端的深度学习模型可以直接运用在医学图像任务中[5]，且能取得逼近甚至优于人类专家的诊断结果。此后，深度神经网络分类模型逐渐被应用在各类医学图像任务中，如国内针对乳腺病理图像自动分类的工作[3]以及在针对早产儿视网膜病变图像的良恶性分类任务[6]。其余大部分研究中医学图像数据量有限，除了2019 年陈思文采取数据处理和数据增广来扩充数据集，并使用AlexNet 模型训练[7]，消耗时间和运算资源来换取更好的分类结果。

1.2 存在问题

利用预训练深度神经网络对医学图像数据进行分类学习和精调参数并不能简单实现一个稳定的模型，研究过程中存在以下问题：

（1）乳腺彩超诊断技术自身发展，各类新技术如超声弹性成像与彩色多普勒超声数据的图像差异对模型会产生无法预知的影响。

（2）医学图像数据的小样本和模糊标签问题。相对于其他图像数据集，医学图像数据分布的一致性导致有限的数据集中过拟合现象严重。而本文中所使用的数据还存在标签模糊问题，即图像结果中BI-RADS 3 类和4 类为恶性的概率逐渐递增，而非确定的量化值。同时彩超报告中放射技师的主观操作倾向会影响彩超结果，给标签带来噪声。只有病理结果才能作为诊断金标准，而病理标签数量较少。

（3）数据集不平衡问题。如图1 所示，不平衡的数据集进一步限制深层网络模型的性能。因此，数据量和注释的可靠性比模型结构更为重要，使得模型的评价缺乏客观性和稳定性。

基于以上问题，使用现有的预训练深度学习模型对彩超图像进行有监督训练后，正确率收到部分数据影响难以拟合至最优结果。因此本文提出假设——本批数据的标注结果存在大量噪音和因为病灶本身特异性而难以分类的数据，即困难样本，因而适用于半监督学习场景。

2 基于深度对抗生成网络的半监督学习

不同于简单的将无监督的预训练与有监督学习结合起来，或者利用有监督学习模型添加各种正则化策略。本文使用了深度对抗生产网络进行半监督学习，假设本文使用数据存在噪音标签，但数据本身符合平滑假设和流形假设，使得生成器可以从噪音数据中学习到隐藏的特征，对判别器产生正向影响。

在整个训练过程中，利用病理标签筛选出少量精确数据标签，经过多位专家审核后，作为有监督学习的训练集和验证集。而剩余部分数据则作为无监督训练数据，投入生成器中进行训练。

2.1 生成对抗网络模型

对抗生成对抗网络常用于图像生成、风格迁移等场合，少见于分类任务。在生成器和判别器进行最大最小博弈的同时，二者任务目标相反则会导致训练大幅度波动。本文目标是分类模型，因此在最基本的卷积生成对抗网络基础上，强化判别器结构。构造的判别器为多个使用残差模块构造[8]的深层神经网络，并对生成器进行简单预训练。

2.2 半监督学习算法

设计一个普通的K 类分类器时，输入为图像，输出为K 维向量，经Softmax 后选择最大概率类。训练过程中，以最小化目标函数的损失为目的，使得输出与标签分布的交叉熵满足最小。在半监督学习的生成网络的判别器中，网络结构和输入数据不变，鉴别器输出为（K+1）维向量，第（K+1）类为伪图像，真实样本则为前K 类。由于Softmax 在两边各个维度减去同一个常量最终结果不变的特性，可通过推导约去第K+1 类输出[10]。整个系统中包括有标签的真实数据、无标签的噪音数据和生成数据，对应的概率分别为Llabel、Lun⁃label 和Lfake，其计算方式如下，推导过程省略：

图2 对抗生成网络模型结构

LD 是分类器优化目标，w 为权重。生成器输出概率LG 则是为了欺骗分类器而进行训练的。整体训练流程如下，首先对生成器G 进行预训练。然后开始半监督学习迭代过程，如图3 所示。

训练生成器：

（1）输入随机噪声z 至G，输出生成数据伪图像X1；

（2）输入图像X1 至D，输出伪图像分类；输入所有X 至D，输出对应分类。

（3）反向传播，按LG更新G 的参数。

训练判别器：

（1）输入随机噪声z 至G，输出生成数据伪图像X1

（2）输入图像X1 和精确数据X`至D，输出为各个分类；

（4）反向传播，根据LD更新D 的参数。

图3 对抗生成网络半监督学习流程

3 实验结果

3.1 数据集划分与实验细节

对2000 余张含精确标签的乳腺彩超数据进行划分，按比例提取作为训练集和验证集，余下的所有数据无论是否含有精确标签都放入生成模型进预训练和生成对抗学习。若符合假设，该模型相较于一般的监督学习会更健壮、稳定和泛用。

本文使用了SELU 来代替原始的ReLU，以加速收敛过程。由于生成器没有类似结构，加速训练过程中的收敛过程可以缓解生成器与鉴别器之间的性能差距。而前三个转置层使用二维批处理归一化，因此最后一个转置层具有权重归一化的任务。在初始化时通过重写网络模型中某些层的权重，实现加快权重参数标准化和网络模型收敛。它不需要额外的空间来存储最小批量的均值和方差，因此可以减少时间和空间成本。通过PyTorch 框架实现基础的网络模型结构后，通过初始化参数和快速预训练，加快生成器的收敛模型。再将整个模型搭建起来，迭代训练生成器和判别器。

由于半监督学习本身对数据的要求极高，加上训练图像像素较高，训练过程容易波动，模型最后难以收敛，且模型的收敛速度慢。本文利用训练过程中最后一个小批次的指数移动平均（EMA）权重来构建更好的目标，为梯度提供额外的平滑度，并避免剧烈振动。在训练过程中每间隔一段时间就存储当前层的权重，当loss 出现较大抖动，并超过一定阈值时，鉴别器模型使用此时间与最后一次存储的权重，进行EMA 权重更新。更新参数时，我们将θt0 定义为第一步的权重。然后训练步骤t 作为权重θ的EMA。

3.2 模型结果与分析

本文所设计的Semi-Model 在相同体量的数据集下，与单纯的有监督学习进行对比，同时与其他半监督学习方法如Mean Teacher[11]和时序学习模型[9]进行对照，其结果如表1。在数据量有限的情况下，本文提出的半监督模型的确能轻微提升准确度。图像生成方面，作为一个不对称的生成对抗网络，即使采取预训练参数和指数移动平均等加速收敛的优化，成功消除了一部分图像伪影。

表1 模型结果正确率对比

4 研发部署与结语

4.1 总结分析

为了测试模型效果，本文也完成了一个Qt 开发的简易C/S 系统，提供给医院用于测试。实际应用时，仅需要部署辨别器至云端，生成器在训练过程中蒸馏相关特征的任务已经完成，因此模型更加精巧，运算速度更快。

半监督模型通常能在低像素数据集上取得远胜于有监督学习的结果，而本文使用像素更高的乳腺超声图像数据，提出了一种较新的半监督学习方法来诊断乳房超声图像，并使用EMA 正则化来确保在线模型的稳定性，实现了一个较为稳定、健壮的乳腺彩超良恶性分类模型。尽管从大量噪音样本中提取特征对模型进行了正则化，该量级的数据集训练所的模型依然不能保证与实际应用场合中遇到的数据分布能完全一致，半监督学习仅仅是缓和了深度神经网络模型在医学图像中的过拟合问题。

医学辅助诊断需要对模型的灵敏度和泛用性有更高的标准，半监督模型离实际应用还比较遥远，需要在临床上进一步研究。今后，该模型需要在更多类型的数据集上进行测试和评估，以证明其可行性。

图4 乳腺彩超智能诊断系统

4.2 展望

在医疗资源分配不均，医患数量不匹配的情况下，一个可靠的计算机辅助诊断系统能够节省培养经验丰富的专家所需耗费资源，缩短医疗检查流程的时间，这是医疗结合深度学习算法的初衷。而目前看来，在拥有海量精确数据标签的情况下，一个深度卷积网络在有监督学习的情况下也许才是最好的选择。本文提出的半监督学习方法，可作为一种正则化和蒸馏参数的方式，使得深度学习模型能够更好地拟合未知数据，也可作为智能医学领域在研究途中数据不足或数据质量差时的优化选择。