基于深度迁移学习的牙源性囊肿病理图像鉴别诊断方法研究

方嘉琨，张建运

（北京大学口腔医学院（口腔医院），国家口腔医学中心，国家口腔疾病临床医学研究中心，口腔数字化医疗技术和材料国家工程实验室，北京 100081）

0 引言

牙源性角化囊肿（odontogenic keratocyst，OKC）与其他牙源性囊肿相比具有较高的生长性和侵袭性，而正角化牙源性囊肿（orthokeratinized odontogenic cyst，OOC）在手术切除后很少复发，有报道显示OKC的复发率为8%~25%，而OOC切除后复发的病例只有不到2%[1]。临床上基于病理医师对组织病理图像的定性评价可以诊断OKC和OOC。图1为OKC和OOC的病理图像，从图1可以看出2种囊肿的细胞核和上皮组织结构表现不同。OKC衬里上皮具有排列规则的柱状基底细胞层及呈波浪状的不全角化表层，上皮和结缔组织之间的边界清晰[如图1（a）所示]，而OOC衬里上皮呈正角化[如图1（b）所示]。病理人工诊断通常耗时长、投入高，且病理医师需要经过专业的培训和具备相当的临床经验才能做出准确诊断，诊断结果会受个人经历和职业经历影响而具有主观性。因此，通过数字病理及人工智能技术构建辅助诊断系统可以帮助病理医师进行快速准确的诊断，提高工作效率。

图1 OKC和OOC的病理图像

基于专家规则、传统机器学习和深度学习等方法建立的辅助诊断系统推动了数字病理图像的自动化定量分析，以辅助医师诊断为目标，使病理诊断更加客观、可靠。其主要应用包括细胞和组织的检测和分割、癌症的分类和分级以及病理图像优化等[2-3]。传统的机器学习算法通过提取基于专家知识和人工选择的图像特征，选择最优特征集完成自动化分析[4]。机器学习算法应用于口腔病理的研究包括口腔黏膜下纤维化[5-6]、口腔鳞状细胞癌（oral squamous cell carcinoma，OSCC）[7]、牙源性囊肿[8-9]等疾病病理诊断，OSCC生存分析[10]和OSCC感兴趣区（region of interest，ROI）识别[11]等。区别于传统机器学习方法，深度学习方法尝试从大量数据中自动提取高等级的特征，避免了复杂的人工特征筛选工作[12]。随着数字病理的数据规模快速增长，深度学习在数字病理中得到更加广泛的应用[13]，然而牙源性囊肿病理图像分析受限于样本量、人工标注复杂性和专业性等因素，相对较少，深度学习研究集中于口腔放射影像[14]和OSCC病理诊断[15]。受限于有限的样本量，有研究提出主动学习方法，即通过制定选择样本的标准，使用尽可能少的标注样本训练模型，降低深度学习的时间和空间[16]，并在口腔癌症组织的图像自动化分类中应用[17]。迁移学习作为深度学习更普遍采用的方法，通过将初始领域的“知识”迁移应用于另外的一个或多个领域中以完成分类任务，已应用于多种疾病的病理诊断[18]。本研究应用自动化分割方法提取ROI图像，使用深度迁移学习方法鉴别OKC和OOC病理图像，实现图像自动化鉴别诊断，为深度迁移学习在口腔组织病理图像识别应用的有效性提供实验依据。

1 资料与方法

1.1 资料来源

收集诊断为OKC或OOC的高分辨力组织数字病理图像各50张。病理切片由病理医师通过取材、制片、HE染色等步骤制作。使用Olympus BX53显微镜，按照400倍视野采集大小为4 080×3 072像素的数字图像。经病理医师复核数字图像质量，确认图像包含上皮组织，保证资料的可靠性。

1.2 数据预处理

ROI区别于图像背景，包含重要的诊断信息，对于病理分析十分重要。使用基于纹理特征的图像分割方法，对图像进行对比度增强、颜色去卷积、直方图均衡、阈值化和形态学操作，实现上皮组织图像ROI的自动化分割[8]。由病理医师检查分割的上皮组织图像以保证分割结果准确。

1.3 诊断模型

深度学习通过在多层神经网络应用机器学习算法解决图像分类等具体问题，其核心是特征学习。卷积神经网络（convolutional neural networks，CNN）是一种适用于处理图像相关问题的多层神经网络，一般由卷积层、池化层、全连接层组成，通过卷积层与池化层配合组成卷积块，逐层提取特征，最终通过全连接层完成分类。由于VGG16网络模型结构简单、泛化能力强，故本研究采用VGG16网络构建深度学习模型。VGG16网络包含13个卷积层和3个全连接层，其中在第2、4、7、10、13层卷积层后各有1个最大池化层组成5个卷积块。VGG16网络使用3×3大小的卷积核和2×2大小的池化核，使用ReLU作为卷积层和全连接层的激活函数。

使用镜像、旋转和平移变换等多种方法进行数据增强以最大化地利用样本，提高模型的鲁棒性并防止过拟合现象发生。本研究中，由于OKC和OOC的鉴别诊断标记样本量较小，仅使用数据增强方法不能满足VGG16网络模型训练需要的大量数据，因此引入迁移学习方法，将病理图像数据集作为目标域，将基于大数据源域ImageNet训练的VGG16神经网络模型进行微调以适用于病理图像分类任务。具体为冻结VGG16网络模型的卷积块参数，保持特征提取参数不变，重新设计全连接层以适用于OKC和OOC的诊断分类任务。模型采用Dropout算法防止过拟合，使用逻辑回归函数计算图像的诊断分类概率。本研究通过诊断模型在不同数据集上的准确率、敏感度和特异度评估验证模型的可用性。

2 结果

2.1 数据预处理

使用上皮组织图像自动化分割方法（如图2所示），获得97张图像作为训练和测试数据，其中OKC图像47张、OOC图像50张。将每张上皮层图像分割为128×128像素的图像块，保留组织图像占50%以上的图像块，获得7 311个OKC图像块和7 198个OOC图像块。OKC平均每张图像有156个图像块，单张图像最少有85个图像块，最多有231个图像块；OOC平均每张图像有144个图像块，单张图像最少有73个图像块，最多有237个图像块。

图2 ROI图像分割结果

使用分别来自28张OKC图像和31张OOC图像的4 800个图像块作为训练集，分别来自13张OKC图像和14张OOC图像的1 600个图像块作为验证集。根据训练集确定学习模型的最优参数，将剩余6张OKC和5张OOC图像的共1 700个图像块作为独立测试集，验证模型的泛化能力。

2.2 模型训练

本研究中VGG16网络模型已完成ImageNet数据训练，网络已收敛，因此将迁移学习率设置为0.000 1，以在目标数据集上进行微调。设置训练的迭代次数为500次，每批图像块为32个，Dropout为0.5。

实验设备为搭载NVIDIATITANXGPU的Ubuntu服务器，使用Keras深度学习框架。500次迭代的损失函数值和准确率随学习过程变化结果如图3所示，蓝线和黄线分别代表代表训练集损失和验证集损失，表示模型预测与标准之间的一致性，其值在训练过程中减小；红线和紫线分别代表训练集和验证集的准确率，验证集的准确率提升十分迅速，在20多次迭代后稳定达到90%以上，模型在短时间内能达到较好效果。

图3 损失函数值和准确率随学习过程变化情况

2.3 诊断分类结果

以OKC为正样例，OOC 为负样例。如表1所示，模型在验证集上的准确率为97.50%、敏感度为98.06%、特异度为96.94%，独立测试集的准确率为95.94%、敏感度为95.59%、特异度为96.34%。测试集合计4 900个图像块的准确率为96.96%、敏感度为97.17%、特异度为96.74%。实验结果表明该模型可以较好地区分OKC和OOC，可以辅助临床诊断。

表1 OKC和OOC鉴别诊断模型分类结果

通过查看模型预测诊断结果与人工标注不一致的图像，发现大部分诊断不一致的图像块位于上皮组织内部，而位于基底细胞层和上皮-结缔组织之间的图像块基本与标准诊断一致。将同一图像的所有图像块的分类概率取均值后，所有原始图像均归属正确分类，诊断准确率为100%。

3 结语

随着信息技术的发展，深度学习已应用于越来越多的专业领域。在医学领域，建立准确有效的CNN模型往往需要基于大量的标注数据以确定网络中的最优参数，而为医学图像数据集添加标注通常需要专业人员花费较大的时间和精力，标注难度较大。在医学图像数据资源有限的情况下，迁移学习可以对预训练的网络在特定目标任务上进一步训练微调，在不改变底层网络特征提取的情况下，重新设置目标域分类，使用较少的样本和通用的特征建立网络模型[18-19]，并在较短的训练时间投入下在目标任务上达到较高的准确率。

数字病理图像因制片方法和扫描方式的差异，例如色差、褶皱等因素可能影响正确识别，相较放射影像更具挑战。OKC和OOC作为2种牙源性囊肿疾病，治疗和预后方案不同，自动化鉴别诊断可以作为辅助工具提高病理医师的诊疗效率。本实验采用自动分割ROI减少医师标注工作，基于图像块的方式建立深度学习诊断模型，模型达到较高的准确率。与使用传统机器学习方法鉴别牙源性囊肿的工作相比[8-9]，模型训练过程中省略了需要专业知识的人工特征提取过程，通过数据驱动提取深层特征，模型具有更强的泛化能力和鲁棒性。但本模型的训练样本量相对有限，为提高模型的适应范围，未来将进一步增加数据规模、优化网络参数。本实验结果表明，深度迁移学习方法应用于牙源性囊肿病理图像鉴别可以获得较高的准确率，为其在未来应用于其他口腔疾病的自动化病理诊断提供了可能。