基于深度卷积神经网络的Barrett 食管内镜图片分类模型的建立

林嘉希，汪盛嘉，赵 鑫，高 欣，殷民月，朱锦舟

1.苏州大学附属第一医院消化内科，苏州 215006；2.江苏省苏州市消化病临床医学中心，苏州 215006；3.苏州大学附属第一医院普外科，苏州 215006

据《2015 年中国恶性肿瘤流行情况分析》［1］显示，我国食管癌的发病率位居各类肿瘤第6 位，死亡率位居第4 位，严重危害着人民的生命健康。依据病理类型的不同，食管癌被分为食管鳞癌与食管腺癌。在西方，食管腺癌是食管癌的主要病理类型。在我国，随着人们生活习惯及饮食的西化，食管腺癌的比例亦不断增加［2］。相关研究［3］显示，食管腺癌的早期症状较为隐匿，确诊时患者多处于中晚期，5 年生存率不足20%。当前的临床研究［4］发现，Barrett 食管被认为是食管腺癌唯一的癌前病变。而这一发现或将对腺癌的早期筛查、生存率的提高及患者预后的改善意义重大。

Barrett 食管是一种食管黏膜的化生改变，以食管正常的鳞状上皮被含有胃或肠道特征的上皮细胞的柱状上皮所取代为特征。当前，对Barrett 食管的筛查主要依赖于消化内镜检查；通常情况下，正常的食管鳞状上皮和胃柱状上皮交界线与胃食管结合部重叠，而Barrett 食管则表现为鳞状上皮和柱状上皮的交界线较胃食管结合部上移≥1 cm［5］。近年来，随着内镜技术和设备的不断发展，放大内镜、激光共聚焦内镜、自发荧光成像、窄带成像和化学染色内镜等的运用，Barrett 食管内镜下检出率有了显著提高［6］。但其诊断的准确性依然受操作者经验与技能差异的影响［4，7］。

基于此，本研究收集苏州大学附属第一医院消化内镜中心及HyperKvasir数据库［8］中的正常食管图片与Barrett 食管图片，通过于ImageNet 数据库预训练的4 种深度卷积神经网络Xception、NASNet Large（NASNetL）、ResNet50V2 （ResNet） 及BigTransfer（BiT），对内镜图片进行迁移学习，以建立Barrett 食管内镜图片分类模型，旨在提高内镜的诊断准确性，辅助食管疾患的临床诊断。

1 资料与方法

1.1 一般资料

本研究为回顾性分析，共收集内镜下食管图片806张（正常食管图片412张、Barrett食管图片394张）。其中，来自苏州大学附属第一医院消化内镜中心411 张，包括正常食管图片142 张、Barrett 食管图片269 张；来自HyperKvasir 数据库395 张，包括正常食管图片270张、Barrett食管图片125张。

1.2 图片的标签标注及预处理

依据内镜下食管病变情况、结合患者病理活检报告，由3位高年资医师（即拥有15年及以上内镜诊疗经验的主任医师）遵照指南［5］对苏州大学附属第一医院内镜中心411 张图片完成分类标注，标注标签为Barrett 食管以及正常食管；同时，我们根据HyperKvasir数据库提供的分类标签，对其395张图片完成分类标注。

而后，对纳入的806 张图片进行预处理，具体如下：①将图片统一至331×331 像素，以RGB 三通道形式保存，输入格式为［331，331，3］。②对图片统一行归一化操作。③图片进行增强处理，方式包括图片旋转、图片翻折、图片对比度改变。经上述处理后，随机将806 张图片分为训练集（85%）与验证集（15%）。

1.3 Barrett食管内镜图片分类模型的构建

本研究采用迁移学习中的特征提取策略，构建基于深度卷积神经网络的Barrett 食管内镜图片分类模型。模型构建及训练流程如下：①选取迁移学习所用的深度卷积神经网络模型。即Xception、NASNetL、ResNet 及BiT 共4 种［9-12］。②载入预训练权重。即载入4种模型各自于ImageNet数据库中预训练所得网络权重，作为初始化模型参数（预训练模型参数权重由Keras 提供）。③模型架构修改。删去本研究所用的4 个模型初始全连接层，将网络其余部分作为特征提取层。于特征提取层后添加适用于Barrett食管图片分类任务的全连接层，具体操作为对4 个网络统一添加3 个全连接层（第1～3 全连接层节点数量分别为1 024、512、2）。同时，由于此次任务为二分类任务（即图片分类任务目标为鉴别Barrett 食管与正常食管），设定Sigmoid 激活层作为最终输出层，从而实现对正常食管与Barrett食管的图片分类任务。④设定反向传播策略。由于本研究采用特征提取策略，需固定4 个模型的特征提取层参数，使其不参与网络反向传播。设定模型的全连接层及输出层参与参数反向传播，进行模型的参数更新。⑤设置模型训练超参数及优化策略。通过读取训练集中经预处理的图片，对模型进行训练。训练时，模型的部分超参数及优化策略如下：模型学习率为0.001，每批图像处理数量为16，训练轮次为30，优化算法为SDG 算法。为防止Barrett食管内镜图片分类模型过度拟合训练集数据从而导致其泛化能力较差，本研究采用早期停止策略，即训练时若模型连续3 个训练轮次的误差均未下降，需停止训练。本研究采用的深度卷积神经网络基于TensorFlow2.7框架。Barrett食管内镜图片分类模型的迁移学习示意图详见图1，即分为上、下共2个部分：上部为深度卷积神经网络于ImageNet 数据库中的预训练过程，下部为深度卷积神经网络针对Barrett食管内镜图片分类模型的训练过程；另，中间竖直箭头表示，在迁移学习过程中针对模型各个层次架构（特征提取层与输出层）的具体修改方式。

1.4 Barrett 食管内镜图片分类模型分类结果的可视化解释

深度卷积神经网络具有“黑盒”性质，即网络虽具有较高准确性，但其内部工作机制却难以解释。本研究采用梯度加权分类激活映射（gradient-weighted class activation mapping，Grad-CAM）算法，通过获取内镜图片于模型输出层与特征提取层的相对梯度差，表征出最后特征提取层输出各点位对模型决策的重要程度，以此建立类激活热力图。而后，将类激活热力图与初始内镜图片相叠加，从而对模型分类结果进行可视化解释。

1.5 Barrett 食管内镜图片分类模型的评价及其与内镜医师分类结果的比较分析

运用验证集数据，对上述获得的4 个Barrett食管内镜图片分类模型的分类能力进行评价；同时，高年资医师和低年资医师（即拥有5 年及以上内镜诊疗经验的主治医师）亦参与对验证集数据的分类分析，以进一步评价分类模型的分类能力。各个模型及高、低年资医师对验证集数据的分类结果，以混淆矩阵（confusion matrix）形式呈现。混淆矩阵包含以下内容：真阳性（true positive，TP）、假阳性（false positive，FP）、真阴性（true negative，TN）、假阴性（false negative，FN）。各个模型及高、低年资医师的分类结果采用以下评价指标：准确性（accuracy）、召回率（recall）、精确性（precision）、F1 值（F1-score）及曲线下面积（area under the curve，AUC）。此外，采用卡帕系数（Kappa coefficient）评价各个模型及高、低年资医师之间的分类一致性，当卡帕系数>0.600时被认为拥有较好的分类一致性。

2 结果

2.1 Barrett食管内镜图片分类模型评价

将已构建完成的4 个Barrett食管内镜图片分类模型于验证集数据中进行分类能力评价。结果发现，各模型均拥有较高的分类准确性，平均分类准确性为0.852；且均具有较高的分类精确性，平均分类精确性为0.846。与其余3 种模型相比，NASNetL 模型拥有最高的分类准确性（0.873） 和分类精确性（0.867），为表现最优模型。各模型分类情况混淆矩阵及具体评价指标见表1。

2.2 Barrett 食管内镜图片分类模型与高、低年资医师分类能力的比较分析

于验证集数据中，高、低年资内镜医师均表现出较好的分类能力，其平均分类准确性为0.868、平均分类精确性为0.860，且其平均分类能力均优于上述4 个模型的平均分类能力。内镜医师分类情况混淆矩阵及具体评价指标见表2。

表2 高、低年资医师在验证集中的分类能力分析Tab 2 Analysis of classification ability of the senior and junior physicians in the validation set

通过将Barrett食管内镜图片分类模型与不同年资医师在验证集数据中的分类结果进行比较，我们发现最优模型NASNetL 对Barrett 食管内镜图片拥有近似于高年资医师的分类能力，即该模型的分类准确性（0.873）略低于高年资医师分（0.881），而高于低年资医师（0.855）；且其分类精确性（0.867）亦略低于高年资医师（0.869），而高于低年资医师（0.850）。而后，一致性检验结果（表3）显示，NASNetL 模型与高年资医师（Kappa=0.712，P=0.000），低年资医师（Kappa=0.695，P=0.000）均拥有较好的分类一致性。

表3 Barrett食管内镜图片分类模型与高、低年资医师于验证集中的分类结果的一致性检验Tab 3 Consistency test of classification results between of endoscopic image classification models of Barrett's esophagus with senior and junior physicians in the validation set

2.3 Barrett 食管内镜图片分类模型分类结果的可视化解释

本研究采用Grad-CAM 算法，将Barrett食管内镜图片与类激活热力图结合生成热力图，对模型的分类结果进行可视化解释。结果（图2）显示，图中的高亮部分（红色区域）为模型进行图片分类判断时采纳权重较高的区域，即模型认定的病变区域；其余浅色部分（浅蓝色区域）为采纳权重较低的区域，即被判断为正常区域。因此，通过观察热力图中不同颜色的分布，即可了解Barrett食管大致病变范围，从而实现模型分类结果的可视化解释。

图2 Barrett食管内镜图片分类模型的可视化解释Fig 2 Visual interpretation of endoscopic image classification models of Barrett's esophagus

3 讨论

近些年，伴随深度学习的不断发展，深度卷积神经网络技术已逐渐被应用于Barrett 食管诊断领域。HONG 等［13］收集236 张Barrett 食管放大内镜图片，利用深度卷积神经网络构建Barrett 食管病理分型模型，该模型的准确性达0.81。DE GROOF 等［14］利用494 364 张标记的内镜下食管图像，通过Residual-UNet 构建了Barrett 食管瘤变分类模型，结果显示该模型诊断的敏感性与特异性分别达0.90与0.88。但目前，使用深度卷积神经网络进行迁移学习、构建Barrett食管与正常食管分类模型的研究，在国内外鲜有报道。

在深度卷积神经网络构建的过程中，针对小样本数据，迁移学习已被广泛应用。自2012 年，AlexNet获得了ImageNet 竞赛冠军后，卷积神经网络成为了计算机视觉研究的热点［15］。得益于大规模标注数据集的产生和卷积神经网络架构的不断更新，卷积神经网络逐渐成为深度学习处理图像问题的主要算法［16］。但目前在医学领域，我们尚缺乏类似ImageNet 数据库的大规模标注数据集，从而阻碍了卷积神经网络在临床图像方面的应用。针对临床标注图像数据集数量较少这一问题，迁移学习可于其他领域的大规模标注数据集上完成对深度卷积神经网络的预训练，并将预训练网络迁移至小规模临床数据集，使得仅通过小规模数据训练的网络具有较强的鲁棒性及泛化能力。SAMALA 等［17］利用4 039 张数字乳腺断层合成图像（Digital Breast Tomosynthesis，DBT），建立了基于不同训练样本量的迁移学习的乳腺良恶性肿块深度卷积神经网络分类模型，并比较模型间的分类能力；研究证实，当使用小样本量数据进行迁移学习时，深度卷积神经网络具有较好的分类能力，继而表明迁移学习适用于构建小样本数据的深度卷积神经网络模型。

在本研究中，样本数据量的纳入相对较少，若采用传统的从零训练的卷积神经网络，势必会导致模型欠拟合，从而影响模型对Barrett 食管内镜图片的判断。因此，我们选择经ImageNet 数据集预训练过的卷积神经网络（Xception，NASNetL，ResNet及BiT）作为初始网络，以实现利用小样本数据构建诊断模型的目的。

本研究尚存在一定的不足：①研究样本量偏少。依靠迁移学习，我们利用小样本量数据建立了具有较高准确性的分类模型，但随样本数量的增加，分类模型的性能仍可提升。后期，我们需积累更多来源的样本，以进一步提高分类模型的准确性。②网络架构相对滞后。除深度卷积神经网络外，Transformer 这一新架构也逐渐被应用于计算机视觉且表现优异。本研究未纳入基于Transformer 架构的图片分类模型，后续研究可对此架构进行探索。

综上，本研究收集了苏州大学附属第一医院消化内镜中心及挪威HyperKvasir 数据库的内镜下食管图片，利用经ImageNet 数据库预训练的Xception、NASNetL、ResNet和BiT深度卷积神经网络进行迁移学习，建立了Barrett食管内镜图片分类模型。研究发现，在建立的4个模型中，NASNetL模型的分类能力与高年资医师相仿，且通过Grad-CAM 算法对模型分类结果进行了可视化解释。本研究利用迁移学习，建立了针对Barrett 食管与正常食管内镜图片的分类模型，并验证了使用小样本数据进行医学迁移学习、建立分类模型的可行性。该模型有助于内镜医师提高Barrett食管的检出率及准确性，或将为临床Barrett食管诊断带来便利。

利益冲突声明/Conflict of Interests

所有作者声明不存在利益冲突。

All authors disclose no relevant conflict of interests.

伦理批准和知情同意/Ethics Approval and Patient Consent

本研究已通过苏州大学附属第一医院科学伦理委员会的审核批准（文件号105）。所有研究过程均遵照《涉及人的生物医学研究伦理审查办法》的条例进行。受试对象或其亲属已经签署知情同意书。

All experimental protocols in this study were reviewed and approved by the scientific ethics committee of the First Affiliated Hospital of Soochow University，（Approval Letter No.105， data 30/3/2022），and all experimental protocols were carried out by following the guidelines ofMeasures for the Ethical Review of Biomedical Research Involving Humans. Consent letters have been signed by the research participants or their relatives.

作者贡献/Authors'Contributions

朱锦舟、赵鑫参与了研究设计；林嘉希、汪盛嘉、高欣、殷明月参与了论文的写作和修改。所有作者均阅读并同意了最终稿件的提交。

The study was designed by ZHU Jinzhou and ZHAO Xin. The manuscript was drafted and revised by LIN Jiaxi， WANG Shenjia，GAO Xin and YIN Minyue.All the authors have read the last version of paper and consented for submission.

·Received：2022-01-17

·Accepted：2022-03-25

·Published online：2022-05-07