人工神经网络算法在消化道恶性肿瘤病理诊断及患者预后预测中的应用

肖雅，王漱阳，凌人，宋毓飞

1.宁波大学医学部，浙江 宁波 315211

2.复旦大学基础医学院病理学系 上海市医学图像处理与计算机辅助手术重点实验室，上海 200032

3.上海徕兹软件科技有限公司，上海 201499

4.宁波大学附属李惠利医院消化内科，浙江 宁波 315046

全球癌症患病统计数据显示，消化道恶性肿瘤中结直肠癌的发病率和病死率分别位列第3位和第2位，胃癌的发病率和病死率分别位列第5位和第4位［1］。内镜活体组织检查或手术切除组织的病理学检查是诊断消化道恶性肿瘤的金标准［2］。然而，传统病理学诊断中病理医生的判断主观性较强［3］，其经验和诊断水平会影响诊断结果，进而影响后续治疗方案的制订［4］。由于病理医生培养周期长、资深病理医生紧缺，加之我国不同地区医疗条件和医生水平分布不均衡［5］，各个医院如何准确、高效、同质化地诊断消化道肿瘤成为现阶段亟待解决的问题。

人工神经网络算法是由大量权值可调节的神经元连接构成，具有大规模并行处理、分布式信息存储以及良好的自组织自学习能力等特点。现阶段研究表明，人工神经网络模型诊断部分疾病的准确率已经接近资深病理医生的水平［6］。卷积神经网络是一种应用非常广泛的人工神经网络，其主要由输入层、卷积层、池化层、全连接层及输出层构成［7］。卷积层可提取输入图像的特征，如边缘、线条和角等层级，通过多层级网络运算提取更复杂的特征。因此，卷积神经网络在基于图像识别的组织病理学诊断领域具有独特优势［3］。循环神经网络是另一种常用的人工神经网络，可以反映特征映射关系，用于学习具有时序性的输入与输出间的对应关系和规则［8］。循环神经网络在解决时间序列预测问题上具有显著优势。近年来，随着数字病理技术高速发展，全视野数字病理切片以其巨大的信息载量和数字化传输方式为人工智能辅助阅片提供了可能［9-11］。在消化道疾病诊断领域，研究者将人工神经网络与全视野数字病理切片相结合，辅助病理医生识别疾病区域和诊断决策，为病理诊断标准化提供了新的策略［12］。

本文将从肿瘤组织病理学诊断、肿瘤分子病理学诊断、患者预后预测三个方面对近年来人工神经网络在消化道恶性肿瘤病理诊断及预后预测中的研究作一综述，以期为进一步研究提供参考。

1 基于人工神经网络诊断肿瘤组织病理学变化

通过人工神经网络模型可分析消化道肿瘤的数字病理图像，识别肿瘤区域，判断病变性质。2017年，Sharma等［13］采用640例经HE染色及HER-2基因免疫组织化学染色的胃癌组织病理切片图像作为数据集，设计了一种卷积神经网络模型，可以快速、准确地区分HE染色图像中肿瘤与非肿瘤区域，相比所有传统方法和AlexNet模型［14］，该模型对肿瘤坏死区域具有更强的区分能力，总准确率为0.8144。但在区分HER-2基因阴性与阳性肿瘤区域上仍有较大的局限性，总准确率为0.699。Song等［15］开发了一种人工神经网络辅助系统以识别胃癌癌变区域，并选用多中心胃癌组织HE染色图像进行测试。结果显示，该人工神经网络辅助系统预测三家医院测试数据的AUC分别为0.986、0.990和0.996，可见该系统性能具有一致性和稳定性。梁桥康等［16］以U-Net网络为基本架构设计了一个更深层次的胃癌病理切片分割算法模型——Deeper U-Net。该模型采用区域重叠分割法将数据集分割成若干小块图片，再利用预先训练好的Deeper U-Net网络模型对分割的小图片块进行初次分割，并使用图片分类器清除假阳性样本，重新合成新样本。使用新样本进行多次重复训练，Deeper U-Net网络模型的平均精度为0.915，平均交叉联合为0.884，相比重复训练前分别升高了0.056和0.029。可见基于人工神经网络的胃癌病理切片分割算法可用于辅助胃癌病理诊断。Sena等［17］提出一种人工神经网络算法用于识别肠道癌症组织发展的四个不同阶段：正常黏膜、早期癌前病变、腺瘤和癌症。该模型对原始图像进行标记，绕过分割步骤，总准确率超过0.95，并在不同分辨率的外部数据集上进行测试，准确率均超过0.80。该神经网络为结肠癌图像提供了快速、准确和可重复性的标记，有望提高人工神经网络病理诊断的质量和速度。

肿瘤浸润深度是胃癌TNM分期的重要指标。2019年，Mori等［18］设计了一种六层卷积神经网络模型，利用胃印戒细胞癌的浅层组织病理HE染色图像预测浸润深度，进而对疾病分级。该卷积神经网络模型判别浸润深度的准确率、敏感度和特异度分别为0.85、0.90和0.81。研究进一步提取浅层胃印戒细胞癌敏感区域图像特征，发现黏膜内胃印戒细胞癌相比进展期胃印戒细胞癌周围组织具有丰富的低分化细胞，推断印戒细胞周围组织低分化细胞的密度可用于判断胃印戒细胞癌的组织病理学分期。这一结果有助于根据胃印戒细胞癌表面活检的组织病理切片预测胃印戒细胞癌的侵袭程度及预后。2022年，严丹丹等［19］收集了2016—2018年单中心1560份经HE染色的胃黏膜上皮病变标本，其中1255个用于卷积神经网络训练，另外305个用于卷积神经网络测试。模型在测试集中的总准确率达83.6%。测试集中宏平均ROC曲线的AUC为0.97，微平均ROC曲线的AUC为0.96。研究表明，卷积神经网络模型在胃黏膜病变分类中具有较高的分类价值和稳定性，有望提高胃上皮异型增生病理诊断的一致性。Lizuka等［12］提出利用人工神经网络模型对胃上皮肿瘤进行分类，基于胃活体组织数字病理图片对卷积神经网络和循环神经网络进行训练，结果显示胃腺癌和腺瘤的模型预测AUC分别达到0.97和0.99，为后续癌症亚型分类奠定了基础。

2 基于人工神经网络诊断肿瘤分子病理学变化

目前，胃癌和结直肠癌的诊断已进入分子分型水平，根据微卫星不稳定的状态可分为微卫星高不稳定型、微卫星低不稳定型和微卫星稳定型。Kather等［20］比较了五种卷积神经网络模型在三类胃肠癌组织中的表现，最终选择卷积神经网络Resnet18作为肿瘤检测器，预测AUC超过0.99。深度残差学习可直接利用HE染色病理组织图像预测微卫星不稳定［21］，且具有较好的泛化性能。可见深度残差学习可用于筛选微卫星不稳定的胃肠癌患者，快速锁定需要癌症免疫治疗的目标人群。Cao等［22］分别收集了来自TCGA的429份结直肠癌组织病理图像和来自亚洲结直肠癌队列的785份结直肠癌组织病理图像。研究者首先利用来自TCGA的所有病理图像建立了基于图像块水平预测和全视野数字病理切片水平预测两个连续阶段的初始模型——EPLA模型，然后通过迁移学习在亚洲结直肠癌队列中验证。迁移学习后，EPLA模型在TCGA-COAD测试集中的AUC为0.8848（95%CI：0.8185～0.9512）；在亚洲结直肠癌队列中的AUC为0.8504（95%CI：0.7591～0.9323）。其中EPLA模型鉴定出五个病理成像特征与基因组图谱中的突变负荷、DNA损伤修复相关的基因型以及转录图谱中的抗肿瘤免疫激活途径有关。肿瘤突变高负荷是一种结直肠癌免疫检查点抑制物生物标志物。肿瘤浸润性淋巴细胞是微卫星高不稳定型结直肠癌的传统病理图像特征，有可能预测肿瘤突变高负荷结直肠癌。Shimada等［23］使用了两组针对肿瘤突变高负荷进行测试的结直肠癌队列，同时获取数字病理图像，并建立基于卷积神经网络的肿瘤突变高负荷预测模型。结果显示，肿瘤浸润性淋巴细胞数与肿瘤突变负荷呈正相关，预测肿瘤突变高负荷的AUC为0.910，可为临床结直肠癌的免疫治疗提供参考。

Flinner等［24］设计了一种用于直接从HE染色图像中区分染色体不稳定型、微卫星不稳定型、基因组稳定型、EB病毒阳性型等四种胃腺癌分子分型的卷积神经网络模型。但该模型分类结果尚不准确，尤其是对基因组稳定型和染色体不稳定型，以及存在四种分型的重叠，模型训练能力较差。该模型在TCGA队列中错误标记的可能原因包括使用决策树的简化分类、某些肿瘤属于多个类别以及肿瘤内的异质性。因此，研究者计划在未来用更多的训练数据来进一步改进这种卷积神经网络方法，以期降低错误率。

3 基于人工神经网络预测患者预后

肿瘤性质、肿瘤发生部位、患者自身体质等多种因素均会影响患者生存情况，较难预测。Saltz等［25］开发的了一种人工神经网络模型衍生的“计算染色”，可从标准癌症病理图像中识别肿瘤浸润性淋巴细胞。研究者使用淋巴细胞卷积神经网络用于区分有无淋巴细胞浸润，坏死卷积神经网络用于区分坏死区域。淋巴细胞卷积神经网络是一个半监督学习的卷积神经网络，由无监督卷积自动编码器初始化。利用坏死卷积神经网络对图像坏死区域进行分割，旨在消除坏死区的假阳性。研究者共处理了包括膀胱尿路上皮癌、乳腺浸润性癌、宫颈鳞癌等14种癌症共计5202张数字病理图像。结果显示，肿瘤浸润性淋巴细胞数与患者生存期、肿瘤分型、免疫谱相关。此外，Ma等［26］发现卷积神经网络模型直接在病理图像上提取的特征对预测癌症患者的生存有重要价值。Kather等［27］训练了一个卷积神经网络用于识别结直肠癌组织特别是非肿瘤的间质组织图像中的不同类型，并且能够将组织的丰富度转化为一个预后分数。该模型在两个独立的多中心患者队列中进行了测试，相比国际抗癌联合会的分期系统，这一预后分数提高了对总生存率预测的准确性。Zhao等［28］提出了一种人工神经网络模型，通过结直肠癌病理图像自动进行TSR定量，使用训练队列（n=499）和验证队列（n=315）评估TSR对患者总生存期的预后价值。研究发现，利用卷积神经网络量化的TSR是一个独立于其他临床病理特征的预后因素，TSR增加时患者总生存期降低。研究者还将TSR与其他危险因素合并到COX模型中，其中TSR与TNM分期系统联合对患者预后的预测能力更佳。

Skrede等［29］收集了四个队列疾病预后明确患者的1200万个图像训练10个卷积神经网络，称为DoMore-v1网络，该网络是专门为超大尺寸的异质图像而构建的。DoMore-v1网络由展示网络MobileNetV2、用于添加噪点的池化函数和一个简单的全连接分类网络组成。基于该模型发现的分子生物标志物DoMore-v1-CRC可筛选出使用单剂卡培他滨化疗后效果不明显的患者，从而制订更有针对性且更有效的治疗方案。该标志物与已建立的分子和形态学预后标志物相关并且优于现有的分子和形态学预后标志物，可改善临床医生有关辅助治疗选择的决策。

淋巴结转移是消化道肿瘤的转移方式之一，常提示恶性肿瘤，影响肿瘤的分期、治疗以及患者预后。Kiehl等［30］利用2431例原发肿瘤的组织病理图像训练卷积神经网络来预测淋巴结转移，同时使用对应病例的临床数据进行logistic回归分析。研究者将基于图像的人工智能预测器SBAIP评分纳入回归，并使用TCGA队列中582例患者的数据作为外部测试集。在内部测试集中，SBAIP评分的AUC为0.710，临床数据分类器的AUC为0.670，两种分类器结合的AUC为0.741。在外部测试集中临床数据分类器的性能保持稳定，SBAIP评分的性能下降，AUC为0.612。临床数据分类器的性能强烈依赖于T分期。Takamatsu等［31］开发了一种卷积神经网络模型来预测T1期结直肠癌的淋巴结转移，不需要进行组织学评估。研究者将783例T1期结直肠癌患者随机分为训练组548例和测试组235例，训练卷积神经网络模型从病理图像中标记结直肠癌区域，然后将这些癌症区块重新标记上淋巴结转移状态并再进行训练。利用随机森林算法统计数据，将预测值定义为随机森林得分。结果显示，该模型检测癌症区域的准确率为0.980；在癌症区域中，对淋巴结转移阳性或阴性的图像进行分类的准确率为0.740。同时，训练组和测试组预测模型的AUC分别为0.971和0.760。研究表明卷积神经网络可根据组织病理图像判断淋巴结转移的发生概率。

4 结语

综上所述，人工神经网络在消化道恶性肿瘤的病理学诊断、疾病分期和分型及患者预后预测方面有一定的辅助作用。但是，在基于人工神经网络的病理辅助诊断研究中常会遇到数据标注耗时、数据标准化、数据整合、伦理以及法律责任等问题［32］。其中数据标准化是影响模型训练和诊断准确性的重要因素。每一张组织病理图像都需要经过采集、数字化和处理等多步骤操作，因此可能会出现色调不均匀、分辨率不统一、焦点模糊、图像割裂、异物等情况。这些非标准化数据会干扰特征提取，影响诊断结果。围绕上述问题展开细致全面的研究将是人工智能病理诊断研究的方向。尽管基于人工神经网络的病理诊断及辅助诊断尚处于研究阶段，未广泛应用于临床工作，但随着技术发展和学科融合，人工智能病理诊断在消化道疾病诊疗中可能会发挥巨大作用。

志谢研究得到宁波市公益性科技计划（2021S183）、宁波市医疗中心李惠利医院“惠利基金”（2022ZD005）支持.上海徕兹软件科技有限公司施瑜老师在人工神经网络方面给予指导

AcknowledgmentsThis work was supported by Ningbo Public Welfare Science and Technology Plan Project（2021S183），The Affiliated Lihuili Hospital “Huili Fund”（2022ZD005）.SHI Yu from Shanghai Laizi Software Technology Co.Ltd.provides guidance on artificial neural networks

利益冲突所有作者均声明不存在利益冲突

Conflict of InterestsThe authors declare that there is no conflict of interests

©The author(s) 2023.This is an open access article under the CC BY-NC-ND 4.0 License (https://creativecommons.org/licenses/by-nc-nd/4.0/)