基于病理大切片的深度卷积神经网络对于直肠癌脉管癌栓的预测价值

34

(1 青岛大学附属医院胃肠外二科，山东 青岛 266003； 2 青岛大学附属医院病理科；3 山东省数字医学与计算机辅助手术重点实验室； 4 青岛大学附属医院海南分院)

根据世界卫生组织2020年全球癌症负担数据显示，结直肠癌总体发病率已经跃居全球第3位，死亡率居第2位，其中更以直肠癌为高发[1]。据统计，早期和晚期直肠癌患者的预后差别很大，Ⅰ～Ⅳ期患者的5年生存率分别为93.8%、77.4%、14.0%和7.0%，而环周切缘阳性[2]、淋巴结转移[3]、脉管癌栓、肿瘤出芽[4]等病理特征均预示着较晚分期和不良预后。积极寻求和探索病理诊断新方法对于患者的精准及个性化治疗意义重大。

临床研究发现，脉管癌栓作为直肠癌预后的独立危险因素，是肿瘤侵犯脉管系统和淋巴结转移的先决条件[5]，研究显示脉管癌栓阳性和阴性的患者5年生存率具有显著差异[6]。目前在临床病理诊断中脉管癌栓的检测主要依靠HE染色和免疫组化染色来完成，其中免疫组化染色能明显提高脉管癌栓的检出率[7]。目前病理诊断流程的自动化程度较低，诊断结果完全依靠病理专家的肉眼识别以及经验判断，受到专业水平、主观因素以及环境因素等的影响比较大。近年来人工智能(AI)技术发展迅速，其在病理、影像以及内镜检查等领域展现出显著优势[8]。如在HE染色切片中，具有不同病理特征的组织区域中存在着很多细微差异，这些差异很难通过肉眼识别，但可以通过计算机的图像分析系统进行识别。例如SHARMA等[9]利用AI算法中的深度卷积神经网络(DCNN)完成了基于HE染色病理切片的胃癌HER-2阳性和阴性肿瘤分类。AI技术已被充分证实可用来深度挖掘图像特征，辅助临床医生做出决策，提高诊断效率。

病理大切片是一种非常规的病理切片，其可将标本中的信息最大化保留，并降低了拼接误差，可减少取材造成的偏倚，更有利于神经网络的训练。目前尚未有基于病理大切片数字图像的AI辅助诊断脉管癌栓的研究报道。本研究首先建立了直肠癌病理大切片数字图像数据库，并利用该数据库构建了直肠癌脉管癌栓预测的DCNN模型(以下简称模型)，并进行了训练和验证，旨在辅助临床医生在没有进行免疫组化检测的情况下能够更高效和准确的判断脉管癌栓。

1 材料与方法

1.1 材料来源

选取青岛大学附属医院(西海岸院区、市南院区以及崂山院区)2019年1—10月确诊为直肠癌的患者175例。纳入标准：术前均经肠镜活检进行了确诊并经手术者；排除标准：曾经行新辅助治疗者、存在远处器官转移者、并发其他恶性肿瘤者、行姑息手术者。

1.2 病理大切片的制作及分组

收集175例患者术中切除的病理标本，固定于40 g/L的甲醛溶液中，完整切取每例患者标本自肠腔至系膜切缘肿瘤组织(沿与肠管纵轴垂直方向)，经脱水、包埋后制成病理大蜡块，使用平推式大切片机[Leica SM2010R，徕卡显微系统(上海)贸易有限公司]将每个蜡块先切片1张，置于65 ℃烤片机烤片10 min，HE染色后制成病理大切片，由1名高年资病理医师对病理大切片进行初步筛选，排除非腺癌(包括黏液腺癌、印戒细胞癌、未分化癌、腺鳞癌、鳞状细胞癌、小细胞癌、髓样癌)以及取材或制作过程中质量较差者。最终有160例患者的病理大切片纳入研究。

对160例患者病理大切片按照就诊的院区不同分为内部数据集(西海岸院区)120例和外部数据集(市南+崂山院区)40例，采用随机数字表法将内部数据集患者按7∶3比例分为训练组(84例)和测试组(36例)。收集所有患者的性别、年龄、肿瘤TNM分期、肿瘤标志物、HE染色结果及免疫组化病理报告等临床基本资料，内部数据集和外部数据集临床基本资料比较差异均无显著性(P>0.05)，可以进行后续实验(表1)。

1.3 数字图像的获取及图像标识

将160例患者的病理大蜡块以3～5 μm厚连续切片，每个蜡块切片15张，均制作成病理大切片并进行HE染色。使用切片扫描仪(NI-U，日本株式会社尼康)放大100倍对切片进行扫描，共获得内部数据集数字图像1 800张和外部数据集数字图像600张，其中内部数据集中的训练组1 260张，测试组540张。由2位高年资病理医师分别使用ASAP软件对内部数据集中的训练组数字图像勾画感兴趣区域(ROI)，即癌区，并由第3位病理医师确保癌区勾画及脉管癌栓判断的准确性。

1.4 数字图像的预处理

训练组的数字图像随机裁剪成512×512像素大小的图像小块后，对每小块图像均进行90°、180°随机旋转和水平、垂直平面随机翻转，以及随机缩放和仿射变换，通过z-score的归一化使每一小块图像的像素值均服从标准正态分布。预处理过程没有使图像发生几何变形，而是保留了数字图像中原有的纹理、颜色、形态特征以及原始亮度、对比度和强度。测试组和外部训练集中的数字图像仅仅是随机裁剪成为512×512像素大小的图像小块，不再进行后续处理。

表1 内部数据集与外部数据集临床基本资料比较[例(χ/%)]Tab.1 Comparison of basic clinical information between internal and external datasets [n(χ/%)]

1.5 模型训练及测试

本研究所构建的直肠癌脉管癌栓的AI辅助病理诊断模型由DeepLabV3+语义分割模型和ResNet50分类模型构成。首先将训练组预处理后的图像小块输入DeepLabV3+语义分割模型中，使用空洞卷积提取并生成图像的低级别特征，由空洞空间池化金字塔生成高级别特征，两者级联后将所提取的图像特征及其标签输入ResNet50分类模型中，使用随机梯度下降法计算神经网络中的各种超参数，并优化损失函数(loss)值。对训练组中的数据进行阶段学习，基础学习率为0.001，上采样倍率为4，骨干网络X-ception65具有65个网络层。训练完成后将裁剪后的测试组图像输入模型中进行测试，由Deeplabv3+语义分割模型分割ROI，然后将包含ROI区域的图像小块输送入ResNet50分类模型中，根据loss曲线预测脉管癌栓阳性或阴性，如果整张数字图像中有任意小块图像被预测为脉管癌栓阳性，则该小块图像对应的患者则被评估为脉管癌栓阳性患者。

1.6 模型的验证

使用外部数据集的数字图像对模型进行验证。将模型预测的阳性和阴性结果与患者术后病理医师出具的病理报告中的脉管癌栓结果对比，绘制受试者工作特征(ROC)曲线和精度-召回率(PR)曲线，计算模型验证的准确率、精准率、灵敏度、特异度、ROC曲线下面积(AUC)值、RP曲线下面积(AP)值等指标，同时记录图像的识别时间。随后，2位病理医师对外部数据集的数字图像进行观察并判断脉管癌栓结果，将其结果与病理报告中的脉管癌栓结果比对，计算诊断准确率、灵敏度和特异度，同时记录阅片时间。

1.7 统计学分析

采用SPSS 23.0软件对数据进行统计分析，采用Python 3.8编程软件获取AI机器学习结果。采用Pearson卡方检验、Fisher精确检验或者Mann-WhitneyU检验对分类变量进行比较；采用两独立样本t检验对连续变量进行比较。采用AUC和AP来评估模型性能。以P<0.05为差异具有统计学意义。

2 结 果

2.1 模型训练和测试结果

由评估训练结果的loss曲线可知，模型在训练过程中loss值得到不断地优化，曲线逐渐收敛，经过3 000次迭代训练后，loss值达到最小，表明模型达到最高诊断性能(图1)。

经测试组中数字图像对模型的诊断性能进行测试后，绘制的ROC曲线及PR曲线结果显示，模型测试的准确率为85.2%，精准率为83.8%，灵敏度为84.6%，特异度为84.8%，AUC值为0.83，AP值为0.80。见图2。

图1 模型训练损失曲线Fig.1 The training loss curve of the model

2.2 模型的验证结果

将外部数据集的数字图像输入模型后，绘制的ROC曲线及PR曲线结果显示(图3)，验证的准确率为84.7%，精准率为83.1%，灵敏度为84.3%，特异度为84.1%，AUC值为0.82，AP值为0.78；每张图像的平均诊断时间为0.2 s，医师通过每张HE染色数字图像的平均诊断时间为30.0 s，两者比较差异具有显著性(t=-73.84,P<0.05)。医师通过阅读HE染色数字图像对脉管癌栓诊断的准确率为76.3%，灵敏度为77.8%，特异度为75.8%，上述指标与DCNN模型比较，差异均具有显著意义(χ2=5.028～6.842,P<0.05)。

A：ROC曲线，B：PR曲线图2 模型在测试组中的ROC曲线及PR曲线Fig.2 The receiver operating characteristic curve and precision-recall curve of the model in the test group

A：ROC曲线，B：PR曲线图3 模型在外部数据集的ROC曲线及PR曲线Fig.3 The receiver operating characteristic curve and precision-recall curve of the model with external dataset

3 讨 论

许多研究结果显示，早期直肠癌有8%～20%淋巴结转移的可能性和超过10%的复发率[10]，其中脉管癌栓可能是早期肿瘤淋巴结转移的高危因素之一[11-13]。另有研究表明，除肿瘤TNM分期外，许多临床病理学特征也会影响肿瘤患者的预后，临床上需要其他的一些病理学特征，如肿瘤出芽、脉管癌栓等来辅助判断肿瘤的恶性程度[14]。脉管癌栓作为影响患者生存的独立危险因素[15]和高危病理特征，无论术前还是术后对其准确判断都十分必要。

由于传统HE染色对组织中癌细胞周围细胞间隙和真正的癌栓无法准确鉴别，存在误诊或漏诊可能，目前脉管癌栓的诊断主要依靠免疫组化染色技术。然而，脉管癌栓的检测工作量比较大，观察者之间的判定存在差异性[16]，且免疫组化技术费用高、耗时长(5～7 d)，因此需要更加便捷快速、低成本的检测方法。近年来，AI在识别疾病亚型和组织形态特征方面表现出独有的优势，可以有效整合多种图像特征，并有自动化检测生物标志物的潜能。美国斯坦福大学建立的直肠癌相关微卫星不稳定(MSI)的预测模型[17]，通过鉴别HE染色的全玻片扫描图像(WSI)完成MSI的预测，并将该模型的性能与经验丰富的病理专家进行比较，显示出了其强大优势(AUC：0.865 vs. 0.605)。另一方面，AI技术不仅可以大幅提高诊断效率，而且其稳定性和客观性还可以弥补各级医院诊疗水平参差不齐的不足。

本研究所建立的直肠癌脉管癌栓的AI辅助病理诊断模型，是由DeepLabV3+语义分割模型以及ResNet50分类模型构成。DeepLabV3+语义分割模型在先前的研究当中已被证实具有良好的特征提取以及图像语义分割能力，而ResNet50作为经典的图像分类模型，被广泛用于目标分类等领域[18-19]，因此本研究选择了二者用于图像的分析和处理。在图像分析之前，首先对训练组的图像进行了预处理，以使其更加适合AI训练，同时通过将原始图像裁剪为大量512×512像素大小的小块，从而进一步扩充了数据集。在经过训练组图像进行建模以及测试组图像对模型初步测试后，本研究又纳入来自不同院区的患者作为外部数据集来检验该模型的泛化能力。验证结果显示，本模型与病理医师人工HE染色阅片结果相比，准确率、灵敏度和特异度均显著提高，诊断时间显著缩短，说明模型性能表现良好，在脉管癌栓的诊断方面有望超越人工HE染色阅片，可以在一定程度上辅助临床医生做出决策。

与小切片相比，病理大切片可以清晰地显示出肿瘤整体结构及其与周围组织的关系，同时避免了多张小切片拼接时产生的误差，已在前列腺癌、乳腺癌、胰腺癌等的诊断中显示出了不同的优势[20-22]。在脉管癌栓诊断方面，病理大切片的应用会减少因取材位置不同(如癌区和癌旁)导致的诊断结果的差异[23]。此外，成本效益分析表明，在制作方面小切片比大切片的采样成本更高[24]。但是，由于大切片的制作过程复杂，操作难度大，目前还未进入常规病理诊断流程，因此其临床实用性还需要进一步研究和探讨。

本研究的局限性主要体现在：①样本量较少。临床中脉管癌栓的发生率较低，而且本研究未纳入经新辅助治疗的患者，因为这类患者脉管癌栓发生率更低，肿瘤组织形态可能改变，会增加模型训练难度，从而导致阳性数据偏少。②模型的临床实用性需进一步验证。本研究使用的是大切片数字图像，未纳入小切片数字图像来对模型进行验证，故并未在临床实践中进行试验和应用。③模型的诊断性能有待提高。对模型进行内部测试和外部验证发现，其准确率、精准率、灵敏度和特异度等评价指标并未达到100%，因此目前该模型若作为一个独立的诊断工具来使用，还有待进一步完善。后续将纳入多中心的更多样本来扩充数据和训练模型，并纳入小切片数字图像来进一步验证其临床实用性，辅助临床医生实现1+1>2的效果。

综上所述，本研究使用病理大切片数字图像构建了直肠癌脉管癌栓预测的DCNN模型，该模型与人工HE染色阅片相比拥有较高的诊断能力，在辅助临床医生诊断直肠癌脉管癌栓方面具有一定的可行性。

利益冲突声明：所有作者声明不存在利益冲突。

ConflictsofInterest： All authors disclose no relevant conflicts of interest.

伦理批准和知情同意：本研究涉及的所有试验均已通过青岛大学附属医院医学伦理委员会的审核批准(文件号QYFYWZLL26318)。所有实验过程均遵照《涉及人的生物医学研究国际伦理准则》的条例进行。受试对象或其亲属已经签署知情同意书。

EthicsApprovalandPatientConsent： All experimental protocols in this study were reviewed and approved by The Medical Ethics Committee of The Affiliated Hospital of Qingdao University (Approval Letter No. QYFYWZLL26318), and all experimental protocols were carried out by following International Ethical Guidelines on Biome-dical Research Involving Human Subjects. Consent letters have been signed by the research participants or their relatives.

作者贡献：鞠宜衡、卢云、赵鹏参与了研究设计；鞠宜衡、郑龙波、张宪祥参与了论文的写作和修改。所有作者均阅读并同意发表该论文。

Contributions： The study was designed byJUYiheng,LUYun, andZHAOPeng. The manuscript was drafted and revised byJUYiheng,ZHENGLongbo, andZHANGXianxiang. All the authors have read the last version of the paper and consented submission.