影像组学和深度学习在肝移植影像中的应用

王菜琼，杨斌

0 前言

全球最新癌症负担数据显示，肝细胞癌（hepatocellular carcinoma, HCC）发病率约41%，排名第5 位；根据2020 年男女癌症死亡率的研究显示，HCC 在前五大死亡原因中排第二，其发病率在全球范围内呈上升趋势[1]，已严重威胁人类健康。肝移植（liver transplantation, LT）是终末期肝病的主要治疗方式[2-3]，终末期肝病主要包括HCC 及肝硬化等，随着LT 在全球的迅速发展，每年接受LT 的患者越来越多，终末期肝病患者的存活率也逐年上升，但是这也面临着一定的挑战，一方面，对供体的需求持续远远超过现有的捐献者[4]，另一方面，LT 后患者的存活率及预后也是一大挑战，LT 后肿瘤复发、转移及各种并发症的出现一直是影响疗效的主要因素[5-7]。影像学在LT 的应用包括术前供受体评估、术后并发症监测、出院后随访，如何更早期、有效地诊断术后并发症，减少其发生率是临床主要关注的话题。LT 后并发症主要包括血管并发症、胆管并发症、肝实质并发症及术后感染等[8-9]。

血管并发症主要包括肝动脉血栓形成或血管狭窄及门静脉血栓形成[10]，数字减影血管造影是诊断肝动脉并发症的金标准，但其为侵入性检查；超声简单无创，但其敏感性及特异性稍低，且操作者依赖性较强；CT作为无创性检查可用于LT后并发症评估，其中CT 血管造影能较好地显示血管完整性及血管狭窄。门静脉血栓的诊断主要依靠超声及CT增强检查，床旁超声是诊断早期门静脉血栓的首选检查方式，相比之下，CT及MRI对血管并发症的诊断准确性更高，通常价格实惠的CT被作为静脉并发症的优选检查。胆管并发症包括胆管狭窄、胆瘘、胆泥形成、胆管结石等，其中胆管狭窄较常见[11]。胆管并发症的诊断金标准为胆道介入造影，但其为有创性检查；磁共振胰胆管造影（magnetic resonance cholangiopancreatography,MRCP）对胆道显示较清楚，常作为优选检查；胆管结石使用超声即可诊断。肝实质并发症主要包括肝癌复发、肝脓肿和肝内血肿，CT 及MRI 对肝脏疾病的诊断准确率优于超声[12]。术后感染主要是由于LT 术后患者免疫力下降导致的肺部感染[13]，常通过胸部CT进行诊断。为了提高患者的存活率及改善预后，预防并发症的产生，许多学者基于影像组学和DL 模型对LT 术后HCC 进行了大量预测研究，其中较多研究基于临床因素和CT 图像结合影像组学及DL 对LT 术后HCC复发进行预测，基于超声、MRI、PET图像的预测研究较少。虽然基于CT影像组学对LT术后HCC的预测研究相对成熟，但DL相关的研究较少，且目前没有系统性综述对基于影像图像结合影像组学及DL对LT术后并发症预测研究的探讨。本文将从基于超声、CT、MRI、PET 的影像组学及DL 模型在LT 方面的应用作一综述，分析现阶段预测模型的优势、不足与未来发展方向，帮助LT术后患者的精准个体化治疗，减少术后并发症，提高患者生存率及改善预后。

1 影像组学及DL的概述

基于对图像信息进行纹理分析后能够得到高通量特征的特点，受基因组学以及肿瘤异质性的启发，2012年荷兰学者LAMBIN在之前学者工作的基础上提出了影像组学的概念[14]，这个概念提出后迅速被越来越多的学者改进与完善。影像组学是一个不断发展的领域，与从图像中提取特征有关，它将医学图像自动分类到预定义的组中。该过程包括一系列连续的步骤，包括图像采集和处理、感兴趣区域的勾画、特征提取和分类模型的构建。在此过程中计算的特征主要是形状特征，以及一阶和高阶纹理特征[15-16]。人工智能（artificial intelligence, AI）一词由达特茅斯学院的John 于1956 年提出[17]，AI 是一组基于先进计算算法的系统，可以从大量数据中准确地进行推理学习。AI属于数据科学领域，包括经典编程和机器学习（machine learning, ML），ML 包含许多模型和方法，包括DL 和人工神经网络（artificial neural network, ANN）[18-19]。DL 算法是另一种快速发展的技术，被认为是医学图像分析领域用于检测、表征和评估病变的宝贵工具，该算法涉及多层神经网络的构建，其中主要包括卷积神经网络[20-21]。

影像组学提取传统的图像特征，包括形状、灰度、纹理等特征，采用传统统计模型来分类和预测，如支持向 量 机、随 机 森 林、XGBoost（eXtreme Gradient Boosting）等[22]；而DL 则直接使用卷积神经网络来提取特征，来完成分类和预测。DL 在完成模型训练后，可以实现影像全自动分析，这是相比影像组学的最大优势之一，但是DL要求巨大的数据量，数据量可能是影像组学的十倍或百倍以上[23]，而大多研究数据量都是有限的。为了解决DL 数据量不够的问题，有学者提出了将DL网络输出特征与影像组学中的经典分类器结合，这些研究结果表明，结合DL 特征，能够在有限的训练数据集上进一步提升影像组学分类或预测的准确性和可靠性[24-25]。因此，影像组学和DL之间的关系是互补的。由于影像组学不断增长的高维特性，其领域需要更强大的分析工具，DL 凭借其强大的功能，能实现这一目标。此外，在医学图像分析中，DL 应用不可避免地需要影像组学，因为用于训练和构建DL 模型的指标是通过影像组学方法提供的，特别是特征提取和特征选择技术。总之，DL 和影像组学都是两种快速发展的技术，它们可能在未来联合起来产生一个统一的临床决策支持框架，有可能彻底改变精准医学领域[26]。

2 基于不同影像学方法的影像组学和DL技术

2.1 超声检查

移植后淋巴组织增生性疾病是小儿实体器官移植后最常见的恶性肿瘤之一，超声是浅表淋巴结疾病的首选影像学方法，但是超声对于移植后淋巴组织增生性疾病和反应性增生淋巴结鉴别较困难。袁瑶等[27]回顾性分析小儿LT 后经病理证实的112 例移植后淋巴组织增生性疾病及93例淋巴结反应性增生患者颈部增大淋巴结的二维超声图像，提取118个影像组学特征构建了随机森林、支持向量机、决策树及逻辑回归4个模型，并比较常规超声与四个模型的诊断效能，发现随机森林模型的诊断效能最好，其模型曲线下面积（area under the curve, AUC）为0.816，优于常规超声（AUC 为0.613），随机森林模型的敏感度、特异度及准确度分别为95.7%、68.6%及86.0%。这一结果表明，基于超声影像组学的随机森林模型可以对小儿LT后淋巴组织增生性疾病和淋巴结反应性增生进行鉴别诊断。虽然该影像组学模型的AUC、敏感度及准确度均较高，但是该研究的样本量较小，可能会导致模型效能较高的假象。因此，还需扩大样本量且进行多中心研究以验证该模型的效能，此外，移植后淋巴组织增生性疾病也会发生于成年人，也应该将成年人纳入研究。LT 后的患者并发症较常见的是胆管和血管的并发症，包括吻合口胆管狭窄及非吻合口胆管狭窄、门静脉血栓形成、肝动脉血栓形成等[28-30]，随着LT 技术的不断提高，门静脉血栓和肝动脉血栓形成的发生率逐年降低。MRCP 对于胆管狭窄的诊断效能优于超声。超声对于门静脉血栓的检出率较高，但因超声对检查者的依赖性较强，可能会出现漏诊的情况，CT 增强对于门静脉血栓和肝动脉血栓显示较清晰，所以CT 增强相对于超声对血管血栓形成诊断效能更高。此外，CT 增强对于门静脉血栓和癌栓具有一定的鉴别能力[31]，这将有助于临床医生治疗方案的选择。超声是LT患者最常见的床旁检查、术后随访检查方式。对于LT 术后患者胆管及血管的评估，超声是最实用、方便的非侵入性检查方式[32]。基于CT 及MRI 影像组学及DL 对LT 术后HCC 复发的预测研究越来越多，而因超声对LT术后患者HCC复发及并发症的诊断具有一定的局限性，因此基于超声影像组学及DL对LT术后HCC复发及并发症诊断及预测方面的研究尚没有，相关研究有待提出及实行。未来基于超声AI 对LT 术后复发及并发症预测研究的增加，将有助于患者术前的风险分层，帮助临床医生对患者进行个体化治疗。

2.2 CT检查

中晚期HCC 是LT 的适应证，但并非所有的中晚期HCC 患者都适合LT 手术，且LT 术后HCC 复发率较高，其五年复发率可达60%～80%[33]。LT 器官紧缺，为了实现合理分配器官，许多学者对LT术前HCC复发进行了预测研究。JI等[34]回顾性分析了来自三个医院的470 名接受孤立性HCC 根治性切除术和增强CT 的患者，训练集包括210名患者，使用聚合ML框架，基于从原发肿瘤及瘤周提取的3384个影像组学特征生成影像组学标签并采用了Cox回归模型来建立预测模型。内部验证集和外部验证集分别包括107 名患者和153 名患者。该研究建立了两个模型，术前模型分析了血清甲胎蛋白（alpha-fetoprotein, AFP）水平、白蛋白-胆红素分级、肝硬化程度、肿瘤边缘情况、影像组学特征，术后模型除了上述预测因子还将卫星结节纳入其中。与无影像组学和广泛使用的分期系统的竞争模型相比，该研究的两种模型的预后预测性能更好，一致性指数（concordance index, C-index）为0.733～0.801，综合Brier 评分为0.147～0.165。此外，他们还给出了三个具有不同复发模式的复发风险分层。该研究表明当结合临床数据时，影像组学标签有望准确预测个体复发风险，从而促进个体化的HCC管理。该研究为大样本多中心研究，且进行了内部验证和外部验证，该研究的研究对象是接受孤立性HCC 根治性切除术的患者，而不是接受LT 术后的患者，我们可以参考该研究对LT 术后患者HCC 复发进行预测并进行高风险分层，对高风险患者进行早期干预。基于以上研究，GUO 等[35]建立了结合临床因素和增强CT 影像组学特征的组合模型以预测LT后HCC 复发。通过在CT 图像上提取影像组学特征，该研究评估了影像组学特征与无复发生存期（recurrence-free survival, RFS）之间的关联。该研究发现，与HCC复发相关的稳定影像组学特征仅在动脉期和门静脉期被发现，基于动脉期影像组学特征的预测模型比门静脉期或动脉期和门静脉期联合模型的预测性能更好。由影像组学特征和临床危险因素组成的联合模型的影像组学列线图显示，RFS 具有良好的预测性能，训练集的C-index为0.785，验证集的C-index 为0.789，校准曲线在训练队列（n=93）和验证队列（n=40）均显示一致。该研究经过多变量分析发现临床模型中有效的预测因子包括乙型肝炎病毒表面抗原水平和巴塞罗那分期系统。经动脉化疗栓塞 术（transcatheter arterial chemoembolization,TACE）是临床上不可切除HCC的首选治疗方式，但HCC患者TACE 术后仍然存在复发风险；在LT 前进行TACE可避免HCC 进展或可将患者从LT 等待名单中退出。由于LT 费用昂贵，临床上大多数患者LT 前均接受了TACE 治疗。IVANICS 等[36]回顾性分析了88 名TACE 术前患者的CT 增强图像，建立基于CT 增强图像的影像组学模型以预测TACE 术前的HCC 患者LT 后肿瘤复发。提取患者动脉期和门静脉期的HCC 最大体积的影像学特征，构建了三个预后模型，即动脉期、静脉期和组合模型，其AUC 分别为0.70±0.07、0.87±0.06 和0.81±0.06，该研究表明接受LT 的HCC 患者的TACE术前影像组学模型可能是预测不良结局的有用工具。此外，动脉期特征可能对HCC肿瘤复发具有更好的预后预测性能[35]，但该研究发现，与动脉期模型和联合模型相比，门静脉期模型的AUC 是最高的，其效能最好，这与之前的研究结论相反，研究者认为这可能是由于少数HCC 不具有典型的快进快出的强化方式有关。虽然该研究AUC 较高，但是样本量较小，需要以更大的样本量进行进一步的外部模型验证。与其他研究不同，该研究中患者LT 前接受了TACE 治疗，但该研究未指出是否TACE 治疗患者LT 后较没有TACE 治疗的患者预后更好。AFP 水平是HCC的肿瘤性标志物，GALDINO-VASCONCELOS 等[37]回顾性研究了162 例LT 患者，结合移植前AFP 水平和肿瘤影像学参数对LT 术后肿瘤复发进行了预测，得出结论：移植前AFP≥30 ng/mL 和影像学肿瘤总直径≥5 cm 是HCC 复发的独立预测因素；移植前AFP≥150 ng/mL 与受体死亡率独立相关。我们可以基于该研究结合临床因素（AFP 水平）和影像学特征（肿瘤总直径）建立影像组学模型对HCC 患者LT 后肿瘤复发进行预测。综上总结发现，基于CT 增强图像建立影像组学预测模型的AUC 在0.70～0.90 之间；这些研究均集中于LT 术后肿瘤复发的预测；大多数研究表明单独临床模型或单独影像组学模型的AUC 均不如两者联合模型高；大多研究中ROI 的勾画是人工手动勾画，少数为半自动勾画；大多数研究都表明了独立危险因子，其中AFP 是各研究中共有的；此外，大多数研究是小样本单中心性研究。因此，未来应该扩大样本量并进行内部和外部验证，相信未来这些研究将在改善HCC 患者的LT 决策方面提供帮助。

2.3 MRI检查

由于基于肿瘤大小的临床分配政策，HCC 直径小（＜5 cm）的患者在移植候选时优先于其他患者。为了从普遍认为只有小肝癌患者才能成功实现移植且具有更长的无病生存期转变为肿瘤负荷较高（＞5 cm）的HCC患者，HE等[38]回顾性研究了109个病例，开发了一种结合DL的预测模型，该模型将临床数据、组织病理学特征和MRI影像学特征相结合建立了七个模型，对HCC 患者的LT 风险进行评估。不同模型的AUC 分别为0.55（仅包含临床特征）、0.64（仅包含MRI 特征）、0.64（仅包含病理学特征）、0.68（MRI+病理学特征）、0.78（MRI+临床特征）、0.77（病理学+临床特征）和0.87（临床+MRI+病理学特征结合模型）。最终结合模型召回率为80%，准确率为89%，总准确率为82%。该研究验证了结合临床特征、多参数组织病理学和影像学图像特征的DL模型可用于预测肿瘤大小和生物标志物分析以外的复发风险因素。这种预测性的AI 模型有可能改变HCC 患者的LT 分配系统，并将移植治疗候选者扩大到肿瘤负担较高的HCC 患者。相比之前的研究，该研究的创新点是新增了病理学特征（分期和微血管状态），摒弃了对肿瘤大小和AFP水平这两项风险因子的分析，提高了模型的效能，但需要进一步扩大样本量来验证预测模型的可行性。随着MRI 正在成为HCC 诊断和监测中更常用的成像方式，未来的工作应该评估基于MRI影像组学的实用性和稳定性。

2.4 PET检查

MIAO 等[39]构建了基于氟代脱氧葡萄糖（fluorodeoxyglucose, FDG）PET/CT 代谢参数的模型，预测LT 后HCC 的早期复发。他们共纳入了62 例肝癌LT 术后患者，随访期为1 年。收集基本的临床、病理和实验室数据、CT 特征和PET/CT 代谢参数用于模型构建。建立了无代谢参数的CT特征列线图和有代谢参数的PET/CT代谢参数列线图。计算了两种模型的净重分类指数和综合歧视改善。将构建的模型与米兰标准和加州大学旧金山分校（University of California San Francisco, UCSF）标准进行了比较。在随访期间62 名患者中只有1 名出现肿瘤复发，与之前基于CT 和MRI 的研究相同，复发病例数较少，复发率大多不超过10%。结果显示PET/CT代谢参数列线图在每个时间点上的AUC 值均高于米兰准则和UCSF标准。该研究表明结合临床资料、病理资料、实验室资料、CT 特征和PET 代谢参数的列线图，在预测LT 后HCC 早期复发方面性能较好且具有较高的临床实用性，但是该研究样本量较小，有待更大样本量的研究进行验证。此外，ZUCCHETTA 等[40]构建了基于FDG PET/MRI 的预测模型来预测LT 术后肿瘤复发，PET/MRI 预测模型的敏感度、特异度、阳性预测值、阴性预测值和准确度分别为100%、94%、91%、100%和96%，但是，该研究的样本量较小，仅有26 例样本，其预测模型的效能可能存在偏倚。此外，在HCC 分期中，FDG PET/MRI 尚未被发现比MRI 具有更好的诊断性能，这可能是因为FDG 的敏感性较低，尤其是在高分化肿瘤的情况下[41]。在LT患者中，用于预测HCC复发的基于超声、MRI 和PET 的预测模型的研究仍然很少，主要集中于CT 检查。影像组学及DL 可能有助于许多合并症的自动化风险分层，以便进一步进行风险评估和患者管理。

3 小结及展望

鉴于影像组学和DL 方法地快速发展，AI 在医学影像中的应用越来越广泛，主要应用于肿瘤复发预测，疗效评估等[42-43]。在LT 研究中AI 前途无量，在整个LT 决策过程中发挥着重要作用。尽管前景光明，AI 的普及仍具有挑战性。第一，AI 在相同的训练条件（如人口统计、地点、设备）下表现良好，当训练条件不同时表现也不同，这使临床工作者对AI 的可行性提出了质疑[44]。超声、CT、MRI、PET 是不同的成像方式，其成像原理及成像参数不同，人工手动勾画ROI 时会产生差异，并且MRI 序列众多，不同的序列也会导致模型产生不同的结果。因此，在将AI 应用到新环境中时，可能需要针对特定设备进行准确预测的训练。这需要包括存档系统和电子健康记录在内的基础材料，而这些基础材料很难完整地被收集和提取。如果研究人员在未来的研究中使用多机构数据集，管理医学图像的模型，例如用于评估健康监测的系统，可能会解决这一普遍性问题[45]。因此为了使AI 算法真正可推广，应该创建全球互连的患者数据网络来训练不同人口统计、地区和疾病的AI 模型。第二，迄今为止大多数研究的样本量有限且多为单中心研究，需要更大的多中心研究来确定算法的准确性[46]。此外，当数据丢失时，会造成选择偏倚等。第三，目前影像组学及DL 结合影像学及临床特征的研究多集中于预测HCC 患者LT 术后肿瘤复发。肝硬化患者LT 术后不会出现肿瘤复发的情况，预后较HCC 患者好，因晚期肝硬化而接受LT 的患者可能会越来越多[47]，如我院因肝硬化而接受LT的患者较HCC 多。但目前对于肝硬化患者LT 术后的研究尚没有，影像组学是针对肿瘤异质性的研究方法，能否将肝硬化患者的全肝当作一个ROI 进行全肝勾画还有待研究；胆管狭窄也是影响患者预后的较常见的因素，希望以后关于LT 术后并发症预测的研究越来越多，以帮助患者的风险分层，帮助临床医生对患者采取个体化治疗。第四，患者LT 术后均会出现排斥反应[48-49]，这关系到移植手术的成功与否及患者的预后，是临床医生最关心的问题，影像学是否能评估LT 术后排斥反应并进行危险分层，但目前尚无该方面的研究。第五，基于影像组学对肿瘤异质性的研究相对成熟，但基于DL 的研究相对较少，这是因为DL 需要巨大的样本量，且具有不可解释性[50]。目前影像组学与DL 结合的相关性研究越来越多，希望影像组学与DL 通过互补为患者LT 预后研究带来福音[51-52]。

综上所述，基于各影像学检查的影像组学与DL在预测HCC 患者LT 术后的大部分研究的AUC 均能达到0.70及以上，联合临床、病理学及影像学特征的预测模型较单独的预测模型效能更高。通过挖掘医学图像中放射科医生肉眼无法识别的特征，有助于LT患者的个体化治疗，减少HCC 患者LT 术后复发，进而提高患者生存率，改善患者预后。我们相信，随着时代的进步，影像组学及DL的使用会更加广泛，研究也会更加深入，其可解释性也会逐渐改善，各种挑战终将被逐一解决。

作者利益冲突声明：全体作者均声明无利益冲突。

作者贡献声明：杨斌设计本研究的方案，对稿件重要的智力内容进行了修改；王菜琼起草和撰写稿件，获取、分析或解释本研究的数据/文献；杨斌获得了云南省科技厅重大专项计划、云南省“兴滇英才支持计划”青年人才专项、云南省器官移植中心临床医学中心专项课题、昆明市卫生科技人才培养项目“十百千”工程人员项目、2023 年度昆明市卫生科技人才培养项目（医学技术中心）资助；全体作者都同意发表最后的修改稿，同意对本研究的所有方面负责，确保本研究的准确性和诚信。