基于人工智能的PET/CT影像组学在临床肿瘤诊疗中的研究进展

陈 雯 ，聂生东，宋少莉

1.复旦大学附属肿瘤医院核医学科，复旦大学上海医学院肿瘤学系，上海 200032；

2.复旦大学生物医学影像研究中心，上海 200032；

3.上海分子影像探针工程技术研究中心，上海 200032；

4. 复旦大学核物理与离子束应用教育部重点实验室，上海 200433；

5.上海理工大学医学影像工程研究所，上海 200093

影像组学分析是肿瘤影像学领域新兴的分析技术，可从医学图像中挖掘医师人眼不易感知的生物学特征以及与临床问题密切关联的各类影像学特征。以深度学习（deep learning，DL）为代表的人工智能（artificial intelligence，AI）技术是目前医学数据或影像分析中广泛应用的智能分析技术，可用于临床诊断、治疗及预后预测所涉及的各类影像分析任务。正电子发射体层成像（positron emission tomography，PET）/计算机体层成像（computed tomography，CT）是临床肿瘤领域中得到广泛应用的成像方式，把功能与解剖结构成像相结合，可反映与细胞坏死、缺氧等密切相关的形态与代谢信息，以非侵入的方式显示肿瘤内部的异质性和治疗引起的变化，为诊断提供补充信息。目前，基于AI技术的PET/CT影像组学已广泛应用于临床，包括神经疾病［1］、心血管疾病［2］和胰腺癌［3］等，有助于充分挖掘医学图像在疾病检测、诊断和预后预测等方面的价值。例如，Ou等［4］初步评估了PET/CT影像学特征区分乳腺癌与乳腺淋巴瘤的能力。Li等［5］利用PET/CT影像学特征鉴别疑似复发性急性白血病患者的髓外病变。Kang等［6］纳入381例手术切除的结直肠癌患者以确定PET/CT的影像学特征对患者风险分层的预后预测价值。然而，目前对PET/CT的研究分析中有关影像组学与AI的综述仍相对较少。为了帮助肿瘤学领域医师和医学图像分析领域的研究者进一步深化PET/CT影像组学分析的研究及临床应用，本文对PET/CT影像组学分析的已有研究进行整理及综述。具体主要包括以下工作：① 概述影像组学分析的两类主要研究思路与方法；② 概述PET/CT影像组学分析在临床肿瘤领域的主要应用及研究进展；③ 总结并展望目前该领域面临的挑战及未来研究方向。

1 研究思路与方法

基于AI的PET/CT影像组学分析主要根据不同临床任务对临床回顾性数据进行定量化挖掘，以便构建临床问题的预测模型。根据实验思路的不同，PET/CT影像组学分析可以分为两大类。第一类方法基于传统机器学习（machine learning，ML）而实现，主要包括3个步骤：首先，在手工标注或AI自动分割得到的PET/CT图像的肿瘤区域中计算高通量影像学特征；其次，基于特征选择技术从中选择与临床问题显著相关的少量特征；最后，基于AI技术构建临床问题的预测模型。此类方法可以显式地筛查出与临床问题相关的关键因素并构建预测模型。第二类方法基于目前流行的DL技术而实现，其自动完成临床问题相关的特征选择及预测模型的构建，但是这类方法通常要求有较大的临床回顾性数据集用于训练，其特征选择及预测模型构建过程都是黑箱操作，难以理解及解释。这两类方法主要实现思路如图1所示。基于传统ML的影像组学通过高通量特征提取和统计学方法分析PET/CT中肿瘤的影像学特征，其包括预处理、分割、特征提取与优化、统计学分析与建模共4个步骤。分割是提取特征的前提。特征提取与优化旨在获得用于建模的最佳特征集。分类、回归（聚类分析、支持向量机等）、时间相关模型（Kaplan-Meier生存曲线、Cox比例风险等）是临床所建预测模型的三大常见类型。基于DL的影像组学无须精确分割肿瘤区域、无需根据先验知识预先定义高通量特征集合。临床问题相关的关键特征可利用不同的DL网络架构自动提取与优化。基于这些特征，网络可用黑箱预测模型直接进行分析和决策，或者基于这些特征及不同的传统ML分类器（如支持向量机、随机森林或决策树等）构建预测模型，作出分类、决策。为了更有效地提取临床任务的所有相关特征，有时会把来自于传统影像组学的特征及来自于DL技术的特征进行组合，用于DL分类或传统ML技术的分类决策，这会进一步改善分析结果。

图1 PET/CT影像组学的研究思路

2 临床研究进展

我们将围绕肿瘤检测、肿瘤诊断、肿瘤治疗及预后评估等不同的临床任务，对PET/CT影像组学在临床上的应用分别予以介绍。

2.1 疾病检测

有研究［7］从268例肺癌筛查人群的CT、薄层CT、PET和PET/CT图像中提取4 338个病灶特征，用最小绝对收缩与选择算子（least absolute shrinkage and selection operator，LASSO）方法筛选出4个影像学特征，采用多变量logistic回归建立了一种基于影像学特征与人工诊断相结合的影像组学预测列线图，以降低PET/CT在筛查中的假阳性率。其结果，与人工诊断相比，该方案可在不影响诊断准确度的前提下降低71.4%的假阳性，且受试者工作特征（receiver operating characteristic，ROC）曲线的曲线下面积（area under curve，AUC）高达0.92，体现了传统ML影像组学降低PET/CT肺癌筛查假阳性的潜力，也揭示了临床经验作为改进影像组学诊断方法的重要性。但仍需尝试评估纳入其他临床信息是否会提高该方案的性能，继续纳入多中心研究来建立影像组学和临床经验之间的理论联系。

为开发独立的淋巴瘤检测工具，Weisman等［8］通过5折交叉验证训练了基于多分辨率路径的三维卷积神经网络（three-dimensional convolutional neural network，3D CNN）集成框架，证明了使用3D CNN在淋巴瘤患者的全身PET/CT图像上自动识别病变淋巴结的可行性。这项初步回顾性工作显示，在一组90例成年淋巴瘤患者中，不依赖任何病变摄取的先验假设下，3D CNN的检测性能几乎可与2名核医学科医师相媲美，中位检测灵敏度为85%。此外，该研究还发现3D CNN在识别高摄取、大病灶、膈上病变时表现更好，并使用了来自不同成像中心的数据对模型进行训练和测试。但3D CNN尚不能区分棕色脂肪组织与淋巴结的摄取。

大量地收集医疗数据并进行手工标注通常难以实现。但无论选择传统ML还是DL影像组学都应尽量采用多中心外部测试集验证与评估。同时，不能忽视数据标准化对多中心研究的影响。建立统一的PET/CT采集协议或开发新颖的标准化方法对增强模型的鲁棒性和泛化能力至关重要。

2.2 智能诊断

针对头颈部疾病，Zhou等［9］提出了一种多目标影像组学与3D CNN相结合的混合模型预测头颈癌患者的淋巴结转移。该模型的准确度高达88%，优于传统ML影像组学与3D CNN。但无论是基于传统ML还是DL算法，59例样本都极易出现模型不稳定的可能。若引入迁移学习可望构建更可靠的DL模型，制订更好的个体化治疗计划、实现放射治疗中更好的控制和更低的毒性。Giovanella等［10］入组78例细胞性质不确定的甲状腺结节患者，对每个病变进行体积分割后提取4个PET指标和107个影像学特征，合并甲状腺激素指标，采用logistic回归建立多参数模型预测甲状腺结节的良恶性（灵敏度、特异度及准确度分别为63%、76%及72%）。虽然该研究第一次在细胞性质不确定的甲状腺结节模型中整合了纹理特征和PET指标，但该研究缺少明确的指南指导，并且该发现不适用于小于10 mm的结节。此外，入组病例存在较大的类不平衡，有必要进一步在大样本前瞻性研究中进行验证。

关于胸部病变，Xu等［11］基于传统ML影像组学探讨了PET/CT图像特征对乳腺癌分子分型的预测价值。Han等［12］分别采用传统ML和DL影像组学方法，回顾并分析867例肺腺癌和552例肺鳞状癌患者，从每个肿瘤中共提取传统影像和深度特征688个，采用10种特征选择技术、10种ML模型和VGG16算法构建最优鉴别诊断模型。研究结果显示PET/CT纹理特征在识别肺癌亚型方面表现出色，VGG16 模型（AUC为0.903，准确度为84.1%）性能优于传统ML影像组学方法。然而，较小的样本量、单一的PET/CT扫描设备是显而易见的缺憾。若分别从PET和CT图像中提取纹理特征，合并后再建立模型，或许能获得更好的结果。

对于血液相关疾病，Kong等［13］采用传统ML影像组学从PET/CT中提取并选择了13个特征以鉴别原发性中枢神经系统淋巴瘤与多形性胶质母细胞瘤，模型AUC可达0.971～0.998，为患者术前无创诊断提供了辅助信息。但研究样本仅77例，且缺乏独立队列的验证评估以证实这一研究结论。未来希望同时考虑有关治疗方案变化导致的治疗后变化的信息以探索当前发现的预后价值，继续尝试与其他原发性中枢神经系统恶性肿瘤或疾病进行鉴别。

上述例子中不少研究存在数据类不平衡问题，虽然有少数类别数据扩增、不同子抽样方法等补偿手段，但这仍是医疗领域一个未解决的问题。在医学数据标注方面，不同专家的注释往往存在差异，其大小取决于目标任务的难度。目前还不确定影像组学模型是否会受到标签一致性的限制。此外，传统ML提取的特征较为依赖专家的先验知识，需要手工勾画、手工提取和手工调优，还需采用类内相关系数、弗里德曼检验等方法进一步评估稳定性。尽管与深层特征的特征级别融合可确保特征的异质性，并提高模型鲁棒性与精度，但关于混合特征排序或组合的进一步研究工作还有待开展。

2.3 治疗及预后评估

预后生存方面，Brown等［14］发现，使用LIFEx软件从肛门鳞癌患者的治疗前PET/CT中提取的影像学特征可能比传统的分期参数实现更好的无进展生存预后预测，但仍需外部验证确保结果的可重复性，以便在常规治疗中获益。Gu等［15］开发了一种端到端的多模态DL影像组学模型（AUC为0.842），其具有2个分支分别处理PET和CT，可从预处理的多模态PET/CT中提取深层特征，并使用衍生特征预测晚期鼻咽癌患者5年无进展生存期。然而这两项研究所提取特征的详细直观解释仍是一个谜，与遗传模式之间的关系也尚未确定。迫切需要建立影像组学和临床经验之间的理论联系，加深对影像组学的认识，并发现新的原理。

治疗方案与疗效评估方面，Liu等［16］回顾并研究了两家医院中148例肺腺癌患者PET/CT图像，从肿瘤区域提取1 570个图像特征，建立传统ML分类模型识别基因突变亚型，以此判断患者接受靶向治疗的必要性。Li等［17］认为，PET/CT影像学预测指标优于从侵入性活检获得的组织病理学参数。该研究纳入100例接受新辅助化疗的乳腺癌患者，提取2 210项PET/CT特征，采用多元随机森林构建了一个AUC高达0.985的预测治疗反应的模型。然而大量有既往病史的乳腺癌患者或转移（疑似或确诊）患者被排除在外，可用数据太少。无论是在同一肿瘤内，还是在许多亚型中，招募更大的患者群体将有利于评估乳腺癌患者进展的风险和对化疗及放疗的反应。

复发转移方面，Bizzego等［18］设计了一种用于自动图像解释的AI框架预测患者头颈部局部复发。该研究一方面基于ML算法提取CT、PET特征，另一方面由两个并行级联CNN提取深度特征，最后将两种特征合并用以构建模型（灵敏度、特异度及准确度分别为67.0%、91.0%及94.0%）。Li等［19］探讨了经PET/CT扫描的原发肿瘤、瘤周区域与早期子宫颈癌患者盆腔淋巴结转移的相关性。结果显示，基于传统ML提取的图像特征与盆腔淋巴结转移相关，并能够预测患者E-钙黏蛋白表达，为今后子宫颈癌靶向药物开发提供了新的依据。

综上，越来越多的研究者同时采用传统ML和DL方法进行影像组学的相关分析与建模。既可以分别基于ML和DL训练模型，在输出前采用软投票（求平均）、硬投票（少数服从多数）和自适应投票（基于每个模型的重要性权重）融合预测结果以作出最终决策；也可合并DL提取的深度特征和传统ML提取的手工影像学特征，优化后减轻特征空间中的冗余，输入分类器建模获得最终分类结果，这样既可受益于多种输入的信息互补，又能保证临床研究的高质量性。

3 总结与展望

基于AI技术的PET/CT的影像组学在医学成像和个性化诊疗之间架起了桥梁。目前研究多为单中心回顾性分析，还需多中心大规模且高质量标签的前瞻性队列研究进一步验证。此外，PET/CT中瘤内异质性特征及其生物学基础之间的关系仍有待阐明。未来我们需要重点关注图像采集标准化、特征稳定与计算、统计学分析与外部验证、多源数据融合，AI算法选择、传输与存储设备等技术进步，深入系统地开展医学影像领域的多维组学研究，为更快地推进临床个体化精准治疗奠定基础。