影像组学与深度学习在肿瘤放疗中的研究进展

侯 震 李双双 闫婧

南京大学医学院附属鼓楼医院肿瘤中心 210008

肿瘤的精确诊断以及对治疗反应、不良反应和预后的准确预测是实现肿瘤精准放疗的前提。医学影像技术如超声、CT、PET/CT 和MRI 等以非侵入的方式获取人体组织的影像，为临床实践提供了丰富的影像资料，从而在肿瘤的个体化治疗过程中扮演着重要的角色。

以往，个体化治疗主要利用基因组学和蛋白组学技术，通过评估活检或外科手术获取的小部分肿瘤标本来分析病灶的分子生物学特征。然而，小部分肿瘤组织并不能代表肿瘤病灶的整体特点，且肿瘤的发展存在时间和空间的异质性，使其难以进行重复活检[1]。而影像学检查可对原发灶和转移病灶进行可重复的无损检查，为肿瘤进展监测和疗效评估提供了更加全面的观察视角。

目前，临床中的影像分析局限于影像科医师对病变区域的主观判断，如分析病灶的形态、位置、均匀性、强化模式以及对周围组织的浸润，并以定性的方式给出结论，进而实现临床诊断。该过程依赖阅片医师的临床知识储备和个人经验，带有一定的主观性和局限性。尽管肿瘤形态学模式的改变可以反映治疗效果，但却不能在治疗前有效预测患者的治疗反应和预后生存，因而需要更全面、深入地发掘医学影像中未被充分利用的有效信息。

事实上，高分辨率的医学影像设备除了显示常规的形态学征象外，还包含了人眼视觉分析无法捕捉到的更深层次的信息。影像组学方法作为一种非侵入性的图像分析技术，采用特征提取算法量化肿瘤影像ROI 的像素灰度与空间分布的关系，发掘影像特征与临床数据间的深层关系，解码隐含在医学影像背后的由基因、细胞、生化和遗传变异等多种因素共同决定的宏观影像信息，并定量且客观地将其呈现，从而辅助指导放疗疗效和预后的评估，对原有的个体化精准放疗理论进行补充，为放疗临床实践提供新的解决方案。

本综述介绍影像组学的兴起和发展，梳理基于特征工程的影像组学和基于深度学习的影像组学在肿瘤放疗领域的研究进展，并总结研究动向，讨论影像组学与肿瘤放疗相结合的前景和面临的挑战。

1 影像组学的兴起与发展：从手工特征到深度学习

2012 年，荷兰学者Lambin 等[2]首次定义了影像组学的概念，即采用特征提取算法将医学影像转化为高维度可发掘的特征空间，并进行分析以用于临床决策。同年，Kumar 等[3]对影像组学的定义进行了进一步补充，即从CT、PET 和MRI 等医学影像中高通量地提取并分析大量高级且定量的影像特征。2014 年，Doroshow 和Kummar[4]指出，影像组学是肿瘤转化研究未来发展的重要方向。同年，“影像组学：从临床图像到组学”作为北美放射学会年会的主题受到临床医师和研究者的广泛关注。2017 年，Lambin 等[5]进一步撰文指出，影像组学是医学影像和个体化精准医疗之间的桥梁。

高通量影像特征的提取是影像组学方法的核心步骤，常用的特征类型有形态学特征、灰度直方图特征、纹理特征和小波变换特征等。这种基于特征工程的影像组学方法需要根据公式提取人为指定的特征，在这一过程中往往会因为肿瘤勾画的组间差异以及图像预处理方法的不同而人为地造成偏倚。深度学习技术如卷积神经网络（convolutional neural network，CNN）在图像处理中的快速发展为影像组学研究带来了新的契机，基于深度学习的影像组学方法是对传统基于特征工程的影像组学的一次全面演进。得益于其出色的特征抽象能力和学习能力，CNN 可以从数据中自动学习与临床问题相关的影像特征，而无需研究者提前定义。这些抽象的特征体现了深度网络更强大的学习能力，提高了特征的泛化能力和准确率，同时减少了潜在的偏倚。深度学习方法在肿瘤放疗靶区和危及器官的自动勾画以及自动放疗计划方面比传统方法具有更大的优势，从而加速了放疗全流程的智能化。

2 影像组学与深度学习在肿瘤放疗中的应用

影像组学和深度学习能够充分挖掘医学影像中有价值的临床信息。在肿瘤精准放疗的临床实践中，其主要包含以下几个方面的应用。

2.1 肿瘤的诊断、分期和分子分型

在影像组学中，肿瘤微观层面上基因或蛋白质的改变可以在宏观影像中得以体现，影像组学蕴含的定量信息能为肿瘤的诊断、分期和分子分型的精准预测提供新的视角和方法[6-7]。Kamiya 等[8]的研究结果表明，CT 灰度直方图的峰态和偏态特征可区分肺结节的良恶性。Li 等[9]使用MRI 的T1 加权像的纹理特征结合机器学习算法，能够鉴别不同类型肺癌的脑转移。其另一项研究结果发现，基于MRI 频率衰减反转恢复-T2 加权像的影像组学特征结合人工神经网络算法能够准确地区分肝细胞癌、肝血管瘤和肝转移瘤[10]。Liang 等[11]对494 例患者的CT 影像组学特征进行分析，结果发现，基于LASSO 回归筛选出的16 个CT 影像组学特征可有效预测直肠癌分期（Ⅰ～Ⅱ期和Ⅲ～Ⅳ期）。Liu 等[12]的研究结果发现，有11 个CT 影像组学特征与肺腺癌患者的表皮生长因子受体的编码基因突变密切相关。Li 等[13]探索了低级别脑胶质瘤多模态MRI影像特征与异柠檬酸脱氢酶1 编码基因突变的关系，结果发现，基于CNN 提取的深度影像组学特征联合支持向量机算法得到的ROC 曲线的AUC=0.92。Han 和Kamdar[14]的一项研究采用递归CNN从多模态MRI 中提取特征并构建模型，有效预测了脑胶质瘤患者O6-甲基鸟嘌呤-DNA 甲基转移酶编码基因的突变状态，其启动子的甲基化可增强烷化剂（如替莫唑胺）的功效并有效改善患者预后[15]。

2.2 危及器官和肿瘤放疗靶区的自动勾画

危及器官和肿瘤靶区的准确勾画是制定精准放疗计划的前提。有研究者指出，危及器官的手动勾画在勾画者之间存在较强的主观性，这些差异往往会导致剂量评估不准，耗时费力，且效率较低[16-18]。随着深度学习技术进入临床实践的各个领域，CNN已广泛应用于医学图像的自动分割。周正东等[19]提出了一种基于带孔的U 型CNN（U-net）用于肺癌CT 影像中的危及器官心脏和肺的并行分割方法，结果表明，其可有效完成心脏和肺的自动分割，且分割准确率与人工勾画相当。Kazemifar 等[20]基于U-net 对前列腺癌患者的腹部危及器官进行分割，其中，前列腺、膀胱和直肠自动分割的平均戴斯相似度指数（Dice similariy coefficient，DSC）分别为0.88、0.95 和0.92。Liang 等[21]提出了一种基于危及器官探测和分割网络对鼻咽癌危及器官进行勾画的方法，该网络包含2 个CNN，分别用于危及器官的识别和分割，结果显示，其识别率接近1，分割的DSC＞0.85。

因为肿瘤具有不同的形状和大小，所以其靶区的分割通常比危及器官的分割难度更高。Trebeschi等[22]基于多模态MRI 联合CNN 进行直肠癌病灶的自动勾画，其结果与2 位放射医师的勾画结果有较高的一致性（DSC1=0.68，DSC2=0.70）。Cardenas等[23]基于深度学习方法对口咽癌的临床靶区进行自动勾画，得到的中位DSC=0.81。Zhuge 等[24]采用基于整体嵌套网络的深度学习架构对MRI 影像中的脑肿瘤靶区进行分割，并在验证集上得到了较高的准确率（DSC=0.83）。Men 等[25]基于深度反卷积神经网络对鼻咽癌的肿瘤区、转移淋巴结以及临床靶区进行自动勾画，结果显示，其平均DSC 分别为0.809、0.623 和0.826。其另一项研究采用深度扩张残差网络对乳腺癌的临床靶区进行自动分割，得到的平均DSC=0.91[26]。

上述研究结果表明，基于CNN 的自动勾画网络可准确、有效地分割危及器官和肿瘤靶区，从而提高勾画的一致性，降低临床医师的工作强度，并简化放疗流程，但仍需进一步优化以提高勾画的准确率[27]。

2.3 剂量分布的预测与计划设计

放疗计划旨在确定最佳的剂量分布，当前主要由人工基于计划系统完成。准确地预测剂量分布可以指导临床放疗计划的优化，节省时间，并提高计划的质量[28]。Nguyen 等[29]采用改进后的U-net 对前列腺癌调强放疗的剂量分布进行预测，结果显示，预测与实际的0～100%等剂量体积的平均DSC=0.91。Chen 等[30]的研究结果发现，基于残差网络可准确预测鼻咽癌调强放疗的剂量分布。Fan 等[31]基于残差网络对头颈癌患者的剂量分布进行预测，再根据预测的剂量分布建立优化目标函数以用于自动生成放疗计划，结果发现，自动计划与预测计划之间的差异并无统计学意义。Babier 等[32]提出了一种基于对抗式生成网络的自动放疗计划方法。有研究结果表明，上述方法在临床满意度和相似度指标方面均优于基于U-net 的方法[29]。

基于深度学习的三维剂量预测具有提高放疗计划质量和效率的潜力，预测模型的性能在很大程度上取决于充足的训练数据和一致的规划目标，建立高质量的化疗计划数据库是建立预测模型的迫切需要。

2.4 治疗反应、不良反应和预后的预测

在放疗过程中，准确预测治疗反应和治疗敏感性对于治疗方案的优化具有重要意义。Liu 等[33]发现，鼻咽癌患者同步放化疗前T1、T2 加权像和扩散加权像的影像组学特征可作为治疗敏感性的预测因子。Cusumano 等[34]基于分型影像组学的特征结合Logistic 回归构建了直肠癌同步放化疗病理缓解的预测模型，并在验证数据中得到了较高的准确率（AUC=0.79）。Bibault 等[35]基于CT 影像组学特征联合深度神经网络来预测局部晚期直肠癌患者接受新辅助放化疗后的完全反应，结果显示，其预测完全反应的准确率高于基于TNM 分期的线性回归预测模型（80% vs. 69.5%）。Coroller 等[36]从治疗前CT 结果中提取了肿瘤原发灶和淋巴结的影像组学特征，并探索其在预测新辅助放化疗病理反应中的价值，多变量分析结果显示，其对病理缓解和大体病灶残留预测的AUC 分别为0.68 和0.73。

放疗在杀伤肿瘤的同时会不可避免地对周围正常组织造成损伤，早期预测放疗的不良反应并及时对其进行干预可提高患者的生活质量和改善预后。Moran 等[37]基于Logistic 回归评估了CT 影像组学特征区分中、重度与非、轻度肺损伤的能力，结果发现，灰度共生矩阵特征的区分能力优于一阶灰度直方图特征（AUC：0.643～0.675 vs. 0.543～0.661）。Ibragimov 等[38]基于CNN 分析了经立体定向放疗的肝癌患者的中心肝胆管的三维剂量在预测肝胆放疗所致不良反应中的作用，其预测准确率的AUC=0.79，结合患者治疗前的临床参数可将AUC 提高至0.85。Zhen 等[39]探索了深度学习在晚期宫颈癌患者中预测放疗所致直肠不良反应的可行性，他们采用VGG-16-CNN 模型分析直肠剂量分布并预测放疗不良反应，得到最优模型的AUC=0.89。

有效地预测预后同样是临床迫切关心的问题。Zhang 等[40]的研究结果发现，多模态MRI-影像组学结合LASSO 回归算法所构建的诺模图可有效预测鼻咽癌患者的无进展生存期。van Timmeren 等[41]使用锥形束CT 的影像组学预测了非小细胞肺癌患者的预后，结果显示，Kaplan-Meier 曲线在高、低预后值的2 组之间具有显著差异。Lao 等[42]联合传统影像组学特征和深度学习特征构建了影像组学标签并对脑胶质瘤患者的预后进行预测，结果显示，其在预测患者总生存期方面有较好的表现（C-index=0.71）并可将患者分为预后明显不同的组（P＜0.001）。Shen 等[43]利用PET/CT 构建深度学习模型预测了宫颈癌患者经同步放化疗治疗后的局部复发（AUC=0.89）和远处转移（AUC=0.87）。Dissaux 等[44]的多中心回顾性研究探索了18F-FDG PET/CT 的影像组学特征对经立体定向放疗的早期非小细胞肺癌患者预后的预测价值，结果显示，基于PET/CT 灰度共生矩阵的信息相关度特征和邻域灰度差异矩阵的纹理强度特征与肿瘤局部控制率密切相关，上述特征的多因素回归模型对测试集的肿瘤局部控制率预测的准确率达0.91。在另一项基于食管鳞癌治疗前的18F-FDG PET/CT 影像组学的研究中，研究者构建的PET/CT 影像组学标签与治疗反应显著相关（训练集：P＜0.001，AUC=0.844；验证集：P=0.026，AUC=0.835），且可根据影像组学标签的临界值将患者分为高风险组和低风险组（P＜0.001）[45]。

3 影像组学和深度学习面临的挑战

尽管影像组学和深度学习在肿瘤的诊断鉴别、靶区危及器官勾画以及剂量分布和预后预测方面取得了重大进展，但相关研究成果在转化为大规模临床应用之前，仍存在诸多尚未解决的问题。（1）图像的采集尚缺乏统一标准：不同机构采用不同的图像采集设备，且同一病种的扫描参数也存在差异，这会对特征计算造成潜在影响[46-48]。如何规范扫描指南，实现数据标准化是当前亟需解决的基本问题。（2）影像组学和深度学习研究在医学领域开展的时间较短，在整个数据的分析过程中尚缺乏统一的规范和标准的质控体系，造成了不同中心甚至相同中心的研究结果之间存在不同程度的差异。为此，建立专家共识，规范影像组学和深度学习的分析流程同样是当前亟待解决的重要问题。（3）单中心、回顾性和小样本仍然是目前绝大部分研究的短板，其研究结果仍需经过更多前瞻性的多中心、大样本的研究检验，这同时也是影像组学和深度学习转化为有效的临床决策的关键。（4）影像组学特征的基本生物学含义仍然不清楚，特征的可解释性不强，深度学习作为一种“端到端”的模型，使研究者难以理解算法在“黑箱”中究竟发生了什么。因此，模型的可视化和可解释性仍然是未来需要重点关注的研究方向。

4 小结与展望

早期的影像组学研究大多基于特征工程方法，对特征进行统计分析和机器学习建模。近年来，越来越多的影像组学研究与深度学习相结合，进一步推动了对海量影像数据的深入解读。值得注意的是，深度学习技术已经开始在放疗的各个流程进行应用层面的探索。未来，随着放疗临床数据的共享和积累、算法的进一步开源以及高性能计算硬件的共同推动，影像组学和深度学习结合放疗大数据将转化为有效的临床决策，从而加速整个放疗流程的智能化和精准化，促使人工智能与放疗的发展进入新时代。

利益冲突本研究由署名作者按以下贡献声明独立开展，不涉及任何利益冲突。

作者贡献声明侯震、李双双负责文献的收集与整理、综述的撰写；闫婧负责命题的提出、综述的审阅与修订。