直肠癌基于磁共振成像的深度学习研究进展

石晟铭，肖玲清，马佳琪，刘晗，武玉鹏，李晓夫*

0 引言

直肠癌（rectal cancer, RC）是全球最常见的癌症之一，在所有胃肠道肿瘤中的发病率居于第二位，也是世界上第三大癌症相关死亡原因[1]。RC 的精确化诊治对提高RC 患者的远期生存至关重要[2]。MRI作为RC 的重要影像学检查之一，能够清晰显示肿瘤的形态与位置、淋巴结状态、壁外血管浸润和直肠系膜筋膜受累等。但是仅依靠常规MRI的形态学特征仍不足以反映肿瘤的异质性特征，无法制订个体化治疗策略，而如弥散加权成像（diffusion weighted imaging,DWI），体 素 内 不 相 干 运 动（intravoxel incoherent motion, IVIM）和弥散峰度成像（diffusion kurtosis imaging, DKI）等功能MRI虽能在一定程度上反映病变内的生物病理信息，但其可重复性和可再现性还有待进一步提高[3]。因此，开发一种图像挖掘的新方法，以实现RC 的准确诊断和治疗是一个巨大的挑战。近年来，随着人工智能（artificial intelligence, AI）技术的迅速发展，以深度学习（deep learning, DL）为代表的机器学习越来越多地应用于医学领域[4-6]，DL可以对大量的RC 图像进行深度挖掘和分析，并将其与临床结果结合，从而提高对RC 的诊断准确性和效率。利用DL 技术对RC 进行术前诊断具有重要的临床意义。然而，目前尚未有系统的研究综合评估DL技术在RC 预测方面的应用，因此我们对预测模型的整体效果尚不清楚。本文从评估RC 分期、治疗反应、RC 分割和基因分型四个方面入手，总结了基于MRI的DL在RC研究方面的进展，旨在优化RC患者的诊疗策略制订，并对未来的科研方向提出展望。

1 DL的简介及发展

DL 是机器学习的一种，最早由机器学习大师HINTON 等[7]在2006年提出。DL 的本质是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量具有代表性的特征信息，从而对样本进行分类和预测[8]。其工作流程一般可以分为三个阶段：（1）图像数据的预处理；（2）模型训练、验证和测试；（3）模型评估[9]。其中图像数据预处理是DL 的核心工作，包括降噪、数据归一化、特征选择和提取[10]。良好的模型其稳定性更好，采用多中心测试集，其目的是评估模型的泛化能力，有助于模型的推广。为了训练模型，通常将模型分为三个部分：训练集，验证集和测试集。训练集能够使模型学习拟合分类器的数据参数，验证集用于防止过拟合，而测试集用于评估模型的性能。最后模型评估用来确定该模型是否可以很好地实现研究目标。

目前DL 的发展较为迅速，已在语音识别、人脸识别、图像分类等方面取得显著进展。自2015 年以来，人们发现使用基于医学成像技术的AI 模型可通过增强目视能力以达到比放射科医生更低的错误率[11]。与传统的机器学习技术不同，DL 不需要操作人员手动提取和选择特征，其可以直接处理原始数据并自动识别自己所需要的特征[12]。在算法应用方面，目前几种典型的DL 算法主要包括卷积神经网络（convolutional neural networks, CNN）、循环神经网络（recurrent neural network, RNN）、生成对抗网络（generative adversarial network, GAN）和深度强化学习（deep reinforcement learning, DRL）[13-14]。

2 基于MRI的DL在RC术前TNM分期中的应用

MRI 因具有良好的软组织分辨率及较高的空间分辨率，目前已经成为术前RC 分期评估的重要影像检查方式[15]。随着影像学技术的不断进步，RC 术前诊断的准确性大大提高。但不同医院的放射科医生诊断水平不同，会导致MRI 图像的结果判读受到影响。近年来，DL 技术在图像阅读方面的发展为此提供了新的解决方法[16]。WU 等[17]使用基于区域的快速卷积神经网络（faster region-based convolutional neural networks, Faster R-CNN）来构建RC 的T 分期自动诊断平台。该平台在每个扫描平面的每个阶段都展现出良好的性能，受试者工作特性（receiver operator characteristic, ROC）曲线下面积（area under the curve, AUC）在水平面为0.99，矢状面为0.97，冠状面为0.98。Faster R-CNN 的诊断平台在RC 的T 分期诊断方面达到了专业放射科医生的水准，但是该研究仅将模型应用于T2WI序列，添加其他序列是否可以提高DL 模型的分类精度，有待进一步研究。在一项回顾性研究中，WEI等[18]构建基于多参数（DCE、T2WI和DWI）卷积神经网络的DL 模型，并与单参数DL 模型、临床模型和放射科医师诊断模型进行对照。最终多参数模型的AUC 为0.854，显著高于放射科医师诊断模型（AUC 为0.678）、临床模型（AUC 为0.747）和单参数DL 模型，包括T2WI 模型（AUC 为0.735）、DWI 模型（AUC 为0.759）和DCE 模型（AUC为0.789）。淋巴结转移（lymph node metastasis,LNM）的预测及评估一直以来都是研究热点。常规MRI 形态学：如淋巴结的大小、形状和边缘，均不足以对LNM 做出准确诊断。为预测T1～T2 期RC 患者的LNM，WAN 等[19]建立了基于T2WI 图像的四个二维和三维的残差网络（ResNet 18，ResNet 50，ResNet 101和ResNet 152）DL模型，并进行训练和测试，以识别LNM。研究表明，基于3D 网络架构的ResNet 101 模型在预测LNM 方面展现出最佳性能（AUC 为0.79），显著高于放射医师（AUC为0.54），该模型在预测T1～T2期RC患者的LNM方面优于放射科医生。

从上述几项研究中可以看出，基于不同感兴趣区（region of interest, ROI）和不同MRI 序列的AI 在评估RC 患者的T 分期方面表现出了良好的性能，有望成为术前T分期的重要工具之一。然而，这些研究中的MRI 图像都是在单中心的3.0 T MRI 扫描设备上获取的，这可能限制了模型的推广性。

3 基于MRI 的DL 在评估新辅助治疗疗效方面的进展

新辅助治疗（neoadjuvant therapy, NAT）是局部晚期直肠癌（locally advanced rectal cancer, LARC）患者标准治疗的必要组成部分，用于降低原发肿瘤的分期和手术切除后局部复发的风险，并可改善预后。随着不同NAT 方案的应用，大约10%～30%的LARC患者可能出现病理完全缓解（pathologic complete response, pCR），临床、内镜和放射学建议对上述患者实行观察和等待策略，以避免手术切除带来的不良并发症影响[20]。FU 等[21]从患者的高分辨率T2WI 和DWI 图像中提取放射组学特征，开发了基于机器学习和DL 的放射组学模型，并将它们与临床特征相结合，用于预测肿瘤残留。结果显示，临床+DWI+DL模型的预测效果最好（准确度84%±5%，敏感度94%±13%，特异度79%±4%）。这种方法可以作为一种术前评估工具，以协助临床医生在术前阶段对RC 患者进行病情评估并制订精确的个性化治疗计划。在一项预测RC 远处转移（distant metastasis, DM）的研究中，LIU[22]回顾收集了235 例接受新辅助放化疗（neoadjuvant chemoradiotherapy, nCRT）的患者，通过迁移学习，构建了基于多参数MRI的DL放射组学模型。将深部MRI信息与临床病理因素结合起来构建列线图，以获得更好的预测结果。在验证集中，C指数为0.747，3年时远处无转移生存期的AUC为0.894，这表明DL放射组学模型在预测DM方面表现良好，显示其在预测接受nCRT的LARC患者的DM方面具有很大的潜力。在一项多中心研究中，JIANG等[23]收集了三个独立的患者队列，使用ViT 技术来构建DL 模型用于预测NAT后RC患者的生存率，在内部测试集的高风险组中最佳模型的风险比为3.0，在外部测试集中为2.3，并且构建多模态模型进一步提高了模型性能。结果表明，该模型能够预测RC 患者的生存率，并可作为术前风险分层工具。

预测NAT 后LARC 患者的pCR 已成为当下研究的热点，JANG 等[24]基于放化疗后的T2WI图像，开发了两个DL 模型，分别用于预测pCR 和完全缓解（complete response, CR）。在测试集中评估DL 模型的预测性能，并与高年资放射科医生和放射肿瘤科医生的预测结果进行比较。结果显示该模型预测pCR 的AUC、敏感度、特异度、阳性预测值、阴性预测值和准确度分别为0.76、30%、96%、67%、87% 和85%，预测CR 方面分别为0.72、54%、81%、60%、77%和71.7%。研究发现与观察医生相比，DL 模型在预测pCR 和CR 方面表现出更好的性能。此外，还有很多DL 模型[25-27]已被开发用来预测NAT 后LARC 患者的pCR，并且都展现出较好的性能。

因此，可以得出结论，DL 作为一种潜在的定量工具，在评估LARC 患者的pCR 方面具有重要的价值，它可以通过选择那些可能从辅助化疗中受益的患者，并协助临床医生选择最佳化疗方案来帮助制订个体化的治疗策略。然而上述几项研究的ROI 都是手动勾画的，这很大程度上依赖于影像科医生的经验，容易造成主观上的错误，需要进一步的研究来建立一个可靠的自动分割网络。

4 基于MRI的DL在病灶分割方面的进展

随着DL 算法的兴起，其在医学图像处理领域，特别是肿瘤病灶的分割方面引起了广泛的关注。近年来，以全卷积神经网络为代表的DL 已经在医学图像分割任务中取得了频繁的成功，特别是使用流行的U-Net 架构[28]。DESILVIO 等[29]根据特定区域的背景开发了一种U-Net DL 模型，它可以在RC 治疗后的T2WI图像中自动分割直肠外壁、内腔和直肠周围脂肪区域。在多机构评价中发现特定区域的U-Net（肠壁骰子相似度系数为0.920，肠腔骰子相似度系数为0.895）与多名放射科医生（肠壁骰子相似度系数为0.946，肠腔骰子相似度系数为0.873）在图像分割方面表现相当，并且与多类U-Net 相比，此模型的性能提高了20%，该模型对于准确评估体内肿瘤范围和划分直肠结构具有重要实用价值。由于传统的U-Net网络提取的高级特征往往不能包括足够的轮廓信息，为了进一步提高图像分割精度，LI等[30]通过对传统U-Net 网络进行改进，设计了一种新型的U-Net 网络：（1）用压缩和激励网络（squeeze-and-Excitation networks ,SENet）替换了编码器；（2）在最后一个编码器之后添加了一个全局池化层；（3）在每个解码器中添加了空间和通道压缩与激发注意力机制模块；（4）最后将每个解码器的输出结果连接起来。研究发现该模型能够进行准确且高效的RC分割和轮廓分割。在一项最近的研究中，DOU 等[31]设计了一种注意力融合U-Net DL模型，该模型以多参数MRI图像为输入，通过嵌入注意力融合模块，有效地融合了多参数MRI图像的特征。试验结果显示，该模型的骰子相似度系数为0.821±0.065，是目前最先进的RC图像分割方法。

综上所述，初步的研究结果显示，基于MRI 的DL 在分割RC 病灶方面取得了良好的成果，具有广阔的临床应用前景。然而，上述试验所提出的方法均是设计用于2D 图像分割的。与之相比，MRI 图像在医学实践中通常是3D 图像。由于该方法可能无法正确处理没有肿瘤区域的情况，这可能导致误分割的问题。其次，由于测试集的规模相对有限，因此无法充分代表不同医疗中心和MRI 设备之间的差异。未来，添加来自不同医疗中心和MRI 设备的更多数据，并且开发基于3D 卷积的分割模型，可能会更有意义。

5 基于MRI 的DL 对于基因分型的术前无创预测研究

研究表明，在约35%～50%的RC 中发现KRAS突变，这与侵袭性肿瘤生物学行为、对表皮生长因子抑制剂的耐药性和总体生存率降低相关[32]。表皮生长因子受体抗体（如西妥昔单抗和帕尼单抗）能够改善野生型KRAS患者的结局，而在突变型KRAS患者中却观察到了负面影响[33]。因此，美国国立综合癌症网络（national comprehensive cancer network, NCCN）指南[34]建议不应向具有突变型KRAS/NRAS/BRAF的患者提供诸如西妥昔单抗或帕尼单抗的抗癌药物。由于原发肿瘤不同区域内的遗传异质性可能发生变化[35]，所以开发一种无创易行的方法，通过提供实时监测的组织学评估来预测KRAS突变状态具有重要价值。SONG等[36]提出了一种多任务注意力模型来识别RC患者中的KRAS突变，该模型主要由分割子网络和识别子网络组成。研究发现该模型对于KRAS突变识别的准确度为89.95%±1.23%，敏感度为89.29%±1.79%，特异度为90.53%±2.45%，AUC 为0.9573±0.0502。结果表明，此模型在识别KRAS 基因突变中表现出较好的性能。LIU等[37]使用MobileNetV2架构构建了两种DL 模型：（1）T2WI 图像模型；（2）T2WI和临床因素的组合模型。在测试集中临床模型、T2WI 图像模型和组合模型的AUC 分别为0.668、0.765 和0.841。结果表明，结合T2WI 和临床因素的组合模型显示出最佳的诊断性能。因此，它可以作为一种补充方法，无创评估RC的KRAS突变。同样值得注意的基因分型还有微卫星不稳定性（microsatellite instability, MSI），由于其对RC预后和治疗的重要价值而受到广泛关注。MSI 是由一个或多个错配修复（mismatch repair, MMR）基因丢失导致的结果。研究显示，具有MSI的RC 患者预后略优于具有微卫星稳定性（microsatellite stability, MSS）的患者，但却无法从5-氟尿嘧啶的辅助化疗中获益[38]。因此MSI 的检出对RC 患者的个性化治疗具有重要意义[39]。然而，标准的遗传学和免疫组织化学检测不仅耗时长，而且诊断活检通常需要特定设备，限制了其实用性[40]。因此，苏木精和伊红染色（hematoxylin-eosin, H&E）组织切片的目视检查仍然是MSI 检测的常用方法。最近，基于H&E 染色组织学全切片图像的DL 模型已被开发用于预测RC 的MSI，KATHER 等[41]开发了第一个用于预测RC MSI 状态的全自动DL 模型，并展现出不错的预测能力。ECHLE 等[40]分析了DL 模型在RC H&E 染色载玻片上检测MSI 的应用，构建了一个新的DL模型，其与KATHER等先前开发的模型的预测性能相当。近来，陆续又有很多新模型[42-44]被开发并得到验证，它们以用时更少、成本更低以及更加精准的方法预测RC MSI。然而，这些方法仍然依赖于活检或手术标本，并且不能避免瘤内异质性的影响。因此，开发一种无创、易重复的方法用于术前预测MS 状态具有重要的临床意义。针对这一问题，ZHANG 等[45]使用改进后的MobileNetV2 架构构建基于术前T2WI图像的单纯影像学模型、临床变量模型、整合临床变量和图像特征的组合模型，来无创预测MSI 状态。结果显示，在测试集中，临床变量模型对MSI预测的准确度为37.5%，AUC值为0.573，单纯影像学模型和组合模型对MSI 预测的准确度分别为75.0%和85.4%，AUC 值分别为0.820 和0.868。两种DL 模型的表现都优于临床变量模型，尤其是整合临床变量和图像特征的组合模型实现了最佳的预测性能。然而，两个DL 模型间的预测性能没有显著差异，这可能与临床变量未能为模型提供重要信息有关。该研究表明，基于高分辨率T2WI 图像的DL 模型对预测RC患者的MSI状态具有广阔的前景。

上述研究显示，结合临床因素和T2WI 的DL 模型显示出良好的评价性能。因此，这可能作为一种非侵入性评估的补充方法，用于预测基因分型。然而，这两项研究都仅使用T2WI单独开发DL模型，对多参数MRI 在改善DL 模型诊断性能方面的价值需要进一步探讨。此外，目前在基因分型方面，基于MRI 的DL 技术的研究相对较少，未来可能会成为一个值得关注的研究热点。

6 小结

DL 作为一门新兴且发展迅速的技术在医学领域中的研究正不断深入。基于MRI的DL 在提高RC患者分期诊断的准确性、评估治疗反应、预测复发和预后等方面已经显示出极大的潜力，具有广阔的研究前景。然而，目前的研究仍然存在诸多挑战。第一，不同仪器扫描参数、患者个体间差异以及图像提取技术等不同均可对DL 相关研究的可重复性及稳定性产生较大影响，导致最终所构建模型的可信度降低。第二，提高模型性能是构建DL 模型的一个关键问题。未来，可以结合多模态（CT、MRI、病理切片、基因组学等）和多时间（治疗前和治疗后）数据，并在临床实践中进行大规模验证，以进一步提高模型的预测能力。第三，虽然DL 中的无监督和自监督方法不需要耗时耗力的图像特征提取，但受限于复杂的医学结构、医学场景和图像质量参差不齐等因素，现有算法还不能在高精度全自动的工作流程中达到高标准的医学要求。第四，模型的稳健性和泛化能力也是影响DL 在临床应用中的重要因素。目前大多数研究仅基于少量数据和单中心数据源，如果模型的性能能够在多中心大数据集中得到进一步验证，那么所构建的模型可以为RC 患者的个性化治疗提供更好的指导。

综上所述，DL 已经在RC 的分期、新辅助治疗后评估、病灶分割以及对基因分型的术前无创预测研究等方面取得一定进展。相信随着更先进算法的应用、更大样本量以及多中心数据加入，稳定性及准确性更高的模型一定会被开发，使DL 在RC 的研究方面发挥出独特优势，为精准化、个性化治疗策略实施提供新的诊断模式。

作者利益冲突声明：全体作者均声明无利益冲突。

作者贡献声明：李晓夫设计本综述的框架，参与稿件重要内容的修改，获得了新疆生产建设兵团财政科技计划项目资助；石晟铭参与研究的构思和设计，数据的收集、整理、分析和解释，撰写论文并参与论文重要内容的修改；肖玲清、马佳琪、刘晗、武玉鹏参与研究的构思和设计，数据的收集、整理、分析和解释，参与论文重要内容的修改；全体作者都同意最后的修改稿发表，都同意对本研究的所有方面负责，确保本研究的准确性和诚信。