多模态超声联合深度学习对乳腺癌新辅助化疗疗效及侵袭性评价的研究进展

刘锦辉，冷晓玲

新疆医科大学附属肿瘤医院超声诊断科，新疆 乌鲁木齐830000

女性乳腺癌是2020年全球癌症发病的主要原因，首次超过肺癌，成为“全球第一大癌症”。尽管该病的治疗已取得进展，但其死亡率依旧很高，为全球癌症死亡的第五大原因［1］。其中，高侵袭性乳腺癌具有高度侵袭性，其治疗难度大，复发率高，预后差［2］。新辅助化疗（NAC）已经成为中晚期乳腺癌患者的标准治疗方案，不仅能有效缩小肿瘤减少手术范围，降低肿瘤的临床分期达到手术根治的目的，而且还是体内最好的药物敏感试验，准确获取患者对化疗药物敏感性的信息，从而实现患者的个体化治疗，改善患者的预后［3-4］。但是，NAC并非对所有乳腺癌患者都有效，仅有约30%的患者实现了病理完全缓解（pCR），还有约5%的患者出现疾病进展的情况［5］。目前，多模态超声在乳腺癌诊断中的优势越发凸显，在此基础上联合深度学习可以准确评估乳腺癌NAC的疗效，如肿瘤体积的大小、血流灌注情况、肿瘤硬度等［6］。笔者就多模态超声技术联合深度学习在乳腺癌患者NAC疗效及侵袭性评价的应用及研究进展进行综述。

1 乳腺癌NAC疗效的评价方法及侵袭性的评价指标

1.1 NAC疗效的评价方法

乳腺癌NAC疗效的评价方法主要包括病理评价与临床评价，病理评价是乳腺癌NAC疗效评价的金标准，可直接对肿瘤体积大小、组织浸润情况及肿瘤细胞对化疗药物的反应性进行观察，但缺点是评价存在滞后性［7］，无法对临床治疗实现有效指导并及时地作出调整，影响患者预后。临床评价主要包括体格检查和影像学检查。临床触诊可以发现接受NAC治疗的乳腺癌患者的残余病灶和转移的淋巴结病变，有研究发现，临床触诊总体准确率为57%，阳性预测值为91%，阴性预测值为31%［8］。这可能是NAC后病灶纤维化的形成，导致漏诊率提高，而且临床触诊对操作者依赖性强，不同操作者触诊诊断的结果也会有所不同，因此，无法实现对NAC疗效高准确度的评价。因此，采取必要的影像学检查方法对乳腺癌NAC疗效进行评估是十分重要的。目前，常用的影像学检查方法主要包括MRI、乳腺钼靶检查、超声检查等。研究发现MRI测量乳腺癌患者NAC后残余病灶大小与病理肿瘤大小的相关性最好，但由于MRI费用高、耗时长、需要静脉注射造影剂及存在禁忌证等缺点而难以开展［9］。乳腺钼靶检查是乳腺疾病筛查中最常用的影像学检查方式之一，但其预测乳腺癌NAC后肿瘤残留大小估计值与残留病理肿瘤大小的相关性较差［10］。乳腺超声检查是可以用于诊断、筛查乳腺疾病，监测乳腺癌NAC后肿瘤变化，是一种重要影像学检查方法，它操作简单、价格便宜，且无放射性损害，基本没有检查风险，能利用回声信清晰显示乳房结构，对乳腺肿块性质作出准确判断，但难以区分NAC后肿瘤液化坏死、病灶纤维化等［11］。

1.2 侵袭性的评价指标

乳腺癌主要分为三大类：非浸润性癌、早期浸润性癌及浸润性癌。其中浸润性癌分为非特殊类型癌及特殊类型癌。高侵袭性乳腺癌具有高度侵袭性及转移性，治疗难度大，预后差，在肿瘤微环境中，肿瘤的恶性基质化及肿瘤的血管异质性对乳腺癌细胞的转移和侵袭性具有重要促进作用［12］。乳腺癌分子生物学的研究进展显示，越来越多的生物学指标被纳入了临床研究，并且证实了与乳腺癌发展、预后及侵袭性有着紧密关系。目前研究最为广泛的是雌激素受体、孕激素收听受体、HER-2、Ki-67等，其中根据激素受体雌激素受体、孕激素收听受体及HER-2表达含量的多少，乳腺癌的分子分型主要有：LuminalA型乳腺癌、Luminal B型乳腺癌、三阴性乳腺癌、HER-2阳性乳腺癌［13-15］。乳腺癌中客观准确的生物学指标之一—易感基因（BRCA），是乳腺癌中重要的抑癌基因，BRCA1/2基因的突变会导致其抑制肿瘤发生的功能受到影响。研究发现，5%～10%的乳腺癌患者为遗传性乳腺癌，其中15%突变为BRCA1/2基因突变，有超过75%的BRCA2基因突变为Luminal型，而60%～80%的BRCA1基因突变为三阴性乳腺癌［16］。但目前，上述生物学指标大都依靠免疫组化检测获得，限制了对术前乳腺癌治疗的指导意义。因此，应用影像学检查方法预测乳腺癌分子分型，评估乳腺癌的侵袭性，对乳腺癌患者治疗具有重要价值。随着超声成像技术的发展，越来越多的超声技术被应用于乳腺癌的诊疗中，研究发现乳腺癌超声造影（CEUS）后出现增强扩大及灌注缺损，时间-强度曲线呈快进高增强、高灌注与肿瘤干细胞、上皮-间充质转化高表达有关，且乳腺癌患者NAC后病灶增强的范围变化和病理反应MP评分呈正相关，而非Luminal型乳腺癌NAC前CEUS呈低灌注与肿瘤干细胞、上皮-间充质转化高表达有关，通过CEUS对NAC后呈非向心性回缩的非Luminal型乳腺癌的疗效评价效果要优于常规超声；另一临床试验研究证实，乳腺癌的剪切波弹性成像（SWE）存在各向异性，且SWE各向异性越大，乳腺癌的硬度越高，肿瘤干细胞、上皮-间充质转化的表达越高，提示预后较差［17-19］。

2 多模态超声联合深度学习对乳腺癌新辅助化疗疗效评价

2.1 常规超声

常规超声是超声科医师最常用的检查方法，其检查无痛苦，可在短时间多次反复进行，适用于任何年龄段的女性，在多模态超声中起基础性的作用。有研究发现，常规超声可以测量乳腺癌肿块的大小，但是难以准确评估乳腺癌NAC的疗效［20］。有学者对93例已接受NAC的乳腺癌患者进行了回顾性分析，研究发现常规超声对乳腺癌肿块有着很好的预测能力，准确率为98%，然而它却错误地预测了2例pCR，表明仅使用超声评估乳腺癌NAC疗效效果较低［21］，原因可能如下：乳腺癌NAC后病灶改变呈蜂窝状，边界难以确定，从而提高了肿块实际大小的测量难度；在常规超声上难以区分NAC后纤维灶的形成和残留乳腺癌病灶；容易受到操作者主观性的影响等。常规超声在评估NAC疗效效果中具有一定的价值，但与之相比，多模态超声在乳腺癌诊断及NAC疗效评价上均表现出更高的准确率和诊断效能，比常规超声具有更加显著的临床价值［22-23］。因此，单纯应用常规超声不能很好地评价乳腺癌NAC后的治疗效果，应与其他超声检查方法结合，以达到准确预测乳腺癌NAC疗效的目的。

2.2 CEUS

CEUS是一种基于微循环血流灌注的超声成像技术，在清晰显示肿瘤血管的基础上，还提供了微循环血流动力学的相关信息。CEUS的声像图特征与乳腺癌的生物学行为有关，肿瘤宏观上形态的变化比微观结构的改变晚，因此，肿瘤形态学的改变不能作为乳腺癌NAC疗效的评价指标［24］。有学者对21例乳腺癌患者NAC治疗前后42个CEUS图像进行分析研究，发现乳腺癌NAC后，肿瘤的新生血管呈减少趋势，而且变得更加不均匀，表明CEUS的声像图特征在评估NAC疗效上具有良好的精准度［25］。一项研究对80例非Luminal型乳腺癌患者进行实验研究，发现非Luminal型乳腺癌NAC前CEUS的显示范围大于常规超声的显示范围，NAC后小于常规超声的显示范围，并且更接近术后的病理结果，NAC 后病灶扩大和灌注缺损的程度也较NAC 前明显减少，这表明对于非Luminal 型乳腺癌，CEUS比常规超声可以更真实客观地反映乳腺癌实际肿瘤的大小，NAC后CEUS能显著降低病灶纤维化灌注的程度，避免了对NAC疗效的低估［19］。而另一研究证实CEUS定量参数和分子亚型的组合在预测乳腺癌NAC疗效上有良好地表现，在肿瘤直径改变的情况下，使用峰值强度和达峰时间的CEUS模型能有效地预测乳腺癌NAC的疗效［26］。乳腺癌作为一种血管依赖性病变，其微循环是预测NAC 疗效最常用的评价方法。CEUS是一种纯血池超声显像技术，通过静脉注射造影剂，使病灶血管内的分布及走行情况得到清晰地显示，实时观察病灶的整个血流灌注过程，评估肿瘤微循环的灌注的情况，从而提高对乳腺癌NAC疗效评价的准确性［27］，但同时也存有局限性：样本量过小会限制我们对实验的深入研究；感兴趣区的选择具有主观性，会对肿瘤血流量的测量产生偏差；CEUS对肿瘤血管的依赖性高，对于血管较少的肿瘤，CEUS并不能有效地显示其血管分布情况及微循环的特征［28］。

2.3 超声弹性成像（UE）

UE是一种定量估计组织弹性模量的分布，并将其转化为可视声像图的超声成像技术。它已成为医学超声成像中迅速发展的一项新技术。目前，UE主要包括以下两种：应变式弹性成像（SE）和SWE。

SE通过向检查组织表面施加动态或静态/准静态激励，跟踪组织运动来估计弹性模量的分布［29］。有学者采用SE对92例乳腺癌患者的NAC疗效进行临床观察，研究发现预测乳腺癌NAC后pCR的敏感度为84%，特异性为85%，曲线下面积为81%，表明SE能以高敏感度和高特异性的优势，准确评估乳腺癌患者在进行NAC治疗2周期后的疗效［30］，为乳腺癌患者选择NAC治疗以达到最佳获益。

而SWE则是另一种基于超声成像测量组织硬度的技术，不同的是，它使用了声辐射引入干扰，而不是操作者手动激发，并且测量的是横波的传播速度而非组织的变形程度［31］。有研究对60例乳腺癌患者的临床资料进行分析，发现随着NAC治疗的进展，肿块的硬度值也随之发生明显变化，表明在NAC治疗2周期后，病灶的最大直径与应变率之比有助于评估乳腺癌NAC的疗效［32］。有前瞻性实验研究发现，在乳腺癌NAC治疗的前、中、后期，pCR和非pCR的SWE定量参数均有显著性差异，且在第三次研究访问期间，pCR的质量特征频率明显增高，可以作为预测pCR的NAC终点标记物［33］，表明SWE可以作为乳腺癌NAC疗效评价的方法之一，能准确评估其疗效并指导患者的个体化治疗，具有重要价值。

一项联合CEUS和UE的双模态超声评估乳腺癌患者NAC疗效的研究发现，在准确性、特异性、敏感度、阳性预测值及阴性预测值上，CEUS和UE的联合应用要高于单独使用CEUS或UE，证实两者的联合应用在评估乳腺癌NAC疗效上有着较高的准确性［34］。目前，临床实验入选的患者样本量相对较小，NAC对乳腺癌不同表型疗效评价还没有统一的标准，需要进一步增加乳腺癌患者样本量来提供足够的统计能力来解决乳腺癌不同表型NAC后对CEUS和UE定性及定量参数的影响［26,35-37］。

2.4 三维超声

三维超声通过特殊超声探头采集图像，然后利用计算机图像处理技术，在二维超声上进行三维重建，使器官和血管各种结构的立体形态、组织厚度、空间关系，特别是活动状况的显示成为可能。研究表明，三维超声中诊断乳腺癌最具价值的声像图特征是：汇聚征、肿瘤边缘和肿瘤边界回声纹理［38-39］。近十年来，三维超声越来多地被应用于诊断乳腺小肿瘤上，尤其在冠状面的检查优势，三维超声在显示乳腺小肿瘤的肿块形态、边界、内部回声、纵横比的准确率均高于二维超声［39］。有研究将221例乳腺癌患者的三维超声结果和病理预后因素进行对比，发现通过三维超声检查方法预测乳腺癌治疗的预后可以提供更精准的治疗决策［40］。

自动乳腺全容积成像是一种以三维超声为基础的、标准化的、自动化的超声成像技术，它不依赖于操作者，能在任何时间点获取超声图像［41］。研究发现，自动乳腺全容积成像在评估乳腺癌NAC疗效的表现中与乳腺MRI相当，均显示出较高的特异性、敏感度及诊断准确率［42］。自动乳腺全容积成像作为一种多平面成像，通过三维重建可形成冠状面，获取更多有利于诊断乳腺癌的精确信息，还可以提供乳腺肿块在二维超声图像上无法显示的三维结构上的更多信息，如肿块的表面积、肿块体积、各组织结构的空间位置及毗邻关系等，这极大提高了我们对乳腺癌的诊断准确率及评估乳腺癌NAC疗效的准确性［43］。目前，三维超声成像在技术上已逐步趋向于临床实用，相信随着医疗科技技术的不断发展，三维超声技术会成为乳腺癌临床相关工作中最为有效的诊断工具之一。

2.5 多模态超声对乳腺癌NAC评价指标的优选

现如今，以多种超声成像为基础的多模态超声技术，在临床乳腺癌诊治中的应用越来越广泛。有学者在多模态超声基础上建立Logistic回归模型，分析发现以下是乳腺恶性病变的危险因素：乳腺肿瘤边缘不清、向心性强化、速升速降的强化模式、乳腺肿瘤不完整、4分的弹力造影评分、速升缓降的强化模式［44］。一项研究发现NAC后乳腺癌最长直径缩小程度、阻力指数、收缩期峰值血流流速、应变率比值、弹性评分、峰值强度和曲线下面积是影响新辅助化疗疗效的因素，并且通过建立多因素Logistic回归模型证实，肿瘤最长直径缩小程度、峰值强度及应变率比值是乳腺癌NAC的危险因素［45］。彭娟等通过对超声定量参数的分析，发现峰值强度变化率＞16.37%和剪切波速度最大值变化率＞28.52%提示pCR，证实两者是评估NAC疗效的预测因子［46］。不过，有国外学者通过对比MRI与超声检查预测乳腺癌NAC后pCR情况，研究发现MRI比超声有着更高的特异性（56.8%vs33.3%），但是敏感度不及超声检查（87.7%vs91.4%）［47］。超声作为一种常规的影像学方法，有望在未来为评估乳腺癌患者NAC疗效中提供重要诊断价值。

3 多模态超声联合深度学习

3.1 深度学习的发展历程

深度学习是人工智能的分支，它是一种以人工神经网络为架构，对数据资料进行学习的算法。20世纪60年代，有科学家提出了计算机辅助诊断［48］，但受到当时技术水平的发展限制，直至20世纪90年代，随着机器学习的发展，尤其是深度学习算法的完善，计算机辅助诊断才在医学影像的诊断上的应用越来越广泛［49］。深度学习是由多个神经层组成的模型，将输入的数据（如图像）转换为输出的数据（如疾病存在/不存在），同时学习高级别的特征。目前，最成功的图像分析模型是卷积神经网络（CNNs），CNNs 的研究开始于上世纪70 年代末［50］，1998年有学者将2层神经网络的LeNet神经网络模型应用于手写数字识别应用程序，并成功运行［51］；2012年一项研究用5层卷积网络的AlexNet神经网络模型以极大的优势取得了ImageNet挑战赛的胜利［52］。此后，有学者用VGG19神经网络模型和ResNet神经网络架构分别赢得了2014及2015年的ImageNet挑战赛［53-54］。此外，还有其他神经网络模型被提出，如一种名为GoogLeNet的22层神经网络［55］，以及基于完全神经网络提出的U-Net架构［56］。从此，迎来了深度学习的大发展时代。

3.2 基于神经网络模型的超声检查方法的应用

目前，CNNs——深度学习的典型代表，在医学影像图像分析中的应用最为广泛。作为近年来新兴的一项计算机技术，它能对输入的图像数据进行学习，并从中提取输入样本的高层次特征结构数据，从而获取更能代表图像属性的相关特征［57］。如今，基于神经网络的深度学习方法在医学影像中的应用受到越来越多的关注，尤其是在超声检查上［58-59］，在对传统的诊断任务中，包括分类、分割、检测、配准、生物特征测量和疗效质量评估，以及对图像引导的干预和治疗等，都表现出良好的效果［60］。有学者应用GoogLeNet和AlexNet神经网络模型鉴别乳腺癌的良、恶性，并且取得良好的结果［61］；有学者在U-Net 架构基础上结合了ResNet 神经网络模型，提出了ResU-Net神经网络模型，实现了在乳腺超声图像上对乳腺癌肿瘤区域的精准分割，其中测试集肿瘤分割的相似度系数为0.9568，交并比为0.9173［62］；国外有研究采用3种不同的方法（基于补丁的LeNet、U-Net和经过预训练的FCN-AlexNet迁移学习方法）对2个乳腺超声图像数据集（数据集A在2001年收集于一位乳腺影像学专家使用的教学媒体文件中，数据集B在2012年收集于西班牙的UDIAT诊断中心）进行检测分析，发现经过预训练的FCN-AlexNet 迁移学习方法优于其他检测方法，数据集A的真阳性分数为0.98，每幅图像的FPs/image为0.16，F-measure为0.91，数据集B的真阳性分数为0.92，FPs/image为0.17，F-measure为0.89，并且U-Net的检测性能要低于基于补丁的LENet［63］。有学者提出采用3种神经网络模型（VGGNet、ResNet和DenseNet）集成到乳腺超声图像上，在作者的私人数据集中，其准确性、敏感度、特异性、精密度、F1 分数和AUC 值分别为91.10%、85.14%、95.77%、94.03%、89.36%和0.9697，在公开数据集中，其准确性、敏感度、特异性、精确度、F1 分数和AUC 值分别为94.62%、92.31%、95.60%、90%、91.14%和0.9711，两者均呈现良好的表现［64］，但是该研究并没有对3种神经网络模型的优劣性进行总结。另有学者对4种基于CNNs的神经网络模型（FCN-AlexNet，U-Net，基于VGG16和VGG19的SegNet 以及使用ResNet18、ResNet50、MobileNet-V2和Xception网络的DeepLabV3+）在超声图像中乳腺肿瘤的自动分割进行评估，研究发现基于SegNet和DeepLabV3+的神经网络模型获得较好的分割效果，F1分数＞0.90，交并比＞0.81。U-Net的分割性能表现为F1分数=0.89，交并比=0.80，而FCN-AlexNet的分割效果最低，F1分数=0.84，交并比=0.73，证实了神经网络越深，分割的质量越好，而当F1 分数达到其上界（即0.905），其分割性能没有明显的提升；对各个神经网络模型的训练时间进行评估发现，ResNet18的训练时间大约是ResNet50的一半，即150 min［65］。综合分析各模型分割效果及训练时间，ResNet18可以在使用更少训练时间的情况下，达到其评分的标准要求（F1 分数=0.905，交并比=0.827），有望成为全自动化端到端计算机辅助诊断系统的候选者。

3.3 多模态超声联合深度学习对乳腺癌的评价应用

随着超声新技术的出现，多模态超声联合深度学习在临床上的应用越发广泛。有研究在单模态超声基础上通过构建神经网络模型ResNet50-N及ResNet50-L，分别对乳腺结节良恶性进行诊断和预测腋窝淋巴结侵犯情况，发现无论是对乳腺结节良恶性鉴别，还是预测腋窝淋巴结的侵犯情况，两种神经网络模型均有良好的性能表现［66］。有学者通过多种神经网络模型（Xception、InceptionV3、InceptionResNetV2、DenseNet121、DenseNet169和NASNetMobile)对乳腺癌常规超声联合SWE的双模态超声成像进行检测，发现DenseNet169模型表现出良好的性能参数，其AUC、敏感度、特异性分别为0.857、0.789、0.898，与超声科医师的检查结果相比，CNNs能显示出相同甚至更好的诊断能力［67］。有研究分别在常规超声、双模态超声融合及多模态超声融合模式下，采用DenseNet50模型对乳腺癌图像进行分割和分类，结果显示DenseNet50神经网络模型有着良好的性能表现，在常规超声下，准确度等其余6项指标平均提升7.45%，而在双线性融合的多模态超声模式中，其准确度更是达94.59%［68］。有学者通过利用4种神经网络模型（DenseNet121，VGG16，InceptionV3及ResNet50）融合常规超声及SWE来判断乳腺肿块的良、恶性，发现在单模态超声中，DenseNet121神经网络模型分类效果最好，在多模态超声中，DenseNet121的性能表现要比单模态超声好，对于鉴别乳腺肿瘤良、恶性的准确度、敏感度、特异性、AUC、F1 分数分别为93.51%、94.88%、92.25%、0.975、0.931［69］。但目前深度学习实现主要性能的改进在很大程度上依赖于大样本训练数据集，而医学超声领域中公开可用的数据集是很有限的，这成为深度学习在医学超声图像分析中进一步应用的瓶颈。目前最常用的方法之一是进行跨数据集学习，即迁移学习，其主要分为两种类型：跨模态迁移学习和跨域迁移学习［70］。已有实验证明，在小样本训练数据集的情况下，跨模式迁移学习可能会优于跨域迁移学习［71］；此外，模型的训练也是一个非常耗时间的过程，其可靠性需大量样本进行验证［72］。

关于多模态超声联合深度学习对乳腺癌NAC疗效进行评价的研究暂鲜有相关文献报道。一项关于乳腺PET/MRI图像深度学习模型的研究表明，AlexNet神经网络模型可以有效预测晚期乳腺癌患者NAC的疗效，还能提高各种实时临床应用的诊断准确率［73］。有学者在多模态超声基础上建立了L1正则化Logistic回归预测模型及Siamese CNNs神经网络模型，实现了早期预测乳腺癌NAC疗效，两种模型的AUC值分别为0.797和0.847［74］。近年来，深度学习放射组学列线图被证实能准确预测乳腺癌患者NAC的pCR情况［75］，国内有研究在超声基础上建立两种DLR模型（DLR-2、DLR-4），通过前瞻性研究发现，两个模型都有良好的性能表现，其AUC值分别是0.812、0.937［76］。由此可见，深度学习具有巨大的潜能，结合多模态超声的优势，可系统性地对超声科医师的诊断结果进行优化，提高了诊断结果的临床应用性，为临床研究的进一步开展提供了新的思路。在临床工作中，其作为超声科医师的“第二双眼睛”，极大的提高了医师的工作效率。但是，现在还没有充足的证据表明深度学习技术能取代超声科医师，而且该项技术在临床的应用中仍存在风险，因此还需要加强对深度学习的深入研究及进行更多的实验探索，以提高该技术在临床诊疗上的实用性。

4 小结和展望

近年来，随着超声成像技术的不断进步，不同超声技术在临床的应用逐渐增多，尤其是在乳腺癌的诊断、治疗及监测中，还能为乳腺癌NAC疗效提供精确的信息。绝大多数研究结果显示，多模态超声已然成为超声发展的必然趋势，在未来将会有更广阔的发展前景。在当今这个大数据时代，基于深度学习的CNNs计算机技术迅速发展，在医学影像诊断方面取得重大的进展。无论是在乳腺癌的诊断还是对NAC的评价，多模态超声联合深度学习都展现巨大潜能，在提高诊断准确率的同时，极大提高超声科医师工作效率。

综上所述，多模态超声联合深度学习，融合不同学科的新技术，实现对乳腺癌患者NAC全方位、多参数的综合评价，为患者制定个体化治疗方案，改善患者生存质量，这将具有重大的临床意义和社会意义。