基于深度学习技术对乳腺及乳腺癌影像分割作用的研究进展

尹家瑜 苏丹柯

作者单位：530022 南宁1南宁市第一人民医院放射影像科；530021 南宁2广西医科大学附属肿瘤医院影像中心

据报道，2022年新发乳腺癌占全球新发癌症病例的15.3%，占女性癌症的31%，其中死亡率达20%，但若早期发现并治疗，5年生存率可达99%，反之则降至27%［1］。目前，乳腺癌常用的检查方法有超声（ultrasound，US）、数字化乳腺X 线摄影（digital mammography，DM）、数字化乳腺X 线断层摄影（digital breast tomosynthesis，DBT）、磁共振成像技术（magnetic resonance imaging，MRI）等。既往研究表明影像技术在乳腺癌早期诊断及预测淋巴结转移中的重要性已被证实［2-3］。近年来，计算机辅助技术在医学领域的研究得到广泛应用［4］，深度学习（deep learning，DL）作为计算机研究领域的翘楚，其对乳腺及乳腺癌病灶的分割算法也是乳腺深度学习模型中至关重要的步骤，对提高肿块分割精准率具有重要意义。本文就乳腺及乳腺癌病灶分割的常用影像数据集以及深度学习技术在乳腺及乳腺癌影像分割中的应用作一综述。

1 乳腺及乳腺癌病灶分割的常用影像数据集

目前，常用于乳腺分割及乳腺癌筛查的影像公开数据集包括DDSM（digital database for screening mammography）数据库；MIAS（mammographic image analysis society）数据库；BCDR（breast cancer digital radiography）数据集；INbreast数据库等［5-8］，详见表1。其中，DDSM为目前最大的乳房X 射线筛查数据库。近年来，有学者提出了医学影像多模态乳腺癌诊断（medical imaging multimodality breast cancer diagnosis user interface，MIMBCD-UI）数据库，该数据库由3 个来自葡萄牙的机构（ISR-Lisboa、ITI、INESC-ID）合作开发，有566 张主要包含乳腺MRI、US、X 射线的图像，专门供深度学习模型的构建使用。

表1 常用的乳腺影像图像公开数据集

2 DL技术在乳腺及乳腺癌影像实例分割中的应用

DL 是机器学习的一个分支，但在结构上较有监督的机器学习模型更复杂。此模型是将原始数据通过多步特征转换后，得到一种好的特征表示（从底层特征，到中层特征，再到高层特征），最终提高整个机器学习系统的准确性和效率。“深度”是指对原始数据进行非线性特征转换的次数，如用于特征提取的多层神经网络，故深度学习概念源于神经网络研究［9］。图像分割是指将图像输入分割成多个片段，以简化图像分析。片段表示目标或目标的一部分，并由像素集或“超像素”组成。图像分割将像素组织成更大的部分，消除了将单个像素作为观察单位的需要。引入DL的图像分割技术较传统的图像分割方法在算法上有更大的包容性，并具有较强的自主学习能力，因此准确率得到了极大的提高［10-14］。目前在乳腺图像分割领域，常用的DL技术主要包括卷积神经网络（convolutional neural networks，CNN）、U-Net、生成对抗网络（generative adversarial network，GAN）、Transformer 模型、迁移学习等。

2.1 CNN

CNN 是最早用于乳腺影像分割的一种前馈神经网络，具有卷积计算及深度结构。CNN基本架构包含5个部分：⑴输入层；⑵卷积层；⑶池化层；⑷激活函数层；⑸全连接层。CNN是深度学习中最常用于图像分割方面研究的算法之一。KOOI 等［15］首次将DL 用于DM 检测乳腺癌任务中，使用CNN 模型从44 090 张乳腺DM 图像中学习特征并对其进行分割，结果该算法在病灶分类任务中的AUC 为0.875，其对病灶分类的能力优于传统CAD，且与放射科医师诊断能力无显著差异。此后，更多学者也开始将CNN 算法应用于乳腺癌诊断［16-19］。CHIAO 等［20］构建了一个基于提取区域信息的CNN 模型（Mask R-CNN 模型），优点为自动分割图像，即先定义病灶边界框，再绘制其轮廓，然后对其进行分类，结果显示该模型在分割乳腺图像的任务中准确度达0.75。然而，CNN 也存在不足，其致命缺点是池化层会丢失部分有价值的信息，病灶整体与局部信息之间的关联性极易被忽略。因此，有研究者［21］提出了一种新的池化层设计，向量池化块（vector pooling block，VPB）以及在此基础上新的池化模块（AVG-MAX VPB），这些改变可使CNN 网络同时收集全局和局部特征，较好地解决了部分信息丢失的问题。将VPB 及AVG-MAX VPB 插入至U-Net、AlexNet、ResNet18 级GoogleNet 等网络模型中也均得到较好结果。

2.2 U-Net

U-Net 是一种基于CNN 端到端的深度学习模型，包括对称的编码器-解码器结构以及跳跃连接。编码器结构用于提取图像特征，解码器结构用于重建并生成分割后的图像，而跳跃连接通过捕捉更多的多尺度信息，使图像分割精度得到大幅度提升。与CNN 的图像级分割不同，U-Net分割为像素级，直接输出每个像素点的类别，已成为近年来学者关注的研究热点之一［22-25］。2020年，BYRA等［26］开发了一种选择性内核U-Net（selective kernel U-Net，SK U-Net），并用于乳腺图像分割，目的是为了解决乳腺肿物大小及图像特征变化后，DL难以完成自动分割任务的问题。SK U-Net具有可调整神经网络接受域，并融合扩展卷积和常规卷积提取的特征。该模型在882 个乳腺US 图像分割任务中的表现优于常规U-Net（Dice：0.826vs0.778），在不同中心收集的数据中也表现优异。近年来，较多学者对U-Net模型进行不同程度改良也均获得不错效果［27-30］。例如，NING 等［31］提出了一种显著性引导的形态学感知U-Net（saliency-guided morphology-aware U-Net，SMU-Net），主要用于乳腺US图像的病灶分割，SMU-Net 较目前常用的DeepLab V3、FCN+均有更好的表现（Dice：0.883vs0.741；0.883vs0.752），这可能与U-Net变体中使用跳跃连接操作将编码流中的低级上下文特征传输到解码流中，以补充模式细节，有助于提高分割性能。LIU 等［27］提出一种不需要像素级分割的模型（Res-Net 模型），在对438 例患者的278 685 张图像切片分析中，该模型在乳腺良恶性肿块分类上表现优异，AUC 为0.92，准确度为0.942。还有研究评估了5 种网络架构，包括U-Net、密集U-Net、Res-Net、循环残差U-Net（R2U-Net）和密集R2U-Net（D-R2U-Net）在93 例三阴性乳腺癌人源性肿瘤异种移植模型的T1WI、T2WI图像上对肿瘤进行精确定位及分割的性能，各模型均表现优异，其中D-R2U-Net 表现最佳，F1-score 达0.948［29］，表明U-Net 模型在乳腺影像图像分割中的应用具有较好前景。

2.3 GAN

GAN 是近年来备受关注的一类无监督深度学习模型，包含2 个神经网络（生成器和鉴别器）。生成器的作用是把一个随机噪声输入通过多次迭代后生成逼真的图像，而鉴别器的作用是在每一次迭代过程中，对生成器生成的图像和真实世界的图像进行判别，两者相互博弈对抗学习以获得更优秀的结果。已有研究表明GAN 在减少金属伪影、降噪以及提升图像质量方面特别有效［32-34］。近年来，学者们开始将GAN 应用于乳腺图像分割的研究［35-37］。例如，HAN等［38］提出一种基于GAN 的半监督分割网络（breast ultrasound generative adversarial network，BUS-GAN），该模型由分割网络（breast ultrasound segmentation，BUS-S）及评估网络（breast ultrasound evaluation，BUS-E）组成。BUS-S 增强分割的稳健性，BUS-E 通过增加病灶区域与背景间的差异，从而提高其辨别能力。BUS-E 网络引导BUS-S网络生成更精确的分割图，使BUS-GAN 获得更高的分割质量。该方法用于无标注的乳腺病变超声图像分割，分割精度DSC 达0.83。另一项研究则提出一个新的框架——条件生成对抗网络（conditional generative adversarial network，cGAN），该模型的优点是可以通过学习真实病灶的分布及图像与相应分割掩码之间的映射（即掩模），从而生成许多病变图像用于自我训练，达到提高乳房X 线肿块分割性能的目的。该方法在INbreast公开数据集和南方医科大学南方医院的乳腺影像数据集上均表现优秀，与基础模型相比，Jaccard指数提高了7%［39］。另外，MA等［40］提出一种基于GAN 的自动深度学习方法，该方法中GAN的生成器为改进的U-Net，鉴别器为补丁深度卷积神经网络（deep convolutional neural network，DCNN），该方法用于乳腺纤维腺体组织MRI的分割，分割DSC达到0.87。有研究证实，在公开数据集DDSM 及INbreast 上，超像素平均池化条件生成对抗网络（superpixel average pooling-conditional generative adversarial network，SAP-cGAN）是基于GAN 的乳腺肿块分割效能最佳的方法，分割Dice 分别为93.37%和91.54%，该方法较常规的GAN 表现更优秀的原因在于该模型引入了一个超像素平均池化层的解码器用于改善边界分割性能，并且采用一种多尺度输入策略，以增强该网络的稳健性［41］。此外，KIM 等［42］还提出了一种新的方法——肿瘤灌注分割引导生成对抗网络（tumor-attentive segmentation-guided generative adversarial network，TSGAN），在GAN 网络中加入辅助的分割网络，使其在分割肿瘤时产生一个更真实的肿瘤区域，然后以端到端方式将增强前T1WI 图像合成乳腺增强T1WI 图像，以减少/消除造影剂对受检者产生的伤害，其NRMSE 为25.65，PSNR 为54.8，SSIM 为0.91，CC为0.88。

2.4 Transformer模型

Transformer 模型是一种基于注意力机制的神经网络架构，其基本架构包含Encoder 模块（编码器）和Decoder 模块（解码器），这两个模块都包含多个代码块（block）。Transformer 模型比CNN 等传统神经网络在捕捉影像间依赖关系、计算效率上更具优势，同时该模型对输入图像的干扰具有更强的稳健性。例如，一种可用于乳腺DM 肿块检测及分割的Transformer模型（you only look once-local global，YOLO-LOGO 模型），利用LOGO模型直接对YOLO所检测出的高分辨乳腺肿块图像进行分割，其真阳性率最高可达0.957，使原始像素级的分割分辨率得到大幅度提升［43］，但最高的F1-score仅为0.745。HE等［44］提出了一种混合CNN-Transformer 网络模型（hybrid CNN-transformer network，HCTNet），通过变换器编码器块（transformer encoder blocks，TEBlocks）学习不同解剖层面的信息，并将其与CNN 结合提取特征。此外，在解码器之间使用残差链接，通过聚合不同语义尺度的不同解剖层特征图，以提高乳腺肿块超声图像的分割精度，其Dice 系数最高可达0.97。由于传统的CNN 在乳腺较大病灶分割中表现较差，MA 等［45］则提出一种基于轴向转换（axial transformer，Axial-Trans）及特征增强（feature enhancement，Trans-FE）的CNN（ATFE-Net），并对两个公开乳腺超声数据集（BUSI 数据库；UDIAT数据库）进行图像分割，Dice 系数分别为0.825 和0.868，提示ATFE-Net模型表现优异。尽管Transformer分割模型是近几年的研究热点，但目前的研究大多集中在乳腺病变2D 图像分割领域，尚未用于乳腺病变3D 图像分割任务中，且分割效能较传统的乳腺影像分割方法相对偏弱，可供参考的相关乳腺影像图像分割研究仍较少。

2.5 迁移学习

迁移学习利用数据、任务或模型之间的相似性，将在旧领域学习的模型应用于新领域，以数据要求量小，训练速度快为特点，弥补了数据量不足的缺陷，在医学图像DL 研究领域受到广泛关注［46-47］。ZHANG等［48］提出一种利用迁移学习从T1WI 非压脂图像中训练出的U-Net 模型，利用该方法对不同场强的MR设备间的T1WI压脂图像上的乳腺肿块及纤维腺体进行分割，乳腺肿块分割DSC 为0.97，乳腺纤维腺体分割DSC 为0.86。另外，HAM 等［49］采用迁移学习的方法训练2D/3D U-Net、2D/3D no-new-U-Net（nnU-Net）网络，提高上述模型对俯卧位、仰卧位乳腺纤维腺体组织分割质量，经过Transformer训练后的2D U-Net在瘤体分割任务中表现最好，DSC 为0.87。在一项对441例患者，471 个肿块的927 幅FFDM 和DBT 图像进行分割并分类的研究中，通过对比双迁移学习（double transfer learning，DTL）、DBT 和FFDM 混合（mixture of DBT and FFDM，MIX）和单迁移学习（single transfer learning，STL）三种迁移模型，结果发现MIX 模型应用于DBT 图像分类的AUC 表现最佳（恶性AUC=0.917，良性AUC=0.951，正常AUC=0.990）［50］。在三个不同的乳腺数据集（BUSI、BreaKHis、来自Kaggle 的Breast cancer 数据集）中，采用随机动量梯度下降（stochastic gradient descent with momentum，SGDM）优化技术制定AlexNet 预训练模型，在分割及分类任务中可获得最佳的迁移学习效果，其中在BUSI 数据集中，该模型对恶性肿瘤分类任务表现最佳，准确率高达100%［51］。可见，迁移学习模型善于将来自不同解剖层面的信息合并后重新构建图像的特征信息。不仅如此，迁移学习模型还可以合并到基于跳跃连接的网络模型中，用于分析其他层面图像的远程特征信息。尽管目前应用迁移学习模型进行乳腺肿块分割的研究较少，但未来如何利用有限的数据集提升DL 模型分割的准确度是研究的热门方向。

3 小结与展望

综上所述，在乳腺图像分割网络架构中结合CNN、U-Net、GAN、Transformer 及迁移学习等DL 技术，可以不同程度地提升分割效能。基于GAN 和UNet、Transformer 与CNN 结合的网络架构将是未来乳腺影像分割的重点研究领域，这也为之后DL 模型对乳腺肿物的分类奠定基础。但由于乳腺影像图像的标注主要依赖于放射科医师手工标注，耗时耗力，而且具有精准标注的乳腺公开数据集尤其是公开乳腺MRI数据集仍然较少，所以建立更多精准标注的乳腺影像公开数据集是当务之急。此外，精准标注的实现仍需要相关共识或指南进行规范，而且数据的广泛共享与保护患者隐私信息，也需要构建更多高性能、泛化能力强的乳腺AI 模型，才能使精准的乳腺图像分割真正用于乳腺疾病的精准分类、分期、疗效评价，以及促进乳腺影像人工智能的研究。