融合自注意力的乳腺钼靶图像特征引导分割算法*

申文静,丛金玉,班楷第,王苹苹,刘坤孟,司兴勇,魏本征△

(1.山东中医药大学 医学人工智能研究中心,青岛266112;2.山东中医药大学 青岛中医药科学院,青岛 266112)

0 引言

乳腺癌是女性最常见的恶性肿瘤之一[1]。据国际卫生组织癌症研究机构最新发布的统计数据,全球女性乳腺癌新发病例数高达226万,并且仍以3%～4%的速度逐年上升[2]。随着医学水平的进步,乳腺癌早期患者的生存率显著提高,但对于晚期乳腺癌治疗,目前临床缺乏有效方法,五年生存率低。因此,乳腺癌的早筛、早诊和早治对延长患者生存时间,提高患者生活质量具有重要意义[3]。

肿块和钙化是早期乳腺癌检测中两个最重要的特征表现,常见的诊断方法有超声、核磁共振及钼靶检查等[4]。其中,钼靶可显示肿块的大小和周围病变情况、形态等信息[5]。不同于CT等成像设备,钼靶对钙化的敏感度较高[6],可识别微小钙化区域[7]。目前,临床上主要依靠放射科医生对乳腺钼靶图像中的肿块和钙化点进行分割(见图1),耗时费力且分割精度受医生经验影响,易出现漏诊、误诊等现象[8-9]。随着人工智能的发展,基于深度学习的乳腺肿块和钙化全自动分割应用广泛。该方法可帮助医生快速确定病变范围,提高诊断效率,为临床检测提供准确可靠的解决方案,具有重要的现实意义。

注:红色标记部分表示病灶区域

U形的卷积神经网络(convolutional neural network,CNN)可提高特征信息的利用率,在医学图像分割中表现出较好的性能[10]。此外,融合注意力机制的模型可确定视觉探索区域,并发现特定的放射异常,能有效捕捉乳腺癌分割和定位的关键线索,增强对病灶区域及边缘细节信息的关注,在癌症病灶分割中取得了显著成绩。

基于此,Chen等[11]引入混合自适应注意力模块取代传统的卷积运算,使其在不同感受野下捕捉更多的特征,有效提高了特征利用率。Umer等[12]设计了双解码注意力机制用于实现乳腺癌病变区域的自动分割。Lou等[13]通过自适应地减少编码器和解码器特征之间的语义间隙,利用语义交互增强上下文关系,改进U形CNN,进一步提高了分割性能。Farooq等[14]提出基于残差注意力的自集成模型用于乳腺肿瘤检测,有效克服了乳腺肿瘤低视觉对比度、边界不清及乳腺病变形状和大小多样性等问题。Zhong等[15]提出将双边跳跃连接和全尺度注意力机制引入U-Net网络,通过融合多尺度特征,有效提高了肿瘤分割精度。Ru等[16]提出一种注意力引导神经常微分方程网络,该网络使用常微分方程块组成编码器-解码器网络,使用注意力模块生成更精细的特征信息,提高了乳腺肿瘤的分割性能。Yang等[17]将CNN和Swin Transformer连接作为特征提取主干,构建金字塔结构网络,引入交互式通道注意力模块,用于强调重要的特征区域;补充特征融合模块用于在特征融合过程中补充特征,有效提高了算法分割性能。褚张晴晴等[18]提出了一种改进的U-Net模型,通过在跳跃连接中设计特征融合模块以融合不同层次的特征信息,并将改进的三维坐标注意力引入编码器网络以获得肿瘤的精确位置。Fu等[19]提出了基于注意力的主动学习框架用于乳腺癌图像分割。Iqbal等[20]设计了U形金字塔扩张融合网络,取得了较为准确的分割效果。

尽管将各种注意力机制引入到U型网络中,使肿瘤分割精度得到了有效提升。但当前深度学习方法无法同时检测乳腺肿块和钙化,且现有模型仍存在特征利用不充分、细节信息丢失等问题,导致分割精度不理想。为此,本研究提出了一种融合自注意力的乳腺癌钼靶图像特征引导分割算法,以充分提取和利用图像特征,实现乳腺癌病变区域的精确分割。

1 算法设计

1.1 融合自注意力的乳腺癌钼靶图像特征引导分割网络

本研究算法框架采用由编码器和解码器组成的U型网络作为骨干网络,见图2。其中,编码器通过卷积层提取高级语义特征信息,解码器利用跳跃连接,引入来自编码器的高分辨率特征图,恢复图像丢失的细节信息。

图2 算法框架图

特征引导注意网络(feature guided attention network,FGA-Net)以肿块和钙化两类乳腺癌钼靶图像作为输入,网络输入图像大小为512×512。为获取丰富的特征信息,骨干网络卷积层均由两个3*3卷积层的重复应用组成,每个卷积层后为批归一化处理和ReLU激活函数层。特征提取模块共由4个编码块组成,在每个编码块后,通过步长为2的最大池化对特征图进行下采样,增加输出通道数量,扩大感受野,获得高分辨率特征图。解码部分有4个解码块,每个解码块由卷积序列和特征引导注意模块组成,用于对来自特征提取模块的相应特征图和解码块的输出特征图的总和进行上采样操作,最后使用1*1卷积进行降维,还原到图像输入时的大小。

1.2 特征引导注意模块

为增强通道间的依赖关系,提高分割精度。本研究在解码块中加入了特征引导注意模块,该模块由自注意力机制和特征引导模块组成。自注意力机制可更多地关注到输入中的关键信息及不同通道间的相关性,能够充分利用全局信息获得更好的模型训练结果,增强对病灶区域边缘信息的关注度,使边界分割更加清晰。此外,采用特征引导模块能够使网络关注图像中肿块和钙化区域特征信息的不同,有利于进一步提升分割精度。

首先,特征引导注意模块将编码部分的输出作为输入x,通过Attention操作,筛选出重要特征信息。权重占比越大,说明特征信息越重要,Value是权重对应的信息。对于每个向量x′分别与需要学习的权重矩阵Wq、Wk和Wv相乘,得到Q、K和V;通过Q和K点乘的方式,计算每两个输入向量的相关性,得到A;接着对A进行Softmax操作得到A′,即各样本与各信息间相关或相似程度的分布;利用A′和V点乘计算每个输入向量x′对应的Attention层的输出向量;最终输出信息的加权和Att(Q,K,V)。Attention的计算如下:

(1)

然后,通过一个卷积层操作(大小为3*3),再依次通过全局平均池化(GAP)层、全连接层(FC)、Sigmoid激活层,与另一组直接来自3*3卷积的输出特征进行点乘操作,用于将前面提取到的信息进行整合。最终,得到输出特征图y。

1.3 损失函数

为计算网络预测结果与真实值的差异,本研究使用交叉熵损失函数计算损失:

loss(x,class)=-x[class]+log (∑jexp(x[j]))

(2)

其中,x表示样本,class表示类别信息,该分割网络目的是将病变区域与背景进行区分,因此,设置为二分类。

2 实验

本研究在深度学习框架Pytorch中进行实验,并在NVIDIA GeForce RTX 2070上运行。实验初始学习率设置为0.000 1,迭代次数设置为40。实验图像在输入模型前采用水平翻转、垂直翻转、镜像和随机旋转等数据增强方法,以在一定程度上避免过拟合,提高模型的泛化能力。

2.1 数据集

本研究分别在INBreast1和DDSM乳腺钼靶图像数据库上对FGA-Net进行评估。由于公开的INBreast[21]数据库中标注数据太少,因此,加入了来自山东中医药大学第二附属医院的部分自有数据集,组成本研究所使用的INBreast1数据库。该数据库包含151例肿块病例和85例钙化病例,本研究分别从肿块病例和钙化病例中选择了529张和324张标签较为准确的乳房钼靶图像进行实验。由于未收集到来自DDSM公开数据库的钙化病例,本研究仅使用从DDSM数据库获取的826例肿块病例,共3 103张乳房钼靶图像进行实验。实验中将不同数据集均按8∶1∶1的比例划分为训练集、验证集和测试集,分别用于模型的训练、验证与测试。

2.2 评价指标

为有效评估算法性能,本研究使用为准确率(Accuracy),交并比(IoU)和Dice系数作为评价指标,计算如下:

(3)

(4)

(5)

其中,TP表示正确预测为病灶的像素数,FP表示错误预测为病灶的像素数,FN表示错误预测为周围组织的像素数,TN表示正确预测为周围组织的像素数。Dice系数越高,则网络预测结果的准确率越高。

2.3 结果与分析

本研究基于DDSM和INBreast1数据库进行消融实验,并与目前性能较好的几种典型分割网络进行对比,验证该网络的性能。

2.3.1对比实验 为验证本研究所提出的网络的有效性,本研究与U-Net及其3种经典的、性能较好的改进算法进行了比较。

基于INBreast1对比实验结果见表1、2。实验结果表明,本研究模型的肿块分割的Acc、mIoU和mDice分别为0.998、0.946和0.971,在完成35轮训练后,模型已趋于稳定;钙化分割的Acc、mIoU和mDice分别为0.996、0.817和0.888,在完成15轮训练后,模型已趋于稳定。训练集与验证集loss值变化随训练轮数变化见图3、4。与U-Net基础网络相比,本研究模型在肿块分割中Acc、mIoU和mDice分别提高了0.7%、10.4%和10.2%;在钙化分割中Acc、mIoU和mDice分别提高了0.2%、15%和13.8%,分割效果均有显著提升。相较于U-Net+Attention、Res-UNet和Swin-UNet网络,本研究模型在肿块分割中Acc分别提高了0.7%、0.5%和1.6%;mIoU分别提高了18.6%、8.3%和12.2%;mDice分别提高了12.7%、5.9%和6.5%。在钙化分割中Acc分别提高了0.1%、0.7%和0.5%;mIoU分别提高了6.7%、4.2%和6.4%;mDice分别提高了5.5%、3.2%和7.4%。表明FGA-Net可有效分割乳腺癌病变区域。

表1 INBreast1数据库肿块分割对比实验结果

表2 INBreast1数据库钙化分割对比实验结果

图3 INBreast1肿块数据训练过程中训练集和验证集loss变化

图4 INBreast1钙化数据训练过程中训练集和验证集loss变化

基于DDSM数据集的实验结果见表3。本研究模型的肿块分割的Acc、mIoU和mDice分别为0.999、0.848和0.911,在完成15轮训练后,模型已趋于稳定。训练集与验证集损失值变化随训练轮数变化见图5。与U-Net基础网络相比,本研究模型在肿块分割中Acc、mIoU和mDice分别提高了0.9%、10.3%和10.3%,分割效果显著提高。相较U-Net+Attention、Res-Unet和Swin-Unet网络,本研究模型在肿块分割中Acc分别提高了2.7%、0.8%和0.4%;mIoU分别提高了23%、4.2%和9.6%;mDice分别提高了21%、2.9%和7.9%。说明FGA-Net可更好地用于整个乳腺钼靶图像的病变分割,实现更高的分割精度。

表3 DDSM数据库肿块分割对比实验结果

图5 DDSM肿块数据训练过程中训练集和验证集loss变化

由表1、2、3可知,相比于U-Net、U-Net+Attention和Res-Unet模型,本研究模型增加了计算复杂度,但分割结果有明显提升;相较于Swin-Unet模型,本研究模型参数更少且分割效果更好。表明FGA-Net虽然在诊断效率上不具备优势,但在分割精度上相比经典网络模型得到了显著提升。

为更直观地观察网络分割效果的优越性,本研究对不同算法的分割结果进行了可视化处理,见图6。由于图像中钙化区域较小,不易观察,图中钙化分割结果使用乳腺钼靶图像为背景进行表示,并将预测区域用红色标记,人工标记区域用绿色标记。由图6可知,本研究网络分割肿块时可避免将图像中的钙化误判为肿块,且能够使肿块边缘更加平滑;在分割钙化时,能够较准确地识别钙化和周围组织,不受纤维腺组织的互相重叠和遮挡的影响。由此可见,本研究算法在肿块和钙化分割中均表现出了优良性能,分割精度得到了有效提升,整体分割效果优于其他经典分割模型。

注:红色表示预测区域,绿色表示人工标记区域

2.3.2消融实验 为验证各模块的有效性,消融实验分别在DDSM和INBreast1数据集上进行,各包括4组实验。A组实验用于验证基础网络对于乳腺肿块和钙化的分割效果;B组实验用于验证向基础网络中添加自注意力机制后的分割效果;C组实验用于验证向基础网络中加入特征引导模块后的分割效果;D组实验用于验证同时增加自注意力模块和特征引导模块(即本研究提出的特征引导注意网络)后网络所达到的分割效果。

消融实验结果见表4、5、6。在表4中,对比A组和B组的分割结果发现,自注意力模块的引入,提升了模型的分割效果,Acc、mIoU和mDice分别提高了0.3%、6.3%和4%。C组在A组的基础上添加特征引导模块。对比A组和C组的分割结果发现,添加特征引导模块后,分割效果也具有一定提升,观察到Acc、mIoU和mDice分别提高了0.2%、1.1%和1.3%。在表5中,与A组相比,加入自注意力的B组Acc虽降低了0.2%,但mIoU和mDice却有明显提升,分别提高了2.1%和0.8%;加入特征引导模块的C组Acc也存在小幅降低,但mIoU和mDice仍然有一定的提升,分别提高了1.5%和0.2%。在表6中,与A组相比,加入自注意力的B组Acc、mIoU和mDice均有上升,分别上升了0.3%、3.7%和2.7%;加入特征引导模块的C组仅Acc降低了0.3%,mIoU和mDice分别提高了2.1%和1.2%。通过对比发现,添加特征引导模块提升的分割效果低于添加自注意力。对比A、B、C和D四组实验结果发现,本模型在乳腺肿块和钙化类型上取得了较好的分割效果。由表4、5、6可知,相较于骨干网络,本研究模型由Acc分别提高了0.6%、0.2%和0.5%;mIoU分别提高了8.1%、3.3%和5.3%;mDice分别提高了4.9%、2.0%和5.5%。说明自注意力模块和特征引导模块均对于乳腺肿块和钙化分割具有有效性,两者的组合模块可进一步提升乳腺肿瘤的分割精度。

表4 INBreast1数据库肿块分割消融实验结果

表5 INBreast1数据库钙化分割消融实验结果

表6 DDSM数据库肿块分割消融实验结果

此外,由表4、5、6可知,D组模型的参数大小为62.71 M,远高于A组和B组模型,略高于C组模型,表明本研究模型产生的参数量较高,训练速度较慢,但分割结果明显高于其他三组。综上所述,FGA-Net虽增加了计算负担,但在分割精度上相比其他三组模型得到了有效改进。

3 结论

本研究提出了一种融合自注意力的乳腺癌钼靶图像特征引导分割算法,主要包含提取和学习特征信息的编码器网络和用于关注肿瘤区域和恢复边缘细节特征的解码器网络。实验结果表明,该算法可有效提高乳腺癌肿瘤的分割效果,对乳腺癌患者的早期检测和治疗有重要意义。但本研究模型也存在不足,相比其他模型,增加了计算负担,在一定程度上降低了诊断效率。如何在追求高分割精度的同时,遵循轻量型设计是后续的研究重点。