融合双注意力机制的多尺度胰腺分割方法

张国栋，唐晓艺，鞠蓉晖，宫照煊+

(1.沈阳航空航天大学 计算机学院，辽宁 沈阳 110136；2.东北大学 医学影像智能计算教育部重点实验室，辽宁 沈阳 110819；3.辽宁省人民医院 放射科，辽宁 沈阳 110067)

0 引 言

近年来胰腺癌发病率在全球范围内呈上升趋势，患者确诊后的5年生存率仅为8%[1]。因此，胰腺的准确分割是早期诊断胰腺癌的重要参考，为胰腺癌手术提供辅助依据。胰腺在计算机断层扫描(computer tomography，CT)影像中灰度值差异较小，个体形状差异较大，使得分割精度较低。随着深度学习技术的不断发展，卷积神经网络被广泛应用于胰腺分割中。O Ronneberger等[2]提出U-Net网络模型，较少受到图像灰度值差异以及噪声影响，具有良好的泛化能力，适用于解决胰腺分割[3]。Oktay O等[4]提出了Attention U-Net网络模型，使用注意力机制门实现自动学习关注不同形状和大小的分割区域。Lu等[5]使用卷积注意力模块对空间注意力及通道注意力进行加权，环形残差模块替代U-Net的卷积块。但网络深度导致计算量增加，精确度无法进一步提升。因此，Giddwani等[6]针对此问题提出多尺度融合策略以捕捉胰腺的深层信息。上述方法均采用对称的编码-解码结构，针对胰腺这类目标区域小的器官，通过下采样获得的语义特征较小，上采样与底层特征融合时跳跃较大，致使底层特征损失，边界提取效果不佳。因此，本文提出融合双注意力机制的多尺度U型(dilated attention U-Net，DAU-Net)网络。网络由一个编码器及两个相同结构解码器组成，提高对浅层语义特征的利用。将传统卷积替换为膨胀卷积，利用金字塔结构从多尺度上下文获取胰腺的空间特征。将不同尺度特征图输入到CBAM模块[7](convolutional block attention module)中，对提取的特征区域分别从通道及空间两个独立维度加权进行监督处理，可有效捕捉胰腺边界细节信息，取得更好的分割效果。

1 方 法

本文提出了一种融合双注意力机制的多尺度U型网络结构，称为DAU-Net对胰腺组织进行特征提取。针对胰腺边界不规则导致精确度不高的问题，通过将传统卷积替换为膨胀卷积与现有的双注意力机制进行融合，提出了一种新的金字塔注意力特征融合模块。

1.1 DAU-Net网络模型

传统U-Net网络体系结构在进行分割时仅关注分割区域信息，对分割图像的边界特征提取不足。本文提出了一种融合双注意力机制的多尺度U型网络结构DAU-Net对胰腺特征进行准确提取。DAU-Net网络是在传统U-Net网络基础上进行改进，由一个编码器及两个相同结构解码器组成，具有两条路径。左边路径称为收缩路径，用于下采样，即特征提取过程；右边路径称为扩张路径，用于上采样，即特征重构过程。下采样提取的特征与两个上采样对应尺度的特征跳跃连接，两个上采样对应尺度的特征也需通过跳跃连接实现相同尺度的特征融合，通过高级语义指导低级语义实现特征融合。金字塔注意力特征融合模块替代U-Net网络底层两个卷积核大小为3×3的卷积模块，经下采样输出的特征图经过金字塔注意力融合模块特征提取，进行上采样操作得到胰腺分割图像。金字塔注意力特征融合模块由空洞空间金字塔池化及CBAM模块构成。编码器——解码器结构的卷积神经网络在医学图像分割中具有突出表现，但由于受到连续卷积操作和池化操作影响，造成图像分辨率降低而导致层级间信息损失，上采样后无法恢复到原先分辨率造成图像分割不精确。针对此问题，提出将网络底层两个卷积核大小为3×3的传统卷积替换为膨胀卷积，下采样之后使用扩张率为6、12、18的金字塔结构并行采样，增大感受野，获得多尺度特征图。为克服传统U-Net网络对胰腺区域边界提取不充分的问题，本文算法将输出的多尺度特征图分别输入到双注意力模块中获得通道及空间维度注意力向量加权以提取胰腺边界信息，经过上采样恢复分辨率，最后将胰腺分割结果进行输出，网络结构如图1所示。

图1 DAU-Net网络结构

1.2 注意力机制

注意力机制在图像处理中应用广泛[8-12]，其在腹部CT影像分割中专注于提取精确的胰腺特征，把注意力集中到对任务有用的目标区域，抑制输入图像的背景信息以及其它组织信息，达到自动学习提取胰腺的作用。

U-Net网络结构采用编码-解码方式在医学分割中的有效性已被证实，通过跳跃连接将上采样与下采样的信息在通道上进行特征融合，解决上采样过程中信息提取不足的问题。但针对胰腺这种小器官而言，连续的下采样操作导致分辨率降低造成边界信息损失。因此，为了增强特征图对特征区域的分割能力，减少背景及相似器官组织对胰腺影响，引入注意力机制提高特征提取能力。将注意力机制同时运用在通道和空间两个独立维度中，给定一个中间特征，沿着空间和通道轴依次判断注意力权重，与输入特征图相乘对特征区域进行自适应调整以实现注意力机制。CBAM模块流程如图2所示。

图2 卷积块注意力模块

通道注意力在通道维度抑制图像中不相关区域信息，空间注意力使网络关注胰腺目标空间特征，通道和空间两种独立维度相互协作，其工作过程如下：

(1)通道注意力：利用特征图之间的通道间关系，生成通道注意力图。利用压缩空间维度即平均池化操作及最大池化操作使注意力在通道轴起到关注目标特征的作用，通道注意力流程如图3所示。

图3 通道注意力

(1)

(2)空间注意力：空间注意力利用特征间内部空间关系生成空间注意力特征图，是对通道注意力的补充，空间注意力流程如图4所示。

图4 空间注意力

(2)

1.3 金字塔注意力特征融合模块

CBAM模块是用于前馈网络的注意力模块，给定中间特征图结合通道和空间两种独立维度实现注意力机制，达到自适应特征优化的作用。但双注意力机制仅能获取局部信息，需要捕获不同尺度的空间信息丰富特征空间，提高网络对不同尺度目标的分割性能。在标准卷积神经网络中，可通过增加网络层数提取高级信息，使用连续卷积和池化操作增加输出感受野的大小。但伴随着下采样的增多，特征图分辨率降低，造成特征图丢失大量层级间信息，对上采样恢复原始分辨率造成影响。因此，为了获取多尺度空间信息同时缓解特征图分辨率与感受野大小之间的矛盾，本文将传统卷积替换为膨胀卷积解决此类问题。空洞卷积与普通卷积区别在于不增加卷积核参数的情况下，可通过使用不同的填充和扩张率扩大感受野。

本文使用的金字塔注意力特征融合模块受到空间金字塔池化(pyramid scene parseing，PSP)模块[13]以及空洞空间金字塔池化(atrous spatial pyramid pooling，ASPP)模块[14，15]启发。空间金字塔池化模块以并行连接聚合的方式提取多尺度信息，但存在参数量过大的问题，对实验设备要求过高。空洞空间金字塔池化模块通过不同扩张率的特征图级联方式获取多尺度信息，由于下采样特征图小，感受野过大会导致提取到图像中的无关特征，且随着扩张率的增大，空洞卷积变得无效，逐渐失去建模能力。因此，为达到更好的分割效果，本文通过调整空洞卷积扩张率，在所提出的结构中删除扩张率为24的扩张卷积，采用扩张率为6、12、18的扩张卷积。改进后的金字塔池化结构对给定的输入采用空洞卷积中3个不同扩张率金字塔并行采样，多个比例捕捉图像上下文信息，用于多尺度提取特征，起到增大感受野的作用，减少信息损失。

使用改进的空洞空间金字塔池化结构与通道和空间串行的双注意力机制相融合，提出了一个新的金字塔注意力特征融合模块充当收缩路径与扩张路径的连接层，替代U-Net网络结构底部的两个3×3卷积模块，用于多尺度上下文提取特征。将下采样得到的特征图送入改进的空洞空间金字塔池化结构中，使用6、12、18的扩张率，每个扩张卷积块中包含3×3的卷积，卷积后跟着ReLU-BN(batch normalization，BN)层并行采样，BN层增加了训练的稳定性。不同扩张率支路所得到的目标尺寸特征图分别输入到CBAM模块中，通过通道维度和空间维度，自动学习和关注不同大小的胰腺区域，捕获不同尺度的空间信息，提高边界提取能力。其后进行concat连接，通过全局池化后输入到卷积核为1×1的卷积中降低通道数，最终输入上采样中。金字塔注意力特征融合模块如图5所示。

图5 金字塔注意力特征融合模块

2 实验结果与分析

2.1 实验数据

本文实验对比数据均采用第二届图像计算与数字医学国际研讨会(ISICDM 2018)胰腺数据集，其中包含64例病人的腹部对比增强的三维CT影像(门静脉造影注射后60 s)。每例影像数据都包含金标准，为经验丰富的影像科医生手动勾画。

影像空间分辨率为512×512，扫描设备为西门子64排CT，扫描管电压120 KV，采用标准胰腺扫描方案，受试者仰卧位躺于扫描床上。共采集平扫、动脉期、静脉期3组数据。因胰腺分割在临床中普遍采用静脉期影像，因此本文实验所使用的数据仅选取了数据集中的静脉期影像。

2.2 实验细节

本文所有实验使用的硬件环境均为Intel E52620V4的CPU处理器；GPU版本是NVIDIA Geforce GTX TiTAN XP 12 G；算法在Pytorch框架完成，采用Python实现，Matlab进行可视化。

所有实验梯度优化均使用Adam优化器进行训练，设置初始学习率为0.0001，迭代次数为50次，批大小设置为4，训练一次模型需要花费8小时。

2.3 评价指标

在医学影像分割中，评价标准主要采用Dice相似系数(dice similarity coefficient，Dice)[16]，Dice相似系数通常被用来衡量目标区域和分割区域的相似度，结果值的范围在0～1之间，Dice系数越趋近于1代表分割结果越接近手动勾画的金标准结果。其中，S、G分别表示预测图像素集合与标签图像素集合，Dice计算公式如式(3)所示

(3)

2.4 实验结果

为了验证本文所设计的方法在胰腺分割任务上的准确性，使用本文提出的方法(DAU-Net)与其它各个先进方法在ISICDM 2018数据集中进行分割准确率实验对比。本文使用标准的U-Net网络、Attention U-Net网络以及DeepLabv3网络[17]作为主要对比分割模型进行实验验证。U-Net网络作为医学经典分割模型在腹部组织中具有良好的分割效果，较少受到图像灰度值差异以及噪声影响，并可通过学习少量带有标记的数据得到良好的泛化能力，具有较强的稳定性，因此将作为基础对比标准。Attention U-Net网络在U-Net网络基础上通过使用注意力机制门提升网络性能，且Attention U-Net网络是针对胰腺所提出，与本文分割目标相同，因此作为对比实验模型。DeepLabv3网络通过使用空洞空间金字塔池化模块实现分割，与本文所使用的金字塔注意力特征融合模块结构类似，因此将作为对比实验模型。

4种模型实验对比结果见表1。本文所提出的DAU-Net网络的分割准确度显著高于其它网络，平均Dice值最高，达到0.8535。对比U-Net网络，本文方法在Dice上提升5.51%。U-Net网络作为经典的基准模型，具有良好的稳定性，计算量及训练时长小，但对于胰腺这种小器官而言，特征提取不足，实验准确率最低；对比Attention U-Net网络，本文方法在Dice上提升3.22%。Attention U-Net网络分割结果与U-Net网络相比有所提高，平均Dice值为0.8213，通过在基础U-Net网络上加入注意力机制，对特征进行加权，准确关注到目标分割区域，但此注意力机制仅单一维度，缺少多尺度空间信息；对比DeepLabv3网络，本文方法在Dice上提升3.24%，DeepLabv3网络的平均Dice值达到0.8211，通过使用空洞空间金字塔池化结构获得多尺度上下文信息，但分割精度仍然不高。

表1 4种模型实验对比

为了更加直观对比各个方法的分割效果，使用ISICDM 2018数据集中53号病例第60张切片的影像进行分割结果对比，分割对比效果如图6所示。通过对比图可以看出，图6(d)U-Net网络和图6(e)Attention U-Net网络与金标准图像对比均出现了欠分割的现象，缺失大量胰腺区域特征，无法准确收敛至胰腺边界。图6(f)DeepLabv3网络对比金标准图像出现了过分割的现象，虽然得到较为完整的胰腺组织，但由于右上方区域灰度值与胰腺灰度值差异较小，错误的将其它器官组织作为胰腺区域进行分割处理，且分割结果受到噪声影响，分割效果不佳。导致欠分割与过分割问题出现的主要原因是腹部影像中灰度值差异较小，胰腺个体形状受边缘灰度信息的影响存在较大差异，并且由于胰腺较软，易受到周围器官挤压，导致边界不规则，网络无法准确提取胰腺的边界特征信息，造成分割精度不高。在4种网络结构中，本文提出的DAU-Net能够更好提取胰腺边界信息，分割效果平滑，结果更接近于金标准。

图6 本文方法与其它方法的胰腺分割结果对比

三维分割效果如图7所示。使用ISICDM 2018数据集中56号病例切片影像应用本文方法(DAU-Net)、U-Net网络、Attention U-Net网络、DeepLabv3网络模型绘制的三维胰腺分割结果对比图中可以看出DAU-Net网络与其它3种先进方法相比，所得到的分割结果更接近于图7(a)三维金标准图像，分割结果受噪声影响小，边缘提取较其它网络更加精确。

图7 本文方法与其它方法三维胰腺分割结果对比

2.5 金字塔注意力特征融合模块有效性分析

为了验证金字塔注意力特征融合模块的有效性，本文选取40号病例第59张切片以及第79张切片作为对比实验，对比结果如图8所示。从图中可以看出，在相同的网络结构下使用金字塔注意力特征融合模块后的分割结果更加接近于金标准，平均Dice值与不加模块相比提高2.54%。由图8(b)可以看出，没有使用金字塔注意力特征融合模块的单张切片缺失了胰腺部分结构，而使用模块后欠分割的现象有所改进，边界提取更加准确。由图8(e)可以看出，未使用金字塔注意力特征融合模块的胰腺切片错误的将其它组织区域进行分割，目标区域分割效果不佳，而使用模块后可减少更多的背景信息的干扰，关注学习目标区域的分割。因此，通过实验验证金字塔注意力特征融合模块具有有效性。

图8 加入模块后分割结果对比

3 结束语

本文提出一种融合双注意力机制的多尺度U型网络用于胰腺CT影像分割。使用一个编码器和双解码器结构加强高级语义特征对低级语义特征的指导，提高特征信息利用；针对边界特征提取不完全的问题，提出金字塔注意力特征融合模块，将传统卷积替换为膨胀卷积，使用不同扩张率金字塔结构并行采样，获得的多尺度信息输入双注意力机制中，提升网络的分割性能。实验结果表明，本文提出的模型与其它先进模型相比能够更精确地完成胰腺的分割任务。