基于扩张卷积与注意力的甲状腺超声分割方法

谢紫薇，鲁大营，李志琦，孔晨曦，吴 熙，张 俊

(曲阜师范大学 网络空间安全学院，山东 曲阜 273100)

0 引 言

甲状腺结节是一种生长在甲状腺内的异常肿块，恶性结节是甲状腺癌的早期症状，去年的报道中指出甲状腺癌的患病率已升至全球第九位[1]。因为甲状腺结节患病率的迅速增长和超声图像的低价、无辐射等特性，超声图像被广泛应用于甲状腺结节的检测。但是，在甲状腺的超声图像中，甲状腺结节的外形与周围组织结构相似，且有钙化点阴影等因素，导致图像中结节部位与背景边界模糊，精确分割甲状腺结节的难度较大。以往的手动分割方式过于依赖医生们的状态和阅历，主观性过强，因此，需要一种自动分割结节的方法辅助医生进行病情诊断。

1 相关工作

甲状腺结节的分割方法主要分为传统方法和深度学习方法。

1.1 传统方法

传统方法包括利用能够变形到物体边界的曲线或曲面获取结节边缘轮廓的基于活动轮廓模型的方法[2-7]、将图像看作浮雕表面的基于分水岭变换的方法[8-11]和通过迭代聚合相邻像素来提取感兴趣目标区域的基于区域的方法[12-13]。Tsantis等人[2]首次将活动轮廓模型算法应用于甲状腺超声结节图像分割，在最后一步使用梯度矢量流描绘结节轮廓。后来Chan等人[3]从无边缘活动轮廓的全局分割模型得到了可变背景活动轮廓，虽然与无边缘活动轮廓相比图像分割效果有所提升，但是在有噪声的图像中分割结节的表现不佳。随后，Iakovidis等人[4]和Savelonas等人[5]提出的方法都结合了区域图像强度和纹理局部二值模式分布，还有Kollorz等人[7]使用的基于局部边缘的活动轮廓的方法。活动轮廓模型方法的广泛应用主要是由于这些模型能够提供亚像素精度的灵活闭合曲线，但是它对于参数变化敏感且计算成本高。

Beucher等人[8]首次提出基于分水岭变换的方法，Kollorz等人[10]和Ponraj等人[11]先后利用电力流域对甲状腺结节进行了分割，分水岭可以视为一种无监督的聚类算法，但是它因图像噪声、梯度局部不规则产生的过度分割问题却给分割任务带来了极大的阻碍。基于区域的方法是Chang等人[12]首次将区域增长作为甲状腺超声图像分割的补充算法，此类方法初始区域设置不同，结果也大不相同，导致无法广泛使用。Zhao等[13]提出的甲状腺结节图像分割算法是基于归一化模型的，同样不具备扩展性。

1.2 深度学习方法

基于深度学习的方法[14-30]在扩展性和自动化程度等方面相比于传统方法都有所提高，在近几年受到研究者们的推崇。Ma等人[15]首次将卷积神经网络用于分割甲状腺超声图像，将甲状腺结节分割问题当作一个块分类问题，获得了不错的分割效果，但是方法复杂度较高。Li等人[17]提出的8层全卷积模型FCN-TN将Long等人发表的全卷积神经网络(Fully Convolutional Neural Network，FCN)[18]用于甲状腺结节的超声图像分割，在甲状腺图像上实现了像素级的分割，然而会导致分割效率低和过拟合的问题。在对图像分割进程具有重要意义的U-Net[19]和U-Net++[20]相继发表后，以编码路径-跳跃连接-解码路径组成的U型结构为基础架构的方法层出不穷，比如王波等人[21]、何颖等人[22]和Kumar等人[23]的模型，U-Net在FCN的基础上实现了端到端的分割，U-Net++在它的基础上使用密集连接将来自编码端的浅层低级语义和解码端的深度语义更紧密的结合。但是上述模型中的卷积操作对小体积的结节分割能力有限，Wu等人[24]受空洞卷积[25]和Chen等人[26]的启发，结合空洞空间卷积池化金字塔技术对甲状腺进行分割，模型分割的准确性得到一定提升。

随着Attention U-Net模型[27]的出现，注意力机制走进研究者们的视野。Attention U-Net[27]引入注意力门结构，上一级的特征通过下一级的特征来监督，随着模型训练次数的增加，限制图像中背景部分的激活值。PSANet(Point-wise Spatial Attention Network)[28]在特征映射方面是将各个位置与其他每个位置都建立联系帮助预测自己，导致计算量过大。压缩和激励网络(Squeeze-and-Excitation Networks，SENet)[29]则从特征之间的依赖关系入手以改进U型结构模型，调整通道特征的权重，提高了分割模型对于通道域特征的敏感程度，但是SENet[29]是先降维再映射到高维度，一定程度上破坏了权重和通道的相应关系，计算速度也会下降，Wang等人提出的轻量级通道注意力ECANet[30]的改进缓解了这一问题。Dual attention network(DANet)[31]结合空间注意力与通道注意力，从两种维度上提取了像素之间的依赖关系，最后将两者的结果整合得到最终结果，但是矩阵计算多，复杂度高。

鉴于以上的问题，该文提出了一种用于甲状腺超声图像的结节分割方法，称为DCA-UNet++(Dilated convolution and efficient Channel Attention UNet++)，主要贡献如下：(1)采用扩张卷积(Dilated Convolution，DC)模块，在不降低分辨率的情况下提高模型获取上下文信息的能力，全面准确地分割结节区域；(2)在特征提取阶段，构建高效通道注意力(Efficient Channel Attention，ECA)模块，灵活调节各通道特征的权重，增强甲状腺图像中结节区域的有益信息提取，遏抑非结节(背景)区域的无益信息提取；(3)设计混合双损失函数保障模型的收敛性能，提升分割准确度，并在公开的DDTI(Digital Database Thyroid Image)数据集上进行训练测试并与其他先进方法进行对比，验证该模型提升了甲状腺结节分割精度。

2 DCA-UNet++方法

在整个甲状腺部位的超声图像中，非结节区域占比远大于结节区域，且非结节区域与结节区域彼此粘连，由此出现了结节轮廓形态分割不准确和背景像素过多的类不均衡问题。为缓解上述问题，该文提出了DCA-UNet++方法，DCA-UNet++整体架构如图1所示，基础架构由多个密集连接的编码部分(正方形)、跳跃连接、解码部分(圆形)组成。不同的是，DCA-UNet++模型在编码部分不仅包括卷积层(连续2组3×3的2D卷积)、批标准化(Batch Normalization，BN)、修正线性单元(Rectified Linear Unit，ReLU)激活函数、下采样，还包括扩张卷积模块和高效通道注意力模块。

图1 DCA-UNet++整体结构

2.1 DC模块

考虑到甲状腺超声图像中甲状腺结节所占区域较小、位置不确定，再加上语义分割模型在深层提取语义信息时池化操作损失的分辨率在后续解码阶段很难完全恢复，该文在DCA-UNet++模型的深层处采取扩张卷积模块(DC模块)，结构如图2所示，其中包括两部分，分别由3×3卷积、BN、ReLU函数和扩张率为2的扩张卷积、BN、ReLU函数组成。该模块在保持分辨率的基础上增大感受野，捕获有关甲状腺结节更丰富的上下文信息，精确定位结节所在位置。

图2 DC模块结构

扩张卷积，又名空洞卷积，它引入了一个超参数扩张率l，该参数定义了卷积核在处理数据时各值的间距，在标准的卷积操作中l=1。文中具体的扩张卷积操作定义为：

式中，O是输出特征，x、y表示特征点的位置，N是卷积核数，i、j表示卷积核的位置，I是输入特征，F表示卷积。

图3的(a)(b)分别表示l=1、2的扩张卷积，其中白色圆点是卷积核，黑色部分是对应的感受野范围。可以看出，扩张卷积在保持卷积核数量不变的同时，感受野增大。这样可以在不牺牲甲状腺图像信息的前提下，保留空间层面的结节特征，提升DCA-UNet++识别并分割小区域结节的效果。

图3 扩张卷积感受野示意图

2.2 ECA模块

以扩张卷积模块增加DCA-UNet++的感受野，是在空间维度融合了更多甲状腺结节的特征。但是通道维度的特征仍然是以同等的重要性在DCA-UNet++中提取传递，其中也包括甲状腺超声图像中非结节区域的特征，即背景区域的有害信息。为使DCA-UNet++在特征提取阶段更关注于结节区域的通道维度特征，在编码阶段构建高效通道注意力模块(ECA模块)来分配通道权重。

当甲状腺图像经过卷积层后，会产生与卷积核数对应数量的通道，每个通道分别存储着不同的特征，调整各个通道之间的重要程度以保障有益信息的传递至关重要。这项工作由Hu等人首度关注，Hu等人提出的SE块结构[27]如图4(a)所示，SE块分为压缩和激励两个阶段。在压缩阶段，输入特征图经过全局平均池化得到维度是R1×1×C的输出特征图；接着在激励阶段经过图5(a)所示的两个不同全连接层，两个全连接层的输出特征图维度分别是R1×1×C/r(r是降维系数)和R1×1×C，在此过程中完成了先降维后升维的操作；再经过Sigmoid激活函数得到特征描述符，维度为R1×1×C，将其与输入特征图进行矩阵相乘得到最终输出特征图。

图4 SE块和ECA模块结构

图5 全连接层和局部通道交互结构

SE块中的降维操作会破坏权重值和通道的直接对应关系，而且通道间的全局交互降低分割效率。为了解决上述问题，ECA模块在SE块的基础上进行改进，结构如图4(b)所示，H、W、C分别表示输入特征图的高、宽和通道数。原理是输入特征图经过全局平均池化得到维度是R1×1×C的输出特征图；接着通过局部跨通道交互得到维度为R1×1×C的输出特征图；再经过Sigmoid激活函数得到维度为R1×1×C的通道特征权重分配，将其与原输入特征图进行矩阵相乘得到下一层加权的输入特征图，完成对甲状腺图像通道层面特征的重新标定。

ECA模块中最关键的是局部跨通道交互操作，其结构如图5(b)所示。顾名思义局部跨通道交互是指该通道与自己相近的部分通道显式地建立依赖关系，其中建立依赖的通道数用λ表示，即通道xi的权重仅由其与λ个“邻居”决定，计算公式如(2)所示：

(2)

为了使局部通道交互更加高效，令所有信道共享相同的学习参数。这样该局部通道交互操作可视为具有超参数λ大小的卷积核的快速一维卷积，卷积核λ的大小由公式(3)自适应确定，其中|P|odd是指最接近P的奇数，α和γ是需要被设定的系数，该文分别将其设定为1和2。维度为R1×1×C的通道特征权重分配经公式(4)取得，其中C1D指的是一维卷积，σ是Sigmoid激活函数。

(3)

ω=σ(C1Dλ(x))

(4)

一方面，ECA模块使用局部跨通道交互减少参数量，几乎没有给DCA-UNet++增加多余计算量。表1是相同条件下ECA模块与其他注意力模块的参数量比较。另一方面，ECA模块免除降维，维护了甲状腺图像中权重值和通道之间的直接对应关系，有效提取并保留了通道维度的特征。最后，在编码部分的每一步都加入ECA模块，兼顾了低层特征和高层特征通道层次的提取，给结节特征分配更大权重，自适应扼制了甲状腺超声图像中非结节区域有害信息的提取传递，促进DCA-UNet++更关注于结节区域的信息。

表1 不同注意力模块参数量的比较

2.3 损失函数

甲状腺结节的语义分割实际上是将超声图像中的像素逐个分类，这类问题常使用交叉熵损失函数(Cross Entropy Loss)，但是在甲状腺超声图像中结节所占部分较少，背景(非结节区域)像素过多，所以存在正负类不均衡的问题。该文在交叉熵损失函数的基础上混合使用Dice损失函数(Dice Loss)来缓解此问题。交叉熵损失函数的公式为：

(5)

式中，n表示像素点数量，p(x)表示实际输出概率值，q(x)表示专家标签概率值。Dice损失函数的公式为：

(6)

式中，n表示像素点数量，λ表示分类类别数量，文中设为2(结节区域与非结节区域)。文中将wλ设为1/λ，p(x)表示实际输出概率值，q(x)表示专家标签概率值。最终损失函数是LCE和LDice之和。

3 实验与分析

3.1 数据集及预处理

该文在公开数据集DDTI(Digital Database Thyroid Image)上进行实验与分析，该数据集包含347张甲状腺B型超声图像，对应于299名甲状腺疾病患者的病例，其中包括由至少两名专业放射科医生对可疑甲状腺病变的完整注释和诊断描述，以xml形式保存在数据集中。首先，将JPG格式的图像转为PNG格式，并使用letterbox方法将图像缩放到同一大小，其次用代码将xml文件与图像结合得到专家标签。再次，将数据集以7∶2∶1的比例划分为训练集、验证集和测试集。最后，由于数据集数据量较少，在数据集中的图像进入正式训练之前，采用随机旋转、翻转等操作将数据集扩充至472张图片及对应的专家标签，其中包括训练集及验证集425张，测试集47张。

3.2 实验环境及参数设置

实验的硬件条件是Windows10系统服务器，显卡是NVIDIA Tesla P100-PCIE。实验环境是Tensorflow-gpu2.4、Anaconda3.6、pytorch1.8框架。在所有实验中，输入图像大小是560*360，batch size大小为4，模型优化器为自适应矩估计[33]，初始学习率是0.01，设置每迭代一次学习率下降10%，迭代次数是50。

3.3 评价指标

在实验中采用召回率Recall、精确率Precision、平均交互比mIou、F1-Score和整体精度OA等性能指标对DCA-UNet++进行多方位评价，其中平均交互比是表示模型分割的结果和真实标签的重合部分平均值。下面给出各个评价指标的计算公式：

(7)

(8)

(9)

(10)

(11)

公式(9)中，k+1是包含空类在内的类别数。公式(7)～(11)中，TP(True Positive)表示预测为结节且预测正确，TN(True Negative)表示预测为非结节且预测正确，FP(False Positive)表示预测为结节且预测错误，FN(False Negative)表示预测为非结节且预测错误。所有指标取值范围都在0～1之间，越靠近1，结果越好。

3.4 实验结果与分析

3.4.1 各模块消融实验

整个实验首先利用数据集中的训练集进行模型训练，验证集评估模型，之后在测试集上进行测试，得到最终的分割结果。DCA-UNet++模型是在U-Net++的基础上，在编码部分融合ECA模块，同时使用DC模块，以提升模型性能。为验证ECA模块和DC卷积模块对甲状腺结节分割的影响，将U-Net++、只增加ECA模块的模型CA-UNet++、添加ECA模块和DC模块的模型DCA-UNet++进行10-fold交叉验证实验，实验均采用混合双损失函数，实验结果如表2所示。

表2 ECA模块与DC模块对模型分割性能的影响

在编码部分添加ECA模块之后，各个评价指标均有所提升，其中mIou和Recall较之U-Net++的对应指标分别提升了5.36%和1.06%。由此可以看出，添加ECA模块的确有利于分割结节性能的提升。

添加DC模块之后，模型的感受野增大，各方面的性能指标有所提升。但是其中召回率提高的同时精确度却有所下降，其可能原因有二。其一，甲状腺超声图像中往往同时存在着大结节和小结节，扩张卷积的感受野无法兼顾。其二，多个甲状腺超声图像中存在着多结节，这种情况下容易出现欠分割的问题，为了弥补以往模型欠分割的表现而看重对结节的查全导致了召回率增大的同时精确率有所下降。

3.4.2 与其他方法对比实验

由于甲状腺的公开数据集不易获取，限制了其他模型性能评估的数据来源。所以，为了验证文中方法的有效性，在同等环境配置和同一数据集上对各个模型进行了复现实验和指标对比，DCA-UNet++与不同方法的实验定量结果对比如表3所示。

表3 各类方法在DDTI数据集上的分割效果对比

由表3可以看出，与U-Net++相比，DCA-UNet++的mIou增加了6.76%、Recall增加了1.83%、F1-Score增加了0.16%、OA增加了0.39%。而与经典模型U-Net相比，DCA-UNet++在mIou、Recall和OA方面分别增长了2.94%、0.10%、0.02%，而与Attention U-Net模型相比，DCA-UNet++分别增长了2.01%、0.95%、0.14%。另外，由表中数据看出，相较于U-Net和Attention U-Net，U-Net++在少数方面表现欠佳，是因为DDTI数据集里因为甲状腺结节超声图像中的噪声众多，密集连接的高维计算使U-Net++网络容易受到噪声的干扰，且虽然U-Net的指标不错，但是分割结果有全黑的情况。最后在评价指标上来看，DCA-UNet++克服了U-Net++的缺点并进一步提升了甲状腺结节超声图像的分割效果，但是相较于Attention U-Net，DCA-UNet++在精确度和F1-Score方面有所下降，原因可能有二：一是因为基线模型U-Net++高维计算导致结节图像中的噪声影响增大。二是因为在同一图像中存在不止一个大小不一的结节，为缓解此现象带来的欠分割问题，加大查全结节的力度导致召回率上升而精确度下降，上升幅度小于下降幅度，从而带来了相较于基线U-Net++模型的性能提升，而较Attention U-Net有一定的下降。

3.4.3 实验结果可视化

为了进一步直观验证文中方法的效果，在分割的DDTI甲状腺结节超声图像数据集中选取4幅与U-Net、Attention U-Net、U-Net++进行可视化对比，4幅图像有不同的轮廓边缘、对比度和结节数量，如图6所示。其中(a)是原始图像，(b)是专家标注的真实标签，(c)～(f)分别是U-Net、Attention U-Net、U-Net++和DCA-UNet++(文中方法)的分割结果。

图6 各类方法在DDTI数据集上的分割效果可视化

第一行的图像中甲状腺结节轮廓较为明显，但是图像中结节区域和非结节区域对比度低，U-Net模型的结果显然低于其他方法，整体上文中方法的结果是最与专家标签契合的，尤其是结节右侧边缘部分。第二行结节轮廓清晰且图像对比度高，4种模型都可以较为准确地分割结节，但是四周的边缘部分仍是文中方法最为吻合专家标签，保留了更多细节信息。第三行图像中存在2个结节，U-Net和Attention U-Net模型对于左结节、右结节有欠分割现象，U-Net++存在漏分割问题，相比之下文中方法分割结果更完整。第四行图像中结节轮廓不明显且图像对比度低，分割难度大，4种模型表现都欠佳，其中文中方法有效分割范围最大，准确率较高。

4 结束语

甲状腺结节是人体中生长的异常肿块，常见于成人体内。早期的自动分割与评估有助于后续的诊断和治疗，但是结节和周围组织的粘连还有超声图像中的阴影噪声等问题会影响结节的分割。该文提出了一种新的甲状腺结节医学图像语义分割模型DCA-UNet++，借助扩张卷积模块、ECA模块和混合双损失函数改善了甲状腺结节超声图像中由于结节区域小、背景像素噪声多带来的分割困难问题。DCA-UNet++在DDTI甲状腺结节B型超声图像数据集上进行了测试评估，结果表明DCA-UNet++与其他方法相比确实提高了分割结果的准确性。但是面对甲状腺结节超声图像中多结节的问题，还是存在分割不完整、边缘不平滑的情况，将来还有必要进行更深层次的研究。在接下来的研究工作中，可以使用生成对抗网络GAN来处理甲状腺结节的分割，提高分割的性能和精度。