基于卷积神经网络的甲状腺结节超声图像分割

赵科甫，张蕾

（四川大学计算机学院，成都610065）

0 引言

甲状腺结节是一种常见的内分泌病变，大部分甲状腺结节都是良性的。然而，甲状腺结节的发病率却在持续增加[1-2]。一项研究预测甲状腺结节将会对男女都产生重大的影响[3]。如果甲状腺结节在早期就被检测到，治疗甲状腺结节是十分容易的。甲状腺超声是一种有效的方法并被广泛用于甲状腺结节的诊断和随访[4-6]。然而，对于大多数病人而言，能够提供高质量医疗服务的专家数量是有限的。自动的甲状腺结节分割能够为医生提供丰富的甲状腺结节的信息。因此，在计算机辅助诊断（CAD）系统中提供甲状腺结节的自动分割是非常必要的分割在CAD系统中起着至关重要的作用。它可以为后续分析提供丰富的感兴趣区域（ROI）信息。手工分割比较耗时，而自动分割可以解决耗时问题。然而，甲状腺超声图像的质量直接影响到CAD系统的性能。而甲状腺结节的自动分割也受到数据规模的影响。甲状腺结节的精确分割是一项具有挑战性的任务。为了解决这些困难，我们采取了以下策略。U型网络有利于小数据集的分割[7]。因此，为了融合不同层次的特征，我们构造了一个U型网络。它以U-Net为主干结构。在这项研究中，我们使用了Squeeze-and-Excitation（SE）注意力机制[8]。

用于分割的网络是一个二维的神经网络。为了提高数据集的多样性和网络的鲁棒性，还对数据集进行了扩充。本研究的贡献总结如下：

（1）提出了一种基于神经网络的超声图像甲状腺结节分割方法，以减少数据量和质量的影响。

（2）该网络的分割速度较快。它的训练和测试时间与U-Net非常接近。

我们在一个名为Digital Database Thyroid Image（DDIT）的小型开源数据集中验证了所提出的网络[9]。

1 相关工作

1.1 医学图像中的深度学习

深度神经网络在CAD中有着广泛的应用。许多医学领域都在发展结节的自动检测[10-12]。医学领域存在两大难题：数据量小和样本分布不均衡。对于分割任务，小数据集是主要问题之一。迁移学习被广泛用于解决这个问题[13-15]。它使用在大规模数据集（如ImageNet）中训练的模型来提高目标域数据分割的性能。2015年，Ronneberger等人提出了一种用于生物医学图像分割的网络，U-Net[7]。它包含一条收缩的路径和一条扩张的路径。U-Net通过将不同层次的特征串联起来，在不使用转移学习的情况下，对细胞图像的分割有了很大的提升。医学领域已经提出了许多U型网络[10-11,16]。此外，U-Net有许多用于分割的变体[17-20]。嵌套U-Net是U-Net的一个变体[21]。但是它的网络结构比较复杂，训练也比较耗时。除此之外，注意力机制也被发现有助于提升网络的性能，并得到了广泛的应用[8,22-23]。许多应用了注意力机制的网络被用于医学图像分割[24-25]。本文采用U型主干网络和注意力进行甲状腺结节的分割。

1.2 甲状腺结节分割

对于超声图像中的甲状腺结节，主要有两个任务：分类和分割。但在本研究中，我们只关注分割问题。许多研究使用了不同的方法并报告了甲状腺结节的分割性能[26-27]。一项研究提出了一种用于分割的可变背景活动轮廓模型[28]。此外，一种称为级联CNN的分阶段卷积神经网络（CNN）也被用于分割甲状腺结节[29]。并且级联CNN既采用了U型的结构，也使用了迁移学习。Ma等人提出将一个甲状腺结节分割问题作为一个块分类任务，并使用端到端的CNN分割甲状腺结节[26]。但是大部分研究都仅仅使用了私有数据集。DDIT是一个开源的数据集[9]。它包含299个病人和两种注释信息：分类注释和分割注释。许多研究都仅仅使用这个数据集进行分类，而不是分割[30-33]。在这个数据集中，只有很少的研究进行了分割[34-35]。Koundal等人报告了他们对该数据集的结果，但他们研究中使用的图像仅有88张[35]。此外，他们使用的是基于距离正则化水平集（Distance Regularized Level Set）的方法。Ding等人使用基于神经网络的方法对该数据集的分割性能进行了评估[34]。

2 方法

2.1 数据集

从DDIT数据集中，一共获取了464张甲状腺结节超声图像[9]。这个数据集包含了分类和分割的信息。我们只使用了分割的信息。这些图像的标注信息存储在单个的可扩展标记语言（XML）文件中。删除每个XML文件中未完成或不完整的标注。此数据集的某些图像由一个病人的两张不同的图片组成。所有的图像都是jpg文件，而不是原始的超声图像。因此，这些图像的质量较低。

2.2 模型构建

U-Net是一种全卷积神经网络，用于生物医学图像的分割[7]。它显示出了在生物医学图像小数据集中的优势。在本研究中，由于仅有464张超声图像，因此U-Net被作为网络的主干网络结构。U-Net包含两条路径：扩张路径和收缩路径。我们研究中使用的UNet的细节如图1所示。SE用于提取特征层不同通道的重要性[8]。我们还为每个卷积层添加了SE模块来评估分割性能。U-Net利用了不同层次的上下文信息，在生物医学图像分割中取得了良好的效果。通过拼接不同层次的特征层，Huang等人提出了一种叫做DenseNet的网络结构，并具有良好的分类性能[36]。受拼接不同特征层的启发，我们提出了一种连接低层特征层的网络，用于分割超声图像中的甲状腺结节。收缩路径中的层拼接扩张路径中相同和下一层的特征图。该网络的详细信息如图2所示。

图1 本研究中使用的U-Net

图2

图2使用了SE模块，并以U-Net为主干的网络。此网络的收缩路径中的特征层融合了来自扩张路径中同一层及下一层的特征图。

本研究采用Dice相似系数作为损失函数，并用来评价分割性能。Dice相似系数有两种：soft Dice和hard Dice。对预测结果进行阈值过滤后计算的Dice称为hard Dice。Hard Dice不可导，而soft Dice可导。因此soft Dice用作网络的损失函数。PRED代表预测的结果，而MASK代表真实的掩模。|PRED|表示PRED的累加和。常数b是一个非常小的数，用来避免公式无意义。

在本研究中，假阳率（FPR）、真正率（TPR）和交并补（IOU）也被用来进行性能的评估。它们的计算公式如下：

3 结果和评估

3.1 预处理

在进行分割前，需要先对超声图像进行预处理。预处理时，裁剪超声图像，并且仅保留图像区域以便后续的分割。预处理的四个步骤如图3所示。中值滤波用于模糊初始的超声图像；接下来对模糊后的图像进行二值化操作；再使用Canny检测器检测二值化图像的轮廓；最后，选择检测出的所有轮廓中的最大轮廓作为需要裁减的图像区域。根据最大轮廓，分别计算四条边界（左，右，上，下），并用其来裁减图像。经过预处理后的图像如图4所示。

图3 预处理步骤

图4 预处理图像

3.2 数据扩充

由于图像数量的限制，本研究使用了多种数据扩充方法。使用的数据扩充方法包括：水平翻转、垂直翻转、旋转、裁剪和移位。每个扩充方法的随机选择概率都设置为0.5。旋转的角度范围设置为-5到5度。随机平移的距离为-10到10个像素值。对于随机裁减，我们首先对图像进行了缩放，再裁减。缩放因子设置为1.0到1.5。数据扩充使用OpenCV 3.2.0和SciPy

1.4.1实现。

3.3 实验设置

实验是在一台Ubuntu服务器（16.04）上进行的。使用的显卡为NVIDIA Tesla K40（12GB）。CUDA版本号为9。一共对三个模型进行了评估：U-Net，使用了SE模块的U-Net，和以使用SE模块的U-Net为主干网络，并拼接了扩张路径中同一级及下一级特征图的网络。三种网络结构都使用PyTorch 1.0和Python 3.6实现。Dice损失函数中的常数b设置为0.0001。网络输入的超声图像的大小需要调整为320×320×1。像素值归一化到0-1。数据集随机划分为五组，用来做五折交叉验证。在此数据集中，一个病人可能对应超过一张图像。因此，同一病人的不同图像都需要被分在同一折中。使用自适应的Adam优化器来训练网络。初始学习率和权重衰减分别设置为0.001和1e-8。每次训练时的批次大小设置为4。一共最多训练400个周期。如果损失函数在连续的50个周期内没有下降，则采用早停的策略终止训练。

3.4 分割结果

在本小节中，我们评估了不同分割模型的性能。在464例甲状腺结节的超声图像上评价了三种模型。结果如表1所示。结果表明，U-Net（Fusion）具有最佳的Dice相似系数，并获得了最佳的性能。U-Net（SE）的性能优于U-Net。实验结果说明SE模块和融合特征可以提高甲状腺结节的分割效果。原始U-Net的性能最差。U-Net（Fusion）的TPR和IOU最高，而U-Net的FPR最低。

表1 不同模型的性能

五折交叉验证的结果如表2所示。与U-Net相比，U-Net（SE）在第一，二，四，和五折上有提升。然而，U-Net（Fusion）的性能在每一折上都显著优于U-Net。结果表明，SE和特征融合可以有效地提高甲状腺结节的分割效果。

表2 五折交叉验证的结果（Dice）

但是，将扩张路径中的同一层和下一层的特征与收缩路径的特征拼接起来，会增加网络的复杂度。训练时间可能会增加。我们评估了每个模型训练一个完整周期的时间。结果如表3所示。U-Net（Fusion）的训练时间大约为U-Net的1.2倍，而U-Net（SE）和U-Net的训练时间相近。使用SE模块和特征融合并没有显著增加训练时间。

表3 每个模型一次完整训练周期的时间（训练+验证）

一部分的分割结果如图5所示。预测结果的轮廓与真实掩模的轮廓相似。区别主要在于：真实的甲状腺结节掩模边缘光滑，而预测结果边缘相对粗糙。图6显示了一些较差的预测结果。结果表明：虽然预测的结节可以大于或小于真实结节，但真实结节的大部分区域都被预测正确。

图5 甲状腺结节分割结果

图6 甲状腺结节分割效果较差的图像

4 结语

本文提出了一种以使用SE模块的U-Net为主干的网络，并拼接不同层特征，来进行超声图像中甲状腺结节的自动分割方法。提出的网络在开源数据集DDIT上到达了Dice系数0.7987的性能。

Koundal等人报告了他们使用此数据集进行甲状腺结节分割的结果[35]。但是他们仅仅使用了88张超声图像。因此，分割结果不能直接比较。Ding等人的研究也使用了此数据集[34]。他们达到了0.26的IOU值。我们提出的模型的性能显著地优于他们的结果。他们在研究中将此数据集分割为70%的训练集，20%的验证集，和10%的测试集。但是，本研究使用了五折交叉验证。网络结构的细节也可能影响了分割结果。

在此开源数据集上主要存在两个甲状腺结节分割的问题。其一是数据集的规模。虽然U-Net可以用于小数据集，但大数据集可以为分割提供更丰富的信息。然而，这个开源数据集是一个小数据集，只包含464个超声图像。为了增加数据集的多样性，我们使用了水平翻转、垂直翻转、旋转、平移和裁减。另一个难点是图像的质量。此数据集中一部分图像包含两张独立的超声图像。所有的图像都是jpg图像，且质量较低。此外，许多图像都受噪音影响。提升数据集图像的质量也有益于分割性能。SE模块可以提升U-Net的性能。而融合不同层的特征可以获得丰富的信息，能够进一步提升分割性能。