基于双路卷积神经网络在甲状腺结节良恶性鉴别诊断中的初步研究

邓 伟，闫 诺，郑志强，张英霞

（1.内蒙古医科大学附属医院超声科，内蒙古 呼和浩特 010050；2.内蒙古大学电子信息工程学院，内蒙古 呼和浩特 010050）

甲状腺癌是内分泌系统最常见的恶性肿瘤，位居中国恶性肿瘤的第7位，也是近年来发生率上升最快的恶性肿瘤[1]。目前超声检查是甲状腺结节术前诊断的重要手段[2]。超声医师根据超声声像图特征对甲状腺结节进行良恶性的鉴别诊断，但高诊断准确率对超声医师的检查技能、临床经验及思维分析能力要求较高。面对目前医疗资源不均衡、诊断不规范、诊断水平参差不齐等因素，如何利用有限的医疗资源，快速有效地提高我国甲状腺结节术前诊断能力，成为亟待解决的问题。近年来，深度学习作为前沿医学技术逐渐应用于医学影像领域，并在甲状腺结节超声诊断中不断创造新高度，其中卷积神经网络[3]的应用最为广泛，其优势是能够自动提取甲状腺结节的超声图像特征，减少人工干预，提高图像识别效率。

目前所应用的卷积神经网络模型大多使用单个图像作为代表图像输入，而甲状腺结节是三维立体的，从而使提取到的结节特征受限，导致卷积神经网络学习到的敏感特征有限。在临床实际工作中，超声医师一般通过横切和纵切两个切面观察甲状腺结节的特征，结合卷积神经网络相同构造的卷积神经网络输入同样的数据集也会提取到不同特征的情况[4]。为此我们提出了双路卷积神经网络模型，模型包含两条相同的卷积神经网路路径，其中一条以结节的横切图像输入（CNN1），另一条以相应结节的纵切图像输入（CNN2），利用双路卷积神经网络间可提取到互补的特征，能够增强卷积神经网络拟合能力和提取特征表达的性能，分别提取其形状及纹理相关特征，通过网络输出得到甲状腺结节识别分类结果。

1 资料与方法

1.1 一般资料

选取2016 年1 月—2021 年1 月间我院经手术或细针穿刺细胞学检查（Fine-needle aspiration cytology，FNAC）病理证实的甲状腺结节1 105枚，良性结节263 枚（包括甲状腺腺瘤、甲状腺肿及亚急性甲状腺炎），恶性结节842 枚（包括乳头状癌及滤泡状甲状腺癌），每个结节均提供横切面与纵切面图像（图1，2）。图像采用不同的超声仪器进行采集（百胜MYLAB CLASSC、日立AVIUS、东芝APLIO400、Mindray RE8、GE LOGIQ E8、LOGIQ E9、Siemens S2000 HELX ABVS、法国SuperSonic Imagine Aix-Plorer），探头频率为8～15 MHz 或5～12 MHz。所有图像按3∶1∶1 的比例分为训练集、验证集及测试集，选取884 枚结节（恶性结节680枚，良性结节204 枚）作为训练集和验证集用于深度学习模型的训练，余221枚结节（恶性结节162枚，良性结节59 枚）用于测试。所有结节最大直径为0.4～3.9 cm，排除甲状腺弥漫性病变、甲状腺癌弥漫性钙化型以及甲状腺部分切除术后的结节。

1.2 图像预处理

对超声甲状腺结节的组织数据进行预处理，如调整对比度和边缘增强、调整图像尺寸、删除注释、对图像进行过滤、去噪等操作。因视觉诊断依赖于结节和周围组织的信息。因此，我们对原始图像进行裁剪，将结节作为图像主体，并保留结节周围相关组织的信息，删除与结节记录较远的部分，防止无用信息对网络造成干扰。

本文采用深度学习的方式对结节所在位置进行分割。将结节与甲状腺其他组织进行区分。所采用的模型是改进的Deeplabv3+，该模型是优秀的分割网络，在图像分割的诸多领域取得优秀的成果[5]。在MICCAI 2020 甲状腺结节超声分割挑战赛中取得第1名，得到MIoU 为82.5%。本文采用在高年资医生指导下由专业医生标注的4 000 张甲状腺结节图片作为分割网络的训练集，对网络进行训练，最终取得Miou 为81.5%的分割结果。并且由于采用带边界距离的裁剪方式，最终所有结节都被包涵在裁剪的范围内。

1.3 模型构建与训练

1.3.1 模型构建

采用Resnet50 构建深度学习模型，双路卷积神经网络由两条结构相同的卷积神经网络构成，用于甲状腺结节的诊断，其中一条为CNN1，另一条为CNN2。CNN 由标准的卷积层、池化层及全连接层组成，能够通过多个中间层捕获输入和输出之间的高度非线性映射，可训练的卷积滤波器、局部邻域池操作和归一化操作在输入上交替执行，并生成从低级到高级越来越复杂的特征层次结构[6]，将甲状腺结节横切图和相应纵切图分别输入两条子网络特征提取路径进行训练。把两条子网络的特征提取层结合为联合层作为输入，类别层作为输出，两层之间进行全连接，使两条通道的子网络成为整体，构成双路卷积神经网络（图3）。

1.3.2 模型训练

由于数据集中的图像对深度学习训练存在数据量不足的问题，主要采用数据扩增方法来增加训练集，让数据尽可能的多样化，使得训练的模型具有更强的泛化能力。主要包括使用标准化对图像进行增强，使用几何变换（平移、翻转、旋转）、随机调整亮度、添加高斯噪声和椒盐噪声对图像进行仿射变换。但由于超声声像图的特殊性，一些数据增广的方式不适用。例如对比度的改变会影响到甲状腺结节的边界信息；二维超声声像图分辨率本就不高，增加噪声同样不适用；甲状腺解剖位置相对固定，使用几何变换会破坏位置信息，所以此方法在超声图像上亦不适用。本研究中所使用的数据增广的方法主要为裁剪与缩放。网络采用跨数据集的迁移学习，在ImageNet 的预训练基础上训练网络，以达到更好的泛化[7-8]。

通过交叉验证对数据的划分+对评估结果的整合，我们可以有效的降低模型选择中的方差。将原始的数据集进行分组，按照3∶1∶1 的比例分为训练集、验证集及测试集。首先用训练集对分类器进行训练，再用验证集来测试训练集得到的模型，以此作为评价分类器的性能指标。一般情况下，训练集迭代次数为60 次或80次，每次迭代后进行验证，随着迭代次数的增加，模型的精确度趋于稳定。

1.4 性能测量

双路卷积神经网络及CNN1、CNN2 分别对测试集图像（221 枚结节）进行识别和判断，CNN1、CNN2分别输入甲状腺结节横切面和纵切面图像，同时记录模型对测试集的识别结果，诊断性能以术后病理结果为金标准，计算Kappa 系数、灵敏度、特异度、准确度[9]。

1.5 统计学分析

使用SPSS 25.0 软件进行统计描述和统计分析，计数资料统计描述采用例数或百分比表示。采用基于Kappa 系数的一致性检验分别评估双路卷积神经网络及CNN1、CNN2 检测结果与术后病理结果的一致性，计算Kappa 系数、灵敏度、特异度、准确度。Kappa 系数越大说明两种检测结果的一致性越高，Kappa值≥0.75 说明结果的一致性好，Kappa值为0.4～＜0.75 说明结果的一致性一般，Kappa值＜0.4说明结果缺乏一致性。两种方法的灵敏度、特异度及准确度比较采用卡方检验。检验水准（α）为0.05。

2 结果

测试集221 枚甲状腺结节，共442 张图像。其中良性结节59枚，恶性结节162 枚。双路卷积神经网络模型测试集诊断甲状腺结节的灵敏度、特异度及准确度分别为95.68%、84.75%、92.76%。两路子网络：横切图输入CNN1 测试集诊断甲状腺结节的灵敏度、特异度及准确度分别为82.10%、66.10%、77.83%；纵切图输入CNN2 测试集诊断甲状腺结节的灵敏度、特异度及准确度分别为84.57%、69.49%、80.54%。

χ2检验表明，与双路卷积神经网络模型相比，CNN1 和CNN2 的灵敏度、特异度及准确度均有显著性差异（P＜0.05），双路卷积神经网络模型的灵敏度、特异度及准确度均高于CNN1 和CNN2；CNN1与CNN2 相比，灵敏度、特异度及准确度均无显著性差异。Kappa 一致性检验结果显示：双路卷积神经网络模型与病理诊断的Kappa值为0.813，P＜0.05，表明二者诊断能力的一致性好；CNN1 与病理诊断的Kappa值为0.460，P＜0.05，表明二者诊断能力的一致性一般；CNN2 与病理诊断的Kappa值为0.521，P＜0.05，表明二者诊断能力一致性一般（表1）。

表1 双路卷积神经网络与CNN1、CNN2 诊断能力比较

3 讨论

近年来，深度学习作为机器学习中的一项新技术，在甲状腺结节良恶性鉴别方面的应用已经日趋成熟，并不断创造新高度，其中卷积神经网络的应用最为广泛，其优势是能够很好的捕获输入图像的语义特征，能够自动提取二维甲状腺结节超声图像的有效特征，充分利用输入图像的2D 结构、边界、边缘和不同的纹理特征，同时具有良好的噪声容忍度。相比于超声医生，卷积神经网络在克服异构性方面更具有优势，从甲状腺图像中学习特征时不受超声医生使用的工程特征的限制，诊断重复性更高[10]。目前，多项研究表明在鉴别甲状腺结节的良恶性方面，卷积神经网络达到了与有经验的超声医生相当的诊断性能[11-12]。

目前所应用的卷积神经网络模型大多为单路卷积神经网络，使用单个图像作为代表图像输入，而甲状腺结节是三维立体的，从而提取到的结节特征有限，导致卷积神经网络学习到的敏感特征有限[13]。在实际临床工作中，超声医生一般通过横切和纵切两个切面观察甲状腺结节的特征，为此我们提出了双路卷积神经网络模型，模型包含两条卷积神经网络路径。基于卷积神经网络通过逐层学习提取更深层次的特征表达，学习能力相同的卷积神经网络学习到的连接权重不尽相同，这也为卷积神经网络提取到的特征带来差异性。卷积神经网络中非凸优化问题的搜索域中有大量局部极值，致使网络易陷入局部最优，并且其随机初始化连接权值等特点导致了不同网络状态处在不同能量值点，最终致使同样的神经网络对相同数据提取到不同的特征[4]。本研究选择两条结构相同的子网络，其中一条以结节的横切图像输入，另一条以相应结节的纵切图像输入，分别提取其形状及纹理相关特征，通过网络输出得到甲状腺结节识别分类结果。

鉴于卷积神经网络间提取的特征具有互补性，有研究提出多支分路网络结构，多支分路网络能够增强卷积神经网络的拟合能力和提取特征表达的性能，相对于单路卷积神经网络，可以提高甲状腺结节的识别能力。Ma 等[14]提出将两种不同卷积层和全连接层的预先训练的卷积神经网络融合在一起，一条输入结节的原始超声图像，另一条输入此图像的二值图像，两种基于卷积神经网络的模型融合后，对甲状腺结节的诊断性能显著提高。Liu 等[15]提出了一个多分支分类网络以集成面向多视图诊断的特征，其中每个网络分支捕获并增强一组特定的特征，选择结节代表图像，分别输入原始结节图像、结节及周围组织图像和GVF-snake 法得到的结节轮廓图像，通过识别结节内部、周边组织及边缘特征提高对甲状腺结节的诊断率。不同于上述分支网络单切面超声图像不同视角特征的输入，本研究中双路卷积神经网络选择同一结节的纵切面及横切面图像进行输入，拟合超声检查中的多切面扫查，能够更全面的提取图像特征。双路卷积神经网络模型测试集诊断甲状腺结节的灵敏度、特异度及准确度分别为95.68%、84.75%、92.76%，均优于单路卷积神经网络模型（均P<0.05），与病理诊断结果的一致性较高（Kappa值＝0.75，P＜0.001）。

甲状腺结节横切面及纵切面图像能够更加全面的提供结节体积、边界、微钙化分布及背膜是否受侵等特征，而这些特征均是鉴别诊断结节良恶性的重要指标，其中甲状腺背膜是否受侵是甲状腺恶性结节侵袭性的重要影像学信息之一[16-18]。深度学习模型可自动提取潜在的图像特征，并在甲状腺医学影像研究领域中不断创新，未来的发展趋势主要是多网络融合及对甲状腺恶性结节侵袭性的预测。此模型理论上能够更全面的提取图像特征，更拟合超声检查中的多切面扫查，具有极大的预测潜力。本团队初步尝试对418 张经过高年资超声医生分类的甲状腺乳头状癌术前超声图像进行有无侵袭性分类，实验结果为带有分类器的训练好的双路卷积神经网络在训练集上第26 轮的准确率达到99%，在测试集上准确率为71%，不带有分类器的训练好的双路卷积神经网络在训练集上前30 轮的准确率达到73%，在测试集上准确率为63%，初步证明双路卷积神经网络对甲状腺乳头状癌侵袭性的预测可能实现。本研究还存在一些不足，用于模型训练的图像数据相对较少，缺乏有效标准训练数据，为进一步提升诊断性能，算法模型仍需改进。