基于多源异构数据的淋巴结转移状态分类

黄柯敏

（广东工业大学信息工程学院，广州510006）

0 引言

乳腺癌的发病率在女性癌症中位居首位，占所有新确诊癌症的29%[1]。腋窝淋巴结的状态是乳腺癌最重要的预后因素之一，及时、准确地检测腋窝淋巴结转移状态对指导乳腺癌的临床治疗至关重要[2]。淋巴结活检是临床判定淋巴结转移状态的金标准。然而，淋巴结活检是一种有创的手术方式，会导致诸多术后并发症，例如淋巴水肿、血清瘤和感染性神经病变等。并且，对于乳腺癌早期患者而言，淋巴结活检会让患者承担不必要的术后风险与医疗费用，导致过度治疗[3]。现有的腋窝淋巴结无创术前影像学评估方法主要有乳腺钼靶摄影、CT、MRI、PET/CT和超声检查。乳腺钼靶摄影不能完全覆盖腋窝区域，诊断价值有限。PET或PET/CT对于鉴别转移性淋巴结的敏感性与特异性都不高。MRI的优点是取图时对操作者的依赖性小，并且可以比较双侧腋窝淋巴结，但是MRI检测范围有限，不能检测到所有腋窝淋巴结[4]。腋窝超声检查是一种无创、无辐射且广泛应用于乳腺病变患者腋窝淋巴结评估的方法。超声评估分为两种方式：一种是B型超声，其主要依据形态学特征来检测恶性淋巴结；另一种超声是剪切波弹性成像（SWE）技术，它基于健康淋巴结和转移淋巴结在硬度上的显著差异，通过剪切波弹性成像技术测量淋巴结组织硬度，在淋巴结形态变化不明显的情况下，定量评估淋巴结转移状态[5]。然而，超声图像的判读依赖于放射科医生的主观评估，这导致了不同观察者之间存在差异。此外，即使结合了剪切波弹性成像技术，超声诊断淋巴结转移的诊断效能也不高[6]。综上所述，传统无创检测腋窝淋巴结转移的能力有限，因此有必要研究一种客观、准确、可靠的方法，辅助医生提高对腋窝淋巴结转移状态的诊断准确性。

综上所述，传统无创检测腋窝淋巴结转移的能力有限，因此有必要研究一种客观、准确、可靠的方法，辅助医生提高对腋窝淋巴结转移状态的诊断准确性[7-8]。然而，提取影像组学（Radiomics）特征对精确地分割病变轮廓有严格的要求，这意味着可能会导致某些有用的医学信息丢失，尤其是病变周围组织中的医学信息。越来越多的研究人员将卷积神经网络（CNN）引入医学图像处理中，这是由于其具有的卷积结构，可以从大量数据中进行自主学习的出色能力。与传统的影像组学相比，它可以更深入地挖掘病变及其周围组织的医学特征[9-10]。为了充分揭示B型和SWE超声图像中的潜在医学提示，我们提出构建基于深度学习多源异构数据融合模型（DLHM），该模型将B型超声的影像组学特征与B型和SWE超声的深度特征无缝地结合到一起，对腋窝淋巴结转移状态进行评估。

1 方法

1.1 基于深度学习的多源异构数据融合预测模型

模型的输入为B型超声与剪切波弹性超声图像，由深度网络进行特征提取与特征融合，然后经过训练的模型输出样本的预测分类结果。在主模型内，有3个模块分别提取不同类型的特征，其分别为影像组学特征模块、B型超声图像深度学习图像特征模块和剪切波弹性超声深度学习图像特征模块。其中影像组学特征模块设计一个多层感知器提取特征，而B型超声与剪切波弹性超声模块是两个结构相同且共享权重参数的卷积神经网络。每一个模块输出各自特征图的特征向量，然后将其拼接融合后送进全连接层，训练网络参数。设置Softmax作为最后一个全连接层的激活函数，以输出模型的分类结果。模型的主要结构如图1所示。

图1基于深度学习的多源异构数据融合模型

1.2 影像组学特征模块

此模块应用Pyradiomics（https://pyradiomics.readthedocs.io）的开源工具箱，从每个B型超声图像中计算出放射线学的数值特征。特征组有3种基本类型：形态特征、强度特征和纹理特征。提取了描述感兴趣区域（ROI）几何特征的9个形状特征，提取了描述ROI强度的一阶分布的18个强度特征，计算了73种纹理特征以使用5种不同方法描述ROI强度的模式或高阶分布，包括灰度共生矩阵（GLCM）、灰度游程长度矩阵（GLRLM）、灰度大小区域矩阵（GL⁃SZM）、灰度依赖性矩阵（GLDM）和邻域灰度差矩阵（NGTDM）。另外，通过小波变换从四个方向分解图像，然后计算每个方向的一阶统计量和纹理特征，称为小波特征。最终获得每个样本1×464大小的一维矩阵，即464个影像组学特征。接下来需要从464个传统影像组学数值特征中提取出与淋巴结转移状态相关的共性特征。设计一个由输入层、隐藏层和输出层构成的多层感知器网络。给定一个大小为n的样本X，输入个数为d，多层感知器隐藏单元数为h。隐藏层的输出为H，有H∈Rn×h。隐藏层和输出层均是全连接层，设隐藏层的权重参数和偏差参数分别为Wh∈Rd×h和bh∈R1×h，输出层的权重和偏差参数分别为Wo∈Rh×q和bo∈R1×q。隐藏层的输出通过激活函数进行变换。其输出O∈Rn×q的计算为：

其中∅为激活函数，这里选择的激活函数为ReLU函数。

1.3 B型超声与剪切波弹性超声图像深度特征模块

在B型超声与剪切波弹性超声图像深度特征提取模块中，采用卷积神经网络对输入图像提取特征。卷积核在图像上滑动滤波采样，提取图像特征并输出图像的特征图，然后经由池化层进行下采样，对特征进行降维，最后一个池化层使用的是全局平均池化去除冗余信息，减少过拟合，并整合全局空间信息。为了能够建立一个更具代表性的特征空间表示，两个模块均采用在大规模自然图像数据集ImageNet中预训练的权重参数深度网络模型，并且两个模块之间参数共享，实现特征信息流通。

2 实验

2.1 图像采集与预处理

实验数据图像由中山大学附属肿瘤医院提供，共计216例患者的220幅超声图像，其中转移性淋巴结60例，未发生转移的淋巴结160例。实验取得患者的书面同意。

具有10年以上乳腺超声经验的放射科医生，使用配备5~14 MHz线性阵列换能器和4~9 MHz线性阵列换能器的Siemens S2000超声扫描仪的设备对乳腺和腋窝进行超声检查。医生先在常规超声上选择目标淋巴结，然后使用声触诊组织成像定量技术测量（VTIQ）不同淋巴结组织内部的剪切波速度（SWV），保存图像质量最好，伪影最少的剪切波弹性超声图像（SWE）。最后由放射科医生在计算机上使用La⁃belme软件，对淋巴结在图像中的位置进行勾画。

图2腋窝淋巴结超声图像

2.2 实验环境

实验操作系统平台为Ubuntu 16.04，工作站显卡为NVIDIA GTX 2080，内存为12 GB。使用Python 3.6编程语言，在TensorFlow 1.13为后端框架的Keras 2.25平台上进行编码。采用二元交叉熵损失函数和Adam优化器进行训练，初始学习率为0.0001，batch_size为16，epoch设置为500。为了减小模型的过拟合风险，采取少数类样本过采样的方法（SMOTE），自动生成影像组学特征数据中的少数类样本。对于图像数据，将其随机旋转、修剪和缩放，以扩充训练集样本量。此外，将训练集中10%的数据作为一个验证集，在训练过程中实时指导超参数的选择和评估训练模型的泛化能力。

3 结果

3.1 评价指标

为了量化评估分类模型的预测性能，在二分类模型中，灵敏度（sensetive，SEN）和特异度（specificity，SPE）是比较合适的评价指标。此外，采用分类准确度（accuracy，ACC）衡量整体预测准确性，同时通过受试者操作特性曲线下面积（AUC）和受试者操作特性曲线（ROC）评估不同方法之间的诊断性能。

3.2 不同深度特征提取网络模型结果

合适的卷积神经网络框架对于从图像中提取深度特征至关重要。本文验证了具有相同特征提取阶段的6种流行CNN，这些特征提取阶段具有相同的特征提取阶段，分别提取了B型和SWE的影像组学特征和深层特征。如表1所示，多源异构数据模型中的VGG19在测试集中达到和0.911（95%置信区间：0.826-0.963）的AUC。因此，我们选择VGG19作为基础的深度特征提取网络，建立多源异构模型的深度特征模块。

表1不同深度特征提取网络预测性能比较

3.3 多种模块数据组合模型结果

为了揭示从B型和SWE超声图像中提取的不同特征对模型的贡献，我们评估了具有不同特征模块的不同模型以及针对深层特征模块的VGG19。值得注意的是，当特征提取中仅涉及一个功能模块时，多源异构数据模型就简化为简单的机器学习模型。如表2与图5所示，包含影像组学特征，B型和SWE超声图像深度特征的3个特征模块的模型在训练集和测试集中均实现了最佳性能。可以发现，模型涉及的功能模块越多，诊断性能就越好。例如，由具有3个特征模块的异构数据模型实现的测试队列的AUC不仅明显大于仅具有一个特征模块的模型所实现的最佳AUC（0.911 vs 0.776），同时也是具有两个特征模块的模型所获得的最佳AUC（0.911 vs 0.830）。

表2不同模块数据组合模型预测性能比较

图3不同模块数据组合模型预测结果ROC曲线

4 结语

本文提出一种新型的多源异构数据深度学习模型去预测腋窝淋巴结转移状态，首次将影像组学数值特征、B型超声图像及剪切波弹性超声图像3个模态异构数据融合在一个深度学习模型中，充分挖掘不同模态超声影的多维度、高通量的病灶特征，弥补了传统影像组学所忽略的病灶区边缘特征信息。使用多源异构数据的组合，可以解决在小样本的情况下，特征信息量不足而导致深度学习模型预测性能不佳的问题。随着在更大规模数据集中的进一步验证和模型校准，这种方法有可能成为临床上无创检测腋窝淋巴结转移状态的辅助工具。