融合注意力的多维多特征浸润性腺癌诊断

鲍涧颖，张 岩，徐建林，莫锦秋

1.上海交通大学 机械与动力工程学院，上海 200240

2.上海交通大学附属胸科医院 呼吸内科，上海 200030

1 引言

近年来，肺癌已经成为严重危害人类身体健康的癌症之一[1]。与其他癌症相比，肺癌早期没有任何症状，很多病人在就诊时就已经达到不可手术的局部晚期或者是已经发生了转移，并且中后期的病人术后恢复较差[2-3]。利用低剂量螺旋CT进行肺癌的筛查是诊断早期肺癌的重要手段，可靠的诊断结果能够大大增加患者治愈的可能性[4]。根据美国NLST 研究统计，在影像学可疑的肺癌病例中，有20%的患者最终手术病理不是肺癌。对于肺腺癌来说，其亚病理类型极大地影响手术方式，而术中快速冰冻病理在诊断小直径肿瘤是否为浸润性时准确率较低[5]。因此，对于形状特征相似的早期肺癌小结节，特别是肺腺癌小结节的亚病理类型的诊断，仅仅依靠影像科医生的主观诊断会有一定的局限性，并且术前能较为准确地确认亚病理类型对于手术方案的制定也有较大的意义。

目前，有越来越多的学者研究利用肺部CT 图像进行肺结节的智能诊断，从而辅助影像科医生，提高结节诊断的效率及准确率[6]。高扬采用多输入的2D 卷积网络[7]，其网络的输入设计为包含结节、不包含结节与只包含结节图像的对同一个结节对象的三种不同视图，在公开数据集LIDC-IDRI（Lung Image Database Consortium image collection）上进行了肺结节的良恶性预测。蔡俊辉等人[8]对87例腺癌患者的CT图像提取医学特征参数，并利用不同的机器学习模型，用于对其浸润性及非浸润性腺癌的分类。刘一璟等人[9]引入中心裁剪操作改进3D DenseNet网络，提高了算法分类精度。Lu Shengyu[10]结合了医学知识的形态描述和2D网络模型提取的深度特征，利用SVM（Support Vector Machine）进行肺结节分类。Meraj T 等人[11]通过提取结节形态学特征、强度特征等来描述结节特征，结合logit boost分类器进行肺癌诊断。Lyu J 等人[12]提出设计了多层次的2D 交叉卷积残差网络，对结节的恶性程度进行预测。Wu P 等人[13]利用深度残差网络并结合迁移学习对结节样本与非结节样本进行了有效的分类。尹柯等人[14]通过对浸润性腺癌及非浸润性腺癌的病灶特征对比分析，确认了病灶平均直径及形态对构建诊断模型有很好的借鉴依据。吴保荣等人[15]设计了融合多维度的卷积神经网络，利用结节三维图像及二维多尺度图像进行训练分类，并对两类网络的分类结果进行加权融合，进行肺结节分类。

目前较多的研究为单一地设计2D 网络或3D 网络作为肺结节的分类算法，或是基于结节特征参数利用机器学习算法进行分类。吴保荣等人的融合多维度卷积神经网络融合了2D及3D网络的分类结果，不过与现有的较多研究中的网络一样，只进行了结节原始的图像信息的学习，与医学上的先验信息结合较少。由于目前肺结节的数据集较少，无法与其他大型数据集一样达到万例以上，且用深度学习来研究对浸润性腺癌结节与非浸润性结节进行分类的研究更少，无法在术前准备中提供足够的诊断帮助。蔡俊辉等人对浸润性腺癌的分类进行了研究，他们用随机森林法在敏感度为66.7%及特异度为100%的情况下，取得准确率86.7%，但其研究的样本总量仅有87例，分类准确率具有较大的偶然性，且在恶性样本诊断准确率上做了较大的牺牲。

本文研究磨玻璃小结节中的浸润性腺癌结节在术前的诊断，不同于公开数据集LIDC-IDRI的样本来自于多名放射科医师的存在互异性的主观判断，本文采集了来自上海胸科医院的具有金标准的，即有术后病理支持的1 760份磨玻璃肺小结节CT样本，其中浸润性腺癌结节为340 份，非浸润性结节为1 420 份，每份CT 样本中含有连续的层厚为1 mm的共20层CT薄层。根据肺结节在CT数据中分布于连续多个薄层中所具有的空间信息，以及在医学上具有统计学意义的肺结节的形态等平面特征信息[16]，设计了多维度及多特征图像如边缘特征、纹理特征等融合的分类器结构。根据不同样本中肺结节尺寸差距较大的特点，提出了基于注意力机制的残差网络模型，分别利用设计的3D卷积网络与2D卷积网络提取不同的特征信息，并对不同维度网络提取的特征向量连接成新的特征向量，利用XGBoost 进行训练分类，最终完成对肺结节中浸润性腺癌的分类诊断。

2 方法描述

如图1所示，本文提出的基于注意力机制的不同维度的网络提取特征融合模型AFCNN（Attention-Fusion Convolutional Neural Network）的实现主要分为以下几个部分进行：图像预处理、数据增强、分类器结构构建。

图1 模型实现流程

原始数据集经过图像预处理，生成有效的2D及3D用以分类的初始数据集，2D 数据用来表达肺结节中心层的纹理特征及轮廓特征等信息，3D 数据表达肺结节CT图像的空间特征信息。2D数据进行平面随机裁剪、旋转、2Dcutmix等数据增强方法，3D数据进行空间随机裁剪、空间翻转、3Dcutmix等数据增强方法，分别生成用以网络训练的2D 数据集及3D 数据集，利用提出的融合模型进行分类。融合模型AFCNN 由两部分构成，2D ACNN（2D Attention Convolutional Neural Network）用以训练提取2D数据集的特征向量，3D ACNN用以训练提取3D数据集的特征向量，该模型对提取的2D特征向量及3D 特征向量均转换为一维向量并进行连接，形成新的特征向量，能够充分表达肺结节的空间特征信息以及平面特征信息，再利用xgboost算法进行训练分类，能够得到更准确的分类结果。

2.1 图像预处理及数据增强

2.1.1 图像预处理

如图2 所示，对原始CT 数据集进行的图像预处理主要为两部分：肺实质提取与肺结节数据提取。

肺实质提取是因为肺部CT图像中除了肺实质部分外，还有胸廓、肋骨等信息，而这些位置的像素信息对于肺结节的病理性质判断无作用，反而会对结节特征的学习造成干扰，提取肺实质部分可以加强网络对有效特征的学习。肺实质提取主要根据不同部位的像素值不同，利用阈值法对肺实质部分进行粗略的提取，得到粗略的肺实质轮廓。然后利用形态学运算等方法，补回位于肺实质边缘被误裁剪的肺结节，得到更加精确的肺实质轮廓，利用该轮廓信息，从原始CT 图像中获取肺实质部分，去除胸廓等多余信息。

肺结节数据提取是利用经肺实质提取后的CT图像生成每个肺结节样本的3D 图像数据和2D 特征图像数据。提取肺结节时采用的位置信息为人工标注所得，在结节的几何学中心所在的CT层上紧密地框出结节所在位置，标记中心层位置并记录结节所占连续CT 薄层的层数。

以标注的结节中心层为中心，依据中心层上标注的结节位置框，另再取中心层前后各几层的CT图像薄层，对齐裁剪并拼接成尺寸为Nx×Ny×Nz的3D 数据，Nx与Ny表示数据集中CT 图像上的像素数量，Nz表示CT 薄层数，本研究中尺寸实例化为32×32×9。3D 图像数据用来表达结节及其周边的空间图像信息。

首先，在勘测设计全过程中，非数字化信息较多，主要包括外业勘测和勘探资料。内业设计中存在较多各专业之间、上下工序之间的接口资料，这些非数字化信息的影响与一体化和智能化目标的实现相差甚远，需要较多的时间和精力来进行整理。其次，勘测和设计数据尚未形成统一的格式和标准，各专业和工序之间存在独立性，很难实现统一管理和共享。最后，基于管理者视角，在整个勘测设计的计划管理和质量管理等方面，仍然采用传统的方法，计算机技术的优势尚未充分发挥出来[1]。

2D特征图像数据由结节中心层图像生成，含三部分分量图像：结节中心层图像、LBP（Local Binary Patterns）特征图像、轮廓特征图像。2D 特征图像在深度方向不具有位置不变性。

分量图像中的结节中心层图像与3D数据中心层的图像保持一致，本实例中尺寸为32×32，并将其转换为灰度图。

LBP特征图像主要是为了表达肺结节的纹理信息。以每个像素点(x0,y0)为中心，用窗口覆盖的像素点值与中心点值进行大小比较，根据中心点与周围点的值大小关系来重新表示中心像素点的值。如公式（1）所示：

其中，LBP(x0,y0)表示该点计算得到的LBP特征值，n表示窗口边缘覆盖的像素点的数量，在本文实例中取8，vi和v0分别表示第i个窗口边缘像素点的像素值和中心点的像素值。

轮廓特征图像用于表达结节的轮廓信息。CT图像中，磨玻璃小结节的边缘模糊，可不通过高斯滤波等操作，直接利用sobel算子计算各个位置的梯度，以此来表现肺结节边缘信息。2D特征图像的每一分量图像都依据结节中心层的图像生成，其对应的实际CT 图像中的位置信息相同，且尺寸均为Nx×Ny，在本文实例中取32×32。

2.1.2 数据增强

对2D 及3D 数据集分别采用相应维度的常见数据增强方法以及cutmix 算法。可采用常见的数据增强方法如：平面方向内的图像旋转（如90°、180°、270°），平面方向内的转置、加入高斯噪声等。特别的，对2D数据进行平面上的随机裁剪，对3D 数据进行空间内的随机裁剪，以及深度方向上的上下翻转，能增强2D 及3D 数据集的泛化性能，支持分类器网络参数的训练。由于医学图像样本采集成本高，本实例中还采用了cutmix 算法，增强网络对肺结节局部特征的学习能力。该算法是对样本中的部分数据进行随机裁剪，随机取另一样本，将相应的数据部分与原样本剩余部分进行组合，形成新的样本，新样本的标签根据两组样本在新样本的数据中心所占比例进行组合。对2D 数据集进行2Dcutmix，即进行平面上的任意位置及二维大小的随机裁剪及样本融合，对3D 数据进行3Dcutmix，即进行空间内的任意位置及任意三维大小的随机裁剪以及样本融合。通过对原始数据进行不同维数的特征融合，提高了样本的多样性，并且能够增强不同维数的网络对局部特征的学习。

图2 图像预处理

2.2 带注意力机制的网络分类器及分类训练

对肺结节的病理诊断主要依据肺结节部分图像，而其他肺实质等信息对病理诊断的贡献较小。对于磨玻璃小结节，肺结节部分图像占获得的数据样本图像比重较小，且在不同样本中的肺结节大小比重差距较大。本研究中的磨玻璃肺小结节直径变化范围较大，可为5 mm 至20 mm 不等。由于CT 图像中的像素大小与实际物理空间中的肺部实体尺寸具有唯一对应关系，对肺结节进行缩放则会破坏图像与实体尺寸间的对应联系，丢失肺结节的实际大小信息。为了在不同尺寸的肺结节样本中，使网络的分类都能更多地依据肺结节部分的图像信息，而对肺实质部分的图像信息更少地参考，所以设计网络模块时引入注意力机制，即通过不同通道上的特征图像表达强度的比较，根据特征图像的表达强度不同从而分配给通道以相应的特征权重。

如图3 所示，设计带注意力机制的残差学习模块。利用注意力机制，在训练阶段学习优化网络中的特征图各通道权重，可以学习到图像中对分类有重要意义的特征，从而在测试集中提取到重要的图像特征。该机制能够使网络更多地关注于肺结节部分的信息，从而改善网络对该数据集的分类能力。为了减少因为网络深度过大引起的梯度消失，设计残差学习模块，更好地结合上下文提取的图像特征，使得提取到的各部分特征图像更好地参与网络分类。

如图3的带有注意力机制的残差学习模块中，卷积变换部分由卷积层与ReLU层构成，用于提取上层网络输出中的特征图像，而近路连接部分由尺寸为1的卷积层构成，直接连接上层网络的输出，使得高维特征图像与低维特征图像更好地结合。注意力机制则可以用来加强卷积变换部分对重要特征的权重。

图3 带注意力机制的网络模块

模块中的注意力机制的不同特征通道的权重计算依据两部分组成，分别为各通道的特征图像均值及最大值。用Xi来表示通道i上特征图像的值的集合，则该注意力机制的实现可用公式（2）表示：

其中，Xinew表示通道i上加权后的特征图像的集合，max 表示特征图像中的最大值，avg 表示特征图像的平均值，f1表示卷积核为1 的卷积变换及激活函数ReLU的变换组合，即为Conv（1×1）-ReLU，卷积核为1的卷积操作用于对不同通道上的权重信息进行整合，ReLU 的作用则是为了增强该注意力转换中的非线性。f2为与f1相同的卷积变换结构。f2与f1分别进行训练。f1为根据最大值处理过的特征图像来决定不同通道相应的权重，f2为根据平均值处理过的特征图像来决定不同通道相应的权重。将两组注意力机制训练后得到的权重结果相加，对特征图像的每个通道附以不同的权重，通过训练，可使重要的特征通道具有更大的权重，学习到图像中具有分类意义的重要特征。

该机制的实质就是对该模块中的卷积变换部分的各特征通道进行加权，通过对上述权重的训练，从而获得特征表达更清晰的特征图像，如公式（3）所示：

其中，c为特征图的通道数，X为每个通道上的特征图像经过权重系数叠加后的输出总特征图像。

在卷积变换后的特征图像经过权重整合后，近路连接部分用卷积核为1的卷积变换进行信息整合，两部分的特征图像进行叠加，更好地整合低维及高维的特征信息，作为该模块的输出提供给网络后续部分进行训练学习。

2.2.2 2D ACNN网络结构

2D ACNN 用来学习肺结节的平面特征如边缘特征、纹理特征等，该网络模型依据带注意力机制的残差学习模块设计，详细结构如图4所示。网络包含三个带注意力机制的残差学习模块，其中Conv2D 表示由卷积层、批量归一化层及激活层实现，即Conv(ks×ks)-BNReLU 的复合操作，其中ks表示卷积核的尺寸，加入批量归一化的目的是使得激活函数的输入符合其数值敏感区间，从而减小梯度消失的现象，增加网络的收敛能力，加快网络参数的训练。Avg-Max Attention表示上述的由平均值及最大值实现的注意力模块，即每个通道上输入与输出的关系为Outi={f1[m ax(Xi)]+f2[a v g(Xi)]}Ini，下标i表示特征图像在第i通道上的分量，在2D 网络中，该特征分量为二维，将该变换记为g。带注意力机制的残差学习模块的输出由注意力模块及卷积核为1的模块输出相加得到，即Xout=g(Xin′)+h(Xin)，Xin为该学习模块的输入，Xin′为注意力模块的输入，由Xin经过两次Conv2D 模块操作得到，h表示卷积核为1 的Conv2D 变换。该网络的输入层Conv2D 的卷积核设置为7，是为了增大网络上层的感受野，MaxPool 表示最大池化操作，用以减小网络需要训练的参数数量。AdaptiveAvgPool 表示全局平均池化操作，对每一通道上的特征图像进行全局池化，用平均值来表示该通道的特征值。全局池化后输出2D 特征向量，通过全卷积Linear层进行分类。

2.2.3 3D ACNN网络结构

3D ACNN 用来学习肺结节的空间信息，肺结节的空间特征具有深度方向的不变性，所以设计3D 网络结构来学习肺结节数据的上下文信息。为了减少网络需要训练的参数数量，该网络模型主要有三个带注意力机制的残差学习模块，详细结构如图5 所示。类似的，Conv3D表示由卷积层、批量归一化层及激活层实现，即Conv(ks×ks×ks)-BN-ReLU的复合操作，其中ks表示卷积核的尺寸，在该实例中卷积核的长度、宽度、深度的尺寸保持一致。Avg-Max Attention 为平均值及最大值实现的注意力模块，Outi={f1[m ax(Xi)]+f2[a v g(Xi)]}Ini，在3D网络中，通道i上的特征分量为三维，将该变换记为g。带注意力机制的残差学习模块的输出为Xout=g(Xin′)+h(Xin)，其中Xin′由Xin经过两次 Conv3D 模块操作得到，h表示卷积核为1 的Conv3D 变换。该网络的Conv3D 的卷积核均设置为3，可以减小网络需要训练的参数数量。AdaptiveAvgPool表示全局平均池化操作，对每一通道上的三维特征图像进行全局池化，用平均值来表示该通道的特征值。全局池化后输出3D特征向量，通过全卷积Linear层进行分类。

图4 2D ACNN网络结构

图5 3D ACNN网络结构

2.2.4 分类目标函数及特征融合

2D网络和3D网络单独训练，网络优化的目标都是最小化损失函数，因研究中为解决的二分类问题，损失函数选择为二值交叉熵函数，并加入正则化项，如公式（4）所示：

其中，yi为样本i的标签，ye为分类器对样本i的预测标签，n为样本的总量，为正则化项，α为正则化系数，一般取很小的正数，‖wi‖2为网络中权重系数的二范数。L2 正则化通过优化目标函数的值，控制网络中权重参数的大小，降低网络复杂度，减少网络过拟合。

两组网络分别训练好后，取图4 中2D 网络输出的2D 特征向量以及图5 中3D 网络输出的3D 特征向量进行特征融合，因为2D特征向量及3D特征向量即为相应网络提取出的用以二分类的特征向量，所以可以表达3D空间特征以及2D平面特征，特征融合的实现方法为将网络输出的2D 特征向量和3D 特征向量均转换为一维向量，进行连接，即其中表示3D特征向量中第1通道上的向量，表示2D特征向量中第1通道上的向量，以此类推，k表示3D特性向量的总通道数，t表示2D特性向量的总通道数。以vnew作为样本的新的特征向量，利用XGBoost算法对新的特征向量进行分类学习，得到的分类结果作为该分类器的最终分类结果。在实验中XGBoost 选择每次基于树的模型进行迭代，迭代权重eta设计为0.1，树的最大深度设计为5，避免过拟合，XGBoost模型的目标优化函数与公式（4）一致。

3 实例应用及分析

本文所采用的数据集来自上海胸科医院，均为历年经过开刀后有准确病理的病例，直径5 mm 到20 mm 之间的磨玻璃肺小结节样本。共有1 760 例，其中浸润性腺癌结节样本340 例，非浸润性腺癌结节样本1 420例。在非浸润性结节样本中，包含有微浸润性腺癌、原位腺癌及其他良性结节。每个病例数据都包含层厚为1 mm的连续20张CT薄层图像。对比于大部分论文研究的LIDC-IDRI公开数据集，本课题研究的数据集具有金标准，公开数据集的结节样本良恶性是由四位放射科医生独立标注的，按肺结节恶性程度大小从1到5分为5个等级，5表示恶性程度最高，1表示为良性结节。医生的诊断具有主观性，在1 187例结节的诊断中，将四位医生判断结果差距在1 以内的作为有效诊断，则仅有571例结节的诊断有效，其余样本的不同医生诊断差距很大。所以公开数据集的标注不能作为真实的肺结节病理，并且该数据集中同时磨玻璃结节与实性结节等不同类型的结节，本课题的数据集只针对研究磨玻璃结节中的浸润性腺癌的分类。

本文所运行的实验平台的配置为Intel Core i9-9900处理器，NVIDIA GeForce RTX 2080Ti独立显卡，32 GB 内存。实验中的数据处理及模型搭建是采用python3.7，主要基于pytorch 的深度学习框架。实验中的网络中参数的初始化利用凯明方法进行初始化。

为了使网络得到充分的训练并且减少训练结果的偶然性，利用五折交叉验证对提出的算法进行验证，将原始数据集随机等分为相同大小且相互独立的5份，每份样本中含有浸润性腺癌结节样本68 例，非浸润性腺癌结节样本284 例。第i次验证时，选择第i份样本作为测试集，其余的4 份样本作为训练集训练，即每次训练中的训练集与测试集的比例为4∶1。初始的训练集中共有1 408份样本，其中浸润性腺癌结节样本272份，非浸润性腺癌结节样本1 136份。训练过程中通过数据增强，将训练集增广至84 224 份，其中浸润性腺癌样本和非浸润性腺癌样本为1∶1。

分别做五组实验，分别对两个网络进行训练验证，记录结果，并对两个网络的训练结果进行融合，记录其结果。实验中2D 样本的尺寸实例化为32×32，3D 样本的尺寸实例化为32×32×9，正则化系数α取为0.000 01，本文采用了SGD 优化器进行优化，训练网络的初始学习率设计为0.02，动量参数设置为0.9，学习率以10倍进行衰减。初始学习率的选择依据表1的实验结果。

表1 不同学习率下2D及3D网络的实验结果

网络训练中，学习率设置过大会导致不易收敛，学习率过小会导致困于局部最值。在本文实验中，根据表1中的结果可知，当初始学习率取0.02时，可以在不牺牲敏感度和特异度的情况下具有较高的准确率，所以在这个量级中取初始学习率为0.02。正则化系数不宜过大，会阻碍网络训练，所以取较小的10E−5 可对过拟合起一定的限制作用，该值的上下波动对实验结果的影响很小。

该实验中，分别利用准确率、敏感度和特异度三个指标对模型的性能进行评价。指标的定义如公式（5）所示[17]：

其中，TP表示样本真实类别及预测结果均为正的样本数量，TN表示真实类别及预测结果均为负的样本数量，FP表示真实类别为负，预测为正的样本数量，FN表示真实类别为正，预测为负的样本数量。在该实例中，敏感度用来表示类别为浸润性腺癌的样本预测正确的比例，特异度用来表示类别为非浸润性结节的样本中预测正确的比例。

如图6所示，为本文模型对测试集上部分肺结节分类错误的可视化结果。框选为非浸润性腺癌结节的三组结节实际病理为非浸润性，但被诊断为浸润性结节，对应的百分比为诊断为浸润性结节的概率。框选为浸润性腺癌结节的三组结节实际病理为浸润性结节，但模型对其预测为浸润性结节的概率很低，所以最终分类结果为非浸润性结节。图中，两组肺结节的相似度很高，浸润性腺癌中的前两组结节形状很规则，且密度值规律，而非浸润性的几组结节的形状不规则，因而导致模型产生误判。

图6 模型分类错误的部分样本

五折交叉验证的结果如图7所示，分别表示五组实验的准确率、敏感度和特异度结果。曲线图中的横坐标均表示实验组号，纵坐标分别表示准确率值、敏感度值和特异度值，每幅曲线图中的三条曲线分别表示单独用3D 网络分类的结果、单独用2D 网络分类的结果，以及特征融合后的分类结果。图7（a）展示了三种方法在五组测试集上的准确率结果，2D 网络在各组中普遍表现较差，平均准确率为0.753，3D 网络在各组中表现优于2D网络，平均准确率为0.814，因为3D数据集具有比2D数据集更多的信息，且结节的空间特征对分类结果有比平面特征更强的作用。融合分类结果是结合了2D网络提取的特征向量和3D 网络提取的特征向量，所以可以结合空间特征和平面特征得到更好的分类准确率，平均准确率为0.827。图7（b）展示了三种方法的敏感度结果，在不同组数据集上，2D 网络和3D 网络的分类结果没有明显的优劣之分，因为敏感度表现为浸润性腺癌中诊断正确的比例，其原始数据量较小，所以2D 网络与3D 网络的分类结果没有明显的区别，融合分类在结合空间特征和平面特征后，第4 组实验中没有改善，其余组中融合分类的敏感度都有较大的提升。图7（c）展示了三种方法的特异度结果，2D 网络的特异度明显低于3D 网络，这与准确率上的实验结果一致，3D 网络可以学习到更多的信息，通过对不同维度的特征融合可以使得特异度有一定程度的提升。

图7 五折交叉验证的准确率、敏感度及特异度

本文对浸润性腺癌分类的研究基于具有金标准的共1 187 例样本，且为了对比人工对浸润性腺癌结节诊断的准确率，在数据集中随机抽取了20份样本，由一位具有多年经验的医生进行诊断，医生的诊断准确率为70%。从图7 可知，本文提出的算法准确率为0.827，敏感度为0.829，特异度为0.826。可见相对于医生的经验判断，本文方法在浸润性腺癌结节及非浸润性结节的诊断上误诊率有较大改善。说明本文模型能通过对肺结节图像信息的学习，获得好的浸润性结节诊断能力，具有较高的准确率且不牺牲分类的敏感度和特异度。

4 结论

本文针对浸润性腺癌小结节的诊断问题提出了基于注意力机制的多维度多特征融合的分类模型，首先对原始CT 图像进行了肺实质提取，去除胸廓等干扰信息。为了增强模型对肺结节特征的学习，在该模型的输入设计中，2D肺结节样本为中心层图像、LBP特征及轮廓特征的组合，3D 肺结节样本为连续CT 薄层的组合。根据该数据集样本量较少，且样本不平衡的特征，应用传统数据增强方法及cutmix算法，增强数据集的泛化性能。为了增强网络学习对肺结节有效特征的能力，在网络设计中融合注意力机制及残差学习模块。网络训练者先独立训练2D及3D卷积网络，再提取两组网络输出的特征向量，连接成新的特征向量，用xgboost对特征向量进行再训练，进一步增强分类器的准确率，使分类器综合学习结节的空间特征及平面特征，结果证明对不同维度下提取的特征向量进行融合再分类，分类的结果都要优于单独用2D 网络或3D 网络分类的结果，能在准确率、敏感度和特异度方面都能达到较好的水平。该算法在采集自上海胸科医院的结节直径为5～20 mm的共340份浸润性腺癌的结节样本及1 420份非浸润性的结节样本上研究，通过交叉验证得到分类准确率为82.7%，敏感度为82.9%，特异度为82.6%。本文工作为磨玻璃小结节的亚病理类型分类诊断提供更为实用的诊断算法。