基于深度学习的肺癌影像辅助诊断系统的设计与实现

摘  要：肺癌对人类生命安全构成巨大的威胁，因此该文针对CT图像上出现的肺部结节特征不明显、形态大小不一且边界模糊不清的问题展开探讨，并给出基于A-VNET的系统针对肺部结节的划分方式。在该系统中设计了V-net框架，引入注意力机制，以突出某一局部位置的显著特点，从而改善模型的分割特性。在LUNA16数据集上做了分割实验，该方法A-Vnet的F1分數比V-Net高2%，显著地提升了肺结节的分割精度。

关键词：V-Net；注意力机制；LUNA16；肺结节

中图分类号：TP391；R734.2  文献标识码：A  文章编号：2096-4706（2023）04-0032-04

Design and Implementation of Lung Cancer Image Auxiliary Diagnosis System

Based on Deep Learning

LIU Mengjie

（Taiyuan Normal University， Jinzhong  030619， China）

Abstract： Lung cancer poses a great threat to human life safety. Therefore， this paper discusses the problems of unclear features， different shapes and sizes， and blurred boundaries of lung nodules on CT images， and gives the classification method of lung nodules by A-VNET-based system. V-net framework is designed in the system， and Attention Mechanism is introduced to highlight the salient features of a local location， so as to improve the segmentation characteristics of the model. A segmentation experiment is conducted on LUNA16 dataset. The F1 score of A-Vnet is 2% higher than that of V-Net， which significantly improves the segmentation accuracy of lung nodules.

Keywords： V-Net; Attention Mechanism; LUNA16; lung nodule

0  引  言

每年有数百万人死于肺癌。肺结节是肺癌的早期征兆。对于肺癌患者来说，早期的肺结节检测和分割有重要意义。为了支持肺癌的诊断和治疗，推动对CT图像上肺结节检测的研究非常重要。然而CT影像数量日益剧增，而具有丰富临床经验的医生数量却不多，导致医生超负荷工作，这不仅导致了医生压力的增大，也增大了肺癌的误诊率。为了解决这一棘手问题，计算机辅助的肺癌诊断系统应运而生。但传统的模型由于CT影像中肺结节体积小、形状大小不一、边缘模糊的特点，现有的方法难以提取边缘特征的信息，导致后续的分割精度难以提高。

目前，结节的分割主要有两种方式：传统方法和深度学习两种方法。由于传统方法由于对人工依赖性较强。并且对于密度不均、边界模糊的肺结节分割效果不够精准的原因，研究者们开始致力于深度学习方法对肺结节进行分割的研究。2014年，Berkeley团队提出了完全卷积网络（Full Curvation Network， FCN），紧接着图像分割任务中就推广使用了这种端对端的神经网络。2015年，Thomas Brox等人设计出U-net模型，它是一种对称的编解码模型，在医学影像的分割上有很好的效果。2016年，RefineNet横空出世，使用残差连接在降低参数量的前提下，提高了分割的精确度。2019年，Fausto Milletari将残差网络和3D U-net相结合，提出了三维图像分割网络Vnet。

综上所诉，现有方法在对肺结节的分割过程中主要追求的是高精度，但往往因为分割网络的分割特性无法保留肺结节边缘的结构特征，而边缘信息的完整性对后续分割有着重要影响。因此，本文期望研究出一种可以保留更多边缘信息的端到端分割模型，从而进行更高效准确的肺结节分割。

1  研究方法

1.1  论文主要研究内容

针对肺传统肺结节分割模型精度低的问题，结合医学影像数据集样本数量小，且正负样本数量不平衡的特征，本文选择在医学影像分割领域取得良好效果并且网络深度较浅的V-Net模型进行深入学习。由于V-Net的编解码对称结构，可以很好的兼顾高层抽样的特征信息和底层信息，可以在一定程度上帮助我们解决体积小、形状多变的所导致的分割困难问题。由于肺结节边缘模糊常与其他组织粘连的特点，仅仅使用原始的V-Net网络，并不能达到令人满意的分割精度，并且还可能会导致梯度消失结节提取不完全。

为了进一步提高分割精度，本文在V-Net基础上做出改进，设计出一种可以自动关注分割重点的A-Vnet网络，即引入了Attention机制的V-Net网络。在本文中，注意力机制被用于网络的连接跳过部分，以提取上下文信息并抑制特征图中的不相关区域。突出某一与目标区域相关的局部区域的特征，极大地减少了假阳性，有效的提升了分割精度。

1.2  相关工作

1.2.1  肺结节分割过程框架

本文使用的肺结节分割过程如图1所示。将数据进行预处理再输入模型。首先，提取肺节点掩码图，再通过肺结节掩膜提取肺结节实质，剔除无关的背景以及其他组织区域。来自不同机器的数据会产生不同的体素间距，对所有切片厚度不小于1 mm的CT图像进行重采样操作。对等间隔处理后的数据进行归一化处理。论文还捕捉到了图像的三维体积。图中的肺结节至少包含一个。体积块大小为96×96×16（长×宽×深）最后，将几个体积块插入模型网格中，网格输出相同大小的二值分割结果。

1.2.2  A-Vnet网络结构

由于医学影像数据集中样本较少的特点，在训练时使用过深的网络，不仅容易出现过拟合现象，还面临梯度消失的难题。因此本文采用模型深度较浅的V-Net网络作为基础模型。V-Net网络作为一个整体是对称的编码器-解码器。网络的左侧为Encoder，在输入原始图像后，Encoder通过逐层卷积提取其特征。为了保留更多的边缘信息，本文抛弃了传统网络中的层池化，选择用带步长的卷积核进行下采样。经过下采样后的特征图，丰富了通道信息但分辨率减半，输入给下一层的编码模块。原始CT图像在编码器部分经过多次下采样操作，得到一个具有丰富高维特征信息的特征图。网络右侧是一个Decoder，将Encoder中经过多次下采样的特征图作为其输入，并对其进行上采样以恢复Encoder中下采样操作丢失的特征信息，并且使用反卷积重采样扩展了特征图的分辨率并降低了通道维度。Decoder需要对特征图进行与Encoder下采样次数相同的多次上采样，并且每一层生成的特征图与Encoder对应的特征图拼接。这样的步骤可以补充下采样所导致损失的大量边缘特征信息，对提高后续分割精度有正面影响。

在A-VNet的解码器的每一阶段都包括了多次卷积操作，为了保护细节信息网络加入了残差块结构，起到了原始特征信息恒等映射的作用，每一个解编码块的阶段输入，都会添加到该阶段的卷积层输出，使输入的特征图信息被输入到更高层的网络中。V-Net对于医学影像的特征提取有良好效果，但灵敏度不够，并且肺结节的形状和尺寸多变，因此，本文增加了注意力用来抑制不相关区域，突出针对肺结节分割任务的相关区域的特征，整体设计如图2所示。深度路线上每一层都需要将解码器输出的特征信息和上一层编码部分的特征信息通过连接结合起来。

该网络不仅通过编解码器生成相结合的特征图，兼顾深度抽象的特征信息和底层特征信息，而且同时加入注意力机制过滤跨层连接传递来的信息，抑制与分割任务不相关的背景区域的特征的响应，它解决了网络无法对长距离的上下文交互和空间依赖性进行建模的问题。

1.2.3  Attention机制模块

注意机制深受大脑视觉注意机理的影响，其本质是让网络能够自动的对重点信息加强，并抑制无关信息。Google团队通过在RNN模型中添加了Attention模块，进行了图像识别工作，使Attention的机理受到了大量研究人员的重视。后来，Bahdanau也将类似的注意力机理运用到了机器翻译中，将该理论推上了顶峰。

本文考虑到Attention机制参数少、速度快、并且可以分配权重的优点，结合分割任务中大部分像素是背景以及其他组织区域的像素，以及目标区域即肺结节只占小部分像素的特点。将其结合在V-net网络的跳跃连接部分，利用其可以分配权重来抑制不相关特征信息的特点针对肺结节边界模糊所造成的致使特征图在噪声较多的问题，通过对肺结节类特征和使其他组织类的特征采用不同权重分配的方法，让肺结节类的特征被模型重点学习，而注意力机制的具体结构如图3所示。

该注意力模块在模型中一共有四处，每一处的注意力机制都需要被输入解码器上一层的输出的特征图g和解码器部分输出的特征图 。由图3可知，注意力模块分为3个部分：首先需要对特征图g和特征图xl用1×1×1卷积核进行卷积操作，通道维度被挤压后得到Wl和Wl-1特征。然后，对其相加后经过Relu层和sigmoid激活函数，让权值固定在0～1之间，就得到了注意力权值矩阵α，即注意力系数。最后，将特征图g和特征图xl通过与α点乘，得到了一个包含特征信息重要程度的特征图。该特征图中加强了对分割任务贡献度大的特征，抑制了不相关区域的特征，对分割结果有正向作用。

1.2.4  损失函数

为使训练更倾向于目标挖掘，损失函数的选择必须考虑到医学影像数据集中分割目标和非目标区域的不平衡分布情况，应当选用可以抑制这种不平衡数据的损失函数。而dice loss的求值过程中，对预测结果和实际结果求交并集的操作，可以视为一个将无关背景区域屏蔽掉的掩码操作，具有解决图像不均衡问题的能力，尤为适合目标过小的肺结节分割。计算公式如式（1）所示：

（1）

其中，|X∩Y|表示模型输出的预测的肺结节分割图像与真实肺结节图像的交集，|X|和|Y|分别表示每个表示预测的肺结节分割图像中的像素个数和真实肺结节图像中的像素个数。

2  结果与分析

2.1  实验数据

本试验的数据来自肺结节检测数据集LUNA16，选取每位病人的CT图像中包含肺结节区域的3张连续切片作为训练的正样本，其他不包含肺结节的切片作为负样本。在预处理阶段，为了突出肺结节实质，我们需要对原始的CT图像进行直方图均值化、二值化、数学形态学处理以生成掩膜，再通过肺结节掩膜提取出ROI图像，获得对应于肺CT數据块中肺结节的标签。将数据集按照8：2分为训练集和测试集。

该数据集注释了有关肺结节的位置和直径等信息。根据CT图像的特定结构，针对LUNA16数据集，在不发生变形的前提下，对训练集中的肺结节图像使用反转和平移等方式进行数据增强。由于本次分割任务的目标肺结节体积过小，但与分割任务不相关的背景区域却占据了很大比例，使正负样本数量进一步出现不平衡现象。因此除了通过数据增强增加正样本数据量，还要对数据进行裁剪，裁剪掉无关的背景区域，以减少干扰。

2.2  实验参数

在肺结节分割的训练过程中，训练迭代次数（epochs）设置为2 800。由于Adam算法可以自适应调整学习速度的大小，对计算机内存要求不高，且用其作为优化器可以使模型的训练速度得到有效提高，因此，本文采用优化算法训练Adam模型，初始学习率设置为0.001。图4给出了本节实验的肺结节分割的效果图，其中图4（a）是模型的损失下降图，图4（b）是模型精确度的上升图。从图4（a）可以看出，训练在1 100个epoch之后，损失下降速度明显变慢，在1 200个epoch之后逐渐趋于平稳不再下降。本实验采用提前终止策略，验证期间损失最小的模型被选为最优模型。

2.3  实验结果

肺结节提取的最终结果成为正确分割肺结节像素的依据，为了总结分割模型的预测结果，本文采用基于混淆矩阵的精度评价指标。对真实的分类类别和模型的预测值进行分类。对类别进行汇总，混淆矩阵如表1所示。

在肺结节的实际检测中，选择F1-score和recall speed作为检测准确率的评价标准，表1中正类代表肺结节，负类代表背景。其中：

（1）准确度（precision）指准确分类为肺结节的样本数量与分类为肺结节的样本数量之比，即预测样本为真肺结节的比例。其计算方法如式（2）：

（2）

（2）召回率（Recall）表示分类为肺结节的样本数量与测试集中实际分类为肺结节的样本数量之比，即测试集中正确分类的肺结节类别的数量，计算方法如式（3）：

（3）

（3）F1-分数是兼顾上述两指标的分割指标，使两个指标在平衡状态下同时达到最高，计算方法如式（4）：

（4）

图5展示了使用A-Vnet网络进行肺结节分割的分割效果，其中图5（a）展示的16个肺结节尺寸各异，是只经过预处理后的原始肺部CT图像，将其输入本文所提出的改进网络A-Vnet分割网络后，得出的分割结果如图5（b）所示。该检测结果直接明了地展示了A-Vnet对于小目标肺结节分割效果，不仅对不同尺寸的肺结节具有很高的敏感性，并能很好地处理边缘分割。为了比较肺结节分割效果，验证在最优值下，本文改进的网络比其他网络具有更多的优势。比较、分析他们的F1-score和recall，结果如表2所示，我们模型的F1系数达到了85.5%，召回率提高到了91.4%。

3  结  论

针对现存的肺结节分割网络中无法有效利用各层特征信息的问题，本文对比研究了Attention机制对肺部结节分割性能的影响，设计出了一种具有分配权重功能的编解码网络A-Vnet。在LUNA16数据集上的实验结果表明，相比于其他算法，A-Vnet网络的F1-分数提高了2%，召回率提高到了91.4%，较为客观的说明了该模型的精确度。在下一阶段将采用Transformer的图像配准方法，用Transformer提取全局和局部特征以生成变形场，得到端到端的肺结节分割模型。

参考文献：

[1] 周清华，范亚光，王颖，等.中国肺部结节分类、诊断与治疗指南：2016年版 [J].中国肺癌杂志，2016，19（12）：793-798.

[2] ARMATO S G，GIGER M L，MORAN C J，et al. Computerized detection of pulmonary nodules on CT scans [J].Radiographics，1999，19（5）：1303-1311.

[3] 魏颖，徐心和，贾同，等.基于多尺度形态学滤波的 CT图像疑似肺结节提取 [J].东北大学学报：自然科学版，2008，29（3）：312-315.

[4] 刘慧，张彩明，邓凯，等.改进局部自适应的快速 FCM 肺结节分割方法 [J].计算机辅助设计与图形学学报，2014，26（10）：1727-1736.

[5] 陈业航，李智，冯宝，等.基于改进的活动轮廓模型的胸膜接触型肺结节分割 [J].仪器仪表学报，2019，40（11）：107-116.

[6] MILLETARI F，NAVAB N，AHMADI S A. V-Net： Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation [C]//2016 Fourth International Conference on 3D Vision（3DV）.Stanford：IEEE，2016：565-571.

[7] 高慧明.基于卷积神经网络的肺结节检测及良恶性分类方法研究 [D].太原：太原理工大学，2019.

[8] MNIH V，HEESS N，GRAVES A，et al. Recurrent Models of Visual Attention [J/OL].  arXiv：1406.6247 [cs.LG].[2022-09-18].https：//arxiv.org/abs/1406.6247v1.

[9] OKTAY O，SCHLEMPER J，FOLGOC L L，et al. Attention U-Net： Learning Where to Look for the Pancreas [J/OL].arXiv：1804.03999 [cs.CV].[2022-09-18].https：//arxiv.org/abs/1804.03999.

[10] 陈铭，梅雪，朱文俊，等.一种新型MobileUnet网络的肺结节图像分割方法 [J].南京工业大学学报：自然科学版，2021，44（1）：76-81+91.

[11] 李传林，黄风华，胡威，等.基于Res＿AttentionUnet的高分辨率遥感影像建筑物提取方法 [J].地球信息科學学报，2021，23（12）：2232-2243.

[12] 门靖茹，王泽荣，张富春，等.基于多尺度改进的V-Net肺结节分割方法研究 [J].延安大学学报：自然科学版，2022，41（1）：115-120.

[13] 高一鸣.基于Gmac模型的肺结节分割 [D].武汉：华中科技大学，2011.

作者简介：刘梦洁（1997—），女，汉族，河南南阳人，硕士研究生在读，研究方向：图像处理。

收稿日期：2022-10-03