基于U-Net网络的肺部组织分割

程立英, 高宣爽, 申 海, 黄丹阳, 覃文军

(1. 沈阳师范大学 物理科学与技术学院, 沈阳 110034;2. 东北大学 医学影像智能计算教育部重点实验室, 沈阳 110189)

0 引 言

截至目前来说肺癌是影响中国居民生活和健康的最大问题之一。综合研究数据得出结论,对肺部的病灶区域早期发现早期治疗是提升肺癌的生存率最直接有效的方法。肺癌在早期阶段的表现在肺部外周围,其CT影像表现为孤立性的肺结节[1],在肺实质内存在单一且最大直径不大于30 mm的类似圆形的病灶区域,在此特征下不容易和影像结果中的细小的气、血管区分。然而,现有的CT技术能够使肺部肿瘤的扫描图像足够清晰,从图像中获得大量的诊断结果,在肺癌的早期筛查和诊断分析中起着重要作用,但肺部疾病的种类及其图像显示复杂多样,难以及时、准确地进行诊断[2-3]。肺实质分割作为肺部组织分割中的关键,在传统图像处理技术中特征提取算法的设计复杂性与应用局限性、稳定性,以及特定的特征提取算法与特定的分类器结合的多样性制约着图像分割技术的发展[4-5],本文在对传统肺实质分割算法研究基础上,结合深度学习方法,设计一个合理的网络模型分割肺部CT图像中的肺实质,提高了其分割的准确性,帮助医师更加准确地判断病变部位,及时发现病变区域,从而在一定程度上提高肺部疾病的诊断效率和准确率。

1 基于深度学习的医学图像分割

近年来,卷积神经网络(CNN)在计算机视觉和医学图像分析等诸多领域的实验效果都非常显著。基于CNN的分类是其中最常见的应用,如GoogLeNet、VGG-Net,输出的是图像的类标签。然而,在许多图像分割任务中,特别是在医学图像分析中,一些特定的需要必须被满足。自动分割是医学图像分析的支柱之一。在给定的背景下对边缘检测的高度依赖是成功分割医学图像的关键。因此,在许多方法中,获取边缘特征并搜索其位置是主要工作。几十年来,构建有效的特征工程一直是医学图像分割的主流课题。例如,基于形状的模型被广泛应用于图像分割。Yan等[6-7]提出了一种利用部分轮廓的先验形状分割前列腺的方法。所有这些方法都是利用特定的特征信息对医学图像进行分割。然而,正如本文前面所描述的,深度学习具有从数据中学习分层特征表示的良好能力,并且在各种应用中都取得了超越传统方法的性能。

在医学图像分割工作方面,算法高度依赖于边缘检测技术。许多方法的主要工作是寻找相应组织的边缘。深度学习可以有效地学习边缘特征。基于此,深度学习逐渐被医学图像分割领域所重视,例如,Zhang等建议使用深度卷积神经网络(CNN)用多模态磁共振图像分割等强度阶段脑组织。Cheng等提出了一种监督机器学习模型,该模型利用基于Atlas的主动外观模型和深度学习模型在磁共振图像上分割前列腺。这些方法都利用了深度学习的先进性,取得了显著的成绩[8]。在基于深度学习的医学图像分割中,许多网络应用斑点(patch)到像素或斑点到斑点的策略来训练和预测。然而,这种策略总是导致训练和预测效率显著降低。2015年,全卷积神经网络(fully convolutional networks,FCN)第一次被 Long[9]公开提出。全卷积神经网络(FCN)是一种使用多组图像进行训练的网络,并且能够同时训练大量的样本。U-Net作为一种深度卷积网络,被采用来对图像进行分割,这种网络包含一个提取信息的收缩路径和一个与之对应的恢复的扩展路径,对图像分割的精度较高,另外U-Net可以高效地利用训练数据集,进而减少在需求样本量上的压力。现有方法大多数研究是采用合理的方式实现对原始图像进行分割标定、图像形变扩充和图像归一化等一系列的预处理,为网络模型的训练提供基础数据,再利用合理的神经网络模型对已经处理好的数据进行训练提取出肺部轮廓[10]。但是基于深度学习的方法在医学影像应用方面大多数研究还停留在识别问题(分类问题)上,如肺结节的诊断、特定组织的疾病判定等。在医学图像分割问题上特别是肺实质的研究比较少。本文针对肺实质分割,对基于U-Net的深度学习方法进行研究,并实现了基于U-Net的肺实质全自动分割算法,肺实质的分割取得了较好的效果。

2 基于U-Net的分割方法

2.1 U-Net架构

图1 U-net架构Fig.1 U-net Architecture

U-Net网络架构包括2个部分, 网络的左侧分为4个阶段。 每个阶段均由2个卷积层组成, 处理不同的分辨率特征图。 左半部分执行的卷积使用3*3个内核, 每个内核后面都有一个用于校正的线性单元(Relu)。 每个阶段结束, 都向下采样一个步长为2的2*2最大池运算。 每个阶段后, 特征通道的数量增加了1倍。 网络的右侧也分为4个阶段, 并且与左边部分相似。 右部分的每个阶段包括2种操作。 第1种是上采样, 使特征地图的大小逐渐增大, 直至达到原始输入图像的大小。 第2个操作是将特征信道的数目减半, 这样卷积核的数目在每一阶段之后就会减半。 由于每次卷积后都会丢失一些图像信息, 因此有必要从左侧的早期提起特征传递到右边部分。 为了实现这一功能,作者将左侧部分与右侧部分连接起来。 这样, 网络可以获得一些细节, 否则在卷积过程中会丢失这些细节, 这将提高最终轮廓预测的质量。 此外, 这些连接将加速网络的收敛。

2.2 基于U-net的肺部分割模型

本实验采用U-Net的就是数据网络模型,由左边的1个收缩路径以及右边的1个扩张路径构成,网络的整体训练是输入一整套的经过预处理之后的训练集图像,输出一整套分割好的肺部CT图像。所有的训练都是使用基于Keras的深度学习的模型框架,后端则是tensorflow。本次实验采用了2套图像,一套用于训练,一套用于测试,在构建 U-net 神经网络时,左边的收缩路径包括2次3*3卷积应用,并且均含有1个线性用于校正的单元(ReLU)以及1个2*2的最大池化法来进行下采样,在下采样中都增加了特征通道的数量,然后是将下采样增加的特征通道数量降低1/2,采用1个2*2 的卷积和1个与左侧收缩路径相对应的连接端以及2次的3*3卷积,并且每次都会跟随修正线性单元[11]。

本网络计算每个像素点的soft-max值采用能量函数, 定义公式如下:

其中:pk(x)是表示相似的最大函数;ak(x) 是表示像素点在x位置时特征通道数量k的激活值。

本实验训练模型的方法是以单个像素的二进制值交叉熵为目标,卷积核的初始化操作以利用分布N(0,0.4)来进行的,损失函数的训练以随机梯度下降法进行操作,借此可以在最短时间内达到最小值[12]。更新策略如公式:

其中∂为学习率,采用固定值0.03来进行学习。根据结果显示,SGD能够在相关方向上抑制震荡,加快收敛速度。

3 实验结果和分析

该模型评价采用3个指标:基于GT的图像分割精度、欠分割率和过分割率。

GT图像:通常是理论上的分割结果、分割图像。

分割精度指的是实际运行结果得到的分割面积占理论上真实面积的比例系数,数学定义如公式:

其中:RS表示专家给出的分割图像的参考准确面积(理论值);TS表示算法得到的图像的面积;|RS-TS|表示理论与实际面积之间的误差,即分割不同的像素点个数[13]。

欠分割率UR:指的是基于GT图像结果下实际分割结果中缺失的像素点所占的比例,数学定义如公式:

其中US表示应该出现在分割结果而没有出现在分割结果的面积,即US中的像素点出现于理论的分割图像中,但未出现在于运行结果的分割结果中。

过分割率 OR:指的是基于GT图像结果下实际分割结果中较之增加的像素点的所占比例,数学定义如公式:

其中OS表示不应该出现在分割结果事实上却在实际分割结果中的面积,即OS中的像素点出现于实际运行结果的分割图像中,但未出现在理论的分割图像中。

本文算法实验硬件环境: 1) CPU处理器型号: Intel(R) Core(TM) i5-10210U CPU@1.60GHz 2.11GHz; 2) 内存规格: 8GB。软件环境为Windows 10 64位操作系统,编程环境为python 3.7 IDE pycharm。

算法采用的训练数据为10组已标注好的近3 000张肺部CT图像,测试数据是不含训练数据的另外3组肺部CT图像。本文算法在对网络训练的过程花费了近16 h,但分割测试数据只用了20 s,可以看出,训练阶段时间花费大量的时间进行迭代,但相对传统的分割算法,进行测试分割时所用时间缩短。考虑在实际应用中,是利用训练好的网络模型对CT图像进行分割处理,所以,基于U-Net网络的肺部组织分割模型将会大大提高CT图像分割的效率,简化前期操作。本文算法最终运行的分割结果,与标准分割结果的图像进行对比,分别从3组测试数据中选取不同图层图片展示与分析,如图2所示。从图中可以看出本文提出的算法对肺实质实现了较好地分割。

图2 肺部不同图层分割结果对比图Fig.2 Comparison of segmentation results of different layers of lung

对肺部不同图层肺实质的分割准确性、过分割率和欠分割率进行计算,计算结果如表1所示。

表1 肺部不同图层的分割情况对比Table 1 Comparison of segmentation of different layers of lung

从表1可以看出来,针对3组不同切片图层的肺部图像,其分割结果的准确率都比较高,且过分割率和欠分割率都比较低。另外,第3组(c)图的分割准确率较高,第1组(c)图次之,分割效果较差的是第2组(c)图,第2组(c)图是由于大量的肺部血管以及周围气管等影响,导致分割效果较其他2组分割结果较差,欠分割率和过分割率也是最高的。

4 结 论

本文从分析图像分割技术出发,研究了深度学习在医学图像中的应用现状,提出了基于U-net神经网络的肺部CT图像的肺实质分割方法,通过对卷积神经网络进行了改进,经过训练后,这种模型能够直接对原始图像进行自动分割,且分割效果良好,这种模型加快了分割速度,简化了医学图像分割的步骤,为后续肺部血管、气管等其他组织的分割提供更好的基础。