一种基于U-Net的脑肿瘤分割方法

李秀华, 王士奇, 宋立明

(长春工业大学 计算机科学与工程学院， 吉林 长春 130102)

0 引 言

人工标注成本高、繁琐,同时极易产生误诊，因此,重要器官部位以及对病灶区域的分割对于某些疾病患者的临床诊断治疗而言极为重要，医学图像的自动精准分割也因而受到国内外医疗图像界学者的广泛关注，脑肿瘤MRI图像分割为其中之一,脑肿瘤是发生在人体颅脑内组织的恶性疾病，死亡率极高[1]，其中脑胶质瘤是属于原发性肿瘤的一种恶性肿瘤，它产生的原因是由颅内细胞和脊髓胶质细胞发生恶性病变。脑胶质瘤又可分为两类：一类为扩散速度快，几乎无治疗可能的高级别胶质瘤(HGG)；另一类为可被治疗的低级别胶质瘤(LGG)，因此，对于脑胶质瘤患者进行初期诊断和相应的治疗，可以大限度预防低级别胶质瘤向高级别胶质瘤转化，增加患者的存活时间[2]。核磁共振成像(Magnetic Resonance Imaging, MRI)[3]是用电磁波照射人体内含氢原子所产生的能量进行成像的，根据人体内氢原子的变化呈现高清晰度的脑部图像。核磁共振作为脑肿瘤重要诊断技术之一，其以非入侵式的方法检测颅内信息，不会对人体产生过大的损伤，其呈现出的影像清晰精密，在初期诊断中可以很好地辅助医生发现脑部肿瘤，使脑肿瘤的鉴别更加精准，快速确定病情及治疗方案。

1 相关工作

随着计算机硬件及技术的发展,算力水平大幅提升,深度学习等技术研究也得到相应的发展空间与理论进步,在脑肿瘤分割领域极受欢迎，并取得了良好的分割效果。如 Zhang C等[4]利用分割的FCN模型分割大脑MRI图像，然后将粗略分割出脑肿瘤的图像输入到网络中继续训练，得到更为精确的肿瘤分割图像。但这种方法在分割过程中会损失部分局部特征，导致肿瘤区域分割精度不高。2015年，Ronneberger O等[5]在全卷积的基础上提出U-Net网络模型，该模型在图像分割领域取得了当时最优的结果。U-Net通过长连接虽然会将深层和浅层的特征融到一起，但特征图进行简单拼接会产生过多的冗余信息，而且使用Dice系数在分割过程中容易出现梯度消失，使得模型难以训练，影响分割效果。

文中将U-Net网络结构进行改进，优点如下：

1)在U-Net网络中添加注意力模块，使网络模型关注需要分割区域特征，避免信息冗余。

2)通过自定义的残差块，能有效地保护上下文信息的完整性，可以在解决梯度消失问题的同时扩大感受野，提高分割准确度。

3)通过改进的混合损失函数，解决样本不均衡的问题。

2 网络结构

采用经典医学分割网络U-Net。U-Net网络技术于2015年首次被正式提出后,就迅速被人们广泛应用到医学图像的分割领域。U-Net网络结构呈U型对称，其主要分为两个部分,即编码路径和解码路径。在编码路径中,为提取目标图像中的高级语义特征,将对目标图像进行卷积和池化操作;在解码路径中,将在编码路径使用的下采样压缩后的特征信息图通过上采样操作恢复放大到原压缩图像大小。该网络还使用了长连接将编码路径与解码路径中相同分辨率的特征级联起来作为下一层的输入，减少局部特征的丢失。但是传统的U-Net将编码和解码阶段的特征图直接融合，会产生许多冗余信息，且忽略了不同通道特征的重要性，其对脑肿瘤的分割精确度不够，难以满足日益复杂的诊断需求，因此需要对其进行改进。

2.1 改进的网络结构

文中方法在原始U-Net的基础上进行改进，将编码阶段中两个3*3的卷积替换为自定义的残差块，并且注意力模块嵌入到编码路径-解码路径的长连接中。文中的网络模型结构如图1所示。

图1 网络结构

2.1.1 注意力模块

注意力机制源于人体对于重要信息的重点关注，忽略低价值信息。注意力机制可以给输入特征图不同区域给予不同的权重。文中在编码路径-解码路径的长连接中引入注意力模块，在拼接低级特征图和高级特征图的工程中,重点关注所需特征，避免信息冗余，提高脑肿瘤的分割精确度。注意力模块[6]的网络结构如图2所示。

图2 注意力模块

注意力机制模块计算公式为

(1)

式中：xi----编码部分的输入特征图,xi∈RCi×Hx×Wx;

C----通道数;

H----输入图片长度;

W----输入图片宽度;

α----注意力系数。

α的计算为

α=σ2(qatt(xi,gi;θatt)),

(2)

式中：σ2----Sigmoid激活函数;

qatt----经过加性注意获得到的门控系数。

AG的特征是由一组参数θatt组成的。qatt表示为

qatt=ΨT(σ1(Wggi+Wxxi+bg))+bΨ,

(3)

式中:g----门控信号(Gating Signal)，是经过编码器卷积操作后输出的向量，g∈RCg×Hg×Wg,包含丰富的位置信息；

Ψ，Wg，Wx----卷积操作，Ψ∈RCint×1,Wg∈RCg×Cint,Wx∈RCi×Cint;

bg,bΨ----对应卷积的偏置项。

输入特征图使用1×1卷积转换到特定的维度，将其输出进行相加、激活，将激活后的值通过卷积变换，然后通过Sigmoid函数再次激活,最终对注意力系数进行重采样。通过注意力机制对编码阶段较浅层次的不同区域进行权重再分配，使网络模型关注需要分割区域的特征，避免信息冗余，从而提高网络模型分割效果。

2.1.2 改进的残差模块

残差网络的提出有效地解决了深度学习领域的一个大问题----梯度消失。随着神经网络兴起，计算机硬件条件的发展，各种深度网络被相继提出。人们经过实验分析发现,网络越深，效果越好。但同时也发现了另一个问题,网络层数的加深，梯度衰减会变大，并且迅速接近0，即梯度消失。为了解决这个问题，2015年,何凯明等[7]提出残差神经网络，利用残差模块的恒等映射将输入特征和输出特征融合相加，在保护上下文信息完整性的同时,解决梯度消失问题。残差模块如图3所示。

图3 残差模块

残差模块计算公式为

H(X)=F(X)+X,

(4)

式中:X----输入;

H(X)----输出;

F(X)----隐藏层的输出结果。

将原有的残差模块进行了改进，如图4所示。

图4 改进的残差模块

将残差块中的普通卷积替换为空洞卷积,如图5所示。

图5 空洞卷积

卷积的空洞率(rate)分别为1，2，3。在每一层空洞卷积后都进行BN操作和Relu函数激活。空洞卷积[8]在卷积核中添加空洞，将空洞中进行补0操作，可以增大感受野，大大增强对小目标区的分割与识别,从而达到有效提高对脑肿瘤核心区和增强区的分割精度。

2.2 改进的损失函数

在图像分割领域，损失函数同样非常重要，好的损失函数可以帮助网络快速收敛的同时提高分割精度。在脑肿瘤分割方法的实验中,多数实验都是以Dice函数直接作为损失函数。但是类别不均衡的问题,使得Dice系数作为损失函数时,会导致较小目标的特征很难被正确地分割,从而降低脑肿瘤的分割精度。因此将文中模型的损失函数进行改进，将Dice损失函数(Dice_loss)[9]和焦点损失函数(Focal_loss)[10]进行相加融合。改进后的损失函数可以表示为

L=α×Dice_loss+β×Focal_loss。

(5)

Dice系数是语义分割评价指标的一种，常用来评价分割图与真实标签图相似度的一种度量函数。后被改为损失函数，称Dice损失[11]。定义为

(6)

式中:P----真实的分割结果;

T----预测的分割结果。

焦点损失(FL)也可以看作是二元交叉熵的变化。它降低了简单示例的权重，使模型能够更专注于学习困难示例。它适用于高度不平衡的类场景，可以表示为

Focal_loss=FL(pt)=

-αt(1-pt)γlog(pt),

(7)

式中：α----平衡因子，一般在[0,1]范围内。

γ----取值为2。

(8)

式中:y----标签;

p----预测样本属于1的概率(范围为0～1)。

3 实验与分析

3.1 数据集与预处理

文中采用数据集为多模态脑肿瘤分割挑战(Multimodal Brain Tumor Image Segmentation Challenge， BraTS)公开数据集BraTS2018以及BraTS2019[12-14]进行训练和测试。BraTS2018数据集共包录285例病例，其中包含高级别类型的胶质瘤(HGG)210例，低级别胶质瘤(LGG)75例。BraTS2019数据集在BraTs2018的基础上增加了50例病例。每份病例的MRI图像均包含四种模态和真实标签图。真实分割标签图可分为4个部分，分别为背景、整体肿瘤区域(Whole Tumor， WT)、肿瘤核心区(Tumor Core， TC)和增强肿瘤区域(Enhance Tumor， ET)。

选取BraTS2018中的病例作为训练集，在BraTS2019中去除掉BraTS2018中所含有的病例作为测试集。将所选取的MRI图像切片成尺寸为160×160大小的图片，原图像大小为240×240×155，并且去除掉空白的切片。

3.2 评价指标

实验采用3种评价指标分析模型的性能，分别为Dice系数、精确率(Precision)、敏感度(Sensitivity)。

Dice系数通常用于计算分割图与标签图之间的相似度或重叠度，Dice值越高，代表图像的分割性能越好，其计算公式为

(9)

精确率(Precision)是指被正确判定为脑肿瘤数量占所有被预测为脑肿瘤总数的比例，其计算公式为

(10)

敏感度(Sensitivity)是指被正确预测为脑肿瘤总数占真实为脑肿瘤总数的比例，其计算公式为

(11)

式中:TP----真阳性;

FP----假阳性;

FN----假阴性。

3.3 参数设置及训练

实验环境为：Intel(R) Xeon(R) CPU E5-2650 2.2 GHz的CPU，NVIDIA TITAN XP×2的显卡(12 GB×2显存)和CentOS7操作系统。整个实验是基于 Python3.6、Pytorch1.7.0、 CUDA10.2版本的深度学习框架。文中网络采用 Adam 优化算法[15]，其超参数设置为默认值。实验的批量处理大小设置为18。训练时，初始学习率设为0.003。防止训练过程中网络过拟合使用dropout策略。在对脑肿瘤MRI图像进行分割时，通过多次实验将损失函数的超参数分别设置为α=1,β=0.5。

3.4 实验结果与分析

为确定改进的损失函数参数进行了多次实验，不同参数下的分割性能对比见表1。

表1 不同参数下的分割性能对比

由表1可以看出,α=1,β=0.5时，Dice系数值相近效果，并且Dice系数值与其他值相比较高，分割效果较好。最终选择α=1,β=0.5作为模型损失函数的参数。

为了验证改进的模块对于脑肿瘤分割是否有效，对添加的模块进行了对比实验，用Dice系数作为验证指标，实验结果见表2。

表2 不同模块下的分割性能对比

由表2可知，分别添加了残差块、注意力机制和混合损失函数的U-Net模型Dice系数值均有所增长，说明改进的模块对于脑肿瘤精确分割均有效果，文中方法相比添加其他模块的Dice系数值较高，可以有效地提高脑肿瘤分割精度。

将文中算法与全卷积神经网络(FCN)、基础U-Net 网络和将U-Net改进的Dense U-Net网络[16]三种网络模型进行了对比实验。文中方法与对比网络的分割效果见表3。

表3 不同网络分割效果对比%

从表3可以看出，文中算法的Dice系数、精准率和敏感度都优于另外三种网络，与传统U-Net相比，其Dice系数(WT、TC、ET)分别提升了2.88%、6.46%、5.58%；精准率(WT、TC、ET)分别提升了0.29%、2.39%、2.96%；敏感度(WT、TC、ET)分别提升了5.27%、6.79%、6.47%。从结果可以得知，改进后的网络模型相比其他网络在各个区域的分割精度均有所提高。

已有分割方法与文中分割方法对脑肿瘤MRI图像的分割结果如图6所示。

图6 不同网络对脑肿瘤图像分割结果

从图6可以看到，FCN 神经网络分割效果最差，虽然能分割出脑肿瘤的轮廓，但分割边界不清晰，在脑肿瘤增强区域和脑肿瘤核心区域的分割结果与真实标签图还存在很大差异，分割效果不理想。U-Net网络对于脑肿瘤分割效果有一定的提升，脑肿瘤的轮廓与边界更为清晰，这是由于U-Net网络可以通过长连接将编码路径的位置信息和深层肿瘤的特征信息相结合。Dense U-Net在U-Net网络基础上进行了改进，其在脑肿瘤的分割效果上又有了提升，分割的脑肿瘤轮廓形状较为清晰，但对于核心肿瘤区域的分割效果不精准。文中方法通过对U-Net分割方法的结构进行了改进，使得分割精度又有了提升，由图6可以看出，分割出的脑肿瘤更为精确，脑肿瘤的边界轮廓更为清晰，通过损失函数的改进，将Dice损失和焦点损失混合，极大地改善了类不平衡问题，使得分割结果进一步提升，分割出的脑肿瘤增强区域与真实标签图相比最为相似。通过各项分割指标和分割结果图的对比，可以说明文中的改进方法可以提升脑肿瘤的分割效果。

4 结 语

医学图像分割也是现代医学图像可视化分析领域的重要应用内容。针对脑肿瘤难以做到精准分割处理问题，提出一种基于U-Net的脑肿瘤分割方法，在基础U-Net网络进行改进，该算法对编码路径进行了一些优化，引入自定义的残差模块，实现了对于特征的精确分割；在U-Net网络模型的编码路径-解码路径长连接中加入了注意力模块，使网络关注感兴趣区域；同时提出新的损失函数，使得对于肿瘤核心区域分割结果更加精确。实验结果表明，在脑肿瘤分割实验中，与FCN网络、U-Net网络、Dense U-Net网络相对比，文中算法的Dice系数、精准率和敏感度都优于另外三种网络，对于脑肿瘤的分割也更为精准。然而，文中设计与改进有很大的局限性，人体头部是三维器官，经过核磁共振技术扫描出来的图像同样是三维结构，文中算法是针对二维脑肿瘤图像的分割，实验所用图像是由三维的脑肿瘤MRI图像进行切片得到的，虽然在切片上取得了较为精确的分割结果，但切片的过程中会损失大量的空间信息。因此，在未来的研究中会重点集中在3D网络的优化与改进，进一步提升脑肿瘤的分割精度。