基于改进的U-Net网络在MRI膀胱肿瘤图像的分割∗

曹心姿 梁秋源 李瑞新 蔡兆信 潘家辉

（华南师范大学软件学院 佛山528225）

1 引言

1.1 研究背景

膀胱癌由膀胱组织病变得到膀胱肿瘤而来，是较为常见的病症，其多发群体为老年男性。CA发布的2015年全球癌症统计报告《Glob而且膀胱癌的发病率在男性肿瘤中居全球第四位al Cancer Statistics，2012》的癌症致死率排名显示，膀胱癌排名第九［1］。中国男性的膀胱癌发病率相对较高，须引起医学界的重视。

目前绝大多数医院使用CT（Computed Tomog⁃raphy）或者MRI（Magnetic Resonance Imaging）技术进行医学成像，再通过主治医生观察图像进行肿瘤诊断。然而，虽然上述两种成像技术所呈现的组织细胞于恶性肿瘤有相对明显的区别——主要体现在浸润程度、灰度、厚度、位置等特征上，但仅仅通过肉眼进行肿瘤分期分级诊断是不够精确的。因此，我们可以在医学成像领域加入计算机视觉进行自动化肿瘤分割与分类，以达到更好的诊断效果，帮助病人进行肿瘤确诊和辅助治疗。分割后的肿瘤图像能够应用于多种场景，例如肿瘤组织的定量分析、特征提取、计算机指导手术等［2］。

目前的临床医疗中，磁共振成像（Magnetic res⁃onance imaging，MRI）在膀胱肿瘤的检测和治疗中扮演着重要的角色。MRI技术结合多参数、多方位成像来产生最终图片，能够清晰地观察生理结构，对比其CT图更加有优势。因此本文选用MRI图像进行图像自动化分割处理研究。计算机软件的自动化图像处理使得我们能够定量分析肿瘤情况，并对肿瘤进行定期跟踪比较，以确定更加适合病人的医疗方法［3］。

1.2 研究现状

近年来，大量的研究学者对图像分割技术进行了研究，传统的分为以下几类：1）基于阈值的分割；2）基于区域的分割方法；3）基于边缘的分割；4）基于模糊C均值（FCM）聚类分割；5）基于神经网络的分割等。由于MRI图像具有较大的噪声，阈值分割算法等容易产生过分割的现象；区域分割对均匀的连通目标有较好的分割效果。但是对噪声较敏感，可能导致区域内有空洞，因该方法为串行算法，当目标区域较大时，分割速度慢；基于边缘的分割不能保证边缘的连续性与封闭性，在高细节区存在大量的碎边缘原因限制了其在图像分割中的应用；FCM算法对初始参数极为敏感，有时需要人工干预参数的初始化以接近全局最优解，提高分割速度。

基于神经网络的分割中出现过VGG16，FCN，DeconvNet，DeepLab，Mask-RCNN，SegNet，U-Net等。由于深层神经网络训练时一般都需要标注大量的样本，但是医学的图像需要专业人员进行标注，样本的数量规模较少，而U-Net网络刚好补充了这个缺失，几百张的数据集就能达到比较好的效果，因此U-Net网络备受关注。

U-Net网络结构是2015年ISBI竞赛中提出的网络结构［4］，包括一个收缩网络和一个扩张网络，组合构成了一个U型结构，该网络采用了与FCN完全不同的特征融合方式——拼接。该网络主要用于医学图像分割上，网络最初提出时是用于细胞壁的分割［5］，之后在肺结节检测以及眼底视网膜上的血管提取等方面都有着出色的表现，但在膀胱肿瘤分割领域应用较少［6~10］。

原始的U-NET网络深度略有不足，训练时间短，训练参数较少，随着深度的加深，该网络会出现退化问题，因此分割效果有待进一步提高。

本文我们将采用改进后的U-Net网络结构来对膀胱肿瘤部分进行分割，改进后的U-Net网络结构加入了残差网络（residual network）［11~12］，残差网络是并对每一层结果进行规范化（batch normaliza⁃tion）处理，能够有效防止网络训练过程中出现准确率退化的现象。

实验结果表明，与传统的U-NET网络结构相比，虽然训练时间略有增加，改进后的U-Net网络的分割效果又了更好的提升。

2 U-Net网络模型原理与实现

U-Net网络是一个全卷积的网络，左边为压缩路径（Contracting Path），右边为扩展路径（Expan⁃sive Path），压缩路径有4个block构成，每个block使用3个卷积和一个下采样（Max pooling），每次采样之后Feature Map的个数乘以2，得到32×32的Feature Map。

拓展路径同样包含4个block，每个block开始之前通过反卷积乘以2，并且将其个数减半并与左侧对应的压缩路径中的Feature Map融合，补全缺失的信息，最后采用将其特征映射到某一类别中。

图1 U-Net网络结构示意图

2.1 优化函数

实验中，训练模型采用Adam函数作为模型优化函数。该函数利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，每一次迭代学习率都有个确定范围，使得参数比较平稳。

2.2 评价指标

图像分割采用Dice系数进行评价。它是一种集合相似度量函数，通常用于计算两个样本之间的相似度。

其中A是已经勾画的膀胱癌区域，B是算法分割得到的膀胱癌区域，Dice的取值范围是从［0，1］，取值越接近于1，说明分割效果越好，模型越准确。

3 残差网络原理

U-Net由于把编码特征加入到解码特征中，可以在小数据量下取得很好效果，但是由于U-Net网络不够深，对特征的表达不够准确，分割的准确率不够高。为此我们可以通过加深网络的深度来提高分割的准确率，但是当网络太深时，又会出现准确率退化的现象，为了解决这个问题，我们提出在U-Net网络中引入残差网络结构。

随着网络层数的增加，网络发生了退化（degra⁃dation）的现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当再增加网络深度时，训练集loss反而会增大，这个退化不是由过拟合引起的。

由于在前向传输的过程中，随着层数的加深，Feature Map包含的图像信息会越来越少，但是加入了ResNet的直接映射结构后，确保了下一层的图像信息多于上一层，由此残差网络应运而生。

如果深层网络后面的层数是恒等映射，那么这个网络便会退化为一个浅层网络，因此问题转换为学习恒等映射函数，为此将网络设计为如下结构。

图2 残差结构单元

残差网络由一系列的残差块构成，每个残差块表示为

F为求和前网络映射，H为从输入到求和后的网络映射，不断拟合残差函数，即无限逼近于0。可通过前向神经网络与“捷径”（shortcut connections）实现［13~15］。

残差网络的出现解决了深度网络训练过程中出现的退出问题，优化了网络性能。

4 改进后的Res-U-Net网络模型

原始的U-Net网络深度浅，过于单薄，在U-Net网络中加入残差结构，生成Res-U-Net网络模型，如图3所示。

图3 Res-U-Net网络结构示意图

改进后的网络结构加入了数据标准化与残差结构。其中数据标准化贯穿了每一层，残差结构为1×1的“捷径（shortcut connections）”附加在下采样与上采样当中，同时对每个卷积层输入的数据进行了规范化。

4.1 图像标准化

首先对各个隐藏层的输入数据进行标准化，每一层中的数值β={x1……xm}，计算均值

计算数值方差

对每个值进行归一化处理

通过数据的标准化，令均值和方差控制在一定范围内，使得下一层的网络不必去适应底层网络输入的变化，每一层进行独立的学习，进而加快模型的学习速度。

4.2 模型搭建

表1 U-Net与改进的Res-U-Net网络结构图

?

4.3 网络模型优势

该网络模型保持了原始的收缩路径与扩张路径，收缩过程加入了残差结构，使得通过卷积与池化中提取到更多的特征。

每一层卷积后进行标准化操作，使得每一层的输出结果落在敏感的区域，避免随着网络深度的加深出现梯度消失的问题。

在扩展路径中对图像特征进行还原，对边界信息进行补充，加入了残差结构能够更大化地还原图像的特征信息，进而提高分割效果的准确性。

5 实现结果比较

本实验共有900组数据集，大小为512×512，图像深度为8，其中800组作为训练数据，100组作为测试数据。

此次试验以Kaggle GPU为训练平台，采用Py⁃thon3.6，深度学习框架Keras 2.24。

在训练前均对图像进行归一化处理，两个网络构造均采用Adam函数作为优化函数，对训练得到两个网络的模型进行测试。

5.1 实验过程

Res-N-Uet网络训练过程中的损失函数与迭代次数之间的关系如图4所示。图4中对比了这两个网络模型的损失函数变化情况，从中可以看出，改进后的U-Net网络相比于原始的U-Net网络，损失函数更小，说明训练效果更好。

图4 损失函数与迭代次数的关系图

5.2 图像

本实验中，U-Net模型与Res-U-Net模型的训练epoch均为30，通过对测试示例图得到上述分割图像，U-Net模型分割得到的图像模糊，而Res-N-Uet得到的掩膜图像更加清晰，并且边界更加明显，模型更具有鲁棒性，分割效果更好。

图5 不同网络对同一张MRI图像的分割结果

5.3 Dice系数

通过在kaggle GPU平台训练得到的两个网络模型，分别对100张测试集进行测试，并进行评估，计算分割出的图片的Dice系数，绘制得到图6。

以epoch=30为例，图6展示了原始U-Net对肿瘤的分割Dice系数与Res-U-Net的Dice系数的情况，从图中可知，改进后的网络模型得到的Dice系数明显高于原始的模型，因此可改进后的模型的分割效果更加理想。

图6 Dice折线图

5.4 模型比对

以训练epoch=30为例，表2分别对模型的层数，训练的参数与所需要的训练时间进行了比对，因为加深了网络的深度，因此网络的训练参数与训练时间都略有增加，但是仍在可控的范围内。

表2 两种模型比对

5.5 实验结论

针对原始U-Net网络深度浅，分割效果不足的缺点，引入了残差结构，加深网络深度，并对每一个隐藏层输入数据进行归一化。实验表明，改进后的U-Net模型的分割的Dice系数相比于原始的网络提高了9%，分割效果优于原始的网络。

6 结语

医学图像对辅助医生诊断具有重要的作用，传统的MRI图像通过人工进行查看操作，对人力的技术要求相对较高，需要消耗大量的精力，通过自动化分割能够帮助医护人员减轻工作压力。针对U-Net网络在膀胱肿瘤分割的准确率问题，本文提出了一种改进后的Res-U-Net网络。该网络结构基于原始的U-Net网络，通过引入残差结构，加深网络的深度，并且对每一层输入的数据进行归一化。实验结果显示，改进后的网络时间训练参数更多，时间略有增加，但是这种具有更好分割效果，分割Dice系数提高了10%，具有较好的应用前景。