多尺度融合的MRI脑肿瘤图像分割方法

赵惟玉，丁 然，李 阳，高秀敏

（上海理工大学光电信息与计算机工程学院，上海 200093）

0 引言

脑肿瘤是大脑中细胞非正常生长的病症，是由于颅脑内部组织出现癌变而导致的高危害疾病。脑肿瘤分割通过识别与正常组织异常的区域来分割肿瘤区域位置和范围［1］。目前脑肿瘤诊断十分依赖于医学影像技术，包括计算机断层扫描（Computer Tomography，CT）成像技术、正电子发射型计算机断层显像（Positron Emission Computed Tomography，PET）技术与核磁共振成像（Magnetic Resonance Imaging，MRI）技术［2］。其中，核磁共振成像在医学上被广泛应用于脑肿瘤诊断，具有分辨率高、软组织对比度强及非侵入性等特点［3］。过去脑肿瘤图像轮廓分割一般靠手工完成，是一项十分复杂且容易出错的工作［4-5］。基于深度学习的自动分割方法能够主动提取学习图像特征，快速分割有用的图像信息。医学图像分割作为强大的人工智能技术，被期望应用于临床环境中脑肿瘤特征的定量判断，因此成为当下医学图像分割领域的研究热点［6-10，12］。

深度学习起源于人工神经网络研究，是模拟人脑神经元认知过程的一种抽象计算模型。Amin 等［11］提出一种深度神经网络（Deep Neural Networks，DNN），将图像分割成多个图片，然后计算每个图片的中心像素标签并提供给DNN，以改善分割与分类效果。在过去几年里，卷积神经网络（Convolutional Neural Network，CNN）已主导了脑肿瘤分割领域。Havaei 等［12］提出一种级联模型，采用两阶段的训练方式，在分割效果上取得了很大进步；Zhao 等［13］提出多尺度卷积，相较于传统网络，其不再将图像在单一尺度上进行卷积；Ronneberger 等［14］对全卷积神经网络（Fully Convolutional Network，FCN）框架进行改进，在医学影像分析中采用U-net 模型，能够将高层语义信息与浅层特征进行融合，使结果更加精准。U-Net 模型的学习能力十分强大，因而在医学图像分割领域得到了广泛应用［15-20］。

本文提出一种改进的U-Net 脑肿瘤轮廓分割网络，结合残差网络与一种用于增强上下文信息的模块，并融合空洞空间卷积池化金字塔模块，对脑部胶质瘤的MRI 图像进行分割检测，有效提高了分割精度。本文主要有以下贡献：

（1）将Resnet［21］的残差映射方式与U-Net 的下采样过程进行融合，作为图像处理收缩路径的主干网络，从而有效解决了网络训练中梯度爆炸和梯度消失的退化现象，并将浅层特征信息的传播跨越通道直接与高层网络进行融合。

（2）采用一种增强上下文信息的模块，将该模块放在四次下采样之后，通过多个卷积增强图像内部的每个像素特征，从而增强上下文信息。在增加网络感受野的同时，减少了计算量。

（3）模型加入空洞空间卷积池化金字塔，并融合多尺度信息。

2 脑肿瘤分割模型

2.1 模型总体设计

本文提出一种分割网络模型（见图1），其是一种基于U-Net 的全卷积神经网络，整体结构分为收缩路径和扩张路径。在收缩路径中采用跳跃连接，利用残差进行恒等变换，将上层提取的特征信息跳跃传递给下层网络。同时，在收缩路径与扩张路径之间加入一种上下文增强模块（Context enhancement block，CE block）［22］和空洞空间卷积池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）［23］。CE block 承载着增强上下文信息的功能，ASPP block 将经过CE blocks 增强后的图像特征用大小不等的采样率进行空洞卷积，即利用不同膨胀因子的空洞卷积融合多尺度信息。经过CE block 和ASPP block 后可增强对不同尺度分割目标的感知能力，显著提高分割精度。然后，在扩张路径中采用Decoder block 恢复图像收缩过程中的特征。为弥补在图像收缩时由于连续卷积而造成的信息损失，将扩张路径中每一层解码操作之后提取的特征信息与收缩路径中对应下采样提取的特征信息进行跳跃连接，作为下一层解码操作的输入，逐步恢复特征图尺寸。

2.2 ResNet结构

收缩路径融合了ResNet block，采用shortcut connection。ResNet block 结构如图2 所示，由两层3×3 的卷积层以及跳跃连接构成。其将主干网络上每一层输入与输出进行矩阵相加作为新的输出，让网络学习输入与新输出之间的误差，使得网络即使没有学习到新信息依然可以维持恒等变换。ResNet 网络没有引进多余的参数，不会增加计算量，在网络深度增加时可减轻退化问题，保证训练精度。

2.3 信息增强模块

2.3.1 上下文增强模块

上下文增强模块由3×3 卷积、3×3 膨胀卷积（Dilated convolution，DL conv）和5×5 深度可分离卷积（Depth separable convolution，DS conv）组合而成。3×3 膨胀卷积在保留内部数据的情况下，包含了更大范围的信息，拥有更大的感受野，意味着能够包含更多上下文信息。5×5 深度可分离卷积首先针对通道进行卷积运算，产生与输入通道数相同的特征矩阵，然后将特征矩阵进行逐点卷积，生成新的特征图，可在不损失训练准确度的同时，减少计算量。上下文增强模块如图3 所示，将压缩后的特征信息作为CE block 的输入，经过3×3 卷积、3×3 膨胀卷积和5×5 深度可分离卷积之后进行信息融合，然后通过Relu 增强模型的非线性，将输出后的特征信息与CE block 的输入进行跳跃连接，并将融合之后的特征信息作为CE block 的输出，多尺度地增强上下文信息。

Fig.3 Context enhancement block图3 上下文增强模块

2.3.2 空洞空间卷积池化金字塔

空洞空间卷积池化金字塔是由不同膨胀率的膨胀卷积组成的，其利用多个膨胀卷积对图像特征进行运算，以多个比例捕捉图像上下文。如图4 所示，本文使用采样率分别为6、12、18、24 的4 个3×3 膨胀卷积构造新的特征图。ASPP 能够解决随着图片变形而导致的信息变形问题，从而保障图像检测精度。

Fig.4 Atrous spatial convolution pooling pyramid图4 空洞空间卷积池化金字塔

2.4 解码器

解码器（Decoder block）能够有效提高解码性能。在扩张路径中一般采用反卷积和upscaling 两种操作来恢复图像尺寸，而反卷积能够通过映射恢复图像的有用信息。如图5 所示，Decoder block 包含两个1×1 卷积和一个3×3 反卷积，能够较好地恢复图片中的高分辨率特征。

3 实验结果与分析

该网络模型在PyCharm 平台上完成训练与测试，其硬件配置为NVIDIA GTX 1080Ti GPU，内存为16GB，软件配置为Ubuntu 18.04.3 的64 位操作系统，训练环境为Py-Torch-GPU 1.4.0，Python 版本为3.6.2。

Fig.5 Decoder block图5 解码器模块

3.1 评价指标

在二分类实验研究报告中，通常会根据实验结果中总样本对照预测结果与真实结果的不同分为：真阳（True Positive，TP）、假阴（False Negative，FN）、假阳（False Positive，FP）、真阴（True Negative，TN）4类，如表1所示。

Table 1 Classification problem prediction results表1 分类问题预测结果

正确率（Accuracy，ACC）为样本总数中正例与负例被正确预测之和所占比率：

准确率（Precision，Pre）为预测的正类样本中，正例被正确预测的比率：

真阳率（True Positive Rate，TPR）为正例被正确预测的数量与实际数据集中正样本总数量的比值：

假阳率（False Positive Rate，FPR）为负例被正确预测的数量与实际数据集中负样本总数量的比值：

受试者工作特征（Receiver Operating Characteristic，ROC）曲线是一种被广泛应用的实验结果分析方法，可用来评价检测与分类结果。ROC 曲线图横坐标为1-特异度，纵坐标为敏感度（Sensitivity，Sen）。在数值上，1-特异度的值与假阳率相等，敏感度数值与真阳率相等。选取不同的阶段点，根据预测样本为正类的概率得到对应的横纵坐标值。

ROC 曲线图本身无法直接衡量模型效果，一般用ROC曲线下面积（Area Under Curve，AUC）作为一种可定量评价指标。AUC 数值与模型预测效果对应关系如表2所示。

Table 2 Correspondence between AUC values and model prediction effects表2 AUC数值与模型预测效果对应关系

本文选用ACC、AUC 和Sen 作为模型性能评价指标进行后续讨论。

3.2 实验结果与分析

本文采用从癌症影像档案（TCIA）下载的数据集（https：//wiki.cancerimagingarchive.net/display/Public/TCGALGG），其中包含由国家癌症研究所赞助的癌症基因组图谱（TCGA）患者的医学影像数据。具体数据为110 名TCGA 患者低级别胶质瘤的液体衰减反转恢复（FLAIR）序列和基因组聚类，选择900 张图像作为训练集，90 张图像作为测试集。本文实验通过编程运行得出结果，每个实验除网络结构不一样外，其他参数保持一致，包括数据集和数据增强方式。训练部分迭代300 次，学习率为0.001，batchsize 为8。其中，损失函数采用交叉熵损失函数，优化器为Adam。

将本文提出的基于U-net的改进网络与传统的U-net、ResU-net 进行比较。在U-Net 结构中，每个编码器块包含两个卷积层和一个最大池层。ResU-net 在特征编码器模块中，将编码器替换为预训练的ResNet-34［22］，保留了前4 个没有平均池化层和全连接层的特征提取模块。ResUnet 增加了快捷机制，可避免梯度消失，加速网络收敛。分割结果如图6所示。

Fig.6 Experimental result图6 实验结果

图中第一列为脑部胶质瘤原，其余从左到右分别为U-net、ResU-net 和本文模型分割结果，最后一列是数据集中的已标注脑肿瘤轮廓。U-net、ResU-net 的分割结果存在缺损现象，效果不够理想。本文模型能够精确定位脑肿瘤轮廓，噪声较小，效果更佳。

实验结果定量评价如表3 所示，相较于U-net、ResUnet，本文提出的基于U-net 的改进网络能够获得更好的分割效果，ACC、AUC 和Sen 值都得到提升，获得了更好的模型性能。

Table 3 Quantitative evaluation of experimental results表3 实验结果定量评价

4 结语

脑肿瘤的自动图像分割对于临床诊断具有十分重要的意义，本文基于U-net网络对其进行改进，在模型下采样过程中结合残差网络，跳跃连接上下层信息，加入一种用于增强上下文信息的CE 模块和ASPP 模块以增强模型感知能力。在TCIA 提供的数据集上进行实验，实验结果证明，本文模型具有更好的分割性能，定量评价指标ACC 达到0.957 2，AUC 达到0.839 2，Sen 达到0.979 4，能够更好地分割脑瘤边界，并提高了脑肿瘤图像分割效率。但在本文实验中，没有区分低级别胶质瘤与高级别胶质瘤，因此根据脑胶质瘤种类进行分割将是下一步的研究重点。本文提出的网络能够融合多尺度信息，可被应用于更多生物医学图像分割中，对于辅助复杂的医疗诊断具有积极意义。