融合跨阶段深度学习的脑肿瘤MRI图像分割

夏峰，邵海见,2*，邓星,2

1. 江苏科技大学计算机学院， 镇江 212003；2. 东南大学自动化学院复杂工程系统测量与控制教育部重点实验室， 南京 210009

0 引 言

脑肿瘤是在大脑或头骨中生长的异常细胞，在医学上根据其生长特性以及对人体的影响分为良性脑肿瘤和恶性脑肿瘤，后者比前者具有更高的发病率以及危害性(孙佳伟，2020)。恶性神经胶质瘤是最常见的恶性脑肿瘤类型之一，约占颅脑肿瘤的40%～50%，根据神经胶质瘤的浸润程度分为高级别脑胶质瘤(high-grade glioma，HGG)和低级别脑胶质瘤(low-grade glioma，LGG)。高级别脑胶质瘤(HGG)为低分化胶质瘤，患者生存预后较差；低级别脑胶质瘤(LGG)为分化良好的胶质瘤，患者预后相对较好(Haris等，2008)。由于不同分化级别的神经胶质瘤通常伴有不同的瘤周水肿程度、水肿类型以及坏死程度，并且与正常组织之间的界限模糊，导致医生难以确定病变的范围和手术区域，严重影响了手术质量和患者预后。因此，在手术前根据影像资料确认肿瘤部位、识别整体肿瘤有助于减少手术中不必要的组织损伤，最大限度地保护神经功能(In等，2016)。由于脑肿瘤组织的磁场信号与人体正常脑组织相差无几，并且增强核磁共振注射的造影能清晰地区分恶性肿瘤(马凤，2013)，因此增强核磁共振成像(magnetic resonance imaging，MRI)检查是目前脑肿瘤患者检查的主要手段之一，能有效提供有关脑肿瘤的形状、大小和位置等信息(Gondal和Khan，2013)，有利于提高临床医生对脑肿瘤的诊断水平。脑肿瘤影像分析的最终目标是提取患者重要的临床信息及诊断特征，并嵌入多维图像数据中，以便在发现疾病后进行相关的指导和监测，进而实施相关干预措施，最终获得相应的临床诊断、分期和治疗方法(Wong，2005)，具有非常重要的现实意义。由于在脑肿瘤诊断过程中使用核磁共振图像具有非常多的优点，也使得计算机辅助诊疗脑肿瘤成为医学影像领域最热门的研究问题之一。

国际医学图像计算和计算机辅助干预协会举办的多模态脑肿瘤分割(brain tumor segmentation，BraTS)是一项全球范围的医学图像分割挑战，专注于评估脑肿瘤的自动分割算法。脑肿瘤自动分割算法分为基于监督学习、半监督学习、无监督学习以及混合学习的算法，基于监督学习的算法是目前的主流方法(Guo等，2020)。由于深度神经网络在监督学习领域中展现出强大的自动提取判别特征功能，其在脑肿瘤分割领域的应用也成为计算机视觉任务的研究热点(Litjens等，2017)，并提出了用于计算机视觉任务的各种深度神经网络模型，例如VGGNet(Visual Geometry Group network)(Simonyan和Zisserman， 2015)，GoogLeNet(Szegedy等，2015)，ResNet(He等，2016)和DenseNet(Huang等，2017)。以上深度神经网络模型为解决MRI脑图像分割问题提供了新思路，极大促进了基于深度学习的脑肿瘤诊断方法的发展(Shaikh等，2018；田伟倩，2020；孙浩，2020)。基于深度学习的图像分割方法主要分为卷积神经网络(convolutional neural network，CNN)和全卷积神经网络(fully convolutional network，FCN)两种。基于卷积神经网络的脑肿瘤分割方法主要采用小尺度图像块的分类方法设计包含单路径和多路径方法的MRI脑肿瘤分割网络。与单路径卷积神经网络相比，多路径卷积神经网络可以从不同路径获取各种信息并进行汇总。Havaei等人(2017)提出一种新颖的卷积神经网络架构，构建多路径网络并使用不同大小的卷积核提取重要的上下文特征，用于分析2D MRI图像中脑肿瘤相关信息。Pereira等人(2016)提出另一种基于VGGNet的3×3小卷积核的分割网络，有效降低了模型的过拟合。Zhao和Jia(2016)使用类似的卷积神经网络方法从2D MRI脑胶质瘤图像中自动提取病灶，克服了人工处理存在的费时、重复性差的缺点。Moeskops等人(2016)使用3条具有不同大小感受野的卷积路径，用以获取更多细节特征以及分析空间一致性来进行脑肿瘤分割。但由于卷积神经网络架构是一种基于小图像块的方法，需要较大存储空间并且缺乏空间连续性，导致效率低下，分割效果并不理想。而全卷积神经网络基于编码—解码概念逐像素执行计算的方法，不仅提高了图像分割效率，而且解决了空间连续性问题，是目前图像语义分割任务的重要方法之一(Shelhamer等，2017)。Ronneberger等人(2015)提出一种适用于各种医学图像分割问题的U-Net体系结构，该体系基于编码和解码路径的概念，利用编码路径提取上下文特征，解码路径保证精确跟踪位置，两者之间的横向连接用于减少下采样中带来的信息损失。U-Net非常适合数据量少的多模态医学图像分割任务，已经成为脑肿瘤分割领域的主流算法。Dong等人(2017)提出一种基于U-Net的2D分割网络，并利用实时数据增强的方法，提高了脑肿瘤分割的精度。Kong等人(2018)在U-Net架构中添加了特征金字塔模块，通过集成位置信息和多尺度语义特征提高准确性。Wang等人(2019a)证明使用卷积神经网络和测试时间增强技术(test-time augmentation，TTA)有助于提高脑肿瘤分割的准确性。Isensee等人(2019)通过改进数据预处理过程，在传统U-Net模型基础上提出了NNU-Net，进一步提高了脑肿瘤分割的精度。Nvidia团队的Myronenko(2019)采用带有VAE(variational auto encoder)模块的多分支级联结构，获得了BraTS 2018挑战赛的第1名。Jiang等人(2020)设计了一种新型的两阶段级联U-Net，在BraTS 2019训练数据集中进行端到端训练，将脑肿瘤图像由粗略到精细进行分割，在BraTS 2019竞赛中获得了第1名。

但是，由于脑肿瘤中复杂的特征分布和医学图像数据集数量的局限性，相较于整体肿瘤，小范围的核心肿瘤和增强肿瘤难以实现较高MRI图像分割精度的问题仍亟需解决。为了解决这个问题，需要增强上下采样过程中网络的特征学习能力，减少下采样过程中的信息损失。Alom等人(2019)提出在U-Net中上下采样加入递归残差卷积层(recurrent residual convolutional neural network，RRCNN)，在视网膜图像血管分割、皮肤癌分割和肺部病变分割等任务皆取得了更好的效果。Li等人(2018)提出使用dense结构改进U-Net结构中的常规卷积层，将紧密连接路径的优势与U-Net特点相结合，设计了一类DenseU-Net模型来有效地分析肝脏和肿瘤特征。跨阶段局部网络结构(cross stage partial module，CSP)是Wang等人(2020)提出用于增强卷积神经网络学习能力的一种网络结构，在ImageNet 数据集上获得了更高的准确率。Bochkovskiy等人(2020)在YOLO(you only look once)模型中使用CSP方法，达到了目标检测任务的最优速度和精度。针对上述问题与研究现状，本文提出在U-Net上下采样过程中加入跨阶段局部网络结构(CSP)来增强普通卷积核的分析能力，并提出一种CSPU-Net(cross stage partial U-Net)的新型脑肿瘤分割模型。实验结果表明，相较于原始U-Net以及ResU-Net，该模型在脑肿瘤分割数据库上取得了更优越的图像分割性能。

本文工作包含3部分：1)将跨阶段局部网络结构引入脑肿瘤分割任务中，通过分裂合并策略使梯度路径的数目翻倍，减轻使用显式特征映射复制进行连接的缺点，增强模型特征学习能力；2)使用general Dice loss和weighted cross-entropy两种损失函数解决MRI脑肿瘤图像类别不平衡问题；3)在BraTS 2018和BraTS 2019数据集上进行实验，将本文方法分割结果与U-Net以及ResU-Net进行比较，证明跨阶段局部网络结构在脑肿瘤分割任务中的有效性。

1 CSPU-Net模型结构设计与分析

1.1 数据集

实验使用两个用于脑肿瘤分割的基准数据库： BraTS 2018以及BraTS 2019数据集。BraTS 2018数据集是来自285名胶质瘤患者的脑肿瘤图像合集，其中训练集包含210名高级胶质瘤患者和75名低级胶质瘤患者的图像，验证数据集包括66名未知级别的患者的图像。BraTS 2019数据集包含335个胶质瘤病例的训练集，其中259个属于高级胶质瘤，76个属于低级胶质瘤，验证集包含125个未知级别案例。数据标签共4类，即肿瘤增强区、水肿区、坏死区以及健康组织。分割结果通过整体(whole tumor，WT)、核心(tumor core，TC)以及增强(enhance tumor，ET)等指标评估。WT包括肿瘤增强区、水肿区以及坏死区，TC包括肿瘤增强区和坏死区，ET包括肿瘤增强区。如图1所示，每个患者数据有5幅图像，分别是flair、T1、T1CE和T2共4种MRI模式以及专家手动分割用于进行比较的真实标签，红色部分表示坏死区，绿色部分为水肿区，黄色部分为增强肿瘤区，黑色区域为背景。

图1 脑肿瘤MRI图像Fig.1 MRI images of brain tumor((a)flair;(b)T1;(c)T1CE;(d)T2;(e)ground truth)

1.2 数据预处理

由于脑肿瘤形态和位置的不确定性、界限的模糊以及手动注释偏差，因此脑肿瘤图像的数据预处理尤为重要。本文采用多模态3D MRI脑肿瘤图像，每个3D MRI图像数据的大小240×240×155。由于图像包含有效的信息和许多无用的背景部分，因此首先将3D图像的大小调整为146×192×152，以消除无关背景并降低计算量。进而去除1%的最高和1%的最低3D图像像素强度，以消除一些极端值的影响。由于本文采用2D卷积神经网络框架，故将每个3D图像切片为2D图像并提取128×128像素大小的有效像素作为模型输入。同时，使用归一化公式处理相关MRI图像，提高图像预处理的合理性，具体为

(1)

1.3 CSPU-Net结构

在脑肿瘤分割任务上，大多数情况下可以很容易地检测到异常组织的存在，但是准确、可重复地分割出肿瘤区域边界极为困难(Gordillo等，2013)。特别是对于具有复杂形态和模糊边界的小规模脑肿瘤，在脑肿瘤分割任务中很难做到高精度的小规模脑肿瘤分割。除此之外，在网络上采样和下采样过程中，由于连续卷积和非线性变换过程导致大量信息损失，使得小规模肿瘤识别任务更为困难。为解决这些问题，本文将CSP模块分别应用到U-Net模型中的编码器和解码器当中，集成为CSPU-Net模型，可以将网络前段所有层的输出特征连接起来作为后面的输入，能够有效地增强信息的表述能力。CSPU-Net的整体架构如图2所示。CSPU-Net保持了传统的编码器—解码器架构，由图像压缩路径(左侧编码器)和图像扩展路径(右侧解码器)组成。整体网络的输入维度是128×128×4，其中128×128像素表示每个图像的尺寸，4表示输入图像的通道数。编码器和解码器结构分别具有3个块。编码器一侧中的每个块由两个卷积层组成，其中第1个卷积层使用CSP模块替代传统的3 × 3卷积结构，第2个卷积层则用于替换传统U-Net下采样中的最大池化操作，以减少信息损失、避免梯度消失以及加速网络融合。当每个图像进入编码器块中第2个卷积层时，其尺寸将减少到一半且同时通道将扩充一倍。解码器一侧中的每个块由上采样加卷积和CSP模块两个部分组成，上采样层中通过步长为2的双线性插值使图像大小翻倍，再经过卷积核数量减半的卷积层使通道数量减半，完成上采样过程。同时，为了增加非线性和模型收敛速度，模型的每个卷积层之后都进行批量标准化和非线性激活函数操作。在模型的最后一个解码器块中额外加入PReLU(parameteric ReLU)激活函数以及使用SoftMax激活函数功能的1 × 1卷积将多通道特征映射到相应的类别。PReLU和SoftMax激活函数计算为

图2 CSPU-Net整体结构图Fig.2 Structure of CSPU-Net

(2)

式中，i表示不同的通道，αi是一个需要学习的参数，其值更新采用带动量的更新方式，对于第i个通道，ai值是相同的，xi表示第i个通道的输入矩阵的值。

(3)

式中，c表示预测结果类别，yi表示预测结果为ci的概率，h表示元素的指数，n表示预测结果类别总数，最终求得的y表示每个分类被取到的概率，该激活函数常用于多分类问题。

1.4 CSP模块

ResNeXt证明了分支路径的数量在提升网络性能方面比宽度和深度的提升更显著。因此，使用CSP模块的主要目的是将基层的特征映射分为两部分，通过分割梯度流使梯度流通过不同的网络路径传播，然后通过横级层次结构合并这两部分。通过交替进行串联和过渡操作，传播的梯度信息可以具有较大的相关性差异。如图3所示，本文使用了先过渡再串联加过渡以及过渡后串联直接输出两种融合方式的CSP模块。其中串联操作表示将多个卷积特征提取框架提取的特征沿通道维度进行拼接。图3(a)为先经过过渡操作再串联再进行过渡的融合方式，可以保证输出图像通道数不变，并且截断梯度流，保证梯度流不会重复使用，由此降低模型参数量。在图3(b)中，路径B的输出将通过过渡层，然后使用路径A的特征映射进行串联，将输出图像通道翻倍。

图3 CSP模块的两种融合方式Fig.3 Two fusion methods of CSP block((a)concatenate between transitions;(b)concatenate after transition)

下采样过程中使用的CSP模块结构如图4所示。该模块首先对输入数据进行一个3 × 3的卷积操作，并将网络结构分成两条路径，其中路径A直接与路径B的输出串联起来，形成一种相似于残差网络的结构。路径B则先经过一个卷积核数量减半的3 × 3卷积层，使得通道数减半且参数量减少，随后再分成两条路径，将3 × 3卷积层的输出与上一层输入串联起来。该方法总体思路是最大化梯度组合的差异，通过跨阶段的拆分和合并策略，能够有效减少信息集成过程中复制的可能性。

图4 下采样中CSP模块结构Fig.4 CSP module structure in downsampling

CSP模块计算为

p(A)=BN(F(x,ωi))

(4)

(5)

csp(x)=BN([p(A),p(B)])

(6)

式中，x为输入图像，F(x,ωi)表示对输入图像进行3×3卷积操作，卷积核数目为ωi，ωil表示ωi一半数目的卷积核，T表示为过渡层操作，[·,·]表示串联操作。p(A)表示路径A的输出结果，p(B)表示路径B的输出结果，csp(x)表示该模块最终输出结果。模型中每个3 × 3卷积层之后都添加了BN(batch normalization)层以及LeakyReLU激活函数，用以解决反向传播过中梯度方向锯齿问题。BN层的计算为

(7)

式中，xi为[xi(1),xi(2),…,xi(m)]构成的行向量，m表示每次送入训练的样本数，xi(b)表示输入批次中的第b个样本时该层第i个输入节点的值。μ(xi)和σ(xi)2分别表示求该行向量的均值和方差，ε为防止除0引入的极小值，γ和β为待学习的缩放比例和偏移值参数。

1.5 损失函数

类别不平衡问题是脑肿瘤分割任务中最关键的问题之一。不同类别在BraTS 2018数据集的分布及占有区域如表1所示。可以看出，各类之间存在明显差异。在脑肿瘤MRI中，健康组织的平均占用区域为98.46%。而水肿、增强肿瘤和非增强肿瘤占据的区域分别为1.02%、0.29%和0.23%。脑肿瘤MRI中不同类别的区域占用率的巨大差异对其分割准确性产生了巨大影响。

表1 脑肿瘤MRI图像中不同类别占用区域Table 1 Areas occupied by different categories in MRI images of brain tumors /%

为解决类别不平衡问题，添加general Dice loss(Sudre等，2017)和weighted cross-entropy(Ren等，2019)两种损失函数，以便更好地评价模型性能，两种损失函数的计算分别为

(8)

(9)

式中，LWCE表示加权交叉熵(weighted cross entropy，WCE)损失函数，该方法是对多类别不平衡问题的良好解决方案，可以降低训练样本和评估度量之间的差异，使网络重视样本占有率较小的类别。LGDL表示general Dice loss函数，该函数常用于医学图像中的小目标分割，允许模型专注于难以学习的样本。每个标签的权重通过其体积的倒数进行校正，从而减少区域大小与Dice分数之间的相关性。LGDL负责预测分割区域，LWCE用于进行组织细胞的分类。Q表示标签的总数，在脑肿瘤分割数据集中，标签总数为4，c代表标签的序号，ωc表示分配给第c个标签的权重。fc表示被分割的2维图像像素值，lc是2维图像像素的真实值。完整的损失函数L为

L=LGDL+LWCE

(10)

2 实验设计与性能评估

2.1 实验环境与配置

本文模型使用的深度学习框架是以Tensorflow为后端的Keras 2.2.4，硬件环境为32 GB 内存和TESLA V100 GPU的集群。每个模型使用随机梯度下降(stochastic gradient descent，SGD)算法作为优化器，初始学习率为0.085，动量为0.95，权重衰减为5E-6。模型的输入为flair、T1、T1CE、T2共4种MRI模式图像以及专家手动分割标签图像，批量大小设置为10，训练5个周期。

2.2 评价指标

对本文提出模型的性能评估，采用Dice系数(Dice similarity coefficient，DSC)作为分割网络的评价指标。Dice系数主要用于衡量两个集合之间的相似性，值在0～1之间。目前脑肿瘤分割任务普遍采用Dice系数评价模型优劣，具体为

(11)

式中，TP(true positive)表示通过深度学习模型正确归类为脑肿瘤的像素总数，FP(false positive)为错误分类的像素数。TN(true negative)和FN(false negative)分别表示模型正确归类为健康组织的像素数和错误归类为健康组织的像素数。

2.3 实验结果与分析

首先使用BraTS 2018和BraTS 2019两个训练数据集分别训练模型，再将训练得到的模型验证BraTS 2018和BraTS 2019验证数据集。随后将验证得到的分割结果上传到官方在线网站，由网站给出模型最终的分割精度，并与其他方法得到精度进行对比。最后根据实验结果，讨论本文使用的基本模块，即CSP模块对模型分割精度的影响。

2.3.1 BraTS 2018实验结果

首先在BraTS 2018验证数据集中评估模型，在保证同样训练条件与超参数的条件下，分别在编码器和解码器阶段使用两种CSP策略，并对验证结果进行对比，评估结果如表2所示。CSPU-Net1在编码和解码阶段都使用图3(a)的方法，CSPU-Net2和CSPU-Net3分别在上采样和下采样使用图3(b)的融合策略，即先过渡再融合的方法，在分割精度上相对于CSPU-Net1又有提升。由此可见，使用先过渡后融合的方法精度最高，本文最终采用的CSPU-Net是在上下采样中皆使用先过渡后融合的方法。

从表2可以看出，本文提出的CSPU-Net在模型对比中表现出最佳性能，在整体肿瘤、核心肿瘤和增强肿瘤上的DSC值分别为87.9%、80.6%和77.3%，与原始模型U-Net相比，分别提升了1.40%、2.40%和3.00%。与相对于另一组模型ResU-Net实现的87.1%、79.0%和75.1%的DSC相比，本文模型仍有0.80%、1.60%和2.20%的提升。在增强肿瘤分割结果上，本文模型表现效果显著，相比于其他两种方法分别取得了3.00%和2.20%的提升，证明了CSP模块可以增强网络模型提取图像特征能力以及减少信息损失。

表2 BraTS 2018验证集的评估结果Table 2 Evaluation results of BraTS 2018 validation set

为验证本文方法在小规模脑肿瘤分割任务上的有效性，将模型在BraTS 2018数据集上的分割结果与其他方法进行对比，结果如表3所示，可以看出，本文提出的CSPU-Net与其他先进方法相比，在整体肿瘤分割方面表现一般。这主要是由GPU显存大小产生的问题，本文采用的2D网络只能利用脑图像的2D切片进行训练，在整体肿瘤分割上相比于3D网络与2.5D网络尚有一定差距。在核心肿瘤分割方面，CSPU-Net仅次于Chen等人(2019)提出的可分离3D U-Net。但是在增强肿瘤分割方面， 本文方法仍取得了最好的表现，这证明了本文方法可以显著提高小规模肿瘤的分割性能。

表3 BraTS 2018验证集与其他先进方法的比较Table 3 Compared with the-state-of-art methods on BraTS 2018 validation set

2.3.2 BraTS 2019实验结果

使用与BraTS 2018数据集上同样的策略在BraTS 2019数据集中进行实验评估，验证本文模型性能，实验结果如表4所示。可以看出，在BraTS 2019数据集中，本文提出的CSPU-Net相比于传统U-Net及其改进ResU-Net，分割精度仍有提升，在整体肿瘤、核心肿瘤和增强肿瘤上的DSC值分别为87.8%、77.9%和70.7%，与原始模型U-Net相比，分别提升了1.30%、3.10%和2.90%。相对于另一组模型ResU-Net实现的87.1%、76.6%和69.3%的DSC，本文提出模型仍有0.70%、1.3%和1.40%的提升。

表4 BraTS 2019验证集的评估结果Table 4 Evaluation results of BraTS 2019 validation set

为进一步验证本文方法在脑肿瘤分割任务中的有效性，将模型在BraTS 2019数据集上的分割结果与其他先进方法进行对比，结果如表5所示。相比于2020—2021年提出的2D模型，本文方法在整体肿瘤分割精度上与Ding等人(2020)提出的多路径自适应融合网络基本持平，在其他两项指标上都有明显提高。在增强肿瘤分割精度上略低于Amian和Soltaninejad(2020)使用的3D ResU-Net，但其他两项指标上都明显高于该方法，表明即使与更复杂的3D网络比较，本文提出的2D网络仍具有一定竞争力。

表5 BraTS 2019验证集与其他先进方法的比较Table 5 Compared with the-state-of-art methods on BraTS 2019 validation set

2.4 实验结果展示

最后，分别使用3种网络训练得出的模型对BraTS 2018训练集进行分割，模型的输入图像与分割结果如图5所示。可以看出，本文方法对于肿瘤边缘分割更为平滑。从图像1和图像3的分割结果可以看出，U-Net与ResU-Net相较于GT(ground truth)图像，在核心肿瘤区域上都存在过分割问题。在图像3中，U-Net与ResU-Net都将核心肿瘤区域上方的像素错误归类于核心肿瘤，相比之下，本文方法分割出的核心肿瘤区域与GT图像更加接近。

图5 各模型输入图像与分割结果Fig.5 Input images and segmentation results of each model((a)flair;(b)T1;(c)T1CE;(d)T2;(e)ground truth;(f)U-Net;(g)ResU-Net;(h)ours)

3 结 论

本文针对传统U-Net以及ResU-Net在上下采样结构中的不足，通过将跨阶段局部网络结构引入到U-Net中，提出一种新型脑肿瘤分割模型CSPU-Net，通过分裂合并策略分割梯度流，减少信息损失并增强模型特征学习能力，结合general Dice loss和weighted cross-entropy两种损失函数解决脑肿瘤MRI图像类别不平衡问题，从而获得更高的脑肿瘤MRI分割精度。为证明本文方法的有效性，分别使用BraTS 2018和BraTS 2019数据集进行实验。实验结果表明，本文方法在脑肿瘤分割任务上的性能明显优于其他2D分割网络，在整体肿瘤、核心肿瘤和增强肿瘤分割精度上都有显著提升。相较于部分3D分割网络，本文方法在核心肿瘤和增强肿瘤分割精度上仍有一定优势。但是，由于使用2D网络对3D图像数据进行分割本身就具有一定局限性，只能使用2D切片进行训练，导致模型无法获取图层之间的关系信息，造成大量信息损失。因而在整体肿瘤分割精度上，本文提出的2D网络模型相较于3D网络模型仍存在差距。此外，本文仅在脑肿瘤MRI分割任务上验证了本文方法的有效性，并未在新增的肿瘤像素点不确定性评估任务上进行研究。在后续工作中，将使用3D网络模型来有效利用3D图像数据，将本文方法应用于3D网络模型中，并对肿瘤像素点的不确定性评估任务进行尝试，从而进一步提升脑肿瘤MRI分割精度。