基于多网络集成的脑白质高信号分割方法

李鑫鑫，汪绪先，程健，徐红，李子孝，刘涛（*第一作者）

脑白质高信号（white matter hyperintensities，WMHs）是脑白质中的异常高亮区域，表现为在磁共振T2WI或FLAIR上呈现高亮信号[1]。WMHs目前被普遍认为是脑小血管病（cerebral small vessel disease， CSVD）的影像学标志物[2-4]，且与卒中[5]、认知功能下降[6]、抑郁症[7]、阿尔茨海默病[8]等密切相关。神经影像学研究表明，脑白质高信号的空间分布模式反映了不同的脑小血管病潜在病理，高血压性脑小血管病与深部WMHs存在独立联系，而脑淀粉样血管病中的WMHs更多的分布在外部和后部脑区域[9-10]。此外，不同的认知功能和运动功能损坏与WMHs的体积、部位密切相关。脑室周WMHs可影响认知功能[11]，而皮层下WMHs根据位置不同可影响特定的运动功能[12]。因此，WMHs分割对于探索和理解脑小血管病、认知功能和运动功能损坏等疾病的病理机制有着至关重要的作用。

目前WMHs分割的金标准是手工分割。但是手工分割需要熟练的具有专业知识背景的操作者，并且这一过程非常耗时和具有主观性。在这种背景下，迫切需要一种有效的、自动化的、结果可靠的WMHs分割算法。在面向MRI分割WMHs时，如何充分地利用图像上下文信息，有效地解决类别不平衡问题，成为研究的热点问题。为了解决以上问题，本研究拟主要在以下3个方面做出改进工作：①加入密集连接，充分利用影像的原始信息；②增加卷积次数，提高模型的特征提取能力；③多网络集成，提高模型的通用性和鲁棒性。

此外，以往一些研究中提出了WMHs分割工具包。但是，大多数方法是为特定研究而设计的，不能作为对用户友好的软件包公开提供。本研究基于新方法开发了一款分割精度高且对用户友好的软件，可提取WMHs在不同子区域的体积信息。

1 研究对象与方法

1.1 研究对象 本研究采用2017年医学影像处理和计算机辅助介入会议(International Conference on Medical Image Computing and Computer Assisted Intervention，MICCAI）上脑白质高信号分割比赛提供的公开数据集来验证本研究的算法[13]。该数据集来源于3个中心的不同扫描仪，包含60例患者的头颅MRI影像。每例患者采集1例影像样本，共计60例影像样本。样本包含脑白质病变，其中每例样本包括FLAIR和T1WI两种模态的数据以及对应的金标准分割图（表1）。

1.2 基于多网络集成的脑白质高信号分割方法

1.2.1 数据增强 深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在计算机视觉领域，为了提高模型的泛化能力和鲁棒性，经常会在训练集上做一些数据增强工作[14]。为了得到更好的模型，本研究采用了4种常用的数据增强方式：翻转，旋转，放缩和剪切映射（图1）。

1.2.2 模型构建 本文提出的模型在基于U-Net的基础上进行了改进[15]。模型的主体架构为编码器-解码器结构，输入为FLAIR和T1WI双模态影像。该模型的深度为5层，每层的输入会通过两个级联的卷积层，在经过上采样或下采样之后作为下一层的输入。其中卷积层包含一个3×3的卷积核和激活函数ReLU。

编码器通过卷积和池化在提取影像上下文信息的同时，不断地扩大卷积核的感受野，获取更加抽象的高维特征。解码器将最大池化替换为上采样，使得输出的尺寸不断翻倍，将最终分割结果的分辨率恢复至原始输入影像的大小。模型在解码的同时，使用跳跃连接把编码器提取到的特征和解码器的输入进行融合，充分利用浅层信息，优化分割结果（图2）。

表1 数据集详细特征

图3 模型二：网络结构图

由于小病灶区的空间信息容易在池化操作后丢失，因此根据以往研究提出的建议[16]，在网络的第一层将3×3的卷积核替换为5×5的卷积核。同时受DenseNet的启发[17]，本研究在编码过程中引入了密集连接（图3）。该模型将输入影像经过池化之后与编码器各层输入进行合并，充分利用原始信息，保留网络间层与层之间的信息传输，减轻网络过深导致的梯度消失问题。

本研究在模型二的基础上构建了模型三网络。模型三在编码器的第一层增加了卷积次数，以提高特征提取能力（图4）。

1.2.3 Dice损失函数 脑白质高信号的分割面临着前后景不均衡的问题。有文献提出使用Dice损失函数（Dice Loss）可以有效解决这一问题[18]。因此，本研究在训练过程中也采用Dice损失函数，公式如下：

其中，N 表示样本的二维切片总数，{g1，g2，…，gn}表示在切片上的金标准分割图，{p1，p2，…，pn}表示模型的白质高信号分割概率图，s表示平滑系数，避免出现分母为零的情况，这里将s设为1。

1.2.4 网络集成 研究表明，神经网络具有很高的方差，模型的结果对初始化参数异常敏感[19]。集成学习是机器学习中的一类学习算法，通过训练多个学习器并将它们组合起来进行使用[20]，这类算法通常在实践中会取得比单个学习器更好的效果。也有研究指出在深度学习中，训练多个模型，并将预测结果进行组合，能够有效降低方差[21]。有研究通过集成多个不同的深度学习网络[22]，在2017年MICCAI会议上举办的脑肿瘤分割比赛中获得了第一名。集成学习中最常用的方法是将模型结果进行平均化处理[23]，使得最终结果对单个模型的不一致表现不会过于敏感。如图5所示，本研究单独训练了模型一，模型二和模型三。每个模型会分别产生一张WMHs分割概率图（取值范围0到1），在对三张概率图取平均值之后，通过阈值化处理（阈值取0.5）将分割概率图进行二值化处理，计算最终的WMHs分割结果。

1.3 模型训练和评价指标

1.3.1 模型训练 本研究采用Keras开源深度学习库[24]，在4块NVIDIA Titan-Xp GPU上训练模型，使用留一法验证本研究提出的算法。

训练时，单独训练上面提到的三个网络。每一张切片以及相应的标签都会通过裁剪或者填充转化成200×200（像素个数）的尺寸，保证输入模型的图片尺寸保持一致。每一份样本也会做高斯标准化。模型使用Dice损失函数，采用Adam优化器，学习率为0.0003，批尺寸为32个。模型一训练50轮，模型二训练160轮，模型三训练180轮之后分别达到收敛。

1.3.2 评价指标 采用5个不同的指标来定量评价方法的分割效果。假设G是金标准分割图，P是预测分割图。

（1）Dice相似系数：

Dice相似性描述了集合G和集合P之间的重合度（百分比）。

（2）豪斯多夫距离：

图4 模型三：网络结构图

图5 脑白质高信号分割流程

公式③中d（x，y）表示x和y之间的距离，sup表示最小上界（supremum），inf表示最大下界（infimum）。豪斯多夫距离衡量了两个点集在标准空间的距离。

（3）平均体积差异（百分比）：

公式中VG表示金标准分割图G中病灶的体积，VP表示预测分割图P中病灶的体积。

（4）召回率（百分比）：

公式中NP表示预测正确的病灶数目，NG表示金标准中的病灶数目。召回率用来衡量算法的查全率。

（5）F1值：

公式⑥中NTP表示预测正确的病灶数目，NFP表示预测错误的病灶数目。F1是综合考虑精确率和召回率的评价指标。

2 结果

2.1 基于多网络集成的脑白质高信号分割方法与其他方法的比较 将本研究的结果与目前发表的其他5种方法的结果做了定量比较。其中U-Net Ensembles[25]是2017年MICCAI会议上白质高信号分割比赛的第一名，即目前在这批数据上表现最好的算法。可以直观看出，本研究提出的集成模型的算法在5个评价指标上基本均优于其他5种算法，与当前最好的U-Net Ensembles算法比较之后：Dice相似系数相对高出2%，豪斯多夫距离减小5%，平均体积差异减小4%，F1值高出1.2%，召回率略低于U-Net Ensembles（表2）。

图6展示了W M H s 金标准图、U-N e t Ensembles分割结果和本研究提出的集成模型分割结果的比较。可以看出，本研究提出的算法能准确地分割出白质高信号，仅仅只有一处小体积区域没有分割出来（蓝色箭头）。而U-Net Ensembles相对于金标准而言，有两处小体积区域没有分割出来（蓝色箭头），另外有两处大体积区域将非白质高信号错分为白质高信号区域，造成假阳性（红色方框）。由此可见，无论定性还是定量的比较，本研究提出的算法均优于当前最好的已发表算法。

2.2 软件 本研究基于以上算法，设计了一种分割精确的WMHs分割软件。该软件可以对白质高信号进行自动分割，并且可以根据提供的大脑不同子区域模板，计算局部区域的WMHs体积。该软件操作简便，界面对用户友好，并具有质量控制，表格生成等实用功能。图7为该软件的界面。本软件代码程序将上传到公开程序共享平台，以供感兴趣的科研人员使用与参考。图8为WMHs分割结果图。图9为软件生成的大脑子区域的WMHs体积报表。

表2 不同方法分割结果的比较

图6 脑白质高信号金标准图（左），U-Net Ensembles分割结果图（中）和本研究提出的模型分割结果图（右）

3 讨论

本研究构建了三种网络模型，在基于U-Net经典的编码器-解码器结构，借鉴了密集连接和多次卷积思想，构建了新的集成模型，该模型进一步提高了算法的鲁棒性，提升了算法的分割效果。根据2017年MICCAI会议提供的公开数据集的实验结果，通过比较发现本文提出的算法优于当前最好的已发表算法。但是在Recall这一评价指标上，该算法略低于U-Net Ensembles算法。如何提高本研究提出的算法在召回率上的表现，将是本课题组下一步工作的重心。

图7 软件界面

图8 脑白质高信号分割结果展示

图9 软件生成的脑白质高信号体积报表

逻辑回归、K-近邻算法（K-neares tneigh bor，KNN）、学习型遗传算法（learnable genetic algorithm，LGA）和标签传播算法（label propagation algorithm，LPA）均是传统的机器学习方法，需要复杂的特征工程，模型的有效性极度依赖于特征选择和特征提取，对于不同扫描仪和不同参数的样本分割效果相差很大。其中特征选择具有主观性，不同的图像特征可能带来完全不同的模型分割结果，其次特征提取依赖于复杂的图像预处理过程。由于白质高信号分布复杂、内部灰度不均匀以及边缘位置模糊，这使得传统的机器学习方法很难进一步提升白质高信号的分割精度。

本研究所提出的算法通过模拟大脑神经网络的连接模式进行建模，能够自动地学习得到层次化的特征标识，学习得到的特征对数据有更本质的刻画和更强的标识能力。本研究提出的算法和U-Net Ensembles算法相对于传统的机器学习方法在分割精度上均有了较大幅度的提升，说明了深度学习方法在白质高信号分割领域优于传统的机器学习方法，证实了深度学习方法的有效性。

本研究提出的算法相比于U-N e t Ensembles算法而言，引入了密集连接，将低层特征与高层特征相结合，并优化了卷积次数，更加充分地利用了网络中间层提取的特征。该算法在白质高信号分割结果的表现优于U-Net Ensembles算法。

该算法证实了密集连接的有效性，不同于DenseNet的每个卷积块之间均进行了密集连接，本算法仅将原始输入和其他的卷积块进行了密集连接。通过不同卷积块之间的密集连接，将模型的浅层信息和深层信息进行结合，研究不同的结合方式对分割结果产生的影响，以及探索背后隐藏的原理，是未来模型优化的一个难点。

研究结果显示病灶面积对于模型的分割效果有着极大的影响。尤其是在小病灶区，模型的分割效果远逊于模型在大病灶区的表现。这是深度学习模型在分割领域一直存在的一个问题。本算法通过将第一层的3×3卷积核替换为5×5的卷积核，在一定程度上优化了模型在小病灶区的分割效果。但是该算法仍存在这一问题。未来通过探索卷积核尺寸、最大池化和模型特征图之间的联系可能对该问题产生一定的帮助。

本研究提出的算法仍存在着一些不足。对于训练数据中，白质高信号出现频率较少的位置，即训练数据过少，模型一般会忽视出现在该位置的白质高信号，由此将导致未能正确分割此种情况的出病灶区域。另外模型在病灶的模糊边缘位置存在分割不准确的情况，这也是导致该算法的Recall指标略低的原因之一。未来将针对上述情况对分割算法进行进一步的优化。

【点睛】本文提出了一种新的基于全卷积神经网络的脑白质高信号分割方法，该方法在公开数据集上进行了测试，与金标准的相似性系数达到82.94，优于之前该领域已发表的最优方法。