基于多尺度卷积神经网络的磁共振成像脑肿瘤分割研究

李 健罗 蔓罗 晓蓝 威周怀恒陈荣耀



基于多尺度卷积神经网络的磁共振成像脑肿瘤分割研究

李 健①罗 蔓①罗 晓①蓝 威①周怀恒①陈荣耀①

李健,男,(1983- ),硕士，工程师。广东省农垦中心医院肿瘤放射治疗中心，从事放射肿瘤物理师的工作，研究方向：肿瘤放射治疗临床应用中的图像处理。

目的：针对脑肿瘤形状、位置及大小等多变性，提出一种适合磁共振成像(MRI)脑肿瘤分割的卷积神经网络模型的改进方法。方法：将卷积神经网络应用到脑肿瘤分割上，并针对脑肿瘤的特点，提出多尺度卷积神经网络模型(MSCNN)，通过多尺度的输入与多尺度下的采样，克服脑肿瘤的个体差异，同时适应脑肿瘤不同图像层之间的大小位置差异，弱化肿瘤边缘与正常组织灰度相近的影响。结果：通过对30例患者的多模态磁共振图像进行分割，得到平均Dice系数为83.11%；平均灵敏度系数为89.48%；平均阳性预测值(PPV)系数为78.91%。结论：MRI脑肿瘤分割的改进方法可使分割精度得到明显提高，多尺度卷积神经网络能自适应脑肿瘤的差异性，并准确有效地分割脑肿瘤。

脑肿瘤分割；多尺度；卷积神经网络；磁共振成像

①广东省农垦中心医院肿瘤放射治疗中心 广东 湛江 524002

[First-author’s address] Department of Medical Equipment, Zhanjiang Tumor Hospitl, Zhanjiang 524002, China.

脑胶质瘤是一种严重危及患者生命的常见脑部恶性肿瘤，而磁共振成像(magnetic resonance imaging，MRI)具有高分辨率、多参数成像等特点，是脑肿瘤诊断常用的检查设备。肿瘤的分割对于前期诊断、手术治疗和放射治疗起着至关重要的作用。由于脑胶质瘤与正常组织灰度差异不明显，肿瘤周围边界不清晰且周围通常存在水肿，人工分割工作繁琐且主观性强，不同专家对同一患者分割结果差异较大，同一专家在不同时刻对同一患者的分割结果亦不尽相同，而使用计算机能够有效精确地实现脑肿瘤的自动分割，已成为国内外众多学者不断研究与探索的热点[1-4]。本研究根据脑肿瘤的特性提出一种改进的卷积神经网络(convolutional neural network，CNN)结构模型—多尺度卷积神经网络(multi-scale convolutional neural network，MSCNN)模型，以实现对脑肿瘤的自动分割。

1 材料与方法

1.1 资料及工具

所用的MR图像来自在线图库MICCAl2012(http：// www.imm.dtu.dk/projects/BRATS2012)，其中包括苏黎世联邦理工学院、伯尔尼大学、德布勒森大学和犹他州大学在内的机构提供完全匿名的患者数据，人工分割结果由网站提供，为多名专家共同完成。图库中给出患者FLAIR、T1、T2和T1C的4种已配准图像(512×512×176，1 mm×1 mm×1 mm)。

对图像库所有30例真实患者数据进行脑肿瘤分割试验，计算环境为Matlab2011a，CPU3.40 GHz，RAM4.00 GB，Windows XP Professional。

1.2 评价指标

采用Dice相似系数(dice similarity coefficient，DSC)法、灵敏度和阳性预测值(predictive positivity value，PPV)等[5]技术指标评价分割结果，其中Dice系数为试验分割结果与专家手动分割结果的相似程度，灵敏度为分割正确的肿瘤点所占真值肿瘤点比例，PPV为分割正确的肿瘤点所占分割结果为肿瘤点的比例。

1.3 MSCNN结构模型

(1)多模态三维CNN模型。文献[6]对经典的二维CNNs做出改进，提出一种多模态三维CNN结构模型。其核心是用对4个模态的相同位置的小邻域如14×14(具体邻域大小根据训练数据网格寻优所得)，组成三维(14×14×4)原始输入层，用3×3×2的三维卷积模板对原始输入层进行卷积，通过4个层次的三维卷积与二维下采样，实现脑肿瘤的特征提取与分割(如图1所示)。

图1 多模态三维CNN结构图

(2)MSCNN结构模型。本研究对多模态三维CNN模型做出改进，提出MSCNN模型。MSCNN输入层由3个尺度(10×10、20×20和34×34)构成，分别经过3条不同的通道卷积下采样，3条通道都采用3×3×2的多模态三维卷积模板进行特征学习，然后各自通过不同尺度的下采样进行特征抽取。多尺度的输入能从不同的角度提取丰富的邻域特征，无论训练层肿瘤大小与否，无需再通过网格寻优来确定邻域的尺度，多尺度同时学习能自适应的提取最有利的分类特征，不同层次的下采样能够有效去除由于尺度过大而带来的邻域干扰特征，即使测试层与训练层肿瘤差异很大，因邻域信息丰富仍能取得较好的分割结果(如图2所示)。

图2 MSCNN结构图

1.4 分割方法

基于MSCNN模型的MRI脑肿瘤分割系统对患者采用参考文献[7]方法进行预处理。①移除1%最高灰度和最低灰度；②对T1和T1C模态运用N4ITK偏差纠正[8]；③对每个模态各自归一化。预处理后，随机抽取一层含肿瘤层作为训练层，肿瘤内外各取相同的点数作为训练样本，得到符合此患者特点的MSCNN模型，用此模型对此患者剩余肿瘤层进行分割。为表明MSCNN的分割性能，本研究中所用到的分割方法均未做任何后处理(如图3所示)。

图3 研究方法系统流程图

2 结果

在本研究中，采用试验说明多模态三维CNN中邻域大小对分割结果的影响；然后用MSCNN模型对30例真实患者数据进行分割，并与多模态三维CNN模型试验结果进行对比；最后同支持向量机分割模型[9]结果进行对比，以验证本研究方法的有效性与必要性。

2.1 多模态三维CNN不同邻域分割结果

编号为HG0006的患者不同二维层图像，不同层的肿瘤大小差异较大，且周围水肿面积也大不相同，灰度纹理差异很大，因此，在训练层取得最佳分割结果的邻域尺度，在测试层并不能够获得最佳的分割结果(如图4所示)。

图4 编号为HG0006患者不同二维层图像

为验证邻域尺度对分割结果的影响，用不同邻域尺度对同一患者进行训练和分割，编号为HG0006的患者基于多模态三维CNN模型的分割结果表明，不同邻域尺度对训练层和测试层的分割精度影响较大，同时，训练层和测试层的最佳邻域尺度并不相同，在训练层，邻域为26×26×4时获得最佳Dice系数，而测试层的最佳邻域为30×30×4。试验证明，邻域尺度对测试层和训练层均有较大影响(如图5所示)。

图5 编号为HG0006患者不同邻域尺度三维CNN分割结果示图

2.2 MSCNN与多模态三维CNN分割结果对比

为验证多尺度输入的有效性，分别用MSCNN模型和多模态三维CNN模型对30例真实患者图像进行分割实验(如图6所示)。

表1 30例患者的平均分割结果(%)(±s)

表1 30例患者的平均分割结果(%)(±s)

S 三V MM维方SC-C 法NRN NBNF 8 992 51.D..0 i077 c64 e± ±± 系1 47 数4...24 0 490 999 884...灵训076 049敏练 ±±±度层114...748 287 87 964 3...58 554 P0±± P±V11 7 19...599 593 76 827 3..D.68 i187 c2e±±± 系12 9 数50...3 49 150 88 844 9...测灵40 487 8试敏 ±±±层度11 853...758 766 765 869...967 P111 ±±± PV 112 473...199 246

图6 编号为HG0001患者分割结果示图

图6显示编号为HG0001的患者分割结果，a为真值图像，b为基于MSCNN模型的分割结果，c为基于三维CNN模型的分割结果，第一排为训练层的分割结果，第二排为测试层的分割结果，从图6a中可以看出，不同的肿瘤层肿瘤大小及周边水肿差异较大，两种方法对于训练层都能取得很好的分割结果，但由于输入尺度不一样，MSCNN在测试层上分割精度明显高于多模态三维CNN模型。这是由于测试层肿瘤很小，且与周围正常组织在灰度和纹理上都非常接近，单一邻域特征难以将肿瘤与正常组织区分开来。

对30例患者的平均分割结果显示，其中对三维CNN模型的邻域参数均采用网格寻优确定，与多模态三维CNN模型方法相比较，MSCNN模型方法的训练层分割精度略有提高，Dice系数从91.74%到95.06%，测试层的分割精度则有明显提高，Dice系数从72.68% 到83.12%，精度提高了10.44%，见表1。

表1数据表明，相对于三维CNN模型，MSCNN模型采用了不同尺度的输入，既能适应不同患者在肿瘤大小位置上差异及周边水肿的差异，同时针对同一患者在不同空间上肿瘤大小的差异，丰富的邻域信息能极大提高分割精度。

2.3 MSCNN与其他分割方法对比

为了验证基于MSCNN模型分割方法的优势，将本研究方法与文献[9]方法进行对比试验。通过试验证明，基于径向基核函数(radial basis function，RBF)的支持向量机分类器是具有优势的分类器，同时统计特征和Gabor特征适用于脑肿瘤分割，故以统计信息和Gabor小波为基本特征，用支持向量机(support vector machine，SVM)-RBF做分类器，构成本研究的对比试验。试验结果如表1所示，为30个患者图像采用两种不同分割方法的平均结果值，表1显示，SVM-RBF方法的Dice系数为67.87%，MSCNN为83.12%，具有非常明显的优势。

3 讨论

在以往的研究中，通过人的主观意识去理解图像，从而提取特定的特征信息，如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割，结果只能针对特定的图像有比较好的分割结果[9]。CNN自1998年首次提出后便作为高效识别方法受到研究者的广泛重视，随着2006年深度学习概念的提出，CNN作为有监督学习的代表，再一次成为总舵科学领域的研究热点之一[10-11]。CNN直接输入原始图像，而不需要对图像进行复杂的前期预处理，通过局部感受野提取方向线段、端点及角点等初级视觉特征；通过权值共享减少训练数据；通过次抽样来实现对位移、缩放和其他形式扭曲的不变性，因而得到了广泛的应用。在MRI脑肿瘤图像的分割上，CNN有监督学习方法实现了针对不同患者差异信息提取不同的分类特征；下采样使得特征提取包含更多的结构边缘信息，同时剔除冗余信息和噪声，适合脑肿瘤的多变性，逐渐成为脑肿瘤分割的主流方法之一[5-6,12-13]。

为充分利用MR的多参数成像的特点，自动提取4个模态(T1、T1C、T2和FLAIR)序列的差异信息。Lyksborg等[5]采用MR的4个二维多模态邻域灰度作为原始数据，为了避免不同层肿瘤差异大的问题，其选取特定的肿瘤层来实现肿瘤的分割。经典的二维CNN模型运用到MRI脑肿瘤分割会出现如下问题：①MR图像的每个模态强调不一样的信息，如何提取差异信息同时去除冗余信息，实现更高精度的分类；②不同患者的肿瘤大小不一，同一患者的不同脑图像层肿瘤大小也不一，如何确定原始输入尺寸的大小。

Urban等[12]提出二通道卷积神经网络(two path convolutional neural network，TWCNN)模型，一条通道提取局部详细特征，另一条通道提取更大范围的全局特征；Havaei等[13]在TWCNN的基础上提出了更加复杂的二通道模型，使得分割精度取得较大提高，但不同患者脑肿瘤的大小各异；即使是同一患者，在二维图像上，不同的图像层肿瘤大小差异显著。以上模型的原始输入层的大小单一，在不同大小肿瘤的分割上，不同患者的分割结果有很大差异。

罗蔓等[6]提出一种多模态三维CNN模型，将MR 的4个模态序列图像组成三维的原始输入图像，用三维的卷积模板进行特征提取。多模态三维CNN原始输入层由4个模态共同构成，通过三维卷积，自动提取各个模态之间的差异信息，同时剔除冗余信息。然而，多模态三维CNN模型仍然未解决邻域大小的取值问题，面对尺寸差异很大的肿瘤仍然有其局限性。由于每个患者的脑肿瘤大小及其边缘复杂程度不同，必须通过训练确定邻域的大小；不同邻域大小对分割精度有较大影响，通过穷举算法来确定输入尺寸的大小，训练层的高精度并不代表适合整个大脑的肿瘤分割。

CNN模仿人类视觉处理过程，作为优秀的深度学习方法被广泛应用于各个领域，但由于脑肿瘤的灰度、纹理、位置、大小及形状等多变性，常规的CNN模型仍不能取得很好的分割结果。为此，本研究提出一种MSCNN模型，在多模态三维CNN模型的基础上，输入层由3个不同尺度的邻域构成。多尺度的输入，不同尺度的次抽样，能从不同角度来获得更多有利于分割的特征，在增加邻域信息的同时去掉冗余信息，以得到最佳的分类特征；通过多尺度的输入，克服需要根据肿瘤的大小来选择特定的输入尺度，从各个角度容纳更多的邻域信息，同时适应不同肿瘤大小、灰度及纹理等的变化差异，从而提高脑肿瘤的分割精度。

4 结语

本研究结果表明，MSCNN模型方法能够准确有效地分割脑肿瘤。在接下来的研究中，将进一步分析如何在保证精度不变甚至提高的基础上，加快分割速度，以保证分割的实时性，以期进一步完善本研究所提出的分割策略。

[1]Li Y,Dou Q,Yu J,et al.Automatic brain tumor segmentation from MR images via a multimodalsparse coding based probabilistic model[C].Pattern Recognition in Neuro Imaging(PRNI),2015 International Workshop on.IEEE,2015:41-44.

[2]Mohan J,Krishnaveni V,Huo Y.Automated brain tumor segmentation on MR images based on neutrosophic set approach[C].Electronics and Communication Systems(ICECS),2015 2nd International Conference on IEEE,2015:1078-1083.

[3]Ben George E,Rosline G J,Rajesh D G.Brain tumor segmentation using Cuckoo Search optimization for Magnetic Resonance Images[C].GCC Conference and Exhibition (GCCCE),2015 IEEE 8th.IEEE,2015:1-6.

[4]Huang M,Yang W,Wu Y,et al.Brain tumor segmentation based on local independent projectionbased classification[J].IEEE Trans Biomed Eng,2014,61(10):2633-2645.

[5]Lyksborg M,Puonti O,Agn M,et al.An ensemble of 2D convolutional neural networks for tumor segmentation[J].Lecture Notes Computer Science,2015,9127:201-211.

[6]罗蔓,黄靖,杨丰.基于多模态3D-CNNs特征提取的MRI脑肿瘤分割方法[J].科学技术与工程,2014(31): 78-83.

[7]Menze BH,Jakab A,Bauer S,et al.The Multimodal Brain Tumor Image Segmentation Benchmark(BRATS)[J].IEEE Trans Med Imaging,2014,34(10): 1993-2024.

[8]Avants BB,Tustison NJ,Song G,et al.A reproducible evaluation of ANTs similarity metric performance in brain image registration[J].Neuroimage,2011,54(3): 2033-2044.

[9]Nabizadeh N,Kubat M.Brain tumors detection and segmentation in MR images:Gabor wavelet vs.statistical features[J].Computers Electrical Engineering,2015,45:286-301.

[10]Le Cun Y,Bottou L,Bengio Y,et al.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[11]Hinton GE,Osindero S,Teh YW.A fast learning algorithm for deep belief nets[J].Neural computati on,2006,18(7):1527-1554.

[12]Urban G,Bendszus M,Hamprecht FA,et al.Multi-modal brain tumor segmentation using deep convolutional neural networks[J].MICCAI BraTS (Brain Tumor Segmentation)Challenge.Proceedings, winningcontribution,2014:31-35.

[13]Havaei M,Davy A,Warde-Farley D,et al.Brain tumor segmentation with deep neural networks[J].Medical Image Analysis(in revision),2015.

Research on tha application of brain tumor segmentation of MRI based on multi-scale convolutional neural networks

LI Jian, LUO Man, LUO Xiao, et al// China Medical Equipment,2016,13(2):25-28.

Objective: In view of these tumors can appear anywhere in the brain and have almost any kind of shape and size, a new segmentation method of MRI based on intelligent convolutional neural network is developed.Methods: The convolutional neural network is applied in brain tumor segmentation, according to the features of the brain tumor, the multi-scale convolutional neural network is proposed and conducted multi-scale input and multi-scale down sampling to overcome the individual differences of brain tumor.At the same time it adapted any kind of size, shape and contrast of the difference layers.Results: Data from 30 patients showed that the proposed algorithm is effective.The average Dice is 83.11%, the average sensitivity coefficient is 89.48%.the average predictive positivity value coefficient is 78.91%.Conclusion: It can improve the segmentation accuracy obviously.The multi-scale convolution neural network can adaptively the differences of brain tumor, have more effective segmentation for more images.

Brain tumor segmentation; Multi-scale; Convolutional neural network; Magnetic resonance imaging

10.3969/J.ISSN.1672-8270.2016.02.008

1672-8270(2016)02-0025-04

R445.2

A

2015-12-26