◆朱大龙 易云山
(网络通信与安全紫金山实验室江苏 211100)
核磁图像MRI(Magnetic Resonance Imaging)海马区的分割是诊断阿兹海默症等疾病的重要手段[1]。图像分割后可以根据核磁机器成像的参数估算出海马区的体积。因绝大多数病人的MRI海马区会出现萎缩,因而在医疗过程中医学专家可以通过病人的MRI海马区的体积特征来诊断病人的病情。因此,MRI海马区的图像分割技术和算法在医学上有较强的应用需求。因此相关图像处理专家学者都在积极研究MRI海马区分割算法,以期获得可靠的医学影像数据。但是MRI海马区图像分割技术和算法是一项比较耗时、且有一定难度、重复性较高的枯燥工作,有研究表明传统的分割一张MRI图像大约需要2小时[2],并且在手动分割的判定标准上也引起过较为广泛的讨论[3],因此,传统的图像分割方法的耗时性、主观性等因素都为客观的、准确的自动分割技术的发展和兴起奠定了基础。
临床应用方面,不同的MRI海马区分割方法有着不同的分割难度。手动分割技术需要丰富的专业知识,且耗时、重复、标准不一。而传统的自动分割/半自动分割算法,在技术上也面临着如下挑战:
(1)海马区与其相邻区域【杏仁核(Amygdala)、丘脑(Thalamus)、尾状核(Caudate Nucleus)等】在MRI成像上的灰度值很接近[4]。
(2)海马区与邻近区域的边界也没有明确的医学定义。
(3)分割结果仍依赖所采用的分割算法以及预处理步骤[5]。
海马体的形态特征分析在许多临床应用中被用作重要的生物标志物(bio-marker),包括颞叶癫痫(temporal lobe epilepsy)、阿尔茨海默病(AD)和轻度认知障碍(MCI)、精神分裂症、重度抑郁症、双相情感障碍以及许多其他神经和精神疾病[6]。鉴于海马体测量广泛的临床应用,需要开发可靠地将不同形状和大小的海马体进行分割的方法。
通过使用MRI的T1结构像,海马体的萎缩已被证明是MCI患者将发展为 AD的一个预测性生物标志物[7]。Frisoni[8]的一篇论文阐述了Structural MRI作为疑似AD患者临床常规检查的一部分的实用性。海马体的体积测量也用于监视AD的发展和评估潜在治疗药物的有效性。1998年Laakso[9]表明把MRI海马区的体积作为分类依据(分类健康人与AD患者),就可以获得92%的准确率(灵敏度= 94%,特异性90%)。
海马体体积的不对称性(单侧海马体萎缩)已被证明是癫痫异常侧化的预测因子(Cook et al. 1992;Cendes et al.1993[10])。海马体的萎缩也被用来衡量该疾病的进展(Cendes 2005[11])。
海马体萎缩也与其他几种疾病有关,但在这些疾病中,这种测量方法尚未被验证为生物标志物,这些包括但不限于:精神分裂症(Nelson et al. 1997[12])、创伤后应激综合征(Bremner et al. 1997[13])、抑郁症(Bremner et al. 2000[14])、双相情感障碍(Blumberg et al. 2003[15])以及其他疾病(Geuze et al. 2005[16])。
从MRI海马区的分割技术和算法发展过程和应用到的计算机技术、图像处理技术,自动化技术等发展角度来看,传统的海马区分割技术可分为:
Atlas在图像分割的领域里表示图像感兴趣区域的理想划分方式,它可以是有代表性个体的图片,或者一些个体图片的集合。Atlas在分割过程中可以以多种多样的方式应用,最简单的例子就是“分割过程中可以以多种多样的:通过配准(registration)将目标图像转换到Atlas图像,从 Atlas坐标系获得分割信息后再通过反变换复原成原始目标图像的方法。
同样,还有“样,还有i-Atlas”的方法,也就是配准到多个Atlas Image,分别获得分割信息后通过一种“分abel fusion”的融合技术结合起来获得最终原图的分割技术方法。
另外一种利用Atlas分割的方法叫“割的方法叫“起来获得最终原图的分割技术方,主要先将不同Atlas配准到一起,以获得图像的感兴趣结构的统计信息(几何形状、体素灰度、纹理),然后将该信息再应用于 deformable model/classifier/optimizer方法中去的一种分割方法。
在semi-automated分割方法中,专家手工画出初始的轮廓,经过将轮廓迭代变形,最后形成最终分割边界;在automated方法中,初始轮廓由原图与Atlas校准获得。
最初的deformable model名为ACM(Active Contour Model),由Kass提出。初始轮廓根据内在能量(internal energies)和外在能量(external energies)变形,内在能量保持轮廓平滑,外在能量由图片灰度(intensity)定义。
改进版本为 ASM(Active Shapes Model Cootes et al. 1995)和AAM(Active Appearance Model Cootes et al. 2001),二者同样是Probabilistic-Atlas方法的实例,因其形变的概率信息是由几个atlas得到的。
1990年末该方法被提出,少数是根据课上学到的阈值分割和区域生长分割,更多的是使用更精细的,可以添加感兴趣区域约束的技术,比如 deformable models, atlas-based techniques 和 classifier-based techniques,如人工神经网络。
第一种分割方法,使用的是较为基础的分割技术。由于前面提到的分割海马区的困难性,需要在分割过程中引入大量的主观人为因素,用户在分割的过程中与软件互动进行综合分割。代表性的有Freeboroughet al. 1997[17],提出的结合阈值和区域生长法,用户互动地改变阈值和生长的参数,一边修改一边盯着屏幕进行分割和判断,最终给出分割数据和结果。
第二种分割方法,使用的是更为精细的分割技术。在第一种分割技术基础上,融入了一些发展的新型技术,如计算机技术,自动化技术和图像处理技术等。
在不同的分割算法方面,以上两种分割方法亦有较为不同的算法处理方式。
(1)基于Deformable model的分割算法
Ashton et al. 1997[18]:基于ACM算法和方法。由于海马体内可能有大量的切片,算法使用前一个切片的分割区域作为后续切片的基础。在文中作者提出了一种计算ACM外部能量的新方法,该方法对海马区边缘的不连续性不那么敏感。
Schnabel et al. 1999[19]:将atlas和ACM进行混合算法处理,先对患者的第一个MRI海马区体积进行手动分段处理,然后执行后续MRI sessions的自动分割。对于自动分割,第一个分割作为一个altas与后续的session配准。
Kelemen et al. 1999[20]:第一个使用ASM算法做海马区分割。该方法在轮廓变形过程中,考虑了海马体的几何变异性和图像强度。初始轮廓是基于用户在目标图像上标记的点形成的。
(2)基于Atlas的分割算法
在这些方法中,用户负责在图像中选择一些特定的点,这些点将用于对图集的初射仿射配准。然后对仿射变换后的图像进行非线性配准。
Christensen et al.1997:在之前人工检查的初始对准基础上,同时应用了另外两个配准阶段。
Haller et al. 1997&Hogan et al. 2000:通过使用流体力学方程计算的转换,采用了单一的后续阶段。
tangear .2012:提出了一种类似的方法,该方法使用一种 Large Deformation Diffeomorphic Metric Mapping (LDDMM)的技术。
随着计算机技术、自动化技术和图像处理技术的发展,从 2000年初开始,全自动分割的方法开始被提出。与半自动方法中用户提供的初始几何空间信息不同,全自动方法中加入了待分割结构的解剖统计信息。这些方法中的大多数在某些阶段使用了预先分割的地图集,包括基于单地图集、多地图集或概率地图集的典型方法,以及基于变形模型的混合方法。一些替代方法也使用分类器。
(1)Deformable models
Duchesne et al. 2002: AAM,通用的脑结构分割,在MRI海马区分割上验证。
Klemencic et al. 2004:Single-Atlas+DeformableModels,与 Atlas配准后将 Hippocampus区域转到原图片,然后将这个区域作为初始的AAM方法的轮廓。
(2)Single-Atlas Methods
Barnes et al. 2007:首先,通过仿射配准来获得与海马体相对应的ROI。然后,另外一个不同的仿射配准应用于前一阶段定义的区域。
Kwak et al. 2013:使用graph cuts algorithm(Greig et al. 1989)和morphological opening operation,优化基于atla的初始配准的输出结果。
(3)Multi-Atlas Methods
在多图谱方法中,首先选择一个图谱,然后利用单图谱技术对目标图像进行分割。这个过程对每个可用的图集重复,从不同atlas中获得的不同片段集合并起来。最终分割的创建是通过标签融合技术(label fusion technique)完成的,这也是此类算法和方法应用和发展过程的最大挑战。
Heckemann et al. 2006:使用手动分割好的30个正常人的atlases。“tlases好的 et al. 2006的最大test occurrence among the 30 atlases is attributed to each voxel.”。
Sabuncu et al. 2010 :实现了一个通用的多图谱方法,并测试了不同的标签融合算法,准确率高于作为benchmark的FreeSurfer。
(4)Probabilistic-Atlas Methods
概率地图集方法的使用始于将一组地图集登记到一个标准空间。在这个标准空间中,可以编制与感兴趣的结构有关的统计数据,例如与图像强度有关的发生概率、全局位置和邻近结构。在分割新目标图像的过程中,将每个体素划分为是否属于海马体区域。这种分类是基于使用地图集预先计算的概率。
Fischl et al. 2002:开发出著名的FreeSurfer软件,成为大脑MRI结构分割的基准。
该方法提出将大脑分为包括海马区的21类。如果考虑到不同操作人员之间的差异,自动分割的结果与手动分割的结果具有较高的准确性和可比性。作者还对该方法检测阿尔茨海默病早期患者海马体小体积变化的能力进行了广泛的评估,发现该算法足够敏感。
将概率图谱应用于分割的一种常用方法是使用基于概率图谱计算的推理步骤。这个推理阶段可以通过不同的技术来完成。
Ashton et al. 2003, Zhou and Rajapakse 2005 and Morra et al. 2008使用atlases作数据集的分类器
Tong et al. 2013 分类器+词典 FDDLS (FixedDiscriminative Dictionary Learning for Segmentation)
Dill V et al. 2015 同时也给出上述不同方法的性能评估表。
随着神经网络、人工智能、深度学习以及大数据、海量计算技术等新兴信息技术的发展,文献[21]提出了一个基于神经网络模型,能够在标准硬件上在30秒内分割双侧海马体的单一T1大脑图像,主要用于初始化和近似预配准。其核心是一个由大量真实和合成的例子训练而成的深度3D卷积网络。该算法不是从零开始,而是依赖于存在的FreeSurfer和现有的带有FreeSurfer标签的在线数据集作为巨大的知识来源,这样可快速、大幅度地增加了训练样本的数量。但是,由于其将准确度限制在FreeSurfer mask的范围内,因此训练集还包含大量额外的高精度、高信噪比合成样本。训练样本的混合,结合非线性几何数据的扩充过程,易于使网络规整,使其具有较强的鲁棒性。
该方法主要是首先使输入近似地配准到一个固定大小的感兴趣的训练区域,然后海马区被输入到我们的卷积神经网络,输出一个概率分割图。此映射被映射回原始空间,并可选地设定阈值,这样海马体的体积就可以计算出来。
文献[22]利用最近的进展,通过人工智能、深度学习方法设计并实现了一个全自动分割方法,提供了较好的准确性和快速的分割结果。该方法基于深度卷积神经网络(CNNs),并结合了独特的分割和纠错步骤。分割掩模由三个独立的模型组成,与输入体积的正交切片一起操作,而错误的标签随后通过替换和改进网络的组合进行校正。该研究方法探索了不同的训练方法,并演示了在基于CNN的分割中,如何通过迁移学习技术有效地结合多个数据集,从而提高海马区的分割质量。该方法被评价使用两个不同的公共数据集,并与现有的方法进行了比较。在EADC-ADNI HarP数据集中,该方法的输出与可用的ground truth手动分割之间的对应产生的平均Dice值为0.9015,而整个MRI体积所需的分割时间为14.8秒。在MICCAI数据集中,通过从较大的EADC-ADNI HarP数据集中转移学习,Dice的平均值增加到0.8835。
该方法从网络顶层结构开始,利用2D卷积,将三维结构像按三个不同的切片方向进行训练,最后通过average fusion得到最后的结果。
由于MRI海马区分割技术和算法具有广泛的医学临床应用需求,因此精确、可靠地分割MRI海马区技术和算法越来越重要。随着人工智能、神经网络、深度学习、大数据、云计算等相关计算机网络技术和算法的发展,核磁共振图像处理算法能力必将日益增强。同时加上更迫切、更多的临床试验,必将促进MRI海马区分割技术和算法得到进一步发展。在未来发展方向上,MRI海马体分割技术和算法必将借助于人工智能、神经网络、深度学习、大数据等新兴计算机网络技术,向着混合型分割算法,自动化分割技术方向发展,对医学影像分割技术的提升和临床应用必将日益成熟。