杨泽鹏,李娜,张保昌,吴宗翰,杨俊,周寿军△
(1. 华南理工大学广州学院,广州 510800;2. 深圳先进技术研究院,深圳 518055; 3. 火箭军广州特勤疗养中心,广州 510515)
血管疾病是人类面临的重大疾病之一[1]。目前,针对血管疾病的诊断仍然依赖于各种血管造影技术,主要包括X射线/数字减影血管造影(DSA)、磁共振血管造影(MRA)、 计算机断层扫描血管造影(CTA)和超声血管造影。随着图像处理技术的快速发展,计算机辅助诊疗正在逐步成为现实。然而,由于成像模态和解剖学成像部位的多样性,血管造影图像的分割仍然是一个极具挑战的问题。近年来,已有相关文献对一些经典的模型驱动的血管分割方法进行了总结[2],随着血管分割技术的快速发展和特殊应用需求,新颖的模型驱动的方法得以继续发展,其精度和计算效率不断提高。此外,大数据和人工智能技术的快速发展,使得基于数据驱动的血管分割方法应运而生。我们对近年来前沿的血管分割方法进行回顾,并分为基于模型驱动和基于数据驱动。前者主要包括统计模型法、形变模型法、基于跟踪的方法、混合模型法;后者主要包括基于特征构造的分类器学习方法和深度学习方法。各方法的主要特点,见表1。
表1当前主要的血管分割方法的分类和描述
Table1Classification and description of current vessel segmentation methods
方法与分类概念和特点模型驱动统计模型法用特定的混合概率分布拟合血管与背景像素的灰度分布。形变模型法图像内定义的曲线或者曲面在内外力的工作下移动和变形,向目标轮廓演化。主要分为参数形变模型和几何形变模型。基于跟踪的方法通过局部特定条件来约束种子点对血管结构进行提取,包括基于模型的跟踪和基于MCP的跟踪算法。混合模型法联合使用多种基于模型驱动的分割方法。数据驱动基于特征构造的分类器集成方法根据数据特征和标记值判别血管目标。深度学习方法通过卷积神经网络自动学习图像特征并判别血管结构。
基于模型驱动的分割方法是指根据待处理数据中感兴趣区域的相关特征(如灰度,形状等)预设一个模型与目标区域的同类特征进行拟合或匹配,从而完成目标分割。此方法面临的主要问题包括难以找到适合数据的模型和正确估计模型的参数。
统计模型法是指直接将图像的各个像素或体素当作单独的样本,然后用一个有限混合概率模型去拟合这些样本所服从的分布,通过各种参数估计算法得到一个完整的统计模型,最后由最大后验概率对这些样本进行分割,见图1。近年来,统计模型法主要应用于脑血管的分割[3-5],其中,有限混合模型的构造和模型参数估计是关键。统计模型法因其可快速自动地实现血管分割受到研究者的青睐。然而,现有的统计学模型主要利用特定解剖学部位图像的空间灰度的统计学信息,忽略了空间形状先验,因此产生不连续的分割结果;Zhou等[3]通过引进马尔可夫随机场和多模态领域系统提高了统计学模型的分割性能。假如结合空间血管的复杂先验信息,分割结果的完整性、精确性、有效性将获得极大提升。
图1基于统计学模型分割的基本工作流程(左右两侧分别是输入图像和分割结果的最大密度投影)
Fig.1Basic workflow of segmentation based on statistical model(the left and right figures are the maximum densityprojections of input image and segmentation result respectively)
形变模型又称为活动轮廓模型(active contour model, ACM)或者‘蛇’模型(Snake)[6],它通过在图像内定义的曲线和曲面来描述目标的边缘,并在内力和外力的作用下移动和变形,以此向目标轮廓演化;期间,内力保持曲线平滑,外力吸引曲线向血管边界靠近。由于ACM需要初始化来启动变形过程,因此该模型的局限性在于其鲁棒性受制于模型对初始位置和噪声的敏感性。鉴于ACM的构造相对简单,可结合不同的外力和内力进行优化,尤其是针对模型的外力优化。研究者能够依据不同血管分割环境,设计不同的测度并建立相应的外力[7-9]。当前,形变模型的热点问题是针对形状、大小各异的血管目标,如何将外力引导的形变约束和目标几何的先验知识相结合进行分割[8-9]。
基于跟踪的血管分割是一种基于局部测度的方法,需要确定种子点以及引导跟踪过程的局部约束条件。初始种子点可以手工或自动设定,如利用匹配滤波算法获取血管种子点[10],相比于其他血管分割算法,跟踪法最大的优势是能够保证血管结构的连续性。目前,主要的血管跟踪方法为基于模型跟踪(model-based tracking,MBT)和基于最小代价路径(minimum-cost path, MCP)。
MBT方法通过在原始图像中跟踪预定义的局部血管模型来实现[11-12],常用的局部模型为椭圆截面或圆柱体结构,跟踪的每一步均通过寻找模型与局部图像数据的最佳匹配结果来确定下一个模型的位置和方向。通常,强度或者梯度特征被用来获取最佳匹配测度。
血管造影成像涉及多种数据模态以及个体化血管形态和病理特征,单一的分割方法难以解决血管影像分割问题。为此,研究者们通过综合运用多种模型来达到最优分割效果。Tian 等[16]结合统计信息与血管形状信息,提出了一种新的活动轮廓模型来分割脑血管。Zhao等[17]考虑到基于水平集的方法可以使活动轮廓收敛到血管边界,而基于区域生长的方法可以获取具有相似灰度的目标区域,因此结合这两种方法能有效分割出视网膜造影数据中的血管。与此类似,Zeng等[18]提出了一种使用三维区域生长和混合活动轮廓模型的自动肝血管分割方法;Goceri等[19]结合图像中不同的像素强度分布,在Kmeans聚类获得的粗分割结果上采用形态学算子实现了肝血管分割。
上述基于模型驱动的四类代表性方法主要根据血管造影数据的灰度和形状等信息,通过预设一个模型与目标区域的同类特征进行拟合或匹配,从而完成血管分割。模型驱动的方法主要优势是计算效率可控,参数选择可通过经验和算法估计得到,并且在正则化建模前提下,可以通过学习自适应选择参数来提高分割精度。模型驱动的方法存在对图像的空间尺度、数据模态、血管的局部和全局特征有较大的依赖性,统一模型很难适应不同数据环境等问题和瓶颈。为此,基于数据驱动的方法是另一有效的研究策略。
近年来,基于数据驱动的血管分割方法成为人工智能研究的主流方法。依据数据特征提取方式,数据驱动的方法可以划分为基于特征构造的分类器集成方法[20-23]和深度学习方法[24-28]两类。前者是典型的机器学习方法,结合一些滤波算子甚至手工勾绘方式,从输入图像中获取更高层次的特征(即所谓的特征构造),并通过一个分类器或多个分类器组合的方式对已提取的特征进行分类,从而完成血管的分割任务。随着科学计算的硬件处理能力不断提升,深度学习方法近几年再次出现在大量研究工作中,它摒弃了繁琐复杂的特征构造步骤,能够在无人工干预的情况下促使模型独自完成分类特征的学习和筛选这一复杂过程[29]。相对于传统的机器学习,深度学习需要更庞大且全面的数据库,通过数据挖掘获取潜在的高层抽象特征,并建立准确的监督机制。由于深度学习能够提取出传统机器学习难以提取的高层特征,因此深度学习展现出了更加显著的优越性。图2表明了两者的区别。
图2传统机器学习与深度学习方法的比较
(a).数据依赖性;(b).硬件需求;(c).特征可解释性;(d)特征规模
Fig.2Comparison between traditional machine learning and deep learning methods
(a).data dependence;(b).hardware requirement;(c).feature interpretability;(d).feature scale
该方法的基本规则是多类特征驱动的分类与联合判别策略,该规则下的血管判别兼顾了不同数据特征和分类标记,每个训练样本组成包括逐个像素点的位置、提取的特征向量(如像素强度,滤波响应)和标记值。Rodrigues等[30]利用支持向量机(SVM)将视网膜血管从光学相干断层扫描图像中分割出来。Zheng等[20]建立了一个以心脏重心为原点的坐标系统,提取每个体素在该坐标系下的几何特征,并且对增强后的图像数据提取了梯度特征,再利用概率提升树(PBT)来分割冠状动脉。Fraz等[21]和Soares等[22]研究了Gabor滤波器[23]和高斯滤波器组合的特征向量生成算法,其中基于特征的AdaBoost分类器的视网膜血管分割还可以使用多特征构造方式。
深度学习方法的实现主要采用卷积神经网络(CNN),在此基础上的全卷积神经网络(FCN)和U-net网络能够对数据进行端到端的训练,从而高效地定位图像目标[31]。Dasgupta等[24]和Mo等[25]利用FCN分割视网膜血管。Ronneberger等[26]改进了FCN网路结构并提出U-Net网络。之后,很多研究在U-Net网络框架上进行了一系列的改进[27-28],Tetteh 等[28]将二维的U-Net网络改进为三维网络结构,并提出了DeepVesselNet网络,成功用于核磁共振血管造影数据的脑血管结构分割、中心线提取和分支点探测。由于大多数方法都依赖于网络的深度,并且需要大样本,Wang等[32]提出一种新颖的循环U-net架构,既保留了原始U-Net的紧凑性又提高了网络的分割性能。
我们对近年来一些前沿的血管分割方法进行了回顾,通过对这些方法进行分析发现:造影图像存在强度不均匀性、噪声、运动伪影等引起的图像特征不清晰和结构不明确等问题仍是血管分割的主要瓶颈。模型驱动的血管分割取决于数据的一些先验知识,由于不同成像模态的数据或者不同组织器官下的血管具有不同的先验信息,使得模型驱动的方法很难具有通用性。目前,仅Lu等[5]在这方面进行了探索。他们基于多尺度滤波和统计学模型提出了一个普适的血管分割算法。此外,基于模型的分割技术需要在参数设置、模型拟合、血管骨架线跟踪过程中常常需要干预,使得这些方法难以自动化并且对初始参数敏感;有些基于模型的分割技术是无参数的(例如几何形变模型),但它们受分辨率的限制,计算过程中需要的时间成本高。因此,减少模型驱动方法中的用户交互或者采用一些并行的算法来提高计算效率,依然是这类方法研究的重点。另外,当前临床方面的主要需求之一是分析病理血管的情况,然而大多数血管分割的方法受限于对健康血管的一些假设(比如线性或者圆形横断面)。对于含有病变的血管,这些假设或许不太适用,因此,对病理血管创建有效的模型也是当前和未来研究面临的挑战性问题。
总体来看,数据驱动的血管分割方法,尤其是深度学习方法,能够获得更加精确的结果。但由于缺乏公开的训练数据集,大多数基于深度学习的血管分割方法仅仅用于视网膜血管;对于其他组织(脑部或肝脏等)的血管,其成像数据多为三维,并且其血管结构复杂,通过手工标注的方式构建相应的训练数据非常耗时。因此,通过使用半监督或者结合模型驱动和数据驱动的方法来克服缺乏大量金标准成为当下研究的热点。此外,基于模型驱动与数据驱动结合的方法进行血管造影分割是另一重要研究趋势,深度学习的良好泛化能力必将有助于将血管分割技术应用于临床的疾病诊断和手术计划。