廖剑平蒋雪晴朱伟芳金 超陈新建
1(南宁学院信息工程学院 南宁 530200)
2(苏州大学电子信息学院 医学影像处理与分析实验室 苏州 215006)
医学影像技术发展及分割特点
廖剑平1蒋雪晴2朱伟芳2金 超2陈新建2
1(南宁学院信息工程学院 南宁 530200)
2(苏州大学电子信息学院 医学影像处理与分析实验室 苏州 215006)
医学影像技术发展到越来越先进成熟,但医学图像分割仍然是个难题。文章着重介绍医学影像的发展历程和医学图像分割技术的特点:在已有算法中加入新概念或新方法的同时,重视多种分割算法的有效结合。文章最后以主动轮廓模型(Active Shape Mode,ASM)算法、图割(Graph Cut,GC)算法以及图割-主动轮廓模型迭代(Iterative Graph-Cut-ASM,IGCASM)算法为例,进一步说明医学图像分割算法的共同特点。
图像分割;主动轮廓模型;图割;图割-主动轮廓模型迭代算法
在古代医生只能凭借经验通过望、闻、问、切等给病人诊断,这种定性分析的看病方法常常不能给予准确诊断,也无法直观清晰地将信息反馈给医生和病人,因而常常造成误诊和无效沟通,以至于延误治疗,出现《扁鹊见蔡桓公》等一类著名的历史悲剧。医学影像技术的出现和飞跃发展,使医生和病人可以通过影像清晰地了解病患身体的内部情况,从而极大地提高了临床诊断水平和疾病治疗的效率。纵观医学影像的发展历程,其主要经历了以下几个阶段:
(1)19 世纪至 20 世纪 80 年代,医学影像主要以 X-ray 成像(如图1 所示 X-ray 胸透成像),CT 成像(如图2 所示 CT 脑部成像),以及简单的影像处理与分析系统(如图3 所示图像处理系统)等结构成像为主,这一阶段影像的共同特点是可以清晰地看到病人身体器官的病变。
图1 X-ray 成像Fig.1. X-ray imaging
图2 CT 成像Fig.2. CT imaging
图3 图像处理系统Fig.3. The image processing system
(2)20 世纪 90 年代,随着科学技术的发展,医学影像有了质的飞跃,其成像主要表现为fMRI 功能核磁共振成像(如图4 所示)[1]、PET正电子断层成像(如图5 所示)[1]和 SPECT 单光子发射断层成像(如图6 所示)[2]等功能成像。这一时期的成像促进了医学诊断学向功能和形态相结合的方向发展。
图4 fMRI 功能脑部核磁共振成像Fig.4. fMRI functional magnetic resonance imaging of the brain
图5 PET 正电子断层成像Fig.5. PET positron emission tomography image
图6 SPECT 单光电子发射断层成像Fig.6. SPECT single photon emission tomography image
(3)进入21世纪,医学影像发展为与分子生物学、化学、物理学、放射医学、核医学以及计算机科学相结合的分子成像,主要体现为:光学成像、核磁共振成像和核素成像(如图7 所示)[3],这些成像可以实时地探查细胞和分子水平的变化,将影像学诊断引入分子基因水平。
图7 分子成像Fig.7. Molecular imaging
由此可见,医学影像经历了结构成像、功能成像和分子成像等飞跃发展,其成像技术越来越先进并趋于成熟,被广泛应用于临床医学并促进医学诊断学的快速发展。
随着医学影像的发展及其在临床医学中的成功应用,医学影像处理的意义将越来越重大。而图像分割是医学影像处理的关键技术之一,其在影像医学中发挥着越来越大的作用[4]。图像分割,顾名思义指的是将图像中感兴趣区域提取出来,为后续的定量、定性分析提供基础,图8所示为肾皮质图像的分割。分割后的图像被广泛应用于各种场合,如组织的定量分析、疾病诊断、病变组织的定位、解剖结构的学习、治疗规划、功能成像数据的局部体效应校正和计算机指导手术等[5]。
图8 肾皮质图像分割Fig.8. Renal cortex segmentation
医学图像分割至今仍然没有获得圆满的解决,一个重要的原因是医学图像复杂而多样。由于医学图像的成像原理和组织本身的特性差异,图像的形成受到诸如不均匀的组织器官、磁场的作用,常常导致其成像灰度不均匀(如图9 所示);成像设备局限性而引入的噪声(如图10 所示);局部体效应易造成组织边缘模糊,病变组织致使病变边缘不明确(如图11 所示)等等,以至于医学图像与普通图像相比较,不可避免地出现模糊、不均匀性等特点,从而给医学图像分割带来了重重困难。因此,我们有必要针对图像分割方法进行研究。
图9 灰度不均匀Fig.9. Uneven gray
图10 噪声Fig.10. Noise
图11 边缘模糊Fig.11. Fuzzy edges
近几年来,为了解决医学图像的分割问题,很多研究人员做了大量的工作,提出了很多实用的分割算法[5-7]。这些医学图像分割算法常常具有以下几个共有特点:(1)分割算法面向具体的分割任务,但这些分割任务没有通用的方法;(2)更加重视多种分割算法的有效结合以弥补单一算法的局限性;(3)需要利用医学中大量的领域知识,如人体内脏器官结构和相对位置关系等不同对象的灰度分布情况、解剖知识以及不同对象间的空间几何关系,还有各种成像设备的特点等。下面我们简单介绍几种常见算法:主动轮廓模型方法(Active Shape Mode,ASM)、图割算法(Graph Cut,GC)方法以及两者有效融合的一种方法,以进一步说明医学图像分割算法的特点。
主动轮廓模型 ASM 方法[8,9,13-15]是一种基于统计模型的特征匹配方法,它以目标物体的轮廓作为训练样本构造模型。首先,使用人机交互方式提取目标轮廓的特征点集合,形成训练集;然后用点分布模型进行描述,构造样本的统计模型。统计模型建立后,ASM 方法利用局部纹理模型在目标图像中搜索特征点的最佳位置,同时根据搜索结果调整统计模型的参数,使模型与目标物体实际轮廓逐步逼近,从而达到准确定位目标的目的[7]。
3.1 构建样本全局模型
图12 标记特征点的脚踝图像Fig.12. Ankle image with feature points marked
设有 N 张训练样本集图像,给每张图像标注 k 个特征点,如图12 为标记了特征点的脚踝图像。由于每张图像的获取可能受到不同角度、距离远近不一和姿态变换等外部非形状因素干扰造成特征点坐标框架不一,出现如图13 这样意义不大的散图,所以有必要对一系列的点分布模型通过适当的平移、旋转和缩放变换等归一化操作,从而改变数据杂乱无章的状态,减少非形状因素的影响(如图14 所示)。从图14 可以看出,归一化后的图像能明显地体现出脚踝形状的主轮廓,不同部位的点只在主轮廓相应点的附近“簇拥”分布。常用的归一化方法为Procrust 方法。
图13 未归一化的脚踝样本轮廓图Fig.13. The un-aligned ankle contours
图14 归一化后的脚踝样本轮廓图Fig.14. The aligned ankle contours
归一化后的形状向量集记为:
接着通过主成分分析(Principle Component Analysis)处理,获取 ASM 的全局轮廓模型,具体步骤如下:
(1)计算平均形态向量:
(2)计算形状向量协方差矩阵:
(3)对协方差矩阵 S 进行特征分解并使其特征值按从大到小排序,即 λjλj+1,λj≠0,j=1, 2,, 2k,选择前 t 个特征向量 P=(p1, p2,, pt),使得
其中,η 为所选特征占总特征的比例,一般为95%。最终获取全局形状模型为:
其中,b 为主分量参数,b=(b1, b2,, bt) ,满足
3.2 创建局部纹理模型
ASM 方法中另一个重要模型是局部纹理模型,它与每一个特征点一一对应,通过平均纹理和协方差矩阵两个参数来具体刻画该点的灰度分布情况。该模型的构建过程大致如下:
(1)如图15 所示,在第 i 幅训练图像的第 j个特征点,找到其前后两个特征点 j—1 和 j+1,并沿着这两点连线的法线方向,在 j 点的两侧分别找 m 个点,构成 2m+1 长度的向量,这 2m+1的向量包含的像素灰度值即为该点的灰度信息,记为:
求导得到该点的局部纹理特征,记为:
为降低各种非形状因素的影响,归一化为:
(2)用类似于公式(2)和(3),求局部纹理特征的平均值和协方差矩阵,即可作为局部纹理模型。
图15 法线方向上的灰度信息Fig.15. The gray scale information in the normal direction
3.3 搜索最佳候选点
在搜索某个特征点的最佳候选点时,可在局部纹理模型中,沿法线方向采样 n 个灰度信息(n>m),这样搜索就转换为寻找采样灰度向量与模型向量的匹配位置了,其马氏距离的计算公式为:
图割 GC 算法[11-15]也称为最大流最小割算法,其基本原理是将原始图像 I(x, y)映射为加权图 G=(V, E)。其中 V 是像素集 P 和源点 s、汇点 t 的集合,即 V=P∪{s, t}。存在两个子集 VS 和 VT,满足条件:VS∪VT=V,VS∩VT=φ,且 s∈VS,t∈VT。当像素 p∈VS 时,给其设置标记 fp=1;当 p∈VT 时,fp=0。令
为一个二值向量,则每一个二值向量都可以唯一对应 G 的一个割集 C,图像分割(如图16(a)绿色曲线所示)问题就转化为对图的切割(如图16(b)黑色曲线所示)问题。
图16 3×3 二维图像图割示例Fig.16. Illustration of 3 × 3-dimensional graph cut
其中,NP是与像素 p 相邻的像素的集合,参数λ0。且
基于图割理论的分割方法是能量最小化图像分割的一种,它能很好地把握图像的全局特征,同时利用了图像的像素灰度信息和区域边缘信息,能较好地处理图像分割的精度问题,如图17 所示,其中,图(a)为原始图像,图(b)为利用图割算法获取的左肺叶分割图像。
图17 图割算法分割图像示例Fig.17. Examples for graph cut image segmentation
迭代图割与主动轮廓模型(Iterative Graph-Cut-ASM,IGCASM)算法是一种有效融合图割和主动轮廓模型的混合分割算法[13],算法对图割能量函数进行了改进,除前面两项外,加上三维轮廓项 Sp(fp),即将公式(11)改为:
接下来,将 GC 和 ASM 相结合,成为IGCASM 算法[13],该算法有效地将 ASM 中的多统计轮廓信息与 GC 方法中的全局最优分割相结合。
最后,IGCASM 方法通过两个数据集测试,分别为 20 个病人中获取的临床腹部 CT 扫描图像。分别测试 4 个组织(肝,左右肾和脾)的分割。
实验分别包括对多对象单切片和三维图像使用 ASM 模型的分割和混合 IGCASM 模型的分割,实验分割结果详见图18~21。其中,图20~21 左列为原始图像,中列为金标准图像,右列为使用 IGCASM 模型分割的结果。实验结果表明所提出的自动解剖分割系统是可行的、有效的,且混合 IGCASM 模型比单独的 ASM 模型具有更强的鲁棒性和更高的精度,详情可见 Chen等[13]的研究成果。
图18 多对象单切片 ASM 分割结果(腹部器官 CT 图像)Fig.18. Multi-object segmentation results of ASM on one slice
图19 多对象三维 ASM 分割结果Fig.19. Three-dimensional multi-object segmentation results of ASM
图20 多对象单切片 IGCASM 分割结果Fig.20. Multi-object segmentation results of IGCASM on one slice
图21 多对象三维 IGCASM 分割结果Fig.21. Three-dimensional multi-object segmentation results of IGCASM
医学影像经历了结构成像、功能成像和分子成像等发展历程,其成像技术越来越先进成熟。尽管如此,由于医学影像的复杂多样性,医学图像的成像原理和组织本身的特性差异,图像的形成受到诸如磁场偏移效应、噪音、局部体效应、组织蠕动和病变等的影响,医学图像与普通图像相比,更加模糊、不均匀,致使医学影像分割困难重重,至今依然没有获得充分的解决。由于没有通用方法,研究人员只能通过分割算法解决具体分割任务。为了获得更满意的分割结果,常常在算法中加入新的概念或新的方法,同时,更加重视多种分割算法的有效结合。文本以 ASM 算法、GC 算法以及在此基础上进行改进并结合两种算法得到新的 IGCASM 算法为例,进一步说明现代医学图像分割算法的共同特点。未来医学影像处理还将研究更先进的成像技术和更复杂实用的医学图像分割算法。
[1] 老年痴呆症的诊断 [OL]. http://www.zhichidai. com/chidai/haimo/114_4.shtml.
[2] Malkevitch J. 数学与大脑 [OL]. http:// www.mysanco.cn/index.php?action=wenku_ item&class=wenku&id=97&bsh_bid=177865508.
[3] University of Pittsburgh. Molecular Imaging Center [OL]. http://www.rad.pitt.edu/?research/molecularimaging.html.
[4] Duncan JS, Ayache N. Medical image analysis: progress over two decades and the challenges ahead [J]. IEEE Transactions on Patter Analysis and Machine Intelligence, 2000, 22(1): 85-106.
[5] Pham DL, Xu CY, Prince JL. A survey of current methods in medical image segmentation [J]. Annual Review of Biomedical Engineering, 2000, 2: 315-338.
[6] Pal NR, Pal SK. A review on image segmentation techniques [J]. Pattern Recognition, 1993, 26(9): 1277-1294.
[7] Zhang YJ. A survey on evaluation methods for image segmentation [J]. Pattern Recognition, 1996, 29(8): 1335-1346.
[8] Cootes TF, Taylor CJ, Cooper DH, et al. Active shape models - their training and application [J]. Comput Vision and Image Understanding, 1995, 61: 38-59.
[9] Cootes TF, Edwards GJ, Taylor CJ. Active appearance models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23: 681-685.
[10] 王晔, 吴小俊, 王士同, 等. 基于改进主动形状模型的人脸表情识别 [J]. 计算机工程与应用, 2009, 45(6): 197-200.
[11] Lombaert H, Sun YY, Grady L, et al. A multilevel banded graph cuts method for fast image segmentation [C] // Proceedings of the 10th IEEE International Conference on Computer Vision, 2005: 259-265.
[12] 韩守东, 赵勇, 陶文兵, 等. 基于高斯超像素的快速 Graph Cuts 图像分割方法 [J]. 自动化学报, 2011, 37(1): 11-20.
[13] Chen XJ, Bagci U. 3D automatic anatomy segmentation based on iterative graph-cut-ASM [J]. Medical Physics, 2011, 38(8): 4610-4622.
[14] Chen XJ, Udupa JK, Bağci U, et al. Medical image segmentation by combining graph cut and oriented active appearance models [J]. IEEE Transactions on Image Processing, 2011, 21(4): 2035-2046.
[15] Chen XJ, Udupa JK, Alavi A, et al. GC-ASM: synergistic integration of graph-cut and active shape model strategies for image segmentation [J]. Computer Vision and Image Understanding, 2013, 117(5): 513-524.
Recent Progress of Medical Image Processing and Analysis
LIAO Jianping1JIANG Xueqing2ZHU Weifang2JIN Chao2CHEN Xinjian2
1( College of Information Engineering, Nanning University, Nanning 530200, China )
2( Medical Image Processing, Analysis and Visualization Lab, School of Electronic and Information Engineering, Soochow University, Suzhou 215006, China )
With the development of medical imaging, its processing and analysis techniques becomes more and more advanced and mature. However, the segmentation of medical image is still a great challenge. In this paper, the recent progress of medical imaging and the characteristics of the recent medical image segmentation techniques were discussed: emphasis on the effective integration of multiple segmentation algorithms. Active shape model (ASM), graph cut (GC) and iterative graph-cut active shape model (IGCASM) methods were used as examples to further illustrate the characteristics of medical image segmentation.
image segmentation; active shape models; graph cuts; graph-cut active shape model
R 445
A
2014-06-19
廖建平,讲师,研究方向为图像处理与分析;蒋雪晴,硕士,研究方向为医学影像处理与分析;朱伟芳,副教授,研究方向为医学影像处理与分析;金超,硕士,研究方向为医学影像处理与分析;陈新建(通讯作者),特聘教授,研究方向为医学影像处理与分析,E-mail:xjchen@suda.edu.cn。