郑彩侠,张同舟,孙长江,刘景鑫
1.东北师范大学 信息科学与技术学院,吉林 长春 130117;2.吉林大学中日联谊医院 放射线科,吉林 长春 130033
在当前的医疗诊断中,医学图像具有越来越重要的临床应用价值。常用的医学图像有磁共振(Magnetic Resonance Imaging,MRI)、超声、计算机断层扫描(X-Ray Computer Tomography,CT)、正电子发射计算机断层扫描以及病理切片图像等[1]。传统的医学图像处理主要依靠专家个人经验,人工地对图像进行分析与处理。然而,这种人工处理方式效率较低,且分析结果受主观影响较大。此外,近年来医学图像数量的急剧增长更是导致传统的人工方式变得严重耗时耗力。因此,迫切需要利用计算机来模拟人类的视觉感知机制,自动地对各类医学图像数据进行有效组织、分析与管理。随着科学技术以及计算机硬 件性能的快速发展,运用计算机快速分析、处理各类医学图像来辅助专家进行诊断,已经成为医学领域的一种发展趋势,具有重大的研究意义和应用价值。基于计算机视觉的医学图像自动分析与处理技术具有其独特的优势,如:利用计算机的强大计算能力可获取快速准确的分析与处理结果;可使医学图像处理结果不受专家疲劳或数据过多的影响;利用计算机技术可促进更快的临床信息沟通,以方便为边远地区病人提供快速、准确的医疗诊断信息[2]。
鉴于医学图像处理的良好发展前景,近年来研究人员针对各类医学图像进行了深入研究,并结合其他学科的理论与技术提出了一些性能较好的医学图像处理与分析方法,可有效地对医学图像进行初期的预处理(如图像降噪、增强等)或深入的分析与理解(如图像分割、识别等)。本文从计算机图像处理 与模式识别的角度出发,针对现有的图像分割方法进行对比和总结,并概述其在医学图像处理领域中的应用,旨在为相关领域的研究人员提供参考,以促进该领域的进一步发展。
图像分割是医学图像处理中关键的一步,分割结果的准确性对于图像后续的进一步处理与分析,甚至对于医生判断疾病的真实情况都至关重要。图像分割是指根据图像的灰度、形状、颜色等特征将图像分成若干个不相交的、具有独特性质的子区域,从而获得感兴趣区域。图像分割的数学定义可表述为:令集合I代表一幅图像区域,图像分割是将I分成一组连通的非空子集(子区域){I1,I2,…,IN},这些子集服从约束条件并存在一个用于判断区域一致性的逻辑谓词P(·),使得P( Ink∪Int) = False , P( Ink)= True ,并且k≠t[3-4]。
近年来,研究人员针对不同医学图像的特点提出了众多的分割算法,根据Niessen等[5]的观点,图像分割方法主要可分为3类:基于区域的分割方法、基于边缘的分割方法和基于分类的分割方法。
基于区域的分割方法通过识别图像中对应于不同对象的不同同质区域(Homogeneous Region)来分割图像,主要有分水岭分割算法[6-10]和区域生长算法[11-17]。
分水岭分割法是一种基于测地学里分水岭的构成原理而提出来的图像分割算法。其基本思想是假设一幅图像是一个拓扑地貌,图像中每个像素点的灰度值代表一个海拔高度,图像中每个灰度局部极小值及其周围的区域代表一个集水盆地,分水岭即指集水盆地的边缘。分水岭算法在图像分割任务中可以取得较好的效果,但仍存在一些缺点,如:① 对噪声非常敏感,容易产生分割偏差;② 由于量化误差等原因,导致出现图像过分割的结果;③ 在图像的对比度较低时,容易造成图像里物体轮廓丢失。近年来,很多研究人员针对这些问题进行了研究,提出了大量的改进算法。
在分水岭算法中,种子点的提取对算法结果的影响是至关重要的。为了取得较鲁棒的分割结果,谢凤英等[6]提出了一种基于种子点提取的分水岭分割方法,该方法采用直方图的势函数特性来提取细胞图像的种子点,且在提取种子点的过程中只记录直方图的峰值,去除了分类与滤波的过程,进而可以保证得到的种子点的可靠性。此外,该方法在分割时仅考虑细胞局部区域信息,有效地解决了细胞与背景面积相差较大时分割不准确的问题。方红萍等[7]为了较好地分割堆叠的细胞,提 出了自适应H-minima的改进分水岭分割方法。该方法首先采用K均值算法获取一个初始分割结果,然后基于细胞颗粒形状先验假设定义圆度度量指标Fuzzy R,并将细胞平均圆度最大值作为评价指标来自适应地提取堆叠细胞区域的最优h值,以克服细胞尺寸不一致、边缘不规则,相互之间严重堆叠对传统分水岭算法的影响,实现对堆叠细胞的准确分割。王伏增等[9]针对脑肿瘤MRI图像的分割问题,提出了一种基于形态学滤波的标记分水岭分割方法。该方法首先通过对脑肿瘤图像的梯度图像进行形态学开闭重建滤波来去除噪声并保留梯度图像的轮廓信息,然后提取内部和外部标记符来对梯度图像进行修正,最后基于分水岭变换对脑肿瘤图像进行分割,有效地克服了分水岭算法的过分割问题。同样针对脑肿瘤MRI图像的分割问题,Benson等[10]则基于一种融合的思想来提高分水岭分割算法的性能,即在采用分水岭算法对脑肿瘤图像分割时,不仅考虑图像的灰度信息,还同时利用了图像的颜色、边缘、方向和纹理信息,也取得了较好的分割效果。
区域生长算法是另一种经典的基于区域的分割算法,它通过不断迭代地合并种子点周围具有相似性质的像素点来实现对整幅图像的分割[18]。区域生长算法比较简单、有效,但该算法是一种迭代的算法,导致其在空间和时间上开销都较大。此外,和分水岭分割算法类似,区域生长算法对于噪声较敏感,在灰度不均匀的情况下会产生过分割现象。为了解决这些问题,近年来研究人员对其进行了大量的研究与改进,并将其有效地应用于医学图像处理任务中。
区域生长法的关键步骤是初始生长种子点的选取和区域生长准则的设计。为了有效地选取合适的种子点,李杰等[13]提出了一种基于种子点位置预判的改进区域生长方法,在肝脏血管管道图像中取得了较好的分割效果。该方法主要利用基于广义势场的骨架提取方法来提取肝脏静脉管道骨架点种子坐标集合,并利用坐标系映射来预判图像的种子点位置和数目,以实现种子点位置和数目的自动确定。针对区域生长准则的设计,Pohle等[11]提出一种自适应区域生长法,该方法利用不同区域的形状等特征自动地学习对应于不同区域的生长准则,在腹腔CT图像和脑部MRI图像分割任务上取得了较好的效果。解立志等[12]定义了一种全局与局部信息相结合的区域生长准则,用于血管的分割。该方法首先采用二维OTSU阈值分割算法和最大密度投影(Maximum Intensity Projection,MIP)图像获得三维血管的种子点,然后结合全局与局部信息设计区域生长准则来实现对血管的粗分割,最后给出一种基于Catt扩散模型滤波的局部自适应C-V模型对血管粗分割结果进行二次分割,以得到更精确的分割结果。该方法可以同时检测出半径较大和较小的血管,并能较精确地得到光滑的血管外表面边缘。在医学图像分割领域中,区域生长法也通常与其他方法相结合来提高分割效果,如王品等[14]结合多尺度区域生长和去粘连模型来对乳腺细胞进行分割,而杨卫莉等[16]将区域生长法与蚁群聚类算法相结合来实现对脑部MRI图像的精确分割。
基于边缘的分割方法根据图像中对象边缘梯度特征来对图像进行分割,该类方法主要包含边缘检测[19-20]和形变模型[2,21-27]。
图像边缘是指图像内不同区域交界线上连续的像素点的集合,通常表现为灰度、颜色的强烈变化,并体现出空间上某种特性的不连续性。基于边缘检测的分割方法的基本思想是通过检测图像内物体的边缘来实现图像不同目标区域分割的目的。基于边缘检测的分割方法相对简单,但其性能会受图像弱边缘、伪边缘和噪声的影响。为了提高医学图像边缘检测的效果,李天钢等[19]提出了一种基于数学形态学的胃癌病理细胞图像边缘提取方法。该方法基于图像纹理信息,并根据胃癌病理细胞图像的特点来构造合适的结构元素,进而获得较好的边缘检测结果,以实现图像分割的目的。Bomans等[20]也采用基于数学形态学的方法来进行边缘检测,该方法采用Marr-Hildreth算子对图像进行边缘检测得到一个粗糙的检测结果,然后采用形态学膨胀—腐蚀操作对检测结果进行进一步的精细调整,实现了对MRI脑部图像的精确分割。
基于形变模型的分割方法可以综合利用图像的区域与边界信息对图像进行分割,是一种结合了几何学、物理学和近似理论的分割方法。形变模型包括形变轮廓(又称活动轮廓)模型和三维形变表面模型[28]。基于形变轮廓的分割方法通过内力和外力的作用促使轮廓曲线不断向物体边缘逼近,其中内力用来保持轮廓的光滑性,而外力用来推动轮廓的运动。形变表面模型实质上是在三维空间对形变轮廓进行了拓展,以实现更快速、更高效地利用三维数据。活动轮廓模型具有良好的平滑性和封闭性,已被许多研究人员应用到医学图像分割领域中。廖祥云等[21]针对子宫肌瘤高强度超声聚焦(High Intensity Focused Ultrasound,HIFU)图像分割问题,提出了一种自适应局域化快速活动轮廓模型,该模型通过利用图像的局部全局信息来构建“局部全局力”,并依据演化曲线上各点周围的灰度分布均匀程度在活动轮廓曲线演化过程中动态地改变局部区域大小,来提高曲线的演化效率以及分割的准确性。张明慧等[26]则将多图谱配准引入到活动轮廓模型中,提出了一种有效的图像分割的方法,该方法同时利用图谱形状先验信息和图像灰度信息,可以对脑部MRI图像进行较为准确、光滑的分割。基于形变模型的分割方法通常对图像噪声敏感和初始化轮廓较敏感[29],为了解决这个问题,王元全等[22]提出了可以有效保持目标弱边缘的退化最小曲面梯度矢量流,并将其引入到参数活动轮廓模型(snake)中,来减小分割结果对初始轮廓的依赖,并能克服由于图像灰度不均匀而导致的局部极小问题。该方法可对心脏MRI图像左心室进行有效分割。Ji等[23]和赵立川等[27]也分别对传统的snake模型进行了改进以使其更好地处理不同的医学图像分割任务,改进后的模型可以有效提高传统snake模型对图像深度凹陷区域和弱边界的处理能力。
基于分类的分割方法根据某一特定标准,对图像中每个像素进行分类和标记,该类方法主要包括基于阈值的分割算法[30-31],基于统计的分割算法[32-35]和基于聚类的分割算法[36-41]。
阈值分割方法通常基于图像的直方图特征设置合适的阈值将目标和背景分离出来,适用于图像目标区域的亮度与背景亮度具有较大差异的图像。在基于阈值的分割方法中,合适阈值的选取是非常困难的。为了解决这个问题,Lee等[30]提出一种基于连通信息的阈值分割方法,该方法首先采用一个给定阈值得到一幅粗分割图像,然后利用路径连接算法在粗分割得到的两个区域之间划分边界,并对阈值进行自适应修改以得到更精确的分割结果。Lee等[30]对其所提出的方法在脑部MRI图像数据集上进行了测试,实验结果表明该方法可以得到较准确的分割结果,并对噪声具有较好的鲁棒性。
基于统计的分割方法把图像中的灰度值看作是服从一定概率分布的随机变量,并利用统计学理论对数字图像进行建模来对图像目标进行分割。近年来基于统计的方法被广泛的应用于各种医学图像分割问题中,如Hassouna等[35]提出采用一个高斯分布描述脑部三维造影图像的高灰度区域(血管和皮下脂肪),并采用两个高斯混合模型和一个Rayleigh分布的有限混合模型来描述图像的中低灰度区域,然后利用最大期望估计算法对混合模型中的参数进行更新,进而对图像中的三维脑血管进行提取。该方法可以有效抑制图像噪声对分割结果的影响,但是分割结果的精确性较大程度上依赖于初始参数的选择。Laidlaw等[32]提出两种利用混合分布来描述不同器官交界处的局部体效应(即交界处单个像素中会包含来自不同器官的成分的含量),以获得更精确的CT或MRI图像分割结果。
基于聚类的分割方法通常被用于核磁图像的分割问题,如脑白质和脑灰质的分割。近年来研究人员提出了许多基于聚类的分割方法并在磁共振图像上取得了较大成功。如为了提高聚类算法对图像灰度不均匀和噪声的鲁棒性,Wang等[37]提出将图像局部上下文信息和非局部信息同时引入到经典的模糊C-均值(Fuzzy C-means,FCM)算法中,并采用ROM(Rank Ordered Means)算法对二者进行权衡,实现了对脑部MRI图像精确的分割,但该算法的计算复杂度相对较高。Kahali等[38]提出了一种两阶段模糊多目标框架用于脑部三维MRI图像的分割,该方法采用三维空间FCM(3D Spatial Fuzzy C-means)模型计算立体块之间局部空间关系以确定聚类中心,然后将这些聚类中心作为三维改进的FCM(3D Modified Fuzzy C-means)模型的输入来得到最终的聚类结果。
除了上述三大类图像分割方法,研究人员也提出了一些其它图像分割方法,如基于神经网络的分割方法[42],基于深度学习的分割方法[43]等。尤其是近年来随着深度学习在人工智能各个领域中表现出的优越性能,越来越多的研究人员开始探索如何利用深度学习机制更好地解决医学图像处理问题[44-46]。Litjens等[47]针对深度学习方法在医学图像处理领域里各种不同任务中的应用进行了详细而深入的总结。基于深度学习方法处理医学图像是医学图像处理领域未来主要的发展趋势之一,将给计算机辅助式医疗带来崭新的前景。
医学图像分割是一个热点研究领域,近年来已取得了较大进展,相关研究人员对这一领域内的不同问题提出了大量的解决方法,这些方法均取得了不错的实验效果,但在实际应用中仍存在一些问题。尽管现有方法在处理实际问题时难以获得完全理想的效果,但这些方法对基于计算机视觉的医学图像处理技术的发展仍然起到了很大的推动作用。通过对现有方法的归纳和分析,我们总结了医学图像分割领域现存的挑战和未来发展趋势:
(1)尽管目前存在很多图像分割方法,但由于不同模态图像成像原理不同和医学图像本身的复杂性,现有方法通常只能处理某一种特定的图像,没有一种方法能对所有模态的图像进行自动、有效的分割。此外,现有方法在处理实验数据时能够得到较好的效果,但当处理复杂的实际医学临床数据时,仍然面临着一些困难。
(2)运用任何一种单一的分割方法都难以取得完全令人满意的分割效果,因此很多研究人员在不断提出新方法的同时,开始尝试将多种方法进行有效结合,来提高医学图像分割效果。但多种算法结合会导致分割过程的计算量和复杂度显著上升,因此如何平衡分割准确率和算法复杂度之间的关系,以及如何优化算法的性能仍是研究人员关注的问题。
(3)大量研究表明深度学习方法在人工智能各个领域中表现出了优越的性能,因此,将深度学习方法引入到医学图像处理领域中来处理各种实际的、复杂的医学临床数据,也将是未来的研究热点之一。
[1] Goel N,Yadav A,Singh BM.Medical image processing: A review[A].Computational Intelligence on Power, Energy and Controls with Their Impact on Humanity[C].2017:57-62.
[2] 江贵平,秦文健,周寿军,等.医学图像分割及其发展现状[J].计算机学报,2015,38(6):1222-1242.
[3] 姜枫,顾庆,郝慧珍,等.基于内容的图像分割方法综述[J].软件学报,2017,28(1):160-183.
[4] Zhang YJ.An overview of image and video segmentation in the last 40 years[J ].Adv Image Video Segment,2006:1-15.
[5] Niessen WJ,Vincken KL,Weickert J,et al.Multiscale segmentation of three-dimensional MR brain images[J].Int J Comput Vision,1999,31(2):185-202.
[6] 谢凤英,姜志国,周付根.基于数学形态学的免疫细胞图象分割[J].中国图象图形学报,2002,7(11):1119-1122.
[7] 方红萍,方康玲,刘新海.自适应H-minima 的改进分水岭堆叠细胞分割方法[J].计算机应用研究,2016,33(5):1587-1590.
[8] Bueno G,Musse O,Heitz F,et al.3D Watershed-based segmentation of internal structures within MR brain images[A].Medical Imaging International Society for Optics and Photonics[C].2000,3979:284-293.
[9] 王伏增,汪西原,宋佳乾.基于形态学滤波的标记分水岭脑肿瘤图像分割[J].宁夏大学学报:自然科学版,2017,38(1):27-32.
[10] Benson C,Lajish V,Rajamani K.Brain tumor extraction from MRI brain images using marker based watershed algorithm[A].Brain Tumor Extraction from MRI Brain Images Using Marker Based Watershed Algorithm.Advances in Computing,Communications and Informatics (ICACCI),2015 International Conference on.IEEE[C].2015:318-323.
[11] Pohle R,Toennies KD.Segmentation of medical images using adaptive region growing[J].Proc SPIE,2001,4322:1337-1346.
[12] 解立志,周明全,田沄,等.基于区域增长与局部自适应CV模型的脑血管分割[J].软件学报,2013,24(8):1927-1936.
[13] 李杰,陈国栋.基于改进区域生长算法的肝脏管道图像分割方法[J].中国医疗设备,2014,29(10):19-23.
[14] 王品,胡先玲,谢文宾,等.多尺度区域生长与去粘连模型的乳腺细胞分割[J].仪器仪表学报,2015,36(7):1653-1659.
[15] Yi J,Ra JB.A locally adaptive region growing algorithm for vascular segmentation[J].Int J Imag Syst Tech,2003,13(4):208-214.
[16] 杨卫莉,郭雷,许钟,等.基于区域生长和蚁群聚类的图像分割[J].计算机应用研究,2008,25(5):1579-1581.
[17] 黄建灯,陈庆全.基于支持向量机的红细胞彩色图像分割[J].计算机系统应用,2009,18(1):35-38.
[18] Adams R,Bischof L.Seeded region growing[A].IEEE Computer Society[C].1994.
[19] 李天钢,王素品.基于形态学方法的胃癌病理细胞图像的边缘检测[J].中国图象图形学报,2004,9(10):1234-1238.
[20] Bomans M,Hohne KH,Tiede U,et al.3-D segmentation of MR images of the head for 3-D display[J].IEEE T Med Imaging,1990,9(2):177-183.
[21] 廖祥云,袁志勇,郑奇,等.引入局部全局信息的区域自适应局域化快速活动轮廓模型[J].计算机学报,2016,39(7):1464-1476.
[22] 王元全,贾云得.一种新的心脏核磁共振图像分割方法[J].计算机学报, 2007,30(1):129-136.
[23] Ji L,Yan H.Attractable snakes based on the greedy algorithm f or contour extraction[J].Pattern Recogn,2002,35(4):791-806.
[24] 段侪杰,马竟锋,张艺宝,等.能量传导模型及在医学图像分割中的应用[J].软件学报,2009,5:1106-1115.
[2 5] Li C,Huang R,Ding Z,et al.A level set method for image segmentation in the presence of intens ity inhomogeneities with application to MRI[J].IEEE T Image Process,2011,20(7):2007-2016.
[26] 张明慧,卢振泰,张娟,等.基于多图谱活动轮廓模型的脑部图像分割[J].计算机学报,2016,39(7 ):1490-1500.
[27] 赵立川,高阳.基于改进自仿射映射系统与参数活动轮廓 的医学图像分割算法[J].计算机应用研究,2017,34(2):616-620.
[28] Mcinerney T,Terzopoulos D.Deformable models in medical image analysis: a survey[J].Med Image Anal,1996,1(2):91-108.
[29] Lankton S,Tannenbaum A.Localizing region-ba sed active contours[J].IEEE T Image Process,2008,17(11):2029-2039.
[30] Lee C,Huh S,Ketter TA,et al.Unsupervised connecti vity-based thresholding segmentation of midsagittal brain MR images[J].Comput Biol Med,1998,28(3):309-338.
[31] Gra bowski T,Frank R,Szumski N,et al.Validation of partial tissue segmentation of single-channel magnetic resonance images of the brain[J].Neuro Image,2000,12(6):640-656.
[32] Laidlaw DH,Fleischer KW,Barr AH.Partial-volume Bayesian classification of material mixtures in MR volume data using voxel histograms[J].IEEE T Image Process,1998,17(1):74-86.
[33] El-Baz A,Gimel’farb G,Kumar V,et al.3D joint Markov-Gibbs model for segmenting the blood vessels from MRA[A].IEEE International Conference on Symposium on Biomedica l Imaging: From Nano To Macro[C].New York :IEEE Press,2009:1366-1369.
[34] 杨俊,郑曲波,吴桂良,等.基于Metropolis-SA算法的脑部磁共振血管造影图像分割[J].生物医学工程与临床,2013,2:113-118.
[35] Hassouna MS,Farag AA,Hushek S,et al.Cerebrovascular segmentation from TOF using stocha stic models[J].Med Image,2006,10(1):2.
[36] Caldairou B,Passat N,Habas PA,et al.A non-local fuzzy segmentation meth od: application to brain MRI[J].Pattern Recogn,2011,44(9):1916-1927.
[37] Wang J,Kong J,Lu Y,et al.A modified FCM algorithm for M RI brain image segmentation using both local and non-local spatial constraints[J].Comput Med Imag Grap,2008,32(8):685-698.
[38] Kahali S,Adhikar i SK,Sing JK.A two-stage fuzzy multiobjective framework for segmentation of 3D MRI brain image data[J].Appl Soft Comput,2017,60:312-327.
[39] Wang Z,Song Q,Soh YC,et al.An adaptive spatial informationtheoretic fuzzy clustering algorithm for image segmentation[J].Computer Vis Image Und,2013,117(10):1412-1420.
[40] Adhikari SK,Sing JK,Basu D K,et al.Conditional spatial fuzzy C-means clustering algorithm for segmentation of MRI images[J].Appl Soft Comput,2015,34:758-769.
[41] Arora N,Pandey R.Noise adaptive FCM al gorithm for segmentation of MRI brain i mages using local and non-local spatial information[A].International Conference on Intelligent Systems Design and Applicati ons[C].2016.
[42] Lin KC,Yang MS,Liu HC,et al.Generalized Kohonen’s competitive learning algorithms for ophthalmological MR image segmentation[J].Magn Reson Imaging,2003,21(8):863-870.
[43] Kamnitsas K,Ledig C,Newcomb e VFJ,et al.Efficient multiscale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J].Med Image,2016,36:61.
[44] Andermatt S,Pezold S,Cattin P.Multi-dim ensional gated recurrent units for the segmentation of biomedical 3D-data[A].Deep Learning and Data Labeling for Medical Applications[M].Berlin:Springer Internati onal Publishing,2016.
[45] Brosch T,Tang LYW,Yoo Y,et al.Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation[J].IEEE T Med Imaging,2016,35(5):122 9-1239.
[46] Esteva A,Kuprel B,Novoa RA,et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature,2017,542(7639):115-118.
[47] Litjens G,Kooi T,Bejnordi BE,et al.A survey on deep learning in medical image analysis[J].Med Image,2017,42(9):60-88.