符尧,王俊峰,高琳,黄维维,袁萍
(1.四川大学计算机学院,成都 610065;2.西南科技大学计算机科学与技术学院,绵阳 621010; 3.四川大学华西医院,成都 610041;4.四川大学华西公共卫生学院,成都 610041)
基于ASM和GrabCut的DR图像肺实质分割
符尧1,王俊峰1,高琳2,黄维维3,袁萍4
(1.四川大学计算机学院,成都 610065;2.西南科技大学计算机科学与技术学院,绵阳 621010; 3.四川大学华西医院,成都 610041;4.四川大学华西公共卫生学院,成都 610041)
针对DR图像肺实质分割中分割精度与自动分割难以两全的情况,提出一种由粗到精的肺实质分割方法。该方法增强DR图像边界和组织的对比度;使用训练好的ASM模型匹配得到粗略肺部轮廓;使用模板匹配检测出左右肋膈角、左右心膈角和左右肺尖的实际位置,并根据该实际位置线性调整肺部轮廓;根据调整后的肺部轮廓作为GrabCut的目标输入,迭代分割,得到肺实质精确分割结果。通过对100张DR图像进行测试,分割重叠率达到97.8%,平均边界距离低至1.68。
肺实质分割;主动形变模型;模板检测;GrabCut
在当前的医学影像诊断方式中,数字X光照片(Digital Radiography,DR)最为流行,尤其是在肺部检查中。其不仅能够提供足够的诊断信息,如心脏大小、肺部形状、区域病变等信息,还具有辐射量小、廉价、数据存取便捷等优点[1]。
在基于后前位(Posterior-Anterior,PA)DR图像的计算机辅助诊断系统中,为了加快后续步骤的处理速度并提高病变区域的检出精度,肺实质分割是异常重要的首要步骤[2]。肺实质分割经历了手动分割、半手动分割到全自动分割的发展过程,但由于人体组织边缘成像的模糊性,自动分割难以得到理想的分割效果,精确分割依旧依赖于人工参与的交互式分割。如何实现精确地自动分割是当前研究的热点及难点[3]。
肺实质分割方法主要有基于规则方法、基于像素分类方法、形变法和混合方法[4]。但当前方法中,自动分割算法的分割精度较差,难以得到理想的分割结果,而交互式的分割算法由于有人工参与,人力成本较高,针对该问题,本文提出一种基于ASM和GrabCut的分割算法,实现肺实质的精确的自动分割,效果较好。
Van Ginneken等[5]通过在JSRT数据集上的实验,对主要几种肺实质分割算法进行了比较。其研究结果表明,对于后前位肺部DR片的分割,监督方法具有较高的灵活性和通用性,且结合形变模型和像素分类的混合方法分割效果最好。但在实际过程中,由于医学图像成像设备、拍摄者体型等差异,基于像素的分类难以找到一个合适的分类阈值,普适性不足。而基于形变的分割与训练模型有较大关系,若DR图像中存在肺部大小差异(拍摄者年龄、体型差异引起)、倾斜情况(成像时占位导致)、肺部面积缺失(大规模肺部病变),则形变模型难以得到良好的分割结果。
图割(Graph Cut)是一种基于图论的交互分割算法,已大量应用于图像分割领域。Sema Candemir[6]在美国国家医学图书馆的肯尼亚肺结核项目中提出了结合肺部模型和Graph Cut的肺实质分割算法。但Graph Cut则需要人工交互分割,无法满足自动分割的要求。
因此本文提出一种基于ASM和GrabCut的肺实质分割算法,在得到ASM模型的基础上,通过模板检测获取肋膈角等关键组织的实际位置,调整ASM得到的肺部轮廓,再作为GrabCut的目标输入,最后得到肺实质精确分割结果。
2.1 本文方法概要
为了实现DR片中肺实质的精确自动分割,本文提出了一种由粗到精的分割方法,系统框图如图1所示。对于输入的DR片,首先使用直方图均衡化和高斯滤波增强图像的对比度,突出肋膈角等局部组织细节;再利用已训练好的ASM模型,获得粗略的肺实质轮廓;然后使用模板检测,检测出左右肋膈角、左右心膈角和左右肺尖的实际位置,并根据获取到该坐标调整粗略轮廓;最后,把调整后的肺部轮廓作为GrabCut的目标,其余作为背景,精确分割肺实质。实验证明,本文的方法具有良好的分割效果。
图1 系统框图
2.2 DR片预处理
考虑到后续的检测步骤,存在模板检测和GrabCut分割,而这些步骤与图像的对比度有直接关系,因此在检测之前,首先增强DR图像。
本文首先使用直方图均衡化加强图像的对比度[7]。同时考虑到GrabCut中的目标和背景是以高斯混合模型(Gaussian Mixture Model,GMM)的高斯分量作为分割的权值,来实现分割,因此采用高斯滤波来去除高斯噪声。
预处理结果如图2所示,其中图A为原始图像,图a为原始图像的直方图,图B为预处理后的图像,图b为处理后图像的直方图。
图2 预处理结果
2.3 ASM获取粗略肺部轮廓
Cootes等[8]提出的ASM是一种基于点分布模型(Point Distribution Model,PDM)的算法,其通过若干关键点(landmarks)的坐标依次串联成一个形状变量,用以表示对象的形状。本文使用ASM寻找粗略的肺部轮廓,实验由模型训练和模型匹配组成。
2.4 模型训练
为了得到普适的肺部模型,本文训练数据由JSRT公开数据集和华西数据集组成。JSRT公开数据集的标注信息来源于van Ginneken主页提供的标记坐标,共246张有标记数据的DR片。而华西数据集由我们完成肺部轮廓标注,共标记完成200张DR胸片,含正常和异常的DR胸片。
然后根据肺部轮廓标记坐标和DR片,训练得到ASM模型。
2.5 模型匹配
读取ASM模型,并输入DR片,得到肺部粗略轮廓,粗略肺部轮廓如图3所示。显然,仅通过ASM,肺部轮廓的左右肺尖、左心膈角处的轮廓与实际肺部轮廓有较大差距。
2.6 基于模板匹配调整肺部轮廓
在肺部的组织结构中,轮廓可根据左右肺尖、左右肋膈角和左右心膈角来定位[9],故本文首先提取左右肺尖、左右肋膈角和左右心膈角的模板图像,然后在输入DR片中搜查模板,作为轮廓调整的基准。
图3 ASM获取粗略肺部轮廓
为了减少模板匹配的运算量,加快运算速度,同时减少误检出的概率,本文根据ASM获取的粗略轮廓,在粗略轮廓的肋膈角等周围(200×200范围)匹配模板,以获取肋膈角等的精确位置。
在ASM粗略轮廓基础上匹配出的结果如图4所示,其中A为左肋膈角,B为左心膈角,C为左肺尖,D为右肋膈角,E为右心膈角,F为右肺尖。
图4 模板检测结果
在得到肺部关键组织的坐标和肺部粗略轮廓的基础上,本文提出一种线性的肺部轮廓调整算法。以图5所示,具体为:
计算系数。图5中曲线ab为ASM得到的粗略轮廓,点A为模板匹配得到的心膈角坐标,点B为模板匹配得到的肋膈角坐标,因此可得直线AB和直线ab。定义水平系数(LFactor)和垂直系数分布(VFactor)为:
(2)轮廓调整。
对于ASM中的每个点(P),其水平坐标调整公式为:
垂直调整公式为:
其中Px、Py为点P的横坐标和纵坐标。
图5中曲线AB为调整后的肺部轮廓示例。
图5 轮廓调整
(3)GrabCut精确分割
GrabCut[10]作为Graph Cut的改进,是一种高效、交互式的目标/背景分割算法,该算法在图割的基础上,使用强约束和弱约束,结合纹理和边界信息寻找全局最优。其中强约束指仅包含目标和背景的像素群,弱约束则包括边界和区域信息。
对于一张有n个像素的给定图像,需要找出f,其中f定义为:
其中xi为像素坐标。
在得到目标和背景GMM的Gibbs能力的基础上,建立图,然后通过max flow/min cut进行分割。
根据GrabCut的算法流程以及前面得到的调整后的肺部轮廓,分割算法如下:
①设定边框。根据调整后的肺部轮廓,去框含整个轮廓,然后外围扩展(50像素),得到GrabCut的外围框。
②迭代分割。设定调整后偶肺部轮廓的内部为目标,其余为背景,迭代分割,直至满足③中的终止条件。
③终止。当GrabCut分割结果与调整后的肺部轮廓满足以下条件:
其中覆盖率(OLR)为GrabCut分割结果与调整轮廓内部的重叠面积(S0)与调整轮廓内部面积(S)的比值,若OLR大于95%则终止迭代,得到精确的肺实质。终止条件95%是一个经验值。
图6为GrabCut分割结果,对比图3的ASM结果,在左心膈角、左右肺尖处有了良好的改善。
图6 GrabCut分割结果
本文实验使用的数据集来源于十二五重大传染病国家科技重大专项,该项目完成了30万人的健康筛查,其中约20万人拍摄了DR胸片。拍摄的DR胸片通过乡镇卫生院放射科医师、区县CDC结核专家、四川大学华西医院结核专家三级诊断,筛查出疑似活动性肺结核的DR片,最后,四川大学华西医院结核专家在疑似活动性肺结核DR片上标注出病变区域。
本文挑选了300张活动性肺结核DR片作为实验材料。该批DR胸片全为后前位(PA位)拍摄的,拍摄者为20~60岁之间的体检者,DR片的图像格式为JPEG,位深度为8,尺寸不完全规则,在2000×2000像素到2500×2500像素之间,像素间的物理尺寸为0.14mm。
训练ASM模型时,选用了JSRT数据集和200张本文数据集中的DR片。
本文在VS 2010和OpenCV 2.3下实现了该算法。结果如前所示,可知,对于每个人肺部形状不一致、拍摄角度倾斜等问题导致的分割不准确问题,本文跳出普通ASM形变模型调整的思路,使用GrabCut精确分割,得到良好的分割效果。同时由于对肋膈角等组织的模板检测,在肺部边缘的分割效果较好。
为了进一步验证本文算法的性能,本文实现了van Ginneken的经典ASM算法和Sema Candemir基于Graph Cut的肺实质分割算法,采用重叠率(Ω)和平均轮廓距离(ACD)来评价分割结果,具体定义为:
其中TP为正确分割的区域;FP被分割为目标,但实际是背景的区域;FN为被分割为背景,但实际是目标的区域。
对于平均轮廓距离,假设有轮廓A(假设为分割后的轮廓)和轮廓B(假设为原始轮廓),对于轮廓A上的每一点(假设轮廓是有一些离散点组成),ACD为轮廓A上的每一点到轮廓B的最短距离的均值。
表1 三种算法分割结果
分割结果如表1所示。相比于经典的ASM算法[5]和Graph Cut算法[6],本文算法具有较高的分割准确率。
针对DR图像肺实质分割中,基于模型分割对于异常角度拍摄者分割效果较差,基于交互式分割成本过高等缺陷,本文提出一种结合ASM和GrabCut的分割算法,在结合基于先验知识的形变分割基础上,自动地分割肺实质,具有良好的效果。和已有的方法比较,本文方法具有更高的普适性和进度。
后续的研究主要集中在:算法运行速度的优化;进一步提高分割的准确度等工作上。
[1] Suwatanapongched Thitiporn,Gierada David S,Slone Richard Metal.Variation in Diaphragm Position and Shape in AdultsWith Normal Pulmonary Function[J].CHEST,2003,123:2019~2027
[2] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a Digital Image Database for Chest Radiographs with and Without a Lung Nodule:Receiver Operating Characteristic Analysis of Radiologists'Detection of Pulmonary Nodules.AJR American Journal of Roentgenology[J].2000:174:71~4
[3] Stefan Jaeger,Alexandros Karargyris,Sema Candemir et al.Automatic screening for Tuberculosis in Chest Radiographs a Survey[J]. Quant Imaging Med Surg,2013,2:89~99
[4] van Ginneken B,ter Haar Romeny BM,et al.Computeraided Diagnosis in Chest Radiography:a Survey[J].IEEE Transactions on Medical Imaging,2001:20:1228~41
[5] Van Ginneken B,Stegmann MB,Loog M.Segmentation of Anatomical Structures in Chest Radiographs Using Supervised Methods:a Comparative Study on a Public Database[C].Med.Image Anal.2006:10:19~40
[6] Candemir S,Jaeger S,Palaniappan K,Antani SK,Thoma GR.Graph Cut Based Automatic Lung Boundary Detection in Chest Radiographs[C].1st Annual IEEE Healthcare Innovation Conference of the IEEE EMBSHouston,Texas USA,7~9 November,2012:31~34
[7] Sherrier RH,Johnson GA.Regionally Adaptive Histogram Equalization of the Chest.IEEE Trans Med Imaging[J],1987:6:1~7
[8] Cootes TF,Taylor CJ,Cooper DH,et al.Active Shape Models~Their Training and App lication[J].Computer Vision and Image Understanding.1995:61:38~59
[9] Sha Sha,Chen Jianer,Luo Sanding.A Fast Matching Algorithm Based on K-degree Template[C].Computer Science&Education, 2009.ICCSE'09.4th International Conference on 2009:1967~1971
[10] Shoudong Han,Wenbing Tao,DeshengWang et al.Image Segmentation Based on GrabCut Framework Integrating Multiscale Nonlinear Structure Tensor[J].Image Processing,IEEE Transactions on,2009,18:2289~2302
Lung Field Segmentation Based on ASM and GrabCut on DR Image
FU Yao1,WANG Jun-feng1,GAO Lin2,HUANGWei-wei3,YUAN Ping4
(1.College of Computer Science,Sichuan University,Chengdu 610065; 2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010;3.West China Hospital,Sichuan University,Chengdu 610041; 4.West China School of Public Health,Sichuan University,Chengdu 610041)
In order to improve accuracy and ensure automatic segmentation at the same time on DR image,presents a novel segmentation scheme for lung field segmentation.Improves the contrast at the lung boundary and on tissue surface.Trains active shapemodel to fit the lung contour to output coarse lung contour.Then obtains actual landmarks of apex pulmonis,costophrenic angle cardiodiaphragmatic angle according to templatematching,and adjust lung contour with these actual landmarks.Based on the adjusted lung mask,proposes GrabCut to iterate segment lung field accurately.Applies the proposed approach for the analysis of 100 DRs,and the results show that be able to get overlap greater than 97.8%and mean absolute contour distance less than 1.68,and the approach provides a reliable lung segmentation scheme on DR images.
LungField Segmentation;Active Shape Model(ASM);Template Matching;GrabCut
1007-1423(2015)06-0025-06
10.3969/j.issn.1007-1423.2015.06.006
符尧(1990-),男,重庆人,硕士,研究方向为数据挖掘与医学图像处理
王俊峰(1976-),男,安徽芜湖人,博士后,教授,研究方向为信息安全、空间信息网、医学信息化
高琳(1976-),男,湖北襄阳人,博士,讲师,CCF会员(E200018294M),研究方向为图像处理、模式识别
黄维维(1982-),女,四川资阳人,本科,主治医师,研究方向为呼吸与结核病学
袁萍(1960-),女,山西人,博士,教授,研究方向为疾病预防与控制
2015-01-13
2015-02-10
国家科技重大专项(No.2012ZX10004-901001)、四川省科技支撑计划项目(No.2013SZ002、No.2014SZ0109)