窦乐昕,刘惠
大连理工大学 生物医学工程系,辽宁大连 116024
基于纹理特征的肝硬化MRI分期
窦乐昕,刘惠
大连理工大学 生物医学工程系,辽宁大连 116024
借助MRI影像的计算机辅助诊断已逐渐被应用于肝硬化分期研究中。为了提高分期的准确率,本文基于MR8滤波器组的纹理特征提取对肝硬化MRI分期,构建了一个适用于肝硬化MRI的T1、T2、动脉期、门静脉期和平衡期五种序列图像的分期系统。MR8滤波器组具有响应维度低和旋转不变性等优点,因此,本文利用MR8纹理特征构建纹理基元统计直方图将肝硬化分为三个阶段,分别为正常、早期和中晚期。与经典的灰度共生矩阵(GLCM)的纹理特征提取方法相比,MR8滤波器组纹理特征对每一序列肝硬化的分期准确率均高于GLCM方法,其中T2和平衡期,三个阶段的ROI分期准确率均达到100%;在此基础上,将五个序列的分类结果进行融合,最终病例的分期准确率也达到100%。
MR8滤波器组;肝硬化MRI;纹理基元统计直方图;灰度共生矩阵
纹理是图像的一种重要特征,是图像的灰度统计信息、空间分布信息和结构信息的综合反映[1],反映的是图像中同质现象的视觉特征,能够体现物体表面的内在属性,同时也包含物体表面结构组织排列的重要信息以及它们与周围环境的联系[2]。基于此,纹理被认为是几乎所有图像的表面特性。近几年,纹理分析在图像分析、纹理图像分类[3-4]中应用广泛。纹理特征提取和分类是纹理分析的重要研究内容,在模式识别和计算机视觉领域中占有重要的地位。纹理分类中考虑的是图像中一个区域内的纹理,而这区域内的纹理不仅描述了特定像素,同时也描述了这一像素和周围像素之间的关系。纹理分类的基本内容为利用纹理特征提取方法获得纹理特征,利用合适的分类器进行分类。
近30年来,诸多学者提出了不同的纹理特征提取和分类方法,可总结为3类[5]:① 统计的方法:由于图像灰度不同,通过统计图像灰度级的阶数,能够对图像进行分类识别,较为典型的是Haralick等[6]在1973年提出的基于灰度共生矩阵(Gray Level Co-occurrence Matrix,GLCM)的纹理特征提取方法。GLCM是指在θ方向上,相隔为d个像素的一对像素为灰度级i和j的概率。显然,GLCM是距离和方向的函数,是一个对称矩阵,由图像中的灰度级决定[2]。GLCM的纹理特征是在GLCM的基础上,推导出的一系列可以代表图像纹理特征的参数,其中最为经典的为14种纹理特征,角二阶矩、对比度、逆差矩、和平均、相关性、和方差、方差、互信息度量、和熵、差平均、熵、差熵、最大相关系数1和2。由于GLCM能够很好地反映图像的空间灰度分布情况,并且不受分析图像的约束,充分的体现了图像的纹理特征,所以得到了广泛应用[4]。基于GLCM特征的神经网络分类是较常用的纹理分类方法,但是GLCM纹理特征提取时需要事先做出假设,包括角度和步长,这会使得提取的特征失去图像的部分信息。而且使用神经网络分类器时,需要一定量的数据才能训练出较好的分类模型;② 基于模型的方法:其原理是基于随机场中的概率分布情况来描述图像的纹理特征,常用的随机场包括马尔科夫链[7]和马尔可夫随机场(Markov Random Fields,MRFs)[8-9],其中MRFs用的较多;③ 信号处理方法:信号处理即滤波,这类方法首先对纹理图像进行滤波,通过分析滤波图像的特征来进行纹理分析。最初提取特征用得较多的是Gabor滤波器,小波分析滤波器等等。信号处理方法关键在于滤波器的选择,近十几年来,Leung and Malik[10]提出的LM滤波器、Schmid[11-13]提出的S滤波器和Varma等[14-16]提出的MR8滤波器是较为常用的滤波器组。实验表明这三种滤波器组中分类效果较好的是MR8滤波器组[3,14-15]。
纹理分析算法目前已被应用在纹理图像的标准数据库如Columbia-Utrecht(CUReT)数据库或者UIUC数据库中,已较为成熟。考虑到不同肝硬化MRI图像呈现的特定纹理表现,本文利用纹理分析中的滤波器方法对肝硬化MRI进行分类判别。标准数据库中纹理图像的大小一般为200×200(像素),本文用到的肝硬化的感兴趣区域(Region of Interest,ROI)较小,本文通过调整MR8滤波器的参数来构建适用于肝硬化MRI的纹理分期系统。
本文所构建的肝硬化分期系统由五部分组成,分别是ROI提取、MR8特征提取、构建纹理基元、构建纹理基元统计直方图及统计直方图匹配。利用该系统对肝硬化MRI分期,该方法易于理解,分期效果良好。
1.1 材料
本文中所用到的数据均来自大连医科大学第二附属医院放射科,共55例。肝硬化MRI包含了五种序列,分别为T1、T2、动脉期、门静脉期和平衡期(表1)。
表1 肝硬化数据
1.2 基于MR8滤波器组纹理特征肝硬化分期系统
最近十几年,纹理特征提取中应用较为广泛的是基于MR8滤波器组的纹理特征提取算法,该算法常被用于标准纹理数据库的分类中。本文将MR8滤波器组的纹理特征提取方法应用在肝硬化中。肝硬化MRI与标准纹理数据库中的数据相比图像大小较小,因此滤波器的选择和参数调整至关重要。MR8滤波器组由38个滤波器组成,其中包括2个各向同性滤波器分别为高斯(Gauss)滤波器和拉普拉斯高斯(Laplace of Gaussian,LOG)滤波器,这两个滤波器同在σ=10的尺度上;还包括36个各向异性滤波器,由6个方向3个尺度分别为(σ,σ)={(1,3),(2,6),(4,12)}的一阶微分高斯滤波器和分割微分高斯滤波器组成见图1。其中,Gauss滤波器和LOG滤波器的响应直接应用,而一阶分割和一阶微分高斯滤波器则分别选取6个方向上最大的滤波器响应值作为最终的响应,共包含8个响应。这样的滤波器组响应维度很小且具有旋转不变性。
图1 MR8滤波器组成
传统的旋转不变性滤波器难以对具有方向性的纹理图像产生较强响应,而MR8滤波器组因同时包含各向同性和各向异性滤波器,克服了这一缺陷,而且MR8滤波器组只有8维响应维度,能够省去特征选择,大大降低了计算复杂度[15]。
基于MR8滤波器组的肝硬化MRI分期算法主要包括以下几个部分:ROI的提取、滤波器的生成和特征提取、训练数据构建纹理字典、训练数据构建纹理基元统计直方图模型、测试数据构建纹理基元统计直方图模型、统计直方图匹配。算法流程见图2。
1.2.1 ROI提取
ROI是指具有明显病变的影像区域,ROI提取是指从正常器官或组织结构中提取可疑的病变部位或可以代表整个器官组织病变的部分,ROI中不能包括影响之后特征提取和分期等操作的其他组织,其质量直接影响特征提取和分期结果。由于肝硬化具有弥散性,在提取ROI时要避开较大的血管同时避免明显病灶以及肝脏的边缘以确保提取出的ROI质地均匀。此外,ROI的尺寸对纹理分析的结果也会产生影响。在保证不重复提取、ROI的数量尽量多,同时尽可能保持肝硬化组织完整性的条件下,根据影像中均匀肝硬化组织面积的来调整ROI的尺寸,本文中所选定的ROI的尺寸为30×30(像素)。在实验中,首先选取包含病灶区域的MRI,手动分割出30×30(像素)大小的区域作为ROI,同一幅MRI中提取多个ROI。图3为中晚期肝硬化MRI的ROI分割示意图,白色框中的部分为分割得到的ROI,由图可知,选取的ROI内肝脏实质比较均匀,同时也避开了较大的血管、明显的病灶组织及肝脏边缘。
图2 算法框架
图3 中晚期肝硬化提取ROI示意图
1.2.2 滤波器生成与特征提取
在提取纹理特征之前,需要对ROI进行预处理,即将ROI标准化为均值为1方差为0的图像。ROI标准化之后,生成MR8滤波器组并利用L1范数对滤波器进行标准化,具体来说,每一个滤波器Fi都与||Fi||1相除,这样保证每一个滤波器为单位L1范数。
将标准化后的滤波器应用在每一个ROI上,得到ROI每个像素X的响应。依据Malik等[10]提出的算法,用式(1)对每一个像素X的滤波器响应进行韦伯定律标准化。
F(X)←F(X)[log(1+L(X)/0.03)]/L(X) (1)
其中,L(X) = ||F(X)||2是像素X处的滤波器响应强度。
1.2.3 训练数据构建纹理字典
训练数据采用标准化的MR8滤波器组进行滤波,产生每一类所有训练数据的MR8滤波器的响应,用韦伯定律对滤波器的响应进行标准化。每一类数据获得的MR8纹理特征用标准的k均值算法(k-means)聚类为10个纹理基元,将每一类得到的纹理基元合并到一起得到纹理字典。本文中,将肝硬化MRI分为3个阶段,即正常、早期和中晚期,这样得到的纹理特征字典中含有30个纹理基元。
1.2.4训练纹理基元统计直方图模型
训练数据构建纹理特征字典之后,利用最近邻算法对每一类中每一训练数据获得的MR8特征与纹理特征字典中的基元进行一一对应匹配计算,统计每一个训练ROI的纹理基元统计直方图模型。本文中,一共有三类数据,假设三类分别有n1,n2,n3个训练数据,最终这三类将分别训练出n1,n2,n3个纹理基元统计直方图模型。
1.2.5 测试纹理基元统计直方图模型
测试ROI得到的MR8特征用最近邻算法与纹理特征字典进行一一对应计算,获得每个测试ROI的纹理基元统计直方图模型。
1.2.6 统计直方图匹配
每一个测试ROI获得一个纹理基元统计直方图模型,将这个测试模型和训练纹理基元统计直方图模型进行匹配,统计直方图匹配时用式(2)计算χ2距离。
计算测试纹理基元统计直方图和所有训练纹理基元统计直方图的距离,距离最近的统计直方图记为最终的ROI分期结果。
本文利用MATLAB R2010a进行了基于MR8滤波器组纹理特征肝硬化分期的实验并与基于GLCM纹理特征的神经网络的分期进行了对比。
肝硬化MRI图像分为T1、T2、动脉期、门静脉期和平衡期五个序列,本文对这五个序列分别进行了实验。以T1序列为例,T1序列共有470个ROI用来分期,其中包括142个正常的ROI,93个早期的ROI和235个中晚期的ROI。利用五倍交叉验证将T1序列的ROI分成训练数据和测试数据,以其中一次实验为例,训练数据中包括114个正常ROI、75个早期ROI和188个中晚期ROI,测试数据中包括28个正常ROI、18个早期ROI和47个中晚期ROI。首先本文对每个标准化后的ROI进行MR8特征提取,并用韦伯定律进行标准化;第二,对正常、早期和中晚期每一类训练数据的MR8纹理特征进行k-均值聚类,获得每一类的10个纹理基元,之后将每一类的10个纹理基元合为一个纹理基元字典;第三,利用最近邻算法将每一类训练数据的MR8纹理特征和纹理基元字典进行距离匹配,获得训练数据的纹理基元统计直方图;第四,同样利用最近邻算法将测试数据的MR8纹理特征和纹理基元字典进行距离计算,得到测试数据的纹理基元统计直方图;第五,利用χ2距离将测试数据的纹理基元统计直方图和所有训练纹理基元统计直方图进行匹配,获得距离最近的统计直方图模型,此模型所属类别记为最终的分期阶段;最终得到T1序列的分期结果。
对其余4个序列,也进行同样的分期实验。实验中仅对MR8滤波器的大小、k-均值聚类的相似度度量方式与聚类数目和最近邻算法的相似度度量方式等参数进行调整,以得到最优分期效果。
使用表1数据,分别用本文方法及基于GLCM纹理特征的神经网络分期方法进行实验。两种方法均采用五倍交叉验证方式。最终实验结果见表2。
表2 分期准确率表
由表2知,本文方法对肝硬化MRI五个序列的分期效果均较为理想。从序列角度看,T1、T2、动脉期、门静脉期每一类的分期准确率均达到96%以上。其中T2和平衡期序列,正常、早期和中晚期的分期准确率均达到了100%。从每一期的分期效果看,正常MRI分期效果优于早期和中晚期肝硬化,五个序列均为100%。早期病变除T1和门静脉期的分期准确率分别为98.89%和97.5%之外,其余序列的分期准确率均为100%;中晚期的肝硬化,T1、T2、门静脉期和平衡期的分期准确率均为100%,动脉期分期准确率为96.76%。
与基于GLCM纹理特征的神经网络方法相比,本文方法的效果均GLCM方法。尤其是早期病变,本文方法的准确率均为97%以上,而GLCM的最高准确率仅为55.74%,平均准确率仅为51.67%。总的来说,本文方法分期准确率高,且明显优于传统GLCM方法。在此基础上,将ROI层面的分期结果推广到病例层面,利用五倍交叉验证,融合每一个病例的五种序列的分期结果,按照少数服从多数的原则,得到每个病例的最终分期结果。该方法比较符合真实的医师阅片过程。同时,用同样的方法对GLCM方法进行实验,最终得到的病例实验分期准确率对比见表3。
表3 病例实验分期准确率对比表
利用5个序列的分期结果,虽然在ROI层面上,五种序列的结果没有完全达到100%,但是整合每个病例5个序列的结果后,病例分期的整体准确率达到了100%,证明了本文算法在临床肝硬化的分析中的可行性和有效性。而基于GLCM的神经网络的方法在病例层面也没有达到本文算法的效果,尤其是早期肝硬化的病例准确率仅为53.84%。
从实验复杂度的角度分析,GLCM纹理特征提取时需要事先做出角度和步长等假设,容易丢失图像的特征;而基于MR8滤波器组的特征提取只需要设定滤波器的大小,不会丢失图像的特征;且基于MR8滤波器组的特征响应维度只有8维,不需要特征选择就能得到很好的结果,而GLCM特征提取特征维度通常为56维,这其中必然有冗余的特征,而进行特征选择会导致实验变得更加复杂,同时舍弃部分特征可能对分期的结果产生影响。此外,本文没有应用复杂的分期器,只用简单的统计直方图匹配算法就得到了较好的结果,大大减短了实验时长。因此,对于肝硬化MRI,基于MR8滤波器组的特征提取与GLCM纹理特征提取相比更加适用。
本文利用MR8滤波器组特征提取训练统计直方图的方法分别将肝硬化MRI五个序列即T1、T2、动脉期、门静脉期和平衡期的图像分成正常、早期、中晚期三个阶段。从肝硬化的分期结果可知,基于MR8滤波器组的方法的分期准确率要明显优于经典的基于GLCM纹理特征的神经网络分期。整合病例的分期结果,本文方法病例的分期准确率达到了100%,优于经典的GLCM方法。从实验复杂度的角度,本文方法与GLCM方法相比,实验复杂度更小、耗时更少,且图像完整性更好。因此,本文方法的可行性更好,准确率更高,具有较高的临床应用价值。
在下一步的实验中,基于MR8滤波器组的方法在ROI分期层面准确率还有待提高,未来将调整实验参数以得到更好的结果。此外计划将本方法推广到其他的肝硬化,如肝纤维化等临床疾病中,以进一步提升基于MR8滤波器组的特征提取分期方法的适用性。
[1] 霍玉洪,刘云.稀疏纹理分类的研究[J].合肥工业大学学报:自然科学版,2008,31(6):992-994.
[2] 刘延彤,李茂星,叶建军.计算机辅助诊断在医学影像诊断中的新进展[J].西北国防医学杂志,2006,27(6):450-451.
[3] Xie J,Zhang L,You J,et al.Effective texture classification by texton encoding induced statistical features[J].Pattern Recogni,2015,48(2):447-457.
[4] Bastidas-Rodriguez MX,Prieto-Ortiz FA,Espejo E.Fractographic classification in metallic materials by using computer vision[J].Eng Fail Anal,2016,59:237-252.
[5] Kim KI,Jung K,Park SH,et al.Support vector machines for texture classification[J].IEEE T Pattern Anal,2002,24(11):1542-1550.
[6] Haralick RM,Shanmugam K,Dinstein I.Textural Features for Image Classification[J].IEEE T Syst Man Cy-S,1973,smc-3(6):610-621.
[7] Dharmagunawardhana C,Mahmoodi S,Bennett M,et al.Rotation invariant texture descriptors based on Gaussian Markov random fields for classification [J].Pattern Recogn Lett,2015,69:15-21.
[8] Li W,Prasad S,Fowler JE.Hyperspectral Image Classification Using Gaussian Mixture Models and Markov Random Fields[J].IEEE T Geosci Remote,2014,11(1):153-157.
[9] Sun L,Wu Z,Liu J,et al.Supervised Spectral-Spatial Hyperspectral Image Classification With Weighted Markov Random Fields[J]. IEEE T Geosci Remote,2015,53(3):1490-1503.
[10] Leung T,Malik J.Representing and Recognizing the Visual Appearance of Materials using Three-dimensional Textons[J].Int J Comput Vision,2001,43(1):29-44.
[11] Lazebnik S,Schmid C,Ponce J.Affine-invariant local descriptors and neighborhood statistics for texture recognition[J].IEEE International Conference on Computer Vision,2003,1:649-655.
[12] Schmid C.Constructing models for content-based image retrieval[J].IEEE Computer Society Conference on Computer Vision,2001,2(4):II-39-II-45vol.2
[13] Lazebnik S,Schmid C,Ponce J.A sparse texture representation using local affine regions[J].IEEE T Pattern Anal,2005,27(8):319.
[14] Varma M,Zisserman A.A Statistical Approach to Texture Classification from Single Images[J].Int J Comput Vision,2005,62(1-2):61-81.
[15] Varma M,Zisserman A.A Statistical Approach to Material Classification Using Image Patch Exemplars[J].IEEE T Pattern Anal,2009,31(11):2032-2047.
[16] Varma M,Garg R.Locally Invariant Fractal Features for Statistical Texture Classification[J].Proceedings,2007:1-8.
Application of MRI in Cirrhosis Staging Based on Texture Features
DOU Le-xin, LIU Hui
Department of Biomedical Engineering, Dalian University of Technology, Dalian Liaoning 116024, China
Computer aided diagnosis by means of MRI (Magnetic Resonance Imaging) has been gradually used in staging of cirrhosis. In this paper, MRI is applied in staging of cirrhosis based on MR8 filter banks. A staging system that applies to five sequences of liver MRI, including T1-weighted, T2-weighted, arterial phase, portal venous phase and equilibrium phase, is structured to improve staging accuracy. A significant advantage of MR8 filter banks is the rotation invariance. Therefore, MR8 filter banks are used to extract texture features and to construct statistical histogram of texton. The statistical histograms are then used to separate the MRI sequences into three stages: normal, early stage and the middle and advanced stage. The experimental results show that the method employed in this paper has an excellent performance of accuracy compared with the classic GLCM (Gray Level Co-occurrence Matrix) method. Especially in T2-weighted sequence and equilibrium phase sequence, the ROI in three stages of both sequences appears a 100% accuracy. On this basis, the ROI results of the five sequences are integrated into the final case accuracy results, which is also 100%.
MR8 filter bank; cirrhosis MRI; statistical histogram of texton; gray level co-occurrence matrix
R445.2;R575.2
A
10.3969/j.issn.1674-1633.2016.08.005
1674-1633(2016)08-0021-05
2016-08-09
国家自然科学基金(61003175和81071127);中央高校基本科研专项基金;山东省自然科学基金(ZR2014FM001);山东省泰山学者计划(TSHW201502038)。
刘惠,副教授,研究方向:医学图像处理,模式识别。
通讯作者邮箱:liuhui@dlut.edu.cn