基于Local Jet变换空间纹理特征的肺结节分类方法

代美玲 祁 瑾,3 周仲兴,2 高 峰,2#*

1(天津大学精密仪器与光电子工程学院，天津 300072)2(天津市生物医学检测技术与仪器重点实验室, 天津 300072)3(天津医科大学附属肿瘤医院, 天津 300060)

基于Local Jet变换空间纹理特征的肺结节分类方法

代美玲1祁 瑾1,3周仲兴1,2高 峰1,2#*

1(天津大学精密仪器与光电子工程学院，天津 300072)2(天津市生物医学检测技术与仪器重点实验室, 天津 300072)3(天津医科大学附属肿瘤医院, 天津 300060)

为了在纹理特征下改善肺结节良、恶性的模式识别，提出一种基于local jet变换空间的纹理特征提取方法。首先利用二维高斯函数的前三阶偏微分函数将结节原图像变换到local jet纹理图像空间，然后利用纹理描述子在该空间提取特征参数。以灰度值的前四阶矩和基于灰度共生矩阵的特征参数作为纹理描述子，分别提取结节原图像和变换后纹理图像的特征参数，以BP神经网络作为分类器，对同一纹理描述子下的2个不同图像空间的经核主成分分析优化后的特征参数集进行结节良、恶性分类。以157个肺结节(51个良性，106个恶性)作为实验数据进行对比实验，结果显示：两种纹理描述子基于local jet变换空间提取的特征参数分别获得82.69%和86.54%的分类正确率，较原图像空间提高6%～8%，同时AUC值提高约10%。实验结果表明，基于local jet变换空间提取的纹理特征可以有效地改善肺结节良、恶性的模式识别。

肺结节；local jet空间变换；纹理特征；模式识别

引言

Local jet 空间变换可以看成能够区分视觉图像直线、边缘、方向和曲率的人类大脑皮层接收区的模型[1]，它通过二维高斯函数的偏微分函数分解图像以强调纹理模式中不同层次上的几何特征，如区域平坦性、方向变化以及图像的凹凸性[2]。local jet空间变换已广泛应用于图像检索、图像分类以及图像表达中，例如：Schmid和Mohr利用局部灰度值不变量从大型数据库中检索目标图像[3]，Crosier和Griffin利用local jet变换方法进行图像纹理分类任务[4]，Manzanera对local jet空间变换在非局部均值视频滤波、光流估计以及背景消除方面展开了应用研究[5]。近年来，local jet空间变换也逐渐被用于医学图像分析，Hogeweg等人利用local jet空间变换对胸部X线肺结核图像进行局部纹理分析以获得纹理特征参数[6]，Martinez等人利用以多尺度local jet变换函数为似然函数的贝叶斯公式来定位锥束CT图像中的前列腺位置,以指导放射治疗计划[7]。

纹理特征是肺结节良、恶性分析的一个重要线索。肺结节的CT图像是根据肺结节朝各个方向不规则生长的程度，进而造成各方向对X射线不同的吸收和透射程度转换成灰度值的表示，它仅仅提供了像素的灰度值大小和位置信息。因此，基于肺结节CT图像提取纹理特征参数的方法，主要有灰度统计矩[8]和灰度共生矩阵(GLCM)方法[9-11]，对于分析肺结节的良、恶性存在一定的局限性。为了能够改善纹理特征下结节的良、恶性模式识别，本研究将local jet变换引入到肺结节纹理特征的提取中。利用二维高斯函数的前三阶偏微分函数将结节原图像变换到local jet纹理图像空间，生成的6幅结节纹理图像分别反映了像素与其邻域的关系(平面性)、像素在不同方向上的变化以及像素在局部区域的变化。在此空间利用相同的特征提取方法[8-11]提取的特征参数可以包含更多的关于结节良、恶性的信息且鲁棒性好，从而可以改善其纹理模式识别。

本研究以157个实性肺结节(包含51个良性结节)作为实验样本，利用灰度值的前四阶矩和基于GLCM的特征参数作为纹理描述子，分别对结节原图像和变换后的local jet纹理图像进行特征参数提取。对得到的4个纹理特征参数集首先进行核主成分分析(KPCA)，然后以BP神经网络作为分类器对同一纹理描述子下的2个特征参数集进行肺结节良、恶性的识别，以验证基于local jet空间提取的纹理特征对肺结节良、恶性模式识别的改善。

1 材料与方法

1.1 材料

本次实验所用肺部CT图像均来源于天津医科大学附属肿瘤医院，图像大小为512像素×512像素，层厚为1.3 mm，结节直径大小为5 mm～3 cm。目前，共收集到136位具有实性肺结节活检结果的患者肺部CT图像序列。由医师从每位患者的带有肺结节的CT图像序列中抽取1～2张具有代表性的CT图像，以确保每例结节样本的独立性，形成了157张带有肺结节的肺部CT图像样本，其中良性肺结节51张。

1.2 Local Jet变换

任何一个可微函数f的r阶泰勒展开式为

(1)

式中，c=(c1,c2)为残差。

式(1)表明，任何可微函数的局部状况都可通过它的导数计算得到。同样，在图像处理领域，可以通过对图像计算其各阶微分以强调图像的局部几何结构。这是localjet空间变换的理论基础。

对肺结节图像F按照下式进行local jet变换，它通过与二维高斯函数Gσ的一系列偏微分函数(函数模型见图1)卷积完成，有

(2)

图1为3×3的均值为0、标准差σ=1.5的二维高斯函数的前三阶偏微分函数模型(见下页)。

图1 函数模型。(a)高斯函数；(b)x方向一阶偏微分；(c)y方向一阶偏微分；(d)xx方向二阶偏微分；(e)yy方向二阶偏微分；(f)xy方向二阶偏微分Fig.1 The model of the functions. (a)Gaussian function; (b)x-first partial differential function; (c)y-first partial differential function; (d)xx-second partial differential function; (e)yy-second partial differential function; (f)xy- second partial differential function

利用图1的高斯偏微分函数模型分解肺结节图像，依次可以获得6幅肺结节local jet纹理分量图像。由于xx方向和yy方向变换后的纹理分量图像类似，因此实验中只有5幅纹理分量图像用于特征参数提取。

1.3 特征参数提取

对提取到的157幅结节图像首先进行local jet变换，得到纹理分量图像，然后分别对原图像和local jet纹理图像进行特征参数提取。本研究利用两种方法提取纹理特征参数。

方法1：灰度统计矩描述子。对变换前后的图像直接计算其像素值的前四阶矩参数(见表1)作为对应图像的纹理特征参数。

方法2：基于GLCM特征参数的纹理描述子。

将变换前后的图像像素值归一化后划分为16个灰度级，考虑图像0°、45°、90°和135° 4个方向的GLCM。然后，计算每个GLCM的8个特征参数(见表1)，即每幅图像获得了32个纹理特征参数。

利用上述两种方法对肺结节样本集进行特征提取，可生成4个纹理特征参数集，分别命名如下：

1)gray moments：肺结节原图像的前四阶矩特征参数集，大小为157×4。

2)local jet+gray moments：肺结节local jet纹理图像的前四阶矩特征参数集，大小为157×20。

3)GLCM：肺结节原图像的GLCM特征参数集，大小为157×32。

4)local jet+GLCM：肺结节local jet图像的GLCM特征参数集，大小为157×160。

(3)

像素值前四阶矩参数中，MN为肺结节区域的大小，I(i,j)、μ、σ分别为结节图像的像素值、像素均值和标准差。

表1 特征参数表达式列表

1.4 特征参数的KPCA优化

由于提取到的4个特征参数集的参数个数相差较大，以及local jet + GLCM参数集的变量个数多于样本数，因此首先需要对这4个参数集进行降维优化。本研究采用KPCA方法对特征参数进行优化，KPCA降维优化步骤如下：

步骤1，原始特征矩阵X=[X1,X2,…，Xn]标准化。

步骤2，计算标准化后的X矩阵的高斯核函数矩阵K=(kij)m×m(m为样本数)，并对其进行中心化。

步骤3，计算矩阵K的相关系数矩阵R=(rij)m×m。

步骤4，计算特征值与特征向量，具体计算如下：

2)求解对应于特征值λ的特征向量U=[U1,U2,…，Um]；

3)取前n个特征值计算主成分的累计贡献率，有

(4)

步骤5，计算变换后的主成分特征矩阵Z=KU。

步骤6，取累计贡献率达85%～95%的特征值λ1,λ2,…，λp(p≤n)所对应的主成分特征矩阵Z的前p列向量，作为降维优化后的新的特征矩阵。

1.5 BP神经网络评价指标

以BP神经网络作为分类器，上述4个经降维优化后的特征参数集作为分类器输入，对肺结节的良、恶性进行识别。定义了4个参数作为BP网络分类结果的评价指标，分别为灵敏度(Se)、特异性(Sp)、正确率(Acc)和表征分类器综合性能的AUC值。参数定义式为

(5)

式中，TP为恶性结节被预测为恶性结节的个数，TN为良性结节被预测为良性结节的个数，FP为良性结节被预测为恶性结节个数，FN为恶性结节被预测为良性结节的个数。

通过对4个特征数据集下BP神经网络对肺结节分类结果的对比，以验证local jet变换空间纹理特征参数对肺结节良恶性模式识别的改善。

2 结果

2.1 肺结节local jet纹理图像

图2为利用图1的高斯偏微分函数模型对肺结节图像进行local jet变换得到的纹理分量图像的等值线图，其中(a)为原结节图像，(b)～(f)为其5幅纹理分量图像。

图2 Local jet分量图像的等值线图(上为一良性结节，下为一恶性结节)。(a)原图像；(b)零阶微分图像(高斯图像)；(c)x方向一阶微分图像；(d)y方向一阶微分图像；(e)xx方向二阶微分图像；(f)xy方向二阶微分图像Fig.2 The contour map of local jet component images(The up row is a benign nodule, the down row is a malignant nodule. (a)Original image; (b)Gaussian image; (c) x-first partial differential image; (d) y-first partial differential image; (e) xx-second partial differential image; (f) xy-second partial differential image

由图2可以看到，经过local jet变换获得了一系列与原图像空间相类似的纹理图像空间，每幅纹理图像反映了不同的几何信息。零阶分量图像(b)相比原图像(a)平滑了图像峰度，可以更好地分析图像平面区域；一阶分量图像(c)、(d)则强调了像素灰度值在x/y方向上的梯度变化；二阶分量图像(e)、(f)则反映了像素灰度值在局部区域的变化，可用于测量图像表面的凹凸性。

对图2的6幅图像，分别利用本文第1.3节中的两种特征提取方法提取每幅图像的纹理特征参数，共生成4个纹理特征参数集。

2.2 纹理特征参数

2.2.1 灰度统计矩描述子

图3 加噪声前后两幅图像的特征参数。(a)灰度均值；(b)灰度均方差；(c)峰态；(d)偏态Fig.3 The feature parameters histogram of original images and noised images. (a) Mean; (b) Variance; (c) Kurtosis; (d) Skewness

以图2中的恶性结节图像为例，对该恶性结节的每幅图像加0.05的高斯噪声后形成另一组图像，对这两组图像分别提取其描述子里的4个参数。图3为提取到的各幅图像特征参数值的对比。其中，横坐标1代表原结节图像，横坐标2～6分别对应于图2的各纹理分量图像。

表2为原图像及其对应的5幅local jet纹理分量图像与加噪声后图像及其Local Jet纹理分量图像的特征参数的绝对差值表。

表2 加噪声前后的特征参数绝对差值

Tab.2 Absolute difference of feature parameters of original images and noised images

CT图像各阶localjet纹理分量图像0阶x⁃1阶y⁃1阶xx⁃2阶xy⁃2阶均值3013483546111241377131方差183911251263046926915峰态070122031037062018偏态281158265147267245

表2中各阶local jet分量图像中的x、y、xx、xy分别代表沿相应方向的纹理图像。由图3和表2的对比可以看出，基于local jet纹理图像空间提取的特征参数(除两个奇异值外)受噪声影响较原图像空间参数小很多，这说明基于local jet空间提取的肺结节纹理参数具有很好的鲁棒性。

2.2.2 基于GLCM特征参数的纹理描述子

利用GLCM对变换前后的图像像素的空间分布进行分析。图4(见下页)对应于图2中两个肺结节的各幅图像的0°方向的GLCM。(a)为原图像的GLCM，(b)～(f)为local jet纹理图像的GLCM。可以明显地看到，无论是良性结节还是恶性结节，变换后对应纹理图像的GLCM比原图像具有更多可识别的表征结节灰度级排布的信息。

2.3 KPCA优化

将157个样本结节按表3分配，即将4个纹理特征参数集分别按表3的结节数目分为训练集和测试集。将训练/测试样本数设为2∶1，是为了保证BP神经网络有足够的训练样本以获得更有效的训练。本实验所用结节样本的真实良、恶性均是由活体组织切片结果确定的。

表3 结节样本分布

图4 结节图像的灰度共生矩阵(上为良性结节，下为恶性结节)。(a)原图像GLCM；(b)零阶微分图像(高斯图像)GLCM；(c)x方向一阶微分图像GLCM；(d)y方向一阶微分图像GLCM；(e)xx方向二阶微分图像GLCM；(f)xy方向二阶微分图像GLCMFig.4 The GLCM of nodule images(The up row is a benign nodule, the down row is a malignant nodule. (a)GLCM of original image; (b)GLCM of Gaussian image; (c)GLCM of x-first partial differential image; (d)GLCM of y-first partial differential image; (e)GLCM of xx-second partial differential image; (f)GLCM of xy-second partial differential image

首先，对这4个特征参数集的训练集部分进行KPCA计算，得到训练集的主成分矩阵Ztrain。计算后的4个参数集的主成分累积贡献率曲线如图5所示，其中localjet+GLCM数据集取其前60个主成分。

图5 主成分的累积贡献率曲线Fig.5 The curves of cumulative proportion of principle components

图5表明，通过KPCA的优化计算，原始特征数据集得到了很大的压缩，即可以用少数几个主成分变量来表示整个纹理特征空间的信息。表4为4个

纹理主成分特征数据集部分主成分的累积贡献率。

然后，按照上述KPCA降维优化过程的步骤1和步骤2将测试集变换到其对应的高斯空间Ktest中，利用对应特征集的训练集计算到的特征向量矩阵，也即变换矩阵Utrain按照步骤5计算测试集的主成分矩阵Ztest=Ktest·Utrain。根据表4的主成分贡献率情况选择累积贡献率达到95%的主成分。即选择graymoments主成分矩阵(即Ztrain和Ztest)的前2个主成分、相应的localjet+graymoments主成分矩阵的前6个主成分、GLCM主成分矩阵的前3个主成分和localjet+GLCM主成分矩阵的前16个主成分，分别作为BP神经网络的输入用于肺结节良、恶性的分类。

表4 部分主成分的累积贡献率(%)

2.4 分类结果综合评价

表5为灰度统计矩纹理描述子提取的原图像空间和local jet变换空间2个纹理特征主成分参数下，BP网络对肺结节分类结果性能参数的对比。

表6为基于GLCM特征参数纹理描述子提取的2个纹理特征主成分参数下BP网络对肺结节分类结果性能参数的对比。

表5 对比结果1

表6 对比结果2

由表5、6的两个对比结果可以定量地得出结论：在local jet变换空间，利用灰度统计矩描述子和基于GLCM特征参数的描述子提取的特征参数，分别获得了82.69%和86.54%的分类正确率，相比原图像空间下提取的纹理特征参数，它将BP神经网络的分类正确率提高了6%～8%，综合性能提高了10%左右。

图6为4个特征参数集下BP神经网络分类结果的ROC曲线。ROC曲线越靠近左上角，即(0,1)点，表明分类器取得的分类性能越好。由于样本中良、恶性结节数量的不平衡，正确率参数并不能完全反映分类结果的好坏，所以定义了AUC值来综合评价分类器的分类结果，AUC值也即ROC曲线下的覆盖面积。

图6 4个不同特征集下的ROC曲线Fig.6 The ROC curves under four different feature sets

由图6的4条ROC曲线可以定性地看到，local jet变换空间下的2个纹理特征集的ROC曲线更靠近(0,1)点，表明BP神经网络在该变换空间纹理特征集下取得了优于原空间纹理特征集的分类结果。

上述对比实验结果表明，本研究提出的基于local jet变换空间提取的纹理特征参数相比原空间提高了肺结节良、恶性的识别率。同时也说明，将local jet变换引入到肺结节的纹理特征参数提取中，能够有效地改善肺结节的纹理模式识别。

3 讨论

下面从主观和客观两个方面对实验结果进行讨论。 由表3的客观数据对比可知，基于local jet变换提取的灰度统计矩参数比文献[8]具有更好的抗干扰性，即更好的鲁棒性。从图4的主观视觉效果来看， local jet纹理图像的GLCM与原图像GLCM的对比，有力地证明了local jet纹理图像可以为特征参数提取提供多角度、多层次的分析。从变换前后的图像0°方向的GLCM来看，变换后的纹理图像较原图像具有更广和更多方向的可识别灰度级排列跨度，这也意味着在local jet纹理图像空间良性和恶性肺结节具有基于不同方向角度的更好的区分度。0°方向的结果可以推及到两个图像空间的其他角度方向的GLCM。从表5、6的BP神经网络分类结果性能参数的对比可知，本研究提出的纹理特征参数方法相比文献[8]和文献[9-11]中的纹理特征参数提取方法，对于肺结节的良、恶性分类获得了更高的分类正确率和表征分类结果综合性能的AUC值，将肺结节良、恶性的分类正确率提高了6%～8%，综合性能提高了8%～10%。

综合上述的主观评价和客观数据对比，本研究提出的基于local jet变换空间的纹理特征参数在肺结节的计算机辅助分类中取得了最好的效果。究其原因，文献[8]中的灰度统计矩参数计算方法容易受到噪声干扰，计算的参数值很大程度上会受到图像本身质量的影响。而在local jet变换计算中，由于高斯函数的卷积滤波，图像中的噪声会在一定程度上被消除，从而使得提取到的特征参数值更为准确有效。文献[9-11]中的方法虽然可以体现图像的像素灰度级在空间的分布规律，但其层次过于单一，无法体现像素级更深层次的几何结构和方向变化信息。而本方法通过local jet变换获得了肺结节图像在不同层次上的纹理图像，增强了像素级分布在不同方向上的变化信息，使得提取到的纹理特征参数更全面、更有效地表征了肺结节纹理在不同层次上的几何信息。更加准确和更加全面有效的纹理特征参数，使得本方法在肺结节的计算机辅助分类中取得了更好的效果。

基于local jet变换空间的纹理特征参数在肺结节分类方面的成功应用，也为图像模式识别方面的研究提供了一个新的思路。将在原图像空间难以理解的图像数据变换到local jet纹理图像空间，可以获得更多有效的几何结构信息，大大增加了可用于图像理解的信息量，从而改善关于图像模式识别的性能。

4 结论

本研究提出一种基于local jet变换空间纹理特征的肺结节分类方法。首先利用高斯函数的前三阶偏微分函数将肺结节原图像变换到local jet纹理图像空间，变换后的图像空间提供了关于结节图像不同层次的几何结构，因而可以提供更多可供良、恶性结节纹理分析的信息，同时本方法提取的特征参数还具有很好的鲁棒性。为了验证本方法对肺结节纹理模式识别的改善，利用2个不同的纹理描述子分别对原图像空间和local jet变换空间进行特征参数提取，以对比两种图像空间下的纹理模式识别性能。由于不同纹理描述子提取的特征参数个数相差较大，为了消除这一影响，同时为了降低分类器的计算复杂度，首先对特征数据集进行KPCA特征优化降维处理，然后利用BP神经网络对主成分特征数据进行肺结节良、恶性的识别。对比实验结果证明：在local jet变换空间提取纹理特征，能够有效地改善肺结节纹理模式的识别。

本研究是在单一尺度下对肺结节进行local jet空间变换以提取纹理特征参数的，实验证明该方法对肺结节的良、恶性获得了较好的识别效果。进一步的研究工作将对肺结节进行多尺度下的空间变换，在多尺度local jet纹理空间对肺结节的良、恶性进行分析，在更大的样本数据集下开展应用研究。

[1] Koenderink J，VanDoom A. Representation of local geometry in the visual system[J]. Biological Cybernetics，1987，55(6)：367-375.

[2] William M，Silva D，Manzanera A，et al. Feature extraction on Local Jet space for texture classification[J]. Physica A： Statistical Mechanics & Its Application，2015，439(1)：160-170.

[3] Schmid C，Mohr R. Local gray-value invariants for image retrieval[J]. IEEE Transactions on Pattern Analysis & Machine， 1997，19(5)：447-460.

[4] Crosier M，Griffin L. Using basic image features for texture classification[J]. International Journal of Computer Vision， 2010， 88(3)：447-460.

[5] Manzanera A. Local Jet feature space framework for image processing and representation[C]//2011 Seventh International Conference on Signal Image Technology & Internet-Based System. Pennsylvania：HAL CCSD，2011：261-268.

[6] Hogeweg L, Clara IS, Maduskar P, et al. Automatic detection of tuberculosis in chest radiographs using a combination of textural, focal, and shape abnormality analysis[J]. IEEE Transaction on Medical Imaging，2015，34(12)：2429-2442.

[7] Martinez F, Acosta O, Crevoisier RD, et al. Local Jet features and statistical models in a hybrid Bayesian framework for prostate estimation in CBCT image[J]. Proc SPIE，2012，8315(7)：527-540.

[8] Kuruvilla J, Gunavathi K. Lung cancer classification using neural networks for CT images[J]. Computer Methods & Programs in Biomedicine，2014，113(1)：201-209.

[9] Seongjin P, Bohyoung K, Jeongjin Lee, et al. GGO nodule volume-preserving non-rigid lung registration using GLCM texture analysis[J]. IEEE Transactions on Biomedical Engineering， 2011，58(10)：2885-2894.

[10] Balagurunathan Y, Yoganand, Gu Yuhua, et al. Reproducibility and prognosis of quantitative features extracted from CT image[J]. Translational Oncology，2014，7(1)：72-87.

[11] Kaya A, Can AB. A weighted rule based method for predicting malignancy of pulmonary nodules by nodule characteristics[J]. Journal of Biomedical Informatics，2015，56(8)：69-79.

The Classification of Pulmonary Nodules Based on Texture Featuresover Local Jet Transformation Space

Dai Meiling1Qi Jin1,3Zhou Zhongxing1,2Gao Feng1,2#*

1(CollegeofPrecisionInstrumentandOptoelectronicsEngineering，TianjinUniversity，Tianjin300072，China)2(TianjinKeyLaboratoryofBiomedicalDetectingTechniquesandInstruments，Tianjin300072，China)3(CancerInstituteandHospital,TianjinMedicalUniversity,Tianjin300060,China)

A method of texture features extraction over local jet transformation space is presented in order to improve the recognition about benign/malignant nodules with texture features. In this method, the first three order partial differential functions of 2-D Gaussian were used to transform original image of nodule to local jet texture images space firstly, and then feature parameters were extracted over the local jet images space by texture descriptor. In our work, feature parameters were extracted from the original CT image and local jet images using the texture descriptors of first four moments of intensity and parameters based on gray level co-occurrence matrix. Then BP neural network was used to classify the benign/malignant nodules with the two texture features sets under the same texture descriptor that optimized by kernel principle component analysis. The compared experiment conducted based on 157 lung nodule(51 benign and 106 malignant) samples. The experiment result showed that the classification accuracy of two feature parameters sets extracted by the two texture descriptors on local jet space was 82.69% and 86.54% respectively, higher 6%～8% than feature parameters sets on original image space, and the value of AUC was increased about 10%. The experiment result indicated the texture features extracted from local jet transformation space could effectively improve the pattern recognition of benign/malignant of pulmonary nodules.

pulmonary nodule; local jet space transformation; texture features; pattern recognition

10.3969/j.issn.0258-8021. 2017. 01.002

2016-04-22， 录用日期:2016-10-03

R318

A

0258-8021(2017) 01-0012-08

# 中国生物医学工程学会高级会员(Senior member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: gaofeng@tju.edu.cn