宋本钦,李培军
(北京大学地球与空间科学学院遥感与地理信息系统研究所,北京 100871)
加入改进LBP纹理的高分辨率遥感图像分类
宋本钦,李培军
(北京大学地球与空间科学学院遥感与地理信息系统研究所,北京 100871)
高分辨率遥感图像纹理信息丰富,将其与光谱信息相结合进行地物分类可提高地物的精度。将改进的局部二值模式(LBP)纹理应用到高分辨率图像的土地覆盖分类中,并与只利用光谱信息和加入传统LBP纹理信息的分类结果相比较。结果表明:改进的LBP具有很好的抗噪性能,并能更有效地表达图像的纹理信息,加入这种纹理信息的图像分类精度明显高于纯光谱分类和加入传统LBP纹理信息的分类。
纹理;LBP;分类
遥感图像分类是遥感信息提取的重要手段之一。近年来,高分辨率图像的大量获取为详细地表特征制图和监测提供了数据基础。与中低分辨率图像相比,高分辨率图像上的地物轮廓更加清晰,空间结构信息也更为丰富[1,2]。图像纹理是一种重要的空间信息,被广泛应用于图像分类,以提高分类精度[3,4]。目前,已有多种计算图像纹理的算法,如基于灰度共生矩阵、小波变换以及地统计学变差函数的纹理特征提取算法等[5-7]。局部二值模式(Local Binary Pattern,LBP)是近年来提出的一种算法简便、但功能强大的纹理分析方法[8],它通过比较中心像元值与邻域像元值的大小来反映局部纹理特征,具有不受光照强度变化影响的特征。目前,LBP在机器视觉、面部分析及遥感图像分类等方面得到广泛应用,并取得好的效果[9,10]。但 LBP也存在一些缺陷,如不能有效完全地描述纹理特征以及比较容易受到噪声的干扰[11]。Zhou等人提出了一个新的改进的LBP纹理分析方法[11],本文将这一方法所得的纹理信息应用于高分辨率遥感图像的土地覆盖分类,并与加入传统LBP纹理信息的分类结果进行比较,评价二者在土地覆盖分类中的性能。
1.1 局部二值模式(LBP)
局部二值模式(LBP)最早由Ojala等(1996)提出[12],用来作为图像局部对比度的互补算法。在某一灰度图像中,定义一个半径为R(R>0)的圆环形邻域,P(P>0)个邻域像素均匀分布在圆周上。设该邻域中心像素的纹理值为T,则T可以用该邻域中P+1个像素的函数来定义,即
式中,gc为该邻域中心像素值;gi(i=0,…,P-1)是P个邻域像素值。
在数字图像中,设邻域中心像素的坐标为(xc,yc),则其邻域像素的坐标(xi,yi)可以表示为
图1显示的是几种不同P、R值所对应的圆环形邻域,图中没有落在像素中心的邻域灰度值通过双线性内插得出[13]。
图1 几种不同P、R值对应的圆形邻域Fig.1 Circular neighborhoods with different P、R values
图1在旋转时,圆形邻域的灰度值gi在以gc为中心、R为半径的圆周上移动。由于用相邻像素与中心像素的差值代替相邻像素的值,可以实现旋转不变性。通过式(3)可以看出,只要s(gi-gc)不全为0或不全为1,图像的旋转就会得到不同的LBP值。
因此,Mäenpää等人又将LBP算法进行了扩展,提出了具有旋转不变性的LBP(Rotation Invariant LBP)[13],即不断旋转圆形邻域得到一系列初始定义的LBP值,取其最小值作为该邻域的LBP值。邻域像素的次序通常由中心像素正右方的像素开始,逆时针标记,如图2所示。
图2 一种常见的圆形邻域像素次序标记方法(P=8,R=1)Fig.2 A common mark order of a circularly symmetric neighbor set,where P=8,R=1
式(3)~(5)中,gi=g0;riu2表示选择具有旋转不变性且满足U≤2的模式。把满足U≤2的所有模式称为均匀模式,其余的模式都称为非均匀模式。在P邻域中,满足U≤2的所有模式的个数为P(P-1)+2,再进一步将它们旋转到最小值后,具有旋转不变性的均匀模式(Rotation Invariant Uniform Pattern)的个数则为P+1。因此,任何均匀模式的LBP值可以通过统计二值编码中1的个数得到,而非均匀模式的LBP=P+1。
LBP的主要缺陷一是它不能有效完全地描述纹理特征,它将非均匀模式完全归为一类,这样将会丢失大量的纹理信息,特别当邻域比较大时;另外一个缺陷是它所定义的非均匀模式容易受到噪声的干扰[11]。例如,图3是原始图像以及加入高斯白噪声的图像。由于受到噪声的干扰,有一位置的值从0变成1,LBP的值则从3变成了9,这并不是期望的结果。
图3 子图像的LBP值和改进LBP值Fig.3 Values of LBP and extended LBP for a subimage
1.2 改进的LBP算法
为了解决LBP算法的两个缺陷,Zhou[11]等人提出一个新的改进的方法。该方法是在相似性度量基础上,将非均匀模式分配到相应的均匀模式上。
本文用DminROR表示相似性度量,则
式中,ROR(LBPP,R,i)表示圆形邻域像素点顺时针旋转i次,旋转P次是一圈;xi和yi分别表示邻域内对应位置的像素值;计算了 LBPP,R和(均匀模式)绝对差的最小值。
图4显示了与均匀模式00000111相似的局部模式。
图4 一些与均匀模式00000111相似的局部模式Fig.4 Some uniform pattern similar to the local pattern 00000111
必须指出,在这些模式中,不同的局部模式和不同的均匀模式计算也会得到相同的 DROR。以LBP8,1=00000101 为例,当等 于 00000111或者 00000001 时,DROR(LBP8,1)都等于 1。在这种情况,选择像素值和较大的均匀模式。改进的算法可以表达为
可以认为,局部二值模式中0和1按规则排列的模式在图像中占有一定比例,这些模式不仅包括均匀模式,也包括一些非均匀模式。为了定义它们,引用了结构测量S,即
式(10)表达了局部模式里面0和1的串联关系。S值越大,连续的0或者1串联在一起的可能性就越小。
2.1 LBP纹理的计算
运用LBP方法计算图像纹理,需要确定两个参数,即圆形邻域半径(R)和邻域像元数(P)。这两个参数决定了所得图像的纹理特征。通常,采用多个邻域参数组合提取LBP纹理。不同的(P,R)组合会得到不同的LBP纹理数值。采用3种不同的(P,R)组合,即(P,R)分别为(8,1)、(16,2)和(24,3),来计算LBP和改进LBP纹理。
2.2 加入LBP纹理的土地覆盖分类方法
为了比较和评价加入LBP和改进LBP纹理特征的分类效果,将纹理特征与光谱特征直接叠加组成新的多波段数据。例如,采用3组不同的参数组合,即对应的(P,R)分别为(8,1)、(16,2)和(24,3),可得到3个改进的LBP纹理特征,如原始图像是4个波段多光谱图像,则与纹理图像叠加后会得到7个“波段”的多“波段”图像,将其一起用于最终的土地覆盖分类。本文采用最大似然分类[14]方法进行分类。为了全面评价加入改进LBP纹理的分类性能,本文还进行了只利用光谱图像以及加入传统LBP纹理特征的分类(图5)。
图5 加入纹理特征的图像分类流程Fig.5 The classification process by adding image texture
2.3 方法试验
为了分析和评价加入改进的LBP纹理在高分辨率图像土地覆盖分类中的效果,本文以北京香山IKONOS多光谱图像为试验数据。该数据包括4个波段(蓝、绿、红、近红外),空间分辨率为4 m。图像覆盖区域包括裸地、建筑物、苗圃、树木、农田、村庄、水体和大棚地等8种地物类型,其中建筑物主要为较大的居民楼和商用建筑,大棚地为应用蔬菜和花卉培育的塑料大棚(或称温室)。
图6为研究区域IKONOS多光谱图像。用于图像分类训练和精度评价的样本采用参考地面观察结果以及全色图像的方式,分别独立地从图像上选取。
图6 IKONOS 3(R)4(G)2(B)假彩色合成图像Fig.6 The IKONOS 3(R)4(G)2(B)false color composite image
表1为用于分类和精度评价的样本数。
表1 用于分类和精度评价的样本数Tab.1 The numbers of samples used for classification and accuracy assessment
如前所述,本文采用了3个大小不同的圆形邻域计算LBP纹理。图7显示了近红外波段图像以及其对应的2种LBP纹理图像。
可以看出,在改进LBP纹理图像上,不同地物边界比较明显,而LBP纹理图像上地物边界比较模糊,有些甚至分辨不出来;LBP纹理图像上噪声比较多,但在改进LBP纹理图像上噪声明显减少,图像更加平滑。
图7 IKONOS近红外波段图像(左)及对应的LBP纹理图像(中)和改进LBP纹理图像(右)Fig.7 Portions of IKONOSNIR image(lift)and derived LBP texture image(middle)and extended LBP texture image(right)
将计算得到的改进LBP纹理特征与光谱特征组合,用于土地覆盖分类,同时也进行了加入传统LBP纹理的分类以及只用光谱数据的分类,以进行分析比较。
从表2可以看出:加入纹理信息(LBP纹理以及改进的LBP纹理)的分类总体精度和Kappa系数都要高于纯光谱数据分类,其中,加入改进LBP纹理数据的分类总体精度要比纯光谱数据分类高6%,比加入LBP纹理数据分类高4%。3种分类的Kappa系数也表现出类似的规律,说明用于图像分类时,改进的LBP纹理具有比LBP纹理更好的性能。
表2 不同数据组合的分类结果Tab.2 Classification accuracy of different data combination
表3是不同数据分类结果的生产者精度(PA)和用户精度(UA)。
表3 不同数据组合分类的生产者精度(PA)和用户精度(UA)Tab.3 The producer accuracy(PA)and user accuracy(UA)of different data combination (%)
(续表)
可以看出,与纯光谱数据分类相比,加入LBP纹理后,建筑物、裸地、苗圃和树木等分类精度基本变化不大,而村庄、农田和大棚地的精度提高了,但水体的精度却略有降低。这说明在分类过程中,纹理信息对空间特征变化较大(即纹理特征显著)的地物分类更有效,如村庄和大棚地,而对纹理特征不明显类别的分类精度提高不大,如裸地、苗圃和树木。由于水体没有纹理特征,加入LBP纹理后,由于对噪声的敏感性,其分类精度反而降低了。
与纯光谱数据分类相比,在加入改进LBP纹理后,各类的分类精度都有不同程度的提高,或至少持平,如村庄和大棚地的精度显著提高,而水体的分类精度与纯光谱数据分类结果基本持平。与加入LBP纹理的分类相比,在加入改进LBP纹理的分类中,建筑物、裸地、村庄、大棚地和水体的分类精度都有提高,而苗圃、树木和农田的分类精度二者持平,说明改进的LBP纹理对于纹理特征显著类别(如大棚地、村庄)的识别更有效,而对于没有纹理特征的类别(如水体)则具有更好的抗噪声干扰能力。
从图8可以看出,在利用纯光谱特征进行分类的分类图像上,村庄内部椒盐状噪声明显(图8a);加入纹理后,这种状况改善明显(图8b、c),村庄的分类结果更加均匀,尤其是加入改进的LBP纹理的分类,这种效果更加显著(图8c)。对水体的分类,3种数据的分类结果不同,在基于光谱信息的分类图像上(图8d),水体色调比较均匀;而加入LBP纹理信息的分类中(图8e),水体出现了许多噪声;但在加入改进的LBP纹理信息的分类中(图8f),水体内部色调比较均匀,其噪声甚至比纯光谱分类结果的还少,说明改进的LBP纹理具有很好的抗噪能力。
图8 基于不同数据组合的分类结果(a、d:纯光谱分类;b、e:加入LBP纹理分类;c、f:加入改进LBP纹理分类)Fig.8 The classification results based on different data combination(a、d:spectral classification;b、e:spectral and LBP texture classification;c、f:spectral and extended LBP classification)
综合上述结果可以看出,改进后的LBP纹理既具有很强的地物分辨能力,又具有很好的抗噪性能,适合于高分辨率遥感图像的分类应用。
本文将改进的LBP方法用于高分辨率图像的纹理特征提取,并将提取的纹理特征用于图像分类,通过与纯光谱分类以及加入LBP纹理的分类对比,验证方法的性能:与LBP纹理相比,改进的LBP纹理能更有效地反映纹理特征,同时还能很好地抵制噪声的干扰,是一种有效的、可用于提高图像分类精度的分类方法。
[1]Zhang L,Huang X,Huang B,et al.A Pixel Shape Index Coupled with Spectral Information for Classification of High Spatial Resolution Remotely Sensed Imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(10):2950-2961.
[2]LiP J,Cheng T,Guo JC.Multivariate Image Texture by Multivariate Variogram for Multispectral Image Classification[J].Photogrammetric Engineering and Remote Sensing,2009,75(2):147-157.
[3]Marceau D J,Howarth P J,Dubois JM,et al.Evaluation of the Grey-Level Co-occurrence Matrix Method for Land-Cover Classification Using SPOT Imagery[J].IEEE Transactionson Geoscience and Remote Sensing,1990,28(4):513-519.
[4]Gong P,Marceau D J,Howarth P J.A Comparison of Spatial Feature Extraction Algorithms for Land-Use Classification with SPOT HRV Data[J].Remote Sensing of Environment,1991,40:137-151.
[5]黄颖端,李培军,李争晓.基于地统计学的图像纹理在岩性分类中的应用[J].国土资源遥感,2003(3):45-49.
[6]Haralick R M,Shanmugam K,Dinstein I.Texture Feature for Image Classification [J].IEEE Transactions on Systems,Man and Cybermetics,1973,3:610-625.
[7]吴高洪,章毓晋,林行刚.利用小波变换和特征加权进行纹理分割[J].中国图象图形学报,2001,6(4):333-337.
[8]Ojala T,Pietikainen M,MäenpääT.Multiresolutin Gray Scale and Rotation Invariant Texture Analysis with Local Binary Pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
[9]Kyllönen J,Pietikäinen M.Visual Inspection of Parquet Slabs by Combining Color and Texture[G]∥Proc IAPR Workshop on Machine Vision Applications(MVA'00).Tokyo:2000:187-192.
[10]Feng X,Pietikäinen M,Hadid A.Facial Expression Recognition with Local Binary Patterns and Linear Programming[J].Pattern Recognition and Image Analysis,2005,15(2):550-552.
[11]Zhou H,Wang R S,Wang C.A Novel Extended Local-Binary-Pattern Operator for Texture Analysis[J].Information Sciences,2008,178:4314-4325.
[12]Ojala T,Pietikäinen M,Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.
[13]Mäenpää T,Pietikäinen M.Texture Analysis with Local Binary Patterns[G]∥Chen C H,Wang P SP.Handbook of Pattern Recognition and Computer Vision.3rd ed World Scientific.2005:197-216.
[14]李 全,王海燕,李 霖.基于最大似然分类算法的土地覆盖分类精度控制研究[J].国土资源科技管理,2005(4):42-45.
(责任编辑:刁淑娟)
The Application of Extended LBP Texture in High Resolution Remote Sensing Image Classification
SONG Ben-qin,LIPei-jun
(Institute of Remote Sensing and GIS,School of Earth and Space Sciences,Peking University,Beijing 100871,China)
High-resolution remote sensing images have rich texture information,and combined texture information and image spectral information can improve the recognition accuracy of surface feature.In this paper,a new extended Local Binary Patterns(LBP)texture was applied to the high-resolution images classification in comparison with classifications using spectral data only and using combined spectral data and LBP texture features.The results show that the extended LBP has a good anti-noise performance,and the classification of image including the extended LBP texture can achieve a higher accuracy than the classifications using spectral data alone and using combined spectral data and LBP texture features.
Texture;LBP;Classification
宋本钦(1984-),男,硕士研究生,主要从事高分辨率遥感信息处理方法研究。
TP 75
A
1001-070X(2010)04-0040-06
2010-01-19;
2010-03-10