基于抗噪声局部二值模式的纹理图像分类

冀　中　　　聂林红

(天津大学电子信息工程学院　天津　300072)(jizhong@tju.edu.cn)

基于抗噪声局部二值模式的纹理图像分类

冀中聂林红

(天津大学电子信息工程学院天津300072)(jizhong@tju.edu.cn)

摘要局部二值模式(local binary pattern, LBP)特征是一种简单有效的纹理特征描述符,但是它的抗噪声能力较差.针对这一问题，提出一种对噪声较为鲁棒的纹理特征表示方法——抗噪声的完整增强局部二值模式(noise-tolerant complete enhanced LBP, CELBPNT).该特征基于局部二值模式特征,对光照、旋转和噪声均具有较好的鲁棒性.其提取过程如下：1)根据LBP中各模式的结构和出现频率对特征中的模式重新分类，提出增强局部二值模式(enhanced LBP, ELBP)特征；2)添加差值的模值信息与中心像素信息，并根据图像尺寸自适应地调整其中的阈值，提出完整增强局部二值模式(complete ELBP, CELBP)特征；3)进一步将该特征进行多尺度下的表示，从而最终提出具有抗噪声能力的纹理特征——CELBPNT.通过在常用的纹理数据库上添加不同强度和不同类型噪声的情况进行实验，结果表明：CELBPNT不仅能够显著提升无噪声纹理图像的分类性能，而且对含有噪声的纹理图像分类也有显著的性能提高.

关键词局部二值模式；图像噪声；纹理图像分类；特征提取；多尺度分析

图像的视觉表示技术是多媒体分析、机器视觉等领域的研究基础，而纹理是其中重要的一类特征.纹理在自然界中普遍存在，几乎所有自然界事物的表面都是一种纹理.一类重要的纹理特征表示方法是由Ojala等人[1]提出的局部二值模式(local binary pattern, LBP).该特征通过比较邻域像素和中心像素灰度值的差异性从而生成代表图像局部特征的二进制编码，是一种能够简单、有效地描述图像局部模式的特征.因此，以LBP算法为代表的一类纹理分析方法得到越来越多的关注[2-3]，并广泛应用于人脸识别[4-5]、目标跟踪[6]、指纹识别[7]、纹理分类[8-9]等领域.近年来已经提出了多种LBP的改进算法,例如有局部差分模式(local gradient pattern， LGP)[10]、局部最大边缘二值模式(local maximum edge binary pattern， LMEBP)[11]、主导的局部二值模式(dominant local binary pattern， DLBP)[12].

LBP虽然计算简单、对单一灰度变化具有较好的鲁棒性，但是其仅仅通过比较某区域内中心像素与其邻域像素在灰度值上的二值关系，与灰度变化强度无关，这导致其在纹理特征的提取上易受噪声影响.因此，在图像含有噪声特别是噪声强度较大的情况下，其视觉特征表示能力会迅速下降.近年来，为提高LBP对噪声的鲁棒性，已有研究人员对其抗噪声能力进行了初步研究，并提出了一些具有一定抗噪声能力的LBP算法，例如FLBP(fuzzy LBP)[13]，LSEP(local shearlet-based energy pattern)[14].特别地，LSEP特征通过shearlet变换的方法对图像的局部能量进行分析，形成了能够表示图像特征的局部能量直方图，且由于shearlet变换对噪声具有较好的鲁棒性从而使得LSEP能够部分地克服噪声的影响.

本文旨在改进LBP以增强其抗噪声能力.首先，根据特征中不同模式的出现概率和特征结构对特征中的模式进行重新分类，并在此基础上引入旋转不变的思想，提出了增强局部二值模式(enhanced LBP, ELBP)特征；其次，对ELBP中包含信息的完整性进行分析，通过添加差值的模值信息以及中心像素信息，并根据图像尺寸自适应的调整阈值，提出完整增强局部二值模式(complete ELBP, CELBP)特征；最后，通过均值降采样的方法将CELBP在多尺度下表示，得到抗噪声的完整增强局部二值模式(noise -tolerant CELBP, CELBPNT)特征，使特征的抗噪声能力得到显著提升.

1算法描述

纹理广泛存在于自然界事物的表面，而自然界中采集到的纹理图像大都含有不同程度的噪声，在一些特定场合(例如低照度情况下拍摄的图像)，图像中的噪声更多.

本文提出抗噪声的完整增强局部二值模式(简称CELBPNT)特征，其形成过程如图1所示.1)通过对LBP的改进提出增强局部二值模式特征(ELBP)；2)通过添加差值的模值信息与中心像素信息，提出完整增强局部二值模式特征(CELBP)；3)经过降采样提出多尺度下的CELBP特征，最终形成CELBPNT特征.下面首先简要介绍LBP，然后分别介绍CELBPNT的3个重要步骤.

Fig. 1　The flowchart of the proposed CELBPNT.图1　所提抗噪声局部二值模式特征的提取流程图

1.1局部二值模式(LBP)

局部二值模式LBP[1]是一种具有代表性的局部算子，该特征通过比较邻域内像素点与中心像素点灰度值的差异性，生成能够表示图像局部特征的二进制编码，并将其按照确定的方向转换成相应的十进制数.LBP的具体提取过程如图2所示，其计算为

(1)

其中，gc为中心像素点的灰度值；gn为邻域内像素点的灰度值；P为邻域内像素点的个数；R为邻域的半径，本文选取P=8，R=1.

Fig. 2　The LBP encoding scheme.图2　LBP的提取过程

1.2增强局部二值模式(ELBP)

由式(1)可以看出，LBP特征共有28=256种不同模式.研究表明，在256种不同模式中，只有部分模式的出现概率较高，对特征的表征能力具有较大影响；且在所有模式中，01的变换次数越少其出现的概率越大，对特征性能的影响也相对越大.文献[15]中提出统一局部二值模式(ULBP)特征，根据LBP特征中01的变换次数，对特征的模式进行分类.但它仅考虑了LBP特征中01变换次数小于等于2的模式，忽视了01变换次数等于4的情况下所包含图像中的线段信息，如图3所示:

Fig. 3　The texture primitives in the proposed enhanced LBP.图3　所提ELBP中包含的特征模式

因此，为提高特征的判别能力，同时降低特征的维度，本文根据LBP特征中01变换的次数，对LBP特征模式进行重新分类，具体如下：

文献[16]中特征的旋转不变性是由旋转后所得的特征模式最小值决定的，其计算为

0,1,…,P-1}.

(2)

通过引入文献[16]中旋转不变的思想，可得ELBP特征的计算为

(3)

其中，P为邻域内像素点的个数；R为邻域的半径；U(LBPP,R)表示特征模式中01的变换次数，其计算如式(4)所示；N表示模式中包含1的个数，它的值为2～6，具体计算如式(5)所示：

U(LBPP,R)=|s(gP-1-gc)-s(g0-gc)|+

(4)

(5)

由式(3)可以看出，形成的ELBP特征模式为0～2P-2，即0～14，可得ELBP特征维度为15维.因此，该特征不仅实现了旋转不变性，并且在保持特征有用信息的基础上降低了LBP的维度.

1.3完整增强局部二值模式(CELBP)

ELBP特征的形成过程，仅仅将邻域内像素的灰度值与中心像素点的灰度值进行比较，即只统计了灰度值的差异性，而并未涉及到差值信息.因此，本文进一步借鉴文献[17]中的思想，在ELBP特征的基础上添加差值信息与中心像素信息，并对特征中的阈值进行改进，提出完整增强局部二值模式CELBP特征，如图4所示.

Fig. 4　The proposed CELBP encoding scheme.图4　所提CELBP特征的提取示意图

CELBP特征共包含3个子特征，分别为CELBP_Sign(记为CELBP_S),CELBP_Magnitude(记为CELBP_M)和CELBP_Center(记为CELBP_C)，其中,CELBP_S通过比较邻域内像素点与中心像素点灰度值的差异性获得，如图4(c)所示，它与ELBP特征的提取过程相同.图4(d)为图像块差值的模值信息.CELBP_M由差值的模值信息与给定阈值之间的差异性获得，如图4(e)所示.其计算为

(6)

其中，U表示获得的二进制模式中01的变换次数；

N表示获得的二进制模式中包含1的个数；mn=|gn-gc|表示图像块差值的模值信息；c表示与mn进行比较的阈值.本文中阈值的选取共包含2种情况：1)局部阈值.即c=1mn；2)全局阈值.即c为整幅图像中所有图像块的模值的均值.其中，阈值的选取由图像的尺寸决定，当图像尺寸较大时，则选取局部阈值；反之，则选取全局阈值.

CELBP_C由图像块中心元素的灰度值与整幅图像灰度值均值的差异性获得，其计算为

(7)

Fig. 5　The scheme of the proposed CELBP.图5　所提CELBP特征的形成示意图

此处最终提取的特征为CELBP_SC_MC，它由3个子特征的级联获得，如图5所示.即先将CELBP_S，CELBP_M分别与CELBP_C并联，分别得到CELBP_SC和CELBP_MC；再将得到的这2个特征串联，从而得到CELBP_SC_MC，简称CELBP.CELBP的维度为15×2+15×2=60维.

1.4抗噪声的完整增强局部二值模式(CELBPNT)

为了克服图像中噪声对特征表征性能的影响，本文提出采用均值降采样的方法提高CELBP特征的抗噪能力.经实验分析得知CELBP对椒盐噪声的抵抗性较好，对高斯噪声的抵抗性较差.而邻域平均法能够有效地降低高斯噪声对图像的影响，因此采用均值降采样恰好能弥补这种不足.此外，图像的纹理还与尺度有密切的关系.研究表明，不同的纹理具有不同的变化尺度，在进行纹理分类时，采用多尺度的纹理信息比单一尺度的纹理信息可获得更高的分类精度.因此通过均值降采样获得多尺度下的特征，既能保持原特征抵抗椒盐噪声的良好性能，又能提升其抵抗高斯噪声的性能.

本文采取的均值降采样的具体过程如图6所示，共经过2次降采样，形成3种不同尺度下的纹理图像.原始图像如图6(a)所示，第1次对原图中2×2大小的块进行处理，经过无重叠区域的降采样后，新图像的尺寸变为原图像的12，如图6(b)所示；第2次对原图像中3×3大小的块进行处理，同样经过无重叠区域的降采样后，新图像尺寸变为原图像的13，如图6(c)所示.其计算为

(8)

其中，s×s为选取的图像块的大小；gi为图像块中对应元素的灰度值；gnew为生成的新元素的灰度值.

最后，对3种不同尺度下的纹理图像分别提取CELBP特征，并将获得的3个特征串联，形成具有抗噪声能力的CELBP特征，即CELBPNT(noise-tolerant CELBP)特征，该特征的维度为60×3=180维.

Fig. 6　Image down-sampling process in the proposed CELBPNT.图6　CELBPNT中图像的降采样过程示例

2实验结果及分析

为了验证本文提出特征的有效性，本节在常用纹理数据库Outex上进行纹理分类以及抗噪声性能的测试.该数据库共包含24类不同的纹理，每类纹理图像均包含9种不同的旋转角度(0°,5°,10°,15°,30°,45°,60°,75°,90°).本文选取其中典型的3个子数据库：Outex_TC10，Outex_TC12_000和Outex_TC12_001进行测试，如表1所示.由表1可知Outex_TC10数据库仅包含旋转变换；Outex_TC12_000和Outex_TC12_001数据库包含旋转与光照2种变换.本文采用卡方距离与最近邻分类器进行纹理的分类.

Table 1　　　The Size of the Texture Outex Database Used in the

“√” stands for “contain” and “×” stands for “not contain”.

首先为了验证所提ELBP特征的有效性，将其与LBP等特征进行比较，如表2所示.其中LBPriu2(旋转不变的统一局部二值模式)[15]是在ULBP基础上增加旋转不变性之后形成的特征.可以看出，ELBP较LBP的分类性能提升了约20%，较ULBP的分类性能提升了约18%.性能提升的主要原因在于ELBP对LBP模式中出现概率较高的模式进行分析，降低了出现概率较低、作用较小的一些模式对分类的错误影响，并对ULBP包含的特征模式进行补充，提高了算法的有效性.此外，与LBPriu2相比，ELBP性能分别提升了2.49%，3.71%，3.89%，进一步说明了特征模式中01变换次数等于4的模式对特征的性能有较为重要的影响.

Table 2Classification Accuracies of ELBP with Several LBP Variances

表2所提ELBP与其他LBP改进算法的分类准确率比较

%

其次，为了验证本文提出的CELBP和CELBPNT的有效性，分别在：无噪声、添加不同强度椒盐噪声以及添加不同强度高斯噪声3种情况下对其分类性能进行测试，如表3～5所示.目前现有的纹理数据库都是在特定的条件下采集的，包含不同的尺度、光照、角度等的变化，并未发现含有噪声的自然纹理图像数据库.目前LBP改进的算法对特征抗噪声能力的测试均是人为添加高斯白噪声或椒盐噪声来进行测试[13-14].实际上这2种噪声也是自然图像(包括纹理图像)中最为常见的噪声模型[18]，因此人为添加噪声这种操作是合理的.为此，本文通过添加不同程度的椒盐噪声和高斯噪声测试所提算法对噪声的鲁棒性.

表4和表5分别给出了在添加不同强度椒盐噪声和高斯噪声的情况下各算法分类的准确率.其中ρ表示添加椒盐噪声的分布密度；Var表示添加高斯噪声的方差，例如Var=0.01表示为图像添加均值为0、方差为0.01的高斯噪声.表6给出了CELBPNT与当前最新的具有抗噪声能力的特征LESP的比较结果，其中，SNR表示为图像添加高斯噪声的信噪比.

Table 3　　　Classification Accuracies of Each Algotithm without

Table 4　Classification Accuracies of Each Algotithm with Salt and Pepper Noise

Table 5　Classification Accuracies of Each Algotithm with Gaussian Noise

Table 6　Classification Accuracies of CELBPNT and LESP with Gaussian Noise

由于均值处理方法对高斯噪声具有较好的鲁棒性，且多尺度的纹理信息比单一尺度的纹理信息可以获得更高的分类精度，因此本文采用均值降采样的方法提取多尺度下的CELBP，形成最终的CELBPNT特征.这样，就可以在保持CELBP对椒盐噪声的鲁棒性的同时，提升其对高斯噪声的鲁棒性.由表4和表5中的数据可以看出，在添加高斯噪声的情况下CELBPNT的性能较CELBP提升了将近25%，且在添加椒盐噪声较小的情况下CELBPNT的性能较CELBP亦提升了约3%.但在添加较大椒盐噪声的情况下，例如ρ≥0.3 时，CELBPNT的性能较CELBP下降了约1%.这是由于均值处理方法对椒盐噪声的鲁棒性能一般，随着添加噪声强度的增大，均值方法对椒盐噪声的处理能力减弱.因此，通过均值降采样后得到的联合特征CELBPNT可能包含部分错误的干扰信息.所以，在添加较大椒盐噪声的情况下，CELBP的性能略优于CELBPNT.但就抗椒盐噪声的平均性能而言，CELBPNT较CELBP仍提升了约0.5%.由此可说明CELBPNT不仅保持了原CELBP抵抗椒盐噪声的良好性能，并且使其抗高斯噪声的性能得到大幅度提升，进一步说明了采用均值降采样的方法提取不同尺度下的特征的重要性.

最后，为进一步验证本文提出的CELBPNT的抗噪声能力，将其与当前最新的具有抗噪声能力的特征——LESP相比较，如表6所示.由表6中数据可以看出，在添加不同程度噪声的情况下，CELBPNT的分类性能较LSEP均有不同程度的提升.在无噪声的情况下，CELBPNT的分类性能相比于LSEP有0.81%的提升；在添加噪声较大，例如SNR=30 dB和SNR=5 dB的情况下，性能分别提升了3.8%，2.21%.由此可得出结论，CELBPNT特征不仅对无噪声图像分类性能有所提升，并且对含有不同程度不同种类噪声图像的分类性能也有显著提升.

3结论

本文在LBP的基础上提出了一种具有抗噪声能力的视觉纹理特征表示方法.该方法首先通过分析LBP不同模式下特征的结构信息以及特征的重要性，根据不同结构下特征的重要性对特征进行重新分类；接着添加差值的模值信息与中心像素信息，并自适应地调整全局阈值与局部阈值的选取；最后通过对不同尺度下的特征进行分析，提出了对噪声较为鲁棒的CELBPNT特征.实验结果表明，本文提出的算法不仅能够提升无噪声情况下纹理图像分类的性能，而且对包含不同强度和不同类型噪声的纹理图像的分类也较为有效和鲁棒.

参考文献

[1]Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59

[2]Nanni L, Brahnam S, Lumini A. Local ternary patterns from three orthogonal planes for human action classification[J]. Expert Systems with Applications, 2011, 38(5): 5125-5128

[3]Gao Hua, Zhao Chunxia, Zhang Haofeng. A traversablity detection method dealing with shaded terrains[J]. Journal of Computer Research and Development, 2013, 50(11): 2304-2314 (in Chinese)(高华, 赵春霞, 张浩峰. 一种阴影区域的可通行性检测方法[J]. 计算机研究与发展, 2013, 50(11): 2304-2314)

[4]Suruliandi A, Meena K, Reena Rose R. Local binary pattern and its derivatives for face recognition[J]. Computer Vision, 2012, 6(5): 480-488

[5]Chen D, Cao X, Wen F, et al. Blessing of dimensionality: High-dimensional feature and its efficient compression for face verification[C]Proc of the 26th IEEE Int Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 3025-3032

[6]Li Shanqing, Tang Liang, Liu Keyan, et al. A fast and adaptive object tracking method[J]. Journal of Computer Research and Development, 2012, 49(2): 383-391 (in Chinese)(李善青, 唐亮, 刘科研, 等. 一种快速的自适应目标跟踪方法[J]. 计算机研究与发展, 2012, 49(2): 383-391)

[7]Nanni L, Lumini A. Local binary patterns for a hybrid fingerprint matcher[J]. Pattern Recognition, 2008, 41(11): 3461-3466

[8]Khellah F M. Texture classification using dominant neighborhood structure[J]. IEEE Trans on Image Processing, 2011, 20(11): 3270-3279

[9] Liu L, Zhao L, Long Y, et al. Extended local binary patterns for texture classification[J]. Image and Vision Computing, 2012, 30(2): 86-99

[10]Jun B, Choi I, Kim D. Local transform features and hybridization for accurate face and human detection[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1423-1436

[11]Subrahmanyam M, Maheshwari R, Balasubramanian R. Local maximum edge binary patterns: A new descriptor for image retrieval and object tracking[J]. Signal Processing, 2012, 92(6): 1467-1479

[12]Liao S, Law M, Chung A. Dominant local binary patterns for texture classification[J]. IEEE Trans on Image Processing, 2009, 18(5): 1107-1118

[13]Iakovidis D K, Keramidas E G, Maroulis D. Fuzzy local binary patterns for ultrasound texture characterization[G]Image Analysis and Recognition. Berlin: Springer, 2008: 750-759

[14]He J, Ji H, Yang X. Rotation invariant texture descriptor using local shearlet-based energy histograms[J]. Signal Processing Letters, 2013, 20(9): 905-908

[15]Pietikäinen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions[J]. Pattern Recognition, 2000, 33(1): 43-52

[16]Ojala T, Pietikäinen M, Mäenpää T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987

[17]Guo Z, Zhang D. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Trans on Image Processing, 2010, 19(6): 1657-1663

[18]Tang Guangming, Liu Jing. Discrimination research on image steganography and natural noise[J]. Computer Engineering, 2011, 37(4): 150-151 (in Chinese)(汤光明, 刘静. 图像隐写与自然噪声辨识研究[J]. 计算机工程, 2011, 37(4): 150-151)

[19]Tan X, Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Trans on Image Processing, 2010, 19(6): 1635-1650

[20]Guo Z, Zhang L,Zhang D. Rotation invariant texture classification using LBP variance (LBPV) with global matching[J]. Pattern Recognition, 2010, 43(3): 706-719

Ji Zhong, born in 1979. PhD and associate professor. Member of China Computer Federation. His research interests include feature learning, computer vision, and multimedia analysis and retrieval.

Nie Linhong, born in 1991. Master. Her research interests include feature learning and pattern recognition.

Texture Image Classification with Noise-Tolerant Local Binary Pattern

Ji Zhong and Nie Linhong

(SchoolofElectronicInformationEngineering,TianjinUniversity,Tianjin300072)

AbstractThe local binary pattern (LBP) is a simple and effective texture descriptor. However, it is very sensitive to image noise. To deal with this problem, we propose an efficient texture feature named noise-tolerant complete enhanced local binary pattern (CELBPNT) to enhance the discriminant ability against the noisy texture images. Derived from the local binary pattern, CELBPNTis robust to illumination, rotation and noise. Its feature extraction process involves the following three steps. First, different patterns in LBP are reclassified to form an enhanced LBP (ELBP) based on their structures and frequencies. Then, in order to describe the local feature completely and sufficiently, the difference of modulus value and center pixel information is added to ELBP to develop a complete ELBP feature, named CELBP. Meanwhile, the adaptive threshold of CELBP is determined by the image size. Finally, CELBPNTis proposed by using the favorable characteristics of multi-scale analysis on CELBP. The features are evaluated on the popular Outex database with different intensity and different types of noise. Extensive experimental results show that CELBPNTnot only demonstrates better performance to a number of state-of-the-art LBP variants under no-noise condition, but also effectively improves the performance of texture classification containing noise due to its high robustness and distinctiveness.

Key wordslocal binary pattern (LBP); image noise; texture image classification; feature extraction; multi-scale analysis

收稿日期：2014-12-02；修回日期：2015-10-29

基金项目：国家自然科学基金项目(61271325,61472273)；天津大学“北洋学者-青年骨干教师”基金项目(2015XRG-0014)

中图法分类号TP391.4

This work was supported by the National Natural Science Foundation of China (61271325,61472273) and the Elite Scholar Program of Tianjin University (2015XRG-0014).