基于可区分二进制局部模式特征的蛾类昆虫识别

李小林　周蓬勃　周明全　黄世国*

1(福建农林大学计算机与信息学院　福建 福州 350002)2(北京师范大学信息科学与技术学院　北京 100875)



基于可区分二进制局部模式特征的蛾类昆虫识别

李小林1周蓬勃2周明全2黄世国1*

1(福建农林大学计算机与信息学院福建 福州 350002)2(北京师范大学信息科学与技术学院北京 100875)

蛾类昆虫多为农业害虫，自动识别蛾类昆虫种类对虫害预测预报意义重大。针对现有昆虫自动识别方法集中在目以上层次昆虫识别难以实现目内昆虫识别，提出一种基于纹理特征的蛾类昆虫识别方法。应用一种改进的局部二进制模式提取昆虫图像特征，对提取得到的特征矩阵按照蛾类昆虫类别抽取本质维数，最后用KNN算法实现蛾类昆虫识别。实验结果表明：可区分CLBP能够对昆虫原始图像直接提取特征并获得优异的识别性能，同时，能够有效降低特征矩阵的维数，从而缩小存储空间，降低相似性比较的计算复杂度。该研究拓宽了计算机视觉技术应用范围，有助于实现农业病虫害的尽早预测。

二进制局部模式蛾类昆虫图像处理目标识别

0　引　言

蛾类昆虫属于鳞翅目，该类昆虫具有明显的特征，尤其是不同昆虫的翅膀差异明显。昆虫学家根据翅膀的特征对蛾类昆虫进行分类。但传统的方法费时费力，特别是在因特网环境下人工识别昆虫的方式难以发挥网络技术的优势。因此，如何实现昆虫的自动识别成为急待解决的问题。

近年来，于新文等应用不同的形状参数描述昆虫的图像特征实现基于图像的昆虫识别[1]。马骏等应用数据形态学方法提取昆虫图像骨架特征并结合神经网络算法实现昆虫识别[2]。周龙则通过数学形态学提取昆虫边缘特征实现昆虫识别[3]。刘德营等采用特征不变量等描述昆虫特征实现昆虫识别[4]。Wen等提出了基于图像的5种果园害虫的自动识别技术[5]，在此基础上结合图像的局部特征和全局特征进一步提高识别性能[6]。Wang等利用基于内容的图像检索技术提取昆虫的形状特征、纹理特征和颜色特征实现蝶类昆虫的识别[7]，并应用神经网络和支持向量机以提高识别性能[8]。现有昆虫识别的方法主要集中在目层次的昆虫识别，一般均需先提取出图像中的昆虫目标区域，然后提取该区域的特征，但鉴于目前图像分割技术的局限性，该处理往往是手工完成的，从而导致昆虫自动识别无法实现。同时，现有昆虫识别技术认为形状、颜色特征优于纹理特征，但蛾类昆虫形状相似，同种昆虫颜色各异，但翅的纹理特征突出，因此，合适的纹理特征表示是有效识别蛾类昆虫的基础。近年来，局部二进制模式LBP特征提取技术被证明是较好的纹理特征提取方法，并已应用于诊断病症、鉴定性别、行为分类等[9-12]。同时，LBP技术也不断得到改进，出现了诸多变种，如主LBP、CLBP等[13-16]。

为了避免现有处理方法先分割昆虫目标后提取特征的不足，本研究采用拍摄得到的蛾类昆虫原始图像，用CLBP算法直接提取这些昆虫图像的纹理特征，同时鉴于CLBP得到的特征矩阵巨大，而蛾类昆虫的本质特征维数有限的特点，对CLBP特征矩阵提取可识别的本征维数，从而有限地降低特征矩阵存储容量，并降低相似度比较的计算复杂度。

1　可区分的CLBP

1.1蛾类昆虫的特点及其特征提取

鳞翅目昆虫约有112 000种，其中蛾类昆虫是鳞翅目中最大的类群，占90%左右，其外观变化很多，难以作一般描述。如图1(a)、(b)和(c)属于同一种蛾类，但其形状和颜色均差异明显。图1(d)则属于另一种蛾类昆虫。由图1可知，颜色和形状作为蛾类昆虫的特征表示效果不理想，但从纹理看，图1(d)和(a)、(b)和(c)差异较明显。因此，纹理特征也可作为蛾类昆虫识别的依据。

LBP是近年来提出的很好的纹理特征提取算法，已出现多种变种。其中CLBP在原有LBP基础上综合考虑了中心点和其相邻像素点的差异程度以及中心点。

对于一幅图像中给定的某一像素，传统的LBP特征计算如下：

(1)

(a)　　　　　　　　　　(b)

(c)　　　　　　　　　　(d)

文献[16]认为式(1)忽略中心点与其相邻像素点的差异程度不利于图像特征提取，因此，在式(1)基础上提出：

(2)

其中：c为阈值，一般取整幅图像的像素平均值。mp|gp-gc|。

同时，认为中心点对目标识别也有影响，提出下式：

CLBPCP,R=s(gc-c)

(3)

其中：c为阈值，一般取整幅图像的像素平均值。

为了使CLBP特征具有旋转不变性，LBPP,R改写为:

(4)

图2是图1(a)的昆虫CLBP特征表示，RI表示具旋转不变性的CLBP特征，M表示式(2)表示的特征，S为式(1)表示的特征，数字8和24分别表示为式(1)和式(2)中P的值。

(a) S8　　　　　　　　(b) RIS8

(c) S24　　　　　　　　(d)RI S24

(e) M8　　　　　　　　　(f)RI M8

(g) M24　　　　　　　　　(h) RI M24

图2(a)-(d)为传统的LBP特征表示即式(1)以及旋转不变性处理的图像处理结果。图2(a)和(b)比较表明旋转不变性处理后得到的特征较不具旋转不变性的特征能够更好表达昆虫的纹理特征；图2(b)和(d)表明P=24时的昆虫LBP特征比P=8时的特征更清晰和精细；图2(e)-(h)则为式(2)以及旋转不变性处理的图像处理结果，是CLBP特征中考虑到中心点和其相邻点灰度差异程度外得到的纹理特征表示，同样地，旋转不变性处理后的比未经处理的特征图像、P=24比P=8时的特征图像更清晰细致。图1(d)和(h)则表明式(1)即传统的LBP特征和式(2)即CLBP中扩展传统LBP后的特征之间具有差异且有互补性。因CLBP中式(3)表示的图像特征与昆虫本身不具有对应关系，在本文中未列出。因此，本研究仅应用CLBP中的式(1)和式(2)以及旋转不变性处理后的特征表示。

1.2可区分的CLBP

第一步：得到每幅图像的主要模式

对直方图fi降序排列后得到新的按其模式的个数降序排列fi，对fis做以下循环运算：

Fork=1toTotal

break;

用Vec存储筛选出的前k个模式。Veci表示第i幅图像的前k个模式直方图。

对于同一类中的图像提取其CLBP特征并抽取前K个模式，同一类中不同图像的k可能不一样。

第二步：得到每类图像的可区分模式

设某类图像的个数为nj个，Veci为该类某幅图像的主要模式，i=1,…,nj。假设输出的第num类图像的可区分模式为Class-Vecnum，则:

Class_Vecnum=Vec1

Forcount=2tonj

Class_Vecnum=Veccount∩Class_Vecnum

第三步：得到总的可区分模式

设总的可区分模式为Total_Class_Vec，图像集中图像的类别数量为nclass，则:

Total_Class_Vec=Class_Vec1

Forcount=2tonclass

Total_Class_Vec=Class_Veccount∪Total_Class_Vec

2　实验结果分析

用数码相机(分辨率为500万像素)在日光灯照明情况下分别拍摄福建农林大学林学院昆虫标本室中尺蛾科、灯蛾科、夜蛾科等三个科的昆虫图像，其图像数分别为49、43和20，共112幅图像。将每类图像随机各取出一半图像作为训练集和测试集，其中训练集的图像为57幅、测试集为55幅。对每幅图像提取CLBP特征，即在提取传统LBP特征基础上进一步提取旋转不变性处理后的式(2)的特征，然后提取可区分的CLBP，最后用KNN算法实现识别。

本实验在WindowXP操作系统上用Matlab2009b编程语言实现，处理器为Intel1.6GHz，内存为2GB。

表1　不同粒度可区分特征提取方法的识别率

注： 表中所有特征均为可区分特征，用D表示；RI、M、S、8、24的含义与图2同

表2　P为24时LBP和CLBP可区分特征提取方法的识别率

注：表中所有特征均为可区分特征，用D表示；RI、M、S、8、24的含义与图2同

表3　P为24时CLBP和可区分CLBP的维数

注：D、RI、M、S、8、24的含义同表1

首先比较了不同粒度时CLBP可区分昆虫图像特征表示的分类识别率(表1)。表1可看出P=24时的CLBP可区分特征表示的分类识别率比P=8时的CLBP可区分特征表示的高11%。P=8和P=24时的CLBP可区分特征的混合表示与P=24时的CLBP可区分特征表示的分类识别率相同。这说明P=24时的分类识别性能优于P=8的，也说明P=24时的特征表示包含了蛾类昆虫识别所需的特征表示信息。在此基础上，进一步比较P=24时，传统LBP即DRIS24可区分图像特征和CLBP即DRIM24+DRIS24可区分图像特征的分类识别率(表2)。表2可看出P=24时的LBP特征表示的分类识别率比P=24时的CLBP特征表示的低9.2%，说明CLBP能够有效地提高蛾类昆虫识别率，具有更好的识别性能。表3可看出P=24时的可区分CLBP特征表示的维数仅为初始CLBP特征表示的0.7%以下，其中DRIM24的维数仅为RIM24的维数的0.2%，即99.8%的维数特征对分类不具影响，同时，DRIS24的维数仅为RIS24的维数的0.7%，99.3%的维数被丢弃了，且不影响分类性能。因此，可区分CLBP特征表示方法不仅能够提高蛾类昆虫的分类识别性能，并且能够由于急剧减少用于分类的特征维数从而能够更容易实现快速识别蛾类昆虫的目标。

3　结　语

蛾类昆虫的翅膀具明显的纹理特征且差异明显。与传统昆虫识别方法将颜色描述子和形状描述子作为昆虫特征不同，纹理特征是适用于目以下的昆虫识别的特征表示方法。本研究中我们用CLBP提取昆虫原始图像的纹理特征，并根据类别信息提取共有的表示模式，有效地降低了用于识别的维数，与不具区分的CLBP特征维数相比，仅利用其不到1%的总维数即可以有效地识别蛾类昆虫，最后用KNN算法得到的分类准确率为96.4%。由此可知，可区分的CLBP特征是适用的蛾类昆虫特征提取方法。在此基础上开发出的蛾类昆虫自动识别系统具有实际的应用价值。同时，该系统还可以与网络技术相结合，从而使得蛾类昆虫的远程自动识别成为可能。本研究成果有助于农业病虫害的尽早发现，从而减少经济缺失。

[1] 于新文，沈佐锐，高灵旺，等．昆虫图像几何形状特征的提取技术研究[J]．中国农业大学学报，2003，8(3):47-50．

[2] 马骏，王建华． 一种基于数学形态学的植物病虫识别方法[J]．深圳大学学报:理工版，2004，21(1):72-75．

[3] 周龙．基于数学形态学的储粮害虫图像边缘检测算法的研究[J]．微计算机信息，2005，21(4):115-116．

[4] 刘德营,丁为民,赵三琴．稻飞虱图像形状和颜色特征提取的研究[J]．江西农业学报,2009,21(5):97-98.

[5]WenC,GuyerDE,LiW.Localfeature-basedidentificationandclassificationfororchardinsects[J].Biosystemsengineering,2009,104(3):299-307.

[6]WenC,GuyerD.Image-basedorchardinsectautomatedidentificationandclassificationmethod[J].ComputersandElectronicsinAgriculture,2012,89:110-115.

[7]WangJ,JiL,LiangA,etal.Theidentificationofbutterflyfamiliesusingcontent-basedimageretrieval[J].BiosystemsEngineering,2012,111(1):24-32.

[8]WangJ,LinC,JiL,etal.Anewautomaticidentificationsystemofinsectimagesattheorderlevel[J].Knowledge-BasedSystems,2012,33:102-110.

[9]BurcinK,VasifNV.Downsyndromerecognitionusinglocalbinarypatternsandstatisticalevaluationofthesystem[J].ExpertSystemswithApplications,2011,38(7)::8690-8695.

[10]ShanC.Learninglocalbinarypatternsforgenderclassificationonreal-worldfaceimages[J].PatternRecognitionLetters,2012,33(4):431-437.

[11]LiuYY,ChenM,IshikawaH,etal.AutomatedmacularpathologydiagnosisinretinalOCTimagesusingmulti-scalespatialpyramidandlocalbinarypatternsintextureandshapeencoding[J].Medicalimageanalysis,2011,15(5):748-759.

[12]NanniL,BrahnamS,LuminiA.LocalTernaryPatternsfromThreeOrthogonalPlanesforhumanactionclassification[J].ExpertSystemswithApplications,2011,38(5):5125-5128.

[13]PujolFA,GarcíaJC.ComputingthePrincipalLocalBinaryPatternsforfacerecognitionusingdataminingtools[J].ExpertSystemswithApplications,2012,39(8):7165-7172.

[14]FathiA,Naghsh-NilchiAR.Noisetolerantlocalbinarypatternoperatorforefficienttextureanalysis[J].PatternRecognitionLetters,2012,33(9):1093-1100.

[15]PapakostasGA,KoulouriotisDE,KarakasisEG,etal.Moment-basedlocalbinarypatterns:Anoveldescriptorforinvariantpatternrecognitionapplications[J].Neurocomputing,2013,99:358-371.

[16]GuoZ,ZhangL,ZhangD.Acompletedmodelingoflocalbinarypatternoperatorfortextureclassification[J].IEEETransactionsonImageProcessing,2010,19(6):1657-1663.

RECOGNINGINSECTSOFMOTHSPECIESBASEDONDISCRIMINATIVELOCALBINARYPATTERNFEATURES

LiXiaolin1ZhouPengbo2ZhouMingquan2HuangShiguo1*

1(College of Computer and Information,Fujian Agriculture and Forestry University,Fuzhou 350002,Fujian,China)2(College of Information Science and Technology,Beijing Normal University,Beijing 100875,China)

Mostofinsectsofmothspeciesaretheagriculturalpests,thereforetheautomaticrecognitionofthecategoryofinsectsofmothspeciesareofgreatimportanceforpestprediction.Currentautomaticinsectrecognitionmethodsmostlyfocusonrecognisingtheinsectsabovetheorderlevelbutarehardtorecognisetheinsectsontheorderlevel,inlightofthisproblemweproposedatexturefeature-basedrecognitionmethodforinsectsofmothspecies.Itextractsthefeaturesofinsectimagesbyapplyingamodifiedlocalbinarypatternalgorithm(CLBP),anddistilsnaturedimensionfromtheextractedfeaturematrixaccordingtothecategoryofinsectsofmothspecies,andfinallyappliesKNNalgorithmtotherealisationofrecognisinginsectsofmothspecies.ExperimentalresultsshowedthatthediscriminativeCLBPcanextractfeaturesfromoriginalinsectimagesdirectlyandachievesexcellentrecognitionperformance,meanwhileitcaneffectivelyreducethedimensionsoffeaturesmatrix,sothatdwindlesthestoragespaceanddecreasesthecomputationalcomplexityofsimilaritycomparison.Ourresearchbroadenstheapplicationscopeofcomputervisionandwillbehelpfulforearlypredictionofagriculturepestsanddiseases.

LocalbinarypatternInsectsofmothspeciesImageprocessingObjectrecognition

2014-10-27。国家自然科学基金项目(61170203)；福建省自然科学基金项目(2013J01071);国家重点基础研究发展计划前期研究专项(2011CB311802);虚拟现实应用教育部工程研究中心开放基金项目(MOEBNUEVRA200904)。李小林，副教授，主研领域：智能图像处理。周蓬勃，实验员。周明全，教授。黄世国，副教授。

TP391

ADOI:10.3969/j.issn.1000-386x.2016.03.039