杨 涛 杨博雄 尹 萍 熊 纯 邹佳雪
(三亚学院信息与智能工程学院 海南三亚 572022;三亚学院陈国良院士工作站 海南三亚 572022)
基于植物叶片图像的植物识别方法研究在保护生态环境方面具有十分重要的意义[1]。植物叶片的平面基于二维结构,特性稳定,比花和果实有更长的生存期,容易分析和提取叶片特征,因此在植物分类中将叶片作为研究对象。植物叶片复杂多样,数量多,传统植物叶片分类方法效率低、主观性强,难以满足大量植物叶片图像精确分类需求[2]。因此需要借助机器视觉技术对植物叶片进行分类。
近年来,随着计算机视觉和模式识别技术的发展,叶片图像特征提取技术不断涌现[3~6],在植物分类中得到广泛的应用。然而根据Retinex 理论,植物叶片图像是由叶片材质和光照环境等多种因素决定的,其中叶片材质反应图像的颜色信息,光照环境反应图像的纹理和边缘信息,因此直接提取特征信息会造成特征之间的干扰,降低分类准确率,所以进行本征信息分解十分必要。本文提出一种基于本征信息分解的植物叶片分类方法。将原始图像分解后,从反射率本征图像中提取叶片的颜色特征,光照本征图像中提取纹理特征和边缘特征,并将3 种特征按照一定的权重比例融合后用于植物分类。从而解决了不相关因素的干扰问题,有利于提高植物叶片分类效果,对维持多元物种,保护植物提供了一定的技术支持。
本文采用Swedish 叶片数据集进行实验。在该数据中随机选择10 种植物叶片(欧洲瑞香,臭椿,榛叶,构树叶,海桐叶,桂英叶,紫荆,朴树,杨木叶,小叶榆),每种叶片包含70 张样本(共计700 个样本),其中20 张用来提取不同的特征,形成植物叶片图像特征库。另外50 张用来分类测试。
1.2.1 本征图像分解
本征图像分解最初由Barrow 和Tenenbaum 提出,核心思想是将原始图像分解得到反射率本征图像(Reflectance)和光照本征图像(Shading)。定义能量函数:
上式中,N(i)是像素点对应的局部邻域窗格,P是图像上所有像素点。
在上述能量方程基础上,得到能量优化公式:
利用上述能量优化方法将植物叶片图像分解为反射率本征图像和亮度本征图像。为方便程序调用,本文将植物叶片分解算法进行封装,其C++/OpenCV 函数接口如下。
vector
设计意图: 学生结合思维导图概括主要内容是进行知识加工并表达的过程,课后作业是为促进学生科学地认知进行的实践性指导。
1.2.2 特征提取
植物叶片图像的特征提取,从反射率本征图像中提取颜色特征,从光照图像中提取纹理和边缘特征。具体分为以下三部分。
(1)颜色特征。将植物叶片的反射率本征图像从RGB颜色空间转换到HSV 颜色空间,并按照符合人眼视觉颜色感知的标准H∶S∶V=8∶3∶3 量化图像,最后以9∶3∶1的比例将图像量化成72 柄一维特征矢量。同时考虑到植物叶片在图像中的“中心聚集”特性,本文将图像从水平和竖直两个方向上进行3∶3 的不均匀分块(1∶2∶1)。分割后,逐块进行非等间隔量化,计算72 柄颜色直方图向量。并分别求取特征矢量,最终生成一个72*9 的颜色特征矩阵。
(2)纹理特征。将植物叶片光照本征图像由[0,255 ]灰度等级量化成为[0,16],并在00,450,900,1350四个方向上生成图片的灰度共生矩阵,最后统计灰度共生矩阵能量、熵、对比度和逆差矩获取16 柄一维特征向量[23~24]。同时,考虑到植物叶片纹理的分布,采取与颜色特征相同的分块规则,并分别求取特征矢量,最终得到一个16*9 的纹理特征矩阵。
(3)边缘特征。采用sobel 水平和竖直检测算子对植物叶片光照本征图像进行滤波,得到水平和竖直方向的梯度图像并取绝对值后整合成为一幅梯度图像。为统一边缘特征的维度,本文在计算边缘特征前将图像归一化调整到16*8。
1.2.3 多特征融合
植物叶片的综合特征,是将获取的颜色特征、纹理特征和边缘特征按一定比例进行整合。多特征的计算公式如下:
其中,FeaturesAll是综合特征,而FeatureHist、FeatureGLCM和FeatureGradient分别是颜色、纹理和边缘特征。a、b、c 分别代表颜色、纹理和边缘特征所占的比例,sum则是三种特征的比例之和。本文通过实验测试,得到颜色、纹理和边缘特征按照2∶4∶4(a∶b∶c)比例进行融合,能够得到最佳的图像分类效果。
图1 原始图像分解为反射率本征图像和光照本征图像
本文利用1.2.2(1)的算法在反射率本征图像中提取颜色特征,利用1.2.2(2)的算法在光照本征图像中提取纹理特征。按照提及的分块策略进行特定比例划分,海桐叶片本征图像分块结果如图2所示。
图2 反射率本征图像和光照本征图像分块方式
在植物叶片的光照本征图像中利用1.2.2(3)中的算法求取边缘特征,海桐叶片的边缘图像如图3所示。
图3 水平、垂直和综合方向的植物叶片边缘(梯度)
为验证基于本征信息分解的植物叶片分类方法的有效性,对Swedish 植物叶片数据集中随机选择的10 种叶片图像分别采用单一颜色特征、单一纹理特征、多元与植物叶片原始图像分解后的单一颜色特征、单一纹理特征、综合特征的叶片分类方法进行分类准确率比较。
2.2.1 单一颜色特征分类
由表1可知,在随机选择的10 种植物叶片中,按照分解原始图像后的单一颜色特征与原始图像单一颜色特征分类相比,分解后,臭椿叶和杨木叶平均准确率均提高6%;构树、海桐、桂英、瑞香、紫荆、叶榆平均准确率均提高2%,榛叶和朴树叶平均准确率与分解前相同均为92 %。其中杨木和叶榆的平均准确率为98 %。
2.2.2 单一纹理特征分类
由表1可知,在随机选择的10 种植物叶片中,按照分解原始图像后的单一纹理特征与原始图像单一纹理特征分类相比,海桐叶分类平均准确率提高22 %;构树叶和紫荆叶分类的平均准确率均提高18 %;朴树叶分类的平均准确提高14 %;桂英叶分类的平均准确率提高12 %,叶榆提高10 %,剩余的5 种叶子分类的平均准确率提高4~8 %。分解后,朴树叶的平均准确率最高为94 %。
2.2.3 综合特征分类
由表1可知,在随机选在的10 种植物中,按照分解原始图像后的综合特征与原始图像综合特征分类相比,分解后,臭椿叶分类的平均准确率提高2 %,其余的9 种植物叶片分类准确率均提高4 %。其中叶榆分类的平均准确率高达100 %,臭椿、朴树和杨木分类的平均准确率为98 %。在10 种植物中,构树叶分类的平均准确率最低为92 %。
表1 不同植物叶片分类方法分类效果
综上所述,对表1中的10 种植物叶片分类的准确率进行统一分析。当利用原始图像提取单一颜色特征分类时,分解原始图像后平均准确率提高3 %达到92 %;利用原始图像提取单一纹理特征分类时,分解原始图像后平均准确率提高13 %达到80 %;利用原始图像提取综合特征分类时,分解原始图像后平均准确率提高4 %达到97 %。因此,基于本征信息的植物叶片分类方法对植物叶片分类具有一定的有效性。
本文基于本征图像分解原理提出了基于本征信息的植物叶片分类方法,将本征信息应用于植物叶片分类,避免了直接在原始图像中提取颜色、纹理和边缘特征信息干扰的问题。实验结果表明,相对传统从彩色图像和灰度图像中提取颜色、纹理和边缘特征的方案,本文方法具有较强的理论依据和较好的分类效果。综上所述,本文提出的方法对提高植物叶片分类准确率具有一定的作用,对农业领域的图像分类具有一定的借鉴意义。