王 礼, 洪祖兵, 方陆明, 陈 珣, 吴 超
(1.浙江农林大学 信息工程学院,浙江 杭州311300;2.浙江农林大学 浙江省林业智能监测与信息技术研究重点实验室,浙江 杭州311300;3.浙江省仙居县林业局,浙江 仙居 317300)
观赏植物是专门培植来供观赏的植物,一般都有美丽的花或者形态比较奇异[1]。在校园或公园等地会经常看到,但普通的非专业人士一般不易识别。当前智能手机得到普及,同时,人们对辨识观赏植物有着浓厚的兴趣。通过手机拍摄,并将识别相关信息在手机端展现,将提高人们对观赏植物的欣赏能力。国内外学者通过叶片识别植物已做了不少研究,并取得了一定的研究成果。2012年,由华盛顿大学、哥伦比亚大学、马里兰大学和美国自然历史博物馆(即史密斯研究院)共同开发的手机应用 “Leafsnap”可以通过树木叶片图像识别相应的树种,即从复杂背景中分割出叶片图像,然后提取叶脉轮廓线及其曲率,最后从存有美国东北部184个树种的数据库中查询匹配[2]。陈芳等[3]开发了嵌入式植物自动识别系统,通过提取叶片的形状特征实现了对校园内9种植物叶片的识别;张玉琢等[4]设计了植物远程快速识别的方法,通过网络上传叶片图像,采用与叶片库中叶片进行图像对比的方式识别植物种类。当前最具有代表性的植物识别商业系统应用程序(application,APP)有形色、花伴侣、微软识花等。此类系统依托了庞大的植物数据库,采用了人工智能识别技术。但其植物识别过程较粗放、不精细,背后过于庞大的数据库反而容易误导,导致识别结果不够准确。并且以上植物识别系统都无法将植物与本地文化相结合。本研究基于iOS系统,采取精细化识别方法,对传统的图像识别流程进行了优化。省去图像去噪处理,筛选了颜色、形状、纹理特征中具有代表性的10种特征,从而将识别时间控制在合理范围内,提高了识别率,加入了观赏植物的科学和人文属性,充分发扬了本地校园内观赏植物的人文价值。
植物识别系统由数据库、图像预处理、特征提取、识别显示等组成。其中,图像预处理、特征提取、图像分类是关键环节。研发流程如图1所示。SQLite数据库用于存储叶片特征数据、植物属性信息;在数据采集阶段,采集观赏植物叶片样本以及结合了校园文化的植物属性信息;然后用MATLAB软件处理采集到的叶片样本,提取颜色、形状、纹理等特征,与植物属性信息一同存入数据库;最后采用OpenCV技术编写iOS程序,实现系统功能。
图1 系统研发流程图Figure 1 Flow diagram of system research and development
如图2所示:面对识别植物,打开iPhone手机中的观赏植物识别APP,正面拍摄植物叶片,相关程序模块对获取的叶片图像进行分割,提取叶片的颜色特征、形状特征、纹理特征,并运用支持向量机(SVM)分类器识别叶片,并从SQLite数据库中筛选出最具可能的植物并展示结果。
数据库是系统的核心内容,需搭建SQLite数据库。系统的数据库由2个部分组成:特征(feature)表存储叶片的3种特征,用于匹配和识别(表1);人文及科学价值信息(information)表用于储存校园文化、人文典故及科学价值等方面的信息,从而将物种识别、科学普及、校园文化及人文典故有机结合,真正起到了既识别物种又展示文化的效果(表2)。
表1 存储叶片的特征表Table 1 Features
图2 系统示意及识别流程图Figure 2 System schematic and recognition procedure diagrams
表2 人文及科学价值信息表Table 2 Information
数据库框架和表格设计完成后,需选取观赏植物并采集叶片,提取数据存入数据库。植物的选取需要兼顾普及率和观赏性。本研究选取了浙江农林大学校园内8种常见的观赏植物,分别为山茶Camellia japonica,玉兰Magnolia denudata,银杏Ginkgo biloba,大叶黄杨Euonymus japonicas,紫叶小檗Berberis thunbergiivar.atropurpurea,日本晚樱Cerasus serrulatavar.lannesiana,绣球荚蒾Viburnum macrocephalum,红叶石楠Photinia fraseri(图3)。植物叶片的外观在不同时期存在一定差异,对每种植物在不同时期采集共200张叶片。其中100张作为SVM分类器训练样本,其余100张作为系统测试样本。
采集后带回实验室拍照获取图像。采用的拍照设备为1 200万像素的iPhone SE。使用MATLAB_R2014b图像处理软件分割叶片图像,提取相关特征值,存入特征表中;查阅该植物的人文及科学价值信息,存入信息表,完成SQLite数据库建设。
图像预处理的目的是获得图像中的叶片部分,它会直接影响后续的特征提取与识别。主要由灰度转换、自动阈值分割和形态学处理3个环节构成。由于目前的iPhone手机拍照分辨率普遍较高,成像清晰,因此本研究未做图像去噪处理。
本研究的原始图片都基于RGB颜色模型,转换为灰度图后,运用OTSU法将其分割,得到二值图像;通过形态学操作,消除杂物、空洞填充、腐蚀、膨胀等,得到形状精确的二值图,进而得到分割后的叶片灰度图。
图3 选取的8种观赏植物叶片Figure 3 Leaves of the 8 selected ornamental plants
叶片图像的分割首先要借助灰度图。本研究运用标准的灰度转换算法,采用转换算式(1),将RGB图像转换为灰度图。
式(1)中:Gray为灰度值;R为红色分量;G为绿色分量;B为蓝色分量。
将RGB原图转换为灰度图后,可自动分割。自动阈值分割采取OTSU法[5],又名大津法,是一种使类间方差最大的自动确定阈值的方法,对于呈现双峰特点的灰度直方图尤其有效,是一种常用的阈值选取方法。叶片实验表明,该方法简洁、高效、精确,对叶片图像的分割效果良好。
分割后生成的叶片图像二值图,内部可能会存在孔洞,外部出现杂点,需进行二值图像孔洞填充、去杂点、膨胀、腐蚀等形态学处理。此过程可有效去除二值图的噪声,而且不会明显改变叶片原先的轮廓。
灰度膨胀公式:
灰度腐蚀公式:
式(2)和式(3)中:f⊕B为灰度膨胀函数;f⊖B为灰度腐蚀函数;f和f(x,y)代表输入图像;B和B(i,j)代表结构元素;x和y分别代表输入图像的横、纵坐标;i和j分别代表结构元素的横、纵坐标;Df和DB分别是输入图像和结构元素的定义域。图4展示了银杏叶片图像分割的各个步骤。
分割出图像中的叶片后,需要提取叶片的特征参数。本研究选用植物叶片的颜色、形状和纹理3种主要特征。同种植物的不同叶片往往具有不同的特征值,因此计算结果取其平均值。
植物叶片的颜色很直观,具有旋转、平移不变性,但不同种类叶片的色相H和饱和度S会有较大差异。本研究采用HSI颜色模型中H和S分量表示叶片的颜色特征,即分割后的H分量图像的色相均值和S分量图像的饱和度均值。H和S的转换如式(4):
图4 叶片图像分割各步骤示例Figure 4 Examples on procedures for leaf image segmentation
植物识别的依据是叶片的形状特征[6]。形状是叶片最本质的特征,具有移动、缩放不变的特性,不同植物的叶片几乎有着完全不同的形状。同类叶片大小不一,但相对形状一致。本研究采用了叶片的纵横轴比、矩形度、圆形度、形状参数等4种相对形状特征,算式如下:
不同叶片表面的纹理在粗细、走向上都有很大差别。相比其他方法,灰度共生矩阵(gray level cooccurrence matrix,GLCM)特征能够更好地突出图像的纹理信息,被大量应用于将灰度值转化为纹理信息[7]。考虑到计算量与有效性,选取了灰度共生矩阵中的能量、对比度、熵和局部平稳性等4种纹理特征:①能量f1,反映了图像灰度分布均匀程度和纹理粗细度,采用式(9)计算:
②对比度f2,反映了图像的清晰度和纹理的沟纹的深浅,采用式(10)计算:
③熵f3,度量了图像纹理的非均匀度,采用式(11)计算:
④局部平稳性f4,度量了图像纹理的平坦度,采用式(12)计算:
式(9)~(12)中:i和j为像素点横、纵坐标值;N由叶片图像的范围确定;p(i,j)为像素点的灰度值。
运用公式提取出叶片的特征值,并与植物属性数据一同存入数据库。表3为每种叶片的各特征归一化后的数值,它们为200个叶片的平均值。
支持向量机(support vector machines,SVM)是一种最常用的分类器。与人工神经网络分类方法相比,SVM分类方法在解决小样本、非线性及高维模式识别中优势突出[8]。
表3 每种植物叶片各特征的平均值Table 3 List of mean values of features of each plant leaf
将每种叶片的3类特征作为SVM的训练特征,进而得到SVM分类器。得到叶片的颜色、形状和纹理特征的向量后,将这些特征作为分类方法的输入向量,用于植物叶片的识别。
SVM的关键在于核函数,低维空间向量集通常难以划分,解决的方法是将它们映射到高维空间;但这个办法带来的困难就是计算复杂度的增加,而核函数正好巧妙地解决了这个问题。由于径向基核函数是非线性函数,在SVM分类器训练过程中,能有效减少计算复杂性。多数研究[9-11]都采取了SVM分类器并采用径向基核函数。因此本研究选择径向基函数作为分类器核函数,定义为:
式(13)中:K为径向基函数名;x为权向量;xi为样本集中第i个样本;δ核函数扩展常数;该参数决定SVM分类器的预测能力。
系统开发基于macOS操作系统,SQLite数据库,Xcode 8.0开发环境,采用Swift 3.0语言和OpenCV技术。
图5为系统运行的界面。设计了3个Tab按钮,分别为 “浏览” “识别” “详情”。用户可在3个按钮之间自由切换。 “浏览”界面为观赏植物列表,点击选择某种观赏植物叶片,程序会自动跳转到“详情”界面,可查看该植物的校园文化、典故等信息,并展现文字和四季图片。识别时,点击中间的“识别”按钮,然后将取景框对准叶片,点击 “拍照”按钮(或点击 “相册”按钮直接从相册中获取图片),等待2 s左右,识别结果以图文形式在 “详情”界面上显示。
图5E和5F为银杏叶片的识别结果,展示了浙江农林大学校园内银杏大道一年四季的景色,体现了深厚的文化内涵。
每种植物选取100张叶片图像做训练,100张作为测试数据,经过实际试验,得出了3个系统对于各观赏植物的平均识别率和所用时间(表4)。由表4可知:本系统尽管平均用时比形色和花伴侣更长,但识别率最高,更能适应校园师生对校园内观赏植物识别和文化获取的需求。前2个商业应用程序无法给出与本地校园有关的观赏植物文化信息。
本研究选取植物叶片的颜色、形状、纹理特征,采用SVM分类器,利用iOS和OpenCV技术开发了观赏植物识别系统,基本满足了公众对植物识别的要求,为校内观赏植物的精细化识别及人文信息展现提供了可能。但研究所选植物数量少,还需扩充植物数量,完善数据库。同时,采用B/S架构,建立观赏植物中心数据库,将数据集中于后台服务器,提高处理效率,扩大应用范围。
图5 系统界面及功能展示Figure 5 System interface and function exhibition
表4 各观赏植物识别应用程序的识别率和所用时间Table 4 Recognition rate and time of various ornamental plants recognition APP
[1] 刘奕清.观赏植物[M].北京:化学工业出版社,2009.
[2] KUMAR N,BELHUMEUR P N,BISWAS A,et al.Leafsnap:a computer vision system for automatic plant species identification [C]//FITZGIBBON A,LAZEBNIK S,PERONA P,et al.European Conference on Computer Vision.Heidelberg Berlin:Springer,2012:502-516.
[3] 陈芳,张广群,崔坤鹏,等.嵌入式植物自动识别系统的设计与实现[J].浙江农林大学学报,2013,30(3):379-384.CHEN Fang,ZHANG Guangqun,CUI Kunpeng,et al.Design and implementation of an embedded automatic plant recognition system [J].J Zhejiang A&F Univ,2013,30(3):379 - 384.
[4] 张玉琢,李柏依.植物远程快速识别的方法[J].计算机应用,2016,36(增刊2):206-209.ZHANG Yuzhuo,LI Boyi.Remote rapid recognition method for plants [J].J Comput Appl,2016,36(suppl 2):206 -209.
[5] OTSU N.A threshold selection method from Gray-Level Histograms [J].IEEE Trans Syst Man Cybern,1979,9(1):62-66.
[6] 胡秋萍.基于叶片形状特征的植物识别技术研究[D].西安:西安电子科技大学,2014.HU Qiuping.The Study of Plant Identification Technology based on Leaves’Shape Features[D].Xi’an:Xidian University,2014.
[7] 柴阿丽.基于计算机视觉和光谱分析技术的蔬菜叶部病害诊断研究[D].北京:中国农业科学院,2011.CHAI Ali.Study on Diagnosis of Vegetable Foliage Diseases based on Computer Vision and Spectral Analysis[D].Beijing:Chinese Academy of Agricultural Sciences,2011.
[8] 王梅嘉,何东健,任嘉琛.基于Android平台的苹果叶病害远程识别系统[J].计算机工程与设计,2015,36(9): 2585 - 2590.WANG Meijia,HE Dongjian,REN Jiachen.Remote recognition of apple leaf disease based on Android platform [J].Comput Eng Des,2015,36(9):2585 - 2590.
[9] 丁世飞,齐丙娟,谭红艳,等.支持向量机理论与算法研究综述[J].电子科技大学学报,2011,40(1):2-10.DING Shifei,QI Bingjuan,TAN Hongyan,et al.An overview on theory and algorithm of support vector machines [J].J Univ Electron Sci Technol China,2011,40(1):2 - 10.
[10] 王丽君,淮永建,彭月橙.基于叶片图像多特征融合的观叶植物种类识别[J].北京林业大学学报,2015,37(1):55 - 61.WANG Lijun,HUAI Yongjian,PENG Yuecheng.Method of identification of foliage from plants based on extraction of multiple features of leaf images [J].J Beijing For Univ,2015,37(1):55 - 61.
[11] 李洋,李岳阳,罗海驰,等.基于形状特征的植物叶片在线识别方法[J].计算机工程与应用,2017,53(2):162-165.LI Yang,LI Yueyang,LUO Haichi,et al.Online plant left recognition based on shape features [J].Comput Eng Appl,2017,53(2):162 - 165.