基于iOS系统的观赏植物识别

王 礼， 洪祖兵， 方陆明， 陈 珣， 吴 超

（1.浙江农林大学 信息工程学院，浙江 杭州311300；2.浙江农林大学 浙江省林业智能监测与信息技术研究重点实验室，浙江 杭州311300；3.浙江省仙居县林业局，浙江 仙居 317300）

观赏植物是专门培植来供观赏的植物，一般都有美丽的花或者形态比较奇异［1］。在校园或公园等地会经常看到，但普通的非专业人士一般不易识别。当前智能手机得到普及，同时，人们对辨识观赏植物有着浓厚的兴趣。通过手机拍摄，并将识别相关信息在手机端展现，将提高人们对观赏植物的欣赏能力。国内外学者通过叶片识别植物已做了不少研究，并取得了一定的研究成果。2012年，由华盛顿大学、哥伦比亚大学、马里兰大学和美国自然历史博物馆（即史密斯研究院）共同开发的手机应用 “Leafsnap”可以通过树木叶片图像识别相应的树种，即从复杂背景中分割出叶片图像，然后提取叶脉轮廓线及其曲率，最后从存有美国东北部184个树种的数据库中查询匹配［2］。陈芳等［3］开发了嵌入式植物自动识别系统，通过提取叶片的形状特征实现了对校园内9种植物叶片的识别；张玉琢等［4］设计了植物远程快速识别的方法，通过网络上传叶片图像，采用与叶片库中叶片进行图像对比的方式识别植物种类。当前最具有代表性的植物识别商业系统应用程序（application，APP）有形色、花伴侣、微软识花等。此类系统依托了庞大的植物数据库，采用了人工智能识别技术。但其植物识别过程较粗放、不精细，背后过于庞大的数据库反而容易误导，导致识别结果不够准确。并且以上植物识别系统都无法将植物与本地文化相结合。本研究基于iOS系统，采取精细化识别方法，对传统的图像识别流程进行了优化。省去图像去噪处理，筛选了颜色、形状、纹理特征中具有代表性的10种特征，从而将识别时间控制在合理范围内，提高了识别率，加入了观赏植物的科学和人文属性，充分发扬了本地校园内观赏植物的人文价值。

1 系统设计

1.1 研发流程及系统示意

植物识别系统由数据库、图像预处理、特征提取、识别显示等组成。其中，图像预处理、特征提取、图像分类是关键环节。研发流程如图1所示。SQLite数据库用于存储叶片特征数据、植物属性信息；在数据采集阶段，采集观赏植物叶片样本以及结合了校园文化的植物属性信息；然后用MATLAB软件处理采集到的叶片样本，提取颜色、形状、纹理等特征，与植物属性信息一同存入数据库；最后采用OpenCV技术编写iOS程序，实现系统功能。

图1 系统研发流程图Figure 1 Flow diagram of system research and development

如图2所示：面对识别植物，打开iPhone手机中的观赏植物识别APP，正面拍摄植物叶片，相关程序模块对获取的叶片图像进行分割，提取叶片的颜色特征、形状特征、纹理特征，并运用支持向量机（SVM）分类器识别叶片，并从SQLite数据库中筛选出最具可能的植物并展示结果。

1.2 数据库设计

数据库是系统的核心内容，需搭建SQLite数据库。系统的数据库由2个部分组成：特征（feature）表存储叶片的3种特征，用于匹配和识别（表1）；人文及科学价值信息（information）表用于储存校园文化、人文典故及科学价值等方面的信息，从而将物种识别、科学普及、校园文化及人文典故有机结合，真正起到了既识别物种又展示文化的效果（表2）。

表1 存储叶片的特征表Table 1 Features

图2 系统示意及识别流程图Figure 2 System schematic and recognition procedure diagrams

表2 人文及科学价值信息表Table 2 Information

2 数据采集

数据库框架和表格设计完成后，需选取观赏植物并采集叶片，提取数据存入数据库。植物的选取需要兼顾普及率和观赏性。本研究选取了浙江农林大学校园内8种常见的观赏植物，分别为山茶Camellia japonica，玉兰Magnolia denudata，银杏Ginkgo biloba，大叶黄杨Euonymus japonicas，紫叶小檗Berberis thunbergiivar.atropurpurea，日本晚樱Cerasus serrulatavar.lannesiana，绣球荚蒾Viburnum macrocephalum，红叶石楠Photinia fraseri（图3）。植物叶片的外观在不同时期存在一定差异，对每种植物在不同时期采集共200张叶片。其中100张作为SVM分类器训练样本，其余100张作为系统测试样本。

采集后带回实验室拍照获取图像。采用的拍照设备为1 200万像素的iPhone SE。使用MATLAB_R2014b图像处理软件分割叶片图像，提取相关特征值，存入特征表中；查阅该植物的人文及科学价值信息，存入信息表，完成SQLite数据库建设。

3 图像预处理

图像预处理的目的是获得图像中的叶片部分，它会直接影响后续的特征提取与识别。主要由灰度转换、自动阈值分割和形态学处理3个环节构成。由于目前的iPhone手机拍照分辨率普遍较高，成像清晰，因此本研究未做图像去噪处理。

本研究的原始图片都基于RGB颜色模型，转换为灰度图后，运用OTSU法将其分割，得到二值图像；通过形态学操作，消除杂物、空洞填充、腐蚀、膨胀等，得到形状精确的二值图，进而得到分割后的叶片灰度图。

图3 选取的8种观赏植物叶片Figure 3 Leaves of the 8 selected ornamental plants

3.1 灰度转换

叶片图像的分割首先要借助灰度图。本研究运用标准的灰度转换算法，采用转换算式（1），将RGB图像转换为灰度图。

式（1）中：Gray为灰度值；R为红色分量；G为绿色分量；B为蓝色分量。

3.2 自动阈值分割

将RGB原图转换为灰度图后，可自动分割。自动阈值分割采取OTSU法［5］，又名大津法，是一种使类间方差最大的自动确定阈值的方法，对于呈现双峰特点的灰度直方图尤其有效，是一种常用的阈值选取方法。叶片实验表明，该方法简洁、高效、精确，对叶片图像的分割效果良好。

3.3 形态学处理

分割后生成的叶片图像二值图，内部可能会存在孔洞，外部出现杂点，需进行二值图像孔洞填充、去杂点、膨胀、腐蚀等形态学处理。此过程可有效去除二值图的噪声，而且不会明显改变叶片原先的轮廓。

灰度膨胀公式：

灰度腐蚀公式：

式（2）和式（3）中：f⊕B为灰度膨胀函数；f⊖B为灰度腐蚀函数；f和f（x,y）代表输入图像；B和B（i,j）代表结构元素；x和y分别代表输入图像的横、纵坐标；i和j分别代表结构元素的横、纵坐标；Df和DB分别是输入图像和结构元素的定义域。图4展示了银杏叶片图像分割的各个步骤。

4 特征提取

分割出图像中的叶片后，需要提取叶片的特征参数。本研究选用植物叶片的颜色、形状和纹理3种主要特征。同种植物的不同叶片往往具有不同的特征值，因此计算结果取其平均值。

4.1 颜色特征

植物叶片的颜色很直观，具有旋转、平移不变性，但不同种类叶片的色相H和饱和度S会有较大差异。本研究采用HSI颜色模型中H和S分量表示叶片的颜色特征，即分割后的H分量图像的色相均值和S分量图像的饱和度均值。H和S的转换如式（4）：

图4 叶片图像分割各步骤示例Figure 4 Examples on procedures for leaf image segmentation

4.2 形状特征

植物识别的依据是叶片的形状特征［6］。形状是叶片最本质的特征，具有移动、缩放不变的特性，不同植物的叶片几乎有着完全不同的形状。同类叶片大小不一，但相对形状一致。本研究采用了叶片的纵横轴比、矩形度、圆形度、形状参数等4种相对形状特征，算式如下：

4.3 纹理特征

不同叶片表面的纹理在粗细、走向上都有很大差别。相比其他方法，灰度共生矩阵（gray level cooccurrence matrix,GLCM）特征能够更好地突出图像的纹理信息，被大量应用于将灰度值转化为纹理信息［7］。考虑到计算量与有效性，选取了灰度共生矩阵中的能量、对比度、熵和局部平稳性等4种纹理特征：①能量f1，反映了图像灰度分布均匀程度和纹理粗细度，采用式（9）计算：

②对比度f2，反映了图像的清晰度和纹理的沟纹的深浅，采用式（10）计算：

③熵f3，度量了图像纹理的非均匀度，采用式（11）计算：

④局部平稳性f4，度量了图像纹理的平坦度，采用式（12）计算：

式（9）～（12）中：i和j为像素点横、纵坐标值；N由叶片图像的范围确定；p（i，j）为像素点的灰度值。

4.4 特征入库

运用公式提取出叶片的特征值，并与植物属性数据一同存入数据库。表3为每种叶片的各特征归一化后的数值，它们为200个叶片的平均值。

5 分类方法

支持向量机（support vector machines，SVM）是一种最常用的分类器。与人工神经网络分类方法相比，SVM分类方法在解决小样本、非线性及高维模式识别中优势突出［8］。

表3 每种植物叶片各特征的平均值Table 3 List of mean values of features of each plant leaf

将每种叶片的3类特征作为SVM的训练特征，进而得到SVM分类器。得到叶片的颜色、形状和纹理特征的向量后，将这些特征作为分类方法的输入向量，用于植物叶片的识别。

SVM的关键在于核函数，低维空间向量集通常难以划分，解决的方法是将它们映射到高维空间；但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。由于径向基核函数是非线性函数，在SVM分类器训练过程中，能有效减少计算复杂性。多数研究［9－11］都采取了SVM分类器并采用径向基核函数。因此本研究选择径向基函数作为分类器核函数，定义为：

式（13）中：K为径向基函数名；x为权向量；xi为样本集中第i个样本；δ核函数扩展常数；该参数决定SVM分类器的预测能力。

6 系统实现

系统开发基于macOS操作系统，SQLite数据库，Xcode 8.0开发环境，采用Swift 3.0语言和OpenCV技术。

图5为系统运行的界面。设计了3个Tab按钮，分别为 “浏览” “识别” “详情”。用户可在3个按钮之间自由切换。 “浏览”界面为观赏植物列表，点击选择某种观赏植物叶片，程序会自动跳转到“详情”界面，可查看该植物的校园文化、典故等信息，并展现文字和四季图片。识别时，点击中间的“识别”按钮，然后将取景框对准叶片，点击 “拍照”按钮（或点击 “相册”按钮直接从相册中获取图片），等待2 s左右，识别结果以图文形式在 “详情”界面上显示。

图5E和5F为银杏叶片的识别结果，展示了浙江农林大学校园内银杏大道一年四季的景色，体现了深厚的文化内涵。

7 结果对比与结论

7.1 与其他识别软件的对比

每种植物选取100张叶片图像做训练，100张作为测试数据，经过实际试验，得出了3个系统对于各观赏植物的平均识别率和所用时间（表4）。由表4可知：本系统尽管平均用时比形色和花伴侣更长，但识别率最高，更能适应校园师生对校园内观赏植物识别和文化获取的需求。前2个商业应用程序无法给出与本地校园有关的观赏植物文化信息。

7.2 结论

本研究选取植物叶片的颜色、形状、纹理特征，采用SVM分类器，利用iOS和OpenCV技术开发了观赏植物识别系统，基本满足了公众对植物识别的要求，为校内观赏植物的精细化识别及人文信息展现提供了可能。但研究所选植物数量少，还需扩充植物数量，完善数据库。同时，采用B/S架构，建立观赏植物中心数据库，将数据集中于后台服务器，提高处理效率，扩大应用范围。

图5 系统界面及功能展示Figure 5 System interface and function exhibition

表4 各观赏植物识别应用程序的识别率和所用时间Table 4 Recognition rate and time of various ornamental plants recognition APP

8 参考文献

［1］ 刘奕清.观赏植物［M］.北京：化学工业出版社,2009.

［2］ KUMAR N,BELHUMEUR P N,BISWAS A,et al.Leafsnap:a computer vision system for automatic plant species identification ［C］//FITZGIBBON A,LAZEBNIK S,PERONA P,et al.European Conference on Computer Vision.Heidelberg Berlin:Springer,2012:502－516.

［3］ 陈芳，张广群，崔坤鹏，等.嵌入式植物自动识别系统的设计与实现［J］.浙江农林大学学报，2013，30（3）：379－384.CHEN Fang,ZHANG Guangqun,CUI Kunpeng,et al.Design and implementation of an embedded automatic plant recognition system ［J］.J Zhejiang A＆F Univ,2013,30（3）:379 － 384.

［4］ 张玉琢，李柏依.植物远程快速识别的方法［J］.计算机应用，2016，36（增刊2）:206－209.ZHANG Yuzhuo,LI Boyi.Remote rapid recognition method for plants ［J］.J Comput Appl,2016,36（suppl 2）:206 －209.

［5］ OTSU N.A threshold selection method from Gray-Level Histograms ［J］.IEEE Trans Syst Man Cybern,1979,9（1）:62－66.

［6］ 胡秋萍.基于叶片形状特征的植物识别技术研究［D］.西安：西安电子科技大学，2014.HU Qiuping.The Study of Plant Identification Technology based on Leaves’Shape Features［D］.Xi’an:Xidian University,2014.

［7］ 柴阿丽.基于计算机视觉和光谱分析技术的蔬菜叶部病害诊断研究［D］.北京:中国农业科学院,2011.CHAI Ali.Study on Diagnosis of Vegetable Foliage Diseases based on Computer Vision and Spectral Analysis［D］.Beijing:Chinese Academy of Agricultural Sciences,2011.

［8］ 王梅嘉，何东健，任嘉琛.基于Android平台的苹果叶病害远程识别系统［J］.计算机工程与设计，2015，36（9）： 2585 － 2590.WANG Meijia,HE Dongjian,REN Jiachen.Remote recognition of apple leaf disease based on Android platform ［J］.Comput Eng Des,2015,36（9）:2585 － 2590.

［9］ 丁世飞,齐丙娟,谭红艳，等.支持向量机理论与算法研究综述［J］.电子科技大学学报，2011，40（1）：2－10.DING Shifei,QI Bingjuan,TAN Hongyan,et al.An overview on theory and algorithm of support vector machines ［J］.J Univ Electron Sci Technol China,2011,40（1）:2 － 10.

［10］ 王丽君，淮永建，彭月橙.基于叶片图像多特征融合的观叶植物种类识别［J］.北京林业大学学报，2015，37（1）:55 － 61.WANG Lijun,HUAI Yongjian,PENG Yuecheng.Method of identification of foliage from plants based on extraction of multiple features of leaf images ［J］.J Beijing For Univ,2015,37（1）:55 － 61.

［11］ 李洋，李岳阳，罗海驰，等.基于形状特征的植物叶片在线识别方法［J］.计算机工程与应用，2017，53（2）：162－165.LI Yang,LI Yueyang,LUO Haichi,et al.Online plant left recognition based on shape features ［J］.Comput Eng Appl,2017,53（2）:162 － 165.