植物叶图像特征分析和分类检索

姚 飞，叶 康，周坚华

（1.华东师范大学 地理科学学院，上海200241；2.上海植物园 科研中心，上海200231；3.华东师范大学地理信息科学教育部重点实验室，上海200241）

植物叶图像特征分析和分类检索

姚 飞1，叶 康2，周坚华3

（1.华东师范大学 地理科学学院，上海200241；2.上海植物园 科研中心，上海200231；3.华东师范大学地理信息科学教育部重点实验室，上海200241）

研究基于植物叶特征的植物属种自动图像分类检索技术。为了解决植物属种众多引起的分类困难，综合应用了图像分类和图像检索的一些概念模型和方法，如根据图像检索概念，构建以叶形和叶缘特征变化为依据的阔叶类植物（单叶）分类语义字典；根据图像分类原理，设计字典各层分支结点的描述符；根据相似概率索引方法，推求字典叶节点成员属于特定植物种的概率，进而实现对植物属种做图像分类索引的功能。以适量样本所做的分类实验表明：面积凹凸比、长宽比、右边界非线性拟合二次项系数、上边界非线性拟合二次项系数、最宽处位置指数等描述符对于阔叶植物分类有效。通过这些描述符可以将31类阔叶植物划分到8个叶节点，并检索其具体属种；全局分类精度平均为94.19%。并初步证明了如下结论： “分类语义字典组织的分层分类+叶节点成员相似性检索”的技术框架，可以有效扩大植物属种辨识数量、提高辨识精度，是植物数字搜索引擎合理有效的概念模型。图6表9参14

植物学；植物叶片特征；语义字典；分层分类；描述符；图像索引

植物属种信息是植物功能相关建模的重要支持数据。然而，植物种类的丰富性和形态多样性使植物分类的理论和方法面临严峻挑战。即使是资深的植物分类学家也只能辨识特定区域的部分植物种。与植物的丰富和多样性相比，植物分类学家永远短缺，而引起所谓 “分类障碍”问题［1］。随着数码摄影技术的发展，使得数字图像更易获得；同时，计算机图像分析和模式识别技术的进步，使人类快速进入 “自动识别各类物种的时代”［2］。因此，研发植物数字搜索引擎和索引数据库成为一个适时主题。植物数字搜索引擎是一种能够从数字图像（比如野外工作人员通过便携设备拍摄的植物图像）自动辨识植物类的软件工具，它依托事先建立的植物样本索引库和分类索引规则工作，能帮助仅仅经过有限训练的野外工作人员，完成原来只能由植物分类学家完成的任务。植物数字引擎研发是一个跨学科难题。同种植物在不同生长环境、季节表现出的性状多变性，以及某些不同种植物叶形及外观的相似性等，增加了植物类图像辨识的难度，使得搜索引擎的研究离实际应用还有较大距离［3-5］。植物图像分类首先遇到的问题是类别数限制。经典图像分类器模型一次分类的类别数一般不超过10类，并且要求图像特征空间维数必须与类别数相当，与数以万计的植物种相比，分类困难显而易见。为此，本研究采取分层分类与检索相结合的方法，即通过构建植物分类语义字典和设计用于字典各层分支结点的图像特征（也称描述符），通过分层分类扩大可分类别数；将植物划分到适当的叶节点后，以索引方法评估叶节点成员属于特定植物种的概率，进而实现对植物属种做图像分类索引的功能。植物器官特征选择是构建分类语义字典的第1步。这些特征包括：叶形、叶脉、叶序、花序、果实类型、苞片等。限于篇幅，笔者侧重于叶形图像特征的研究。此外，与目视分辨植物类不同，该字典既要兼顾植物的门、纲、目、科、属、种的分层关系，又要考虑各层面图像特征的可识别性。多数植物类别可以根据叶形特征彼此区别，这是植物图像叶特征识别的基础［6］。尽管某些同种植物的叶形可能出现差别，通常总可以设计出适当的描述符，定量表达某些共同点。很多学者报告了他们在这一领域的研究成果［7－12］，本研究在借鉴这些成果的基础上，提出了 “分类语义字典组织的分层分类+叶节点成员相似性检索”的技术框架，其核心技术包括：①植物分类语义字典；②分支结点描述符（组合）设计；③索引规则和算法，并以适量实例证实了这些技术的有效性。

1 数据与方法

1.1 实验数据和方法概述

植物叶片样本数字图像来自野外自采集和中国植物图像库。野外自采集区域为上海市区，采样设备为普通单反变焦数码相机。自采样本约占总样本数的90%。同时，要求拍照时按照叶尖在上、叶柄在下的方式摆放拍照。研究包括如下步骤：分析植物器官特征、构建植物分类语义字典、设计分层描述符、采集植物叶片图像、图像预处理、计算相关参变量和描述符值、分层测试描述符（组合）的分类精度、评估叶节点成员与样本的相似性。流程参见图1。

1.2 野外采样和图像预处理

采样地点包括华东师范大学闵行校区、上海植物园和虹桥路虹梅公共绿地。共对30余种阔叶类植物采样量测和摄影。拍摄图像包括单叶的正反面。共获取有效样本图像300余幅。拍摄时注意了避免阳光直射，拍摄背景为自制小黑板。图像预处理主要用于减少噪点对叶形状特征提取的干扰。图2以二球悬铃木Platanus acerifolia为例介绍处理的一般流程，主要包括将原图像转换为灰度图并作中值滤波处理，滤波器的窗口尺寸自适应确定；将灰度图转换为二值图，分割阈值依据大津法确定［13］；对二值图进行数学形态学处理，以开启运算去除毛刺，以闭合运算封闭较小裂隙，以和原二值图的逻辑与运算恢复叶缘细节信息。

图1 方法流程Figure 1 Flowchart of the proposed

1.3 层结点描述符设计

为了增加可分植物属种，采用多层分类的方法，并以语义字典标记层间逻辑关系。语义字典的概念和特点将在2.1中介绍。属种分类在语义字典的每个分支结点上进行，因此需要为这些结点设计与分类特征相关的独立描述符，并测试其有效性。

描述符设计主要考虑叶形特征和部分叶缘特征参变量。图3以二球悬铃木和鹅掌楸Liriodendron chinense为例，显示叶形参变量提取过程，即先对图像跟踪获得叶边界图像，同时获得图像坐标最大、最小值的4个边界点（从最上边界开始顺时针方向依次记为点A，B，C，D）和叶质心（记为点O）；在A和C点中，取横向偏离O较小者作为叶尖/叶柄所在，将叶尖/叶柄与O连线并延长交边界于1点，该点可能为叶柄/叶尖所在，需进一步计算该点同质心O，边界点A或C所形成角度的大小（如图3A中的∠A1OC，图3C中的∠AOC1），本研究多次试验后最终确定当角度大于10°时，交点为叶柄/叶尖所在，否则取边界点为叶柄/叶尖。在确定了叶尖、叶柄等特征点后，构造特征线，包括叶尖和叶柄连线l1，过质心O且垂直于l1得l2，过C且平行于l2得l3。最终统一记叶尖/叶柄为点E和F，l1，l2和l3的直线方程分别为A1x+B1y+C1=0，A2x+B2y+C2=0，A3x+B3y+C3=0。表1列举了提取的叶形参变量。语义字典中1个分支结点处的分类通常在多特征空间进行，即需要使用多个描述符组合。同时1个描述符也可能被多个结点的分类规则采用，表2列出常用叶形特征描述符。有关描述符有效性测试的内容，请见2.2和2.3。

表1 植物叶片形状特征参变量一览表Table 1 Shape feature parameter of leaf

图2 图像预处理过程Figure 2 Image processing

图3 二球悬铃木和鹅掌楸参变量提取过程Figure 3 Two examples of parameter extraction process

表2 特征描述符一览表Table 2 Feature descriptors

1.5 分层分类和索引

如前所述，属种分类在语义字典的每个分支结点上进行，包括：为每个分支结点选择描述符组合，通过训练定制各分支结点的分类器，以及以定制的分类器做分类测试。分类器模型包括决策树（DT）和支持向量机（SVM）。选择它们出于以下考虑：决策树（DT）可以提供分类规则表达式，便于查看各描述符的有效性。如图4的树状图是以60幅图像为训练样本给出的分类规则示例，叶节点1和节点2分别代表裂叶和非裂叶，初始特征向量包括8个描述符，但被决策树（DT）选用的只有Rlw，Ra和Sa，入选的描述符是对当前分类问题较有效的特征分量。而支持向量机（SVM）是适合小样本监督分类的新颖模型，具有更优的容错机制。表3列举以决策树（DT）作模型时的训练和分类精度测试数据。

受分类方法类别数的限制，通过分层分类到达语义字典某个叶节点的成员通常属于多个植物类，或说叶节点成员尚未分到具体的植物属种。上述分层分类方法也只能有限改善这种情况。本研究参考目前图像检索领域的主流方法，提出了评估叶节点成员归属概率的方法，并测试了其有效性，具体请见2.4。

2 结果与讨论

在借鉴现有研究成果的基础上取得了如下进展：设计并测试了6个新描述符、以多层分类取代单层分类、以语义字典组织多层分类的继承关系、通过叶节点成员与样本的相似性评估，给出该成员植物类归属的概率。其中的关键技术包括语义字典、分支结点分类器、描述符组合和索引。

表3 各分支结点的训练数据和分类精度测试数据Table 3 Data of training and forecasting for each dividing nodes

2.1 分类语义字典

一般认为分类数与特征空间维数必须相当。描述符过少，则类别划分困难，而使分类精度降低；描述符过多则可能引起 “维数灾难”。为了减少每次分类的类别数，以适应适用的独立描述符数量，采用了分层分类的方法。为了清晰描述各层之间的逻辑关系，本研究根据图像检索的概念和方法，提出了植物分类语义字典的概念，在兼顾属种分层和图像可辨识性的基础上，尝试性地定义了单叶阔叶类植物分层分类语义字典（图5）。已见报道的单叶阔叶植物叶片图像特征包括：叶形、叶缘、叶脉。可以将叶片按有无显著叶裂分为裂叶和非裂叶，其中非裂叶按叶缘是否有 “牙齿”分为非全缘和全缘叶；全缘叶继续分成卵形、圆形、披针形等［14］，为避免同层类别数过多，采用逐步细分的办法，将叶长宽比＜1和＞1和接近1分别归为宽叶、长叶和标准叶，而略长叶是叶长等于1.5～2.5倍叶宽的情况。本文主要侧重叶形分类，叶缘和叶脉将另文讨论。

图4 将阔叶类划分为裂叶和非裂叶类的规则Figure 4 The rules for dividing broad leaf into lobed leaf and non-lobed leaf

图5 单叶阔叶类植物分层分类语义字典Figure 5 The semantic dictionary of hierarchical classification for single-broad-leaf plants

2.2 分支结点分类器评估

为了实现分层分类，通过训练为各分支结点定制了分类器，即为每个结点归纳了类似于图4的分类规则树。为了评估这些分类器的精度，用预留的测试样本，做分类精度评估。表4以混淆矩阵形式列出了对字典根结点（阔叶类）的决策树（DT）分类器做精度评估的结果。测试样本图像为138张。

为了检查不同分类器模型分类精度的差异，以图4中入选的3个描述符构建特征空间，用与图4的实例相同的样本集训练定制一个支持向量机（SVM）分类器，并以同一组测试样本重新分类。所得混淆矩阵如表5所示。2种分类器的分类全局精度分别为97.10%和96.38%。这些数据可以从一定程度上说明，改变分类器模型对分类精度的影响不大。

用类似的方法可以评估所有分支结点的分类器。表3已经列出了这些结点的全局精度等数据。由表3可见，分支结点的全局精度一般高于95%，最低为83.56%；提示这些分类器能以较高精度对新样本分类，所用描述符（组合）对于划分植物属种有效。其中，将非裂叶划分为全缘叶和非全缘叶时精度稍低，提示需要继续研究能够描述细微叶缘特征的描述符。

表4 DT分类混淆矩阵Table 4 A case confusion matrix of classification through use of DT

表5 支持向量机（SVM）分类混淆矩阵Table 5 A case confusion matrix of classification through use of SVM

2.3 描述符（组合）有效性评估

描述符组合分类的有效性可以通过特征空间的样本聚集程度评估。为了增加评估的科学性，仿造大津算法，以统计量EL定量评估这种有效性。当特征空间f（x，y）为2维，植物类为c1和c2等2类时，EL可以表达为 EL=σB2／σω2。其中：σB2和 σw2分别称为类间和类内方差。且有：σB2=ω1ω2‖c1,c2‖；σω2= ω1σ12+ω2σ22。其中：ω1，ω2分别为c1和c2的样本数，‖c1,c2‖为2个类别质心的欧氏距离，σ12，σ22分别为c1和c2的方差；计算时，先将特征向量归一化到值域［0,1］，计算各描述符组合的EL，EL值越大表明描述符组合分类效果越好；对EL排序可以选出较好的描述符组合。多类别和多描述符组合评估情况类似，这里不再赘述，表3中描述符空间一栏列出的是各层结点有效的描述符组合。

图6以阔叶和全缘叶结点为例，显示了以不同描述符组合的特征空间中，用EL表达的样本聚集程度。图6a～c显示以两维和三维描述符组合划分2个类别的情况，植物样本各自聚集的事实提示面积凹凸比和离心率对将阔叶植物划分为裂叶和非裂叶类有效；该结论也被决策树自适应选择面积凹凸比和长宽比，构成分类规则的事实验证。图6d～f显示划分3个类别的情况，提示离心率、右边界拟合系数等描述符对于将全缘叶划分为标准、长叶和宽叶类有效。

2.4 相似性概率评估

如前所述，分层分类后，叶节点成员尚未分到具体的植物属种。这一部分将通过评估叶节点成员与相应已知样本的相似程度，给出该成员分别属于某些植物属种的概率。这种相似程度可以采用如式（1）所示的均方差公式定量计算。

图6 以EL评估描述符组合分类的有效性Figure 6 Evaluating effectiveness of classification by ELin several case combinations of feature descriptors

其中：i=1，2，…，n为样本序号（0表示新成员）；j=1，2，…，m为描述符序号；G为描述符值，如Gi1为第i个样本第1个描述符的值；Si是为第i个样本的均方差。

通常，Si可以反映某叶节点新成员与同一节点已知样本的相似度，Si值越小，相似度越高。在下面的2个例子中，叶节点的新成员分别为朴树Celtis sinensis和女贞Ligustrum lucidum叶图像，表6和表7显示这2种新成员相对于已知样本的Si值，并列出Si排序较前的样本植物种类。可见：Si可以用于确定叶节点成员的植物种归属。可以根据某类植物出现频次和平均Si值等综合确定新成员的归属概率，式（2）给出一个评估表达式的例子。

其中：Pi为新成员属于第i类植物的概率；a和b为权系数；Ni为在Si较低的10个样本中，第i类植物出现的次数；Si（mean）为这10个样本中，第i类的平均Si。可以通过调节a和b，给予Ni和Si（mean）不同的信任度。以表6和表7的评估数据为例，先将Ni和Si归一化到值域［0,1］，并设a=b=0.5（等权），评估结果见表8和表9。表8显示新成员属于朴树，多香果Pimenta officinalis，紫薇Lagerstroemia indica的概率分别为90.96%，50%，55.18%，能够完全将新成员锁定在朴树这个类别。表9的数据显示：通过叶形状特征很难区分女贞与樟树Cinnamomum camphora（两者具有非常相似的叶形），但与其他参比类差别较大。所以，可以明确地将新成员归属概率限制在这2个类别中，评估结果还是具有参考价值的。

3 结论

表6 相似度概率评估（朴树）Table 6 Assessment of similarity（hackberry）

表7 相似度概率评估（女贞）Table 7 Assessment of similarity（privet）

表8 相似性概率评估结果（朴树）Table 8 Assessment result of similarity（hackberry）

表9 相似性概率评估结果（女贞）Table 9 Assessment result of similarity（privet）

本研究主要研究基于植物叶特征的植物属种自动图像分类检索技术，并在设计新描述符、构建语义字典和多层分类、检索和评估叶结点成员归属概率等方面取得突出进展。设计合理的描述符是改善可分性的关键。面积凹凸比和周长凹凸比分别对将阔叶植物划分为裂叶和非裂叶类和将非裂叶植物划分为全缘和非全缘叶类别有效；长宽比、离心率和右边界二次拟合二次项系数对将全缘叶层划分为不同长宽比的叶形类别有效；上边界非线性拟合二次项系数、上下面积对称性、最宽处位置指数和质心偏心率对于划分卵形、阔椭圆形和倒卵形叶有效。使用分类语义字典组织分层分类，并在各分支结点使用适当的描述符组合分类，可以有效增加可分类别数和提高分类精度。在植物属种较多的情况下，（分层）分类通常不能最后决定属种。对于分到叶节点的成员可以通过与索引库样本的相似性评估，获得它们属于不同科、属、种的概率，而基本实现对植物属种做图像自动分类索引的功能。 “分类语义字典组织的分层分类+叶节点成员相似性检索”是一个合理有效的概念框架。但受实验样本数量和实验深度等限制，该框架还存在一些局限性。如对叶图像质量要求较高、部分算法有待继续提高自适应程度、索引算法有待降低运算开销等。

［1］ de CARVALHO M R,BOCKMANN F A,AMORIM D S,et al.Taxonomic impediment or impediment to taxonomy?A commentary on systematics and the cybertaxonomic-automation paradigm［J］.Evol Biol,2007,34（3/4）:140－143.

［2］ MACLEOD N,BENFIELD M,CULVERHOUSE P.Time to automate identification［J］.Nature,2010,467（7312）:154－155.

［3］ BACKES A R,BRUNO O M.Plant leaf identification using multi-scale fractal dimension［G］//FOGGIA P,SANSONE C,VENTO M..Image Analysis and Processing-ICIAP 2009.Berlin Heidelberg:Springer,2009:143－150.

［4］ BACKES A R,JUNIOR J J M S,KOLB R M,et al.Plant species identification using multi-scale fractal dimension applied to images of adaxial surface epidermis［C］//JIANG X,PETKOV N.Computer Analysis of Images and Patterns. Berlin Heidelberg:Springer,2009:680－688.

［5］ COPE J S,CORNEY D,CLARK J Y,et al.Plant species identification using digital morphometrics:a review［J］.Exp Syst Appl,2012,39（8）:7562－7573.

［6］ McLELLAN T.Geographic variation and plasticity of leaf shape and size in Begonia dregei and B.homonyma（Begoniaceae）［J］.Bot J Linn Soc,2000,132（1）:79－95.

［7］ 朱静，田兴军，陈彬，等.植物叶形的计算机识别系统［J］.植物学通报，2005，22（5）：89－94.

ZHU Jing,TIAN Xingjun,CHEN Bin,et al.Computer recognition system of plant leaf-shape［J］.Chin Bull Bot, 2005，22（5）：89－94.

［8］ 王晓峰，黄德双，杜吉祥，等.叶片图像特征提取与识别技术的研究［J］.计算机工程与应用，2006（3）：190－193.

WANG Xiaofeng,HUANG Deshuang,DU Jixiang,et al.Feature extraction and recognition for leaf images［J］.Comput Eng Appl,2006（3）：190－193.

［9］ DU Jixiang,WANG Xiaofeng,ZHANG Guojun.Leaf shape based plant species recognition［J］.Appl Math Comput, 2007,185（2）:883－893.

［10］ 贺鹏，黄林.植物叶片特征提取及识别［J］.农机化研究，2008（6）：168－170，199.

HE Peng,HUANG Lin.Feature extraction and recognition of plant leaf［J］.J Agric Mech Res,2008（6）：168－170，199.

［11］ 侯铜，姚立红，阚江明.基于叶片外形特征的植物识别研究［J］.湖南农业科学，2009（4）：123－125，129.

HOU Tong,YAO Lihong,KAN Jiangming.Plant recognition research based on shape features of leaf［J］.Hunan A-gric Sci,2009（4）：123－125，129.

［12］ 郑小东，王晓洁，高洁.面向植物分类的被子植物叶形特征自动提取［J］.中国农学通报，2011，27（15）：149－153.

ZHENG Xiaodong,WANG Xiaojie,GAO Jie.Automatic feature extraction of leaf shape designed for angiosperm taxonomy［J］.Chin Agri Sci Bull,2011，27（15）：149－153.

［13］ OTSU N.A threshold selection method from gray-level histogram［J］.IEEE Trans Syst Man Cybern,1979，9（1）:652－655.

［14］ 杨世杰.植物生物学［M］.北京：科学出版社，2000：121－122.

Automatic image classification and retrieval by analyzing plant leaf features

YAO Fei1,YE Kang2,ZHOU Jianhua3
（1.School of Geographic Sciences,East China Normal University,Shanghai 200241,China;2.Scientific Research Center,Shanghai Botanical Garden,Shanghai 200231,China;3.Key Laboratory of Geographical Information Science, Ministry of Education,East China Normal University,Shanghai 200241,China）

The objective of this article is to present a novel conceptual framework for discerning tree species from plant leaf digital images and to assess its applicability.In order to make huge numbers of plant species discernable,some concepts and methodologies of image classification and retrieval were comprehensively and innovatively employed in this framework.For example,according to the concept of image retrieval,a semantic dictionary for partitioning broad-leaf plants was created based on the differences between species in leaf shape and leaf margin.Each sample plant was represented by the images photographed from one of its leaves.By following principles of image classification,several descriptors for each splitting node in the semantic dictionary were designed and tested.Then,by imitating the retrieval method,the similarity probability,which means the probability that a new node member belonged to a certain plant species,could be properly assessed through calculating the variance of attribute between the new one and the known plant species.Finally,the objective mentioned before could be achieved.The classification results revealed that all newly explored descriptors, such as the area ratio of leaf patch to its convex hull,the length to width ratio,the second-order fitting coeffi-cient of the leaf edge,and the location index of the widest site of a leaf were applicable to classification of broad-leaf plant species and high classification accuracy could be expected with some example combinations of them.Altogether,31 plant species were classified into eight leaf nodes,and then their specific species were determined quite accurately by assessing the similarity probability.The overall classification accuracy assessed by confusion matrix method was usually better than 94.2%.These results verified that the conceptual framework combining image classification and retrieval was reasonable,effective,and accurate for discerning plant species from digital leaf images.［Ch,6 fig.9 tab.14 ref.］

botany;plant leaf feature;semantic dictionary;hierarchical classification;descriptors;image retrieval

S758.5

A

2095-0756（2015）03-0426-08

10.11833/j.issn.2095-0756.2015.03.015

2014-09-04；

2014-11-26

国家自然科学基金资助项目（41071275）；国家理科基地科研训练及科研能力提高项目（J1310028）

姚飞，从事遥感图像智能识别研究。E-mail:yaofei2246@sina.com。通信作者：周坚华，副教授，从事图像智能识别和生态遥感研究。E-mail:jhzhou@geo.ecnu.edu.cn