基于机器视觉的果园成熟柑橘快速识别及产量预估研究

张小花，马瑞峻，吴卓葵，黄泽鸿，王嘉辉

（1.仲恺农业工程学院自动化学院，广东 广州 510225；2.华南农业大学工程学院，广东 广州 510642）

【研究意义】进入21世纪以来，农业劳动力不断向其他产业转移，结构性短缺和老龄化趋势已成为全球问题。人工智能技术、传感器新技术的快速发展为智慧农业的发展提供了新的动力和可能。农作物的信息采集是智慧农业中一个重要环节，尤其是产量信息获取显得尤为重要［1-4］。实时准确、鲁棒性高的果园估产，是我国农业进入智慧农业的一个必不可少的阶段。通过产量预测不仅可以使果农及时掌握果园生产状况，从而指导水果定价或预计果园利润，还可为合理计划收获期采摘人力数目和费用提供定量依据，以免在收获期过多或者过少的雇佣采摘劳动者而使成本较高或耽误采摘进度，也可为后期的物流运输规划提供更早地决策。

【前人研究进展】目前，柑桔园估产依然采用传统的人工田间抽样、目测清点单株果实数量等方式，对测产人员的经验要求较高，劳动强度较大，精度较低，耗时较长。随着传感器技术、图像处理技术及人工智能算法的迅速发展，水果产量在线自动识别及产量预估已成为一种新趋势［5-8］。利用图像处理技术，通过拍摄果期数字图像建立产量估测模型，具有成本低、操作简单等特点［9-10］。但是水果自动识别算法中的准确性、识别速度和鲁棒性对于水果产量预测至关重要［11-13］。由于在线识别水果的环境较复杂，受到不确定的自然光照、复杂的冠层结构、水果在不同生长期变化的颜色、形状和大小的影响，另外图像中果实被枝叶遮挡、果实之间互相重叠等影响水果形状的外部因素，从而影响识别正确率［14-16］。蔡健荣等针对自然光照条件下的成熟柑橘彩色图像，采用2R-G-B色差分量，通过Ostu自适应阈值算法进行图像分割，利用形态运算消除随机噪声，标记分割区域，通过数学方法进一步去除背景区域；在果实重叠问题上，利用函数提取边界，再结合形态学运算实现分割，经验证95%果实能被正确识别［17］。该方法是最传统的图像处理方法，处理步骤非常复杂，不易掌握，图像处理的时间也比较长。华南农业大学熊俊涛应用faster RCNN方法研究了自然环境下绿色柑橘的识别问题，该方法较好地解决了绿色柑橘和背景树叶颜色相近而难以区分的问题，实验结果表明在不同光照条件下检测绿色柑橘的F值分别为77.45%［18］。LIU等构建了一个Cr-Cb颜色空间对自然环境下的柑橘进行水果和树干的识别，该研究表明其能把水果正确识别率提高到90.8%，虚假识别率降低到11.2%［19］。美国佛罗利达大学DORJ等通过把RGB颜色空间图像转化成HSV颜色空间图像来对柑橘进行识别，结果表明通过图像处理方法得到的柑橘产量预估与通过人工方法计数得到的结果相比，其相关系数R2达到0.93，但是该方法非常复杂，包括阈值确定、水果分割、去噪、形态操作、特征抽取和分类等［8］。【本研究切入点】过去研究中对果实进行识别的主要研究步骤包括图像采集、颜色空间转换或直方图、果实背景分割、标签、形态学处理、噪声过滤、特征提取、分类等，或者采用较为复杂的深度学习法，这些方法比较繁琐，不容易掌握。本研究在不同的颜色空间下将果实与背景直接进行分割。

【拟解决的关键问题】基于Lab颜色空间提出了一种快速、准确地对果园柑橘进行识别及产量预估方法。该方法不需要进行阈值分割、去噪等繁琐的图像处理过程，直接应用Lab颜色空间中的“a”分量进行图像识别及技术。该方法对果实重叠、被遮挡及光线变化具有较好的鲁棒性。

1 材料与方法

1.1 试验材料

试验于2018年12月在美国加利福尼亚州的Shiraz Ranch农场进行图像采集。所用相机为iphone XR手机，架设在距离树2.13 m的三脚架，距离地面高度1.45 m，采用自然光背景下的“自动聚焦”模式，无光学或数字缩放，不使用闪光灯，所拍摄的图像像素为4 032×3 024（大小约5.5 M）。图像处理的硬件包括Intel Core i5处理器电脑，windows 64位操作系统，4 GB RAM，软件为Matlab （版本号：2017b，Mathwoks 公司）。

考虑算法对不同类型的柑橘识别的鲁棒性，分别对25棵桔子树和橙子树的两侧在晴天和阴天进行图像采集，具体数据如表1所示。

表1 柑橘树图像采集信息Table 1 Information of citrus image

1.2 试验方法

本研究通过应用RGB相机采集到RGB图像，考虑到成熟柑橘及柑橘园背景颜色并没有蓝色，因此将B分量值设定为0，并将RGB颜色空间转换成Lab颜色空间。在此基础上，分析RGB颜色空间的“R”“G”和“B”分量，以及Lab颜色空间的“L”“a”和“b”分量，分析得出的“a”分量能容易区分成熟柑橘和其他背景颜色。因此，应用“a”分量中的图片，根据柑橘的圆形特征，通过霍夫圆变换进行柑橘识别并计数，具体步骤如图1所示。

图1 基于Lab颜色空间的柑橘园树上水果计数方法Fig.1 On-tree citrus counting methods based on Lab color space

颜色空间的选择对于果园果实与背景的分割比较重要。同一图片在不同的颜色空间下存在明显区别。因此，找出能易区分果实与自然背景颜色的颜色空间十分重要，果树和背景的灰度值差别越大，越容易把果实与背景分离。最常用的颜色空间有RGB（Red, Green, Blue）颜色空间，但由于红色、绿色和蓝色这3种颜色之间存在很强的相关性，因此RGB颜色空间的单个颜色分量并不适合自然环境下成熟水果的分割。常用的方法是把RGB颜色空间转换到HSV 和CIEL*a*b*（以下简称Lab）颜色空间来得到合适的分量或分量组合。

Lab颜色空间能够描述人眼可见颜色，不受参考的设备模型影响。在Lab颜色空间，用数字化的方法来描述人的视觉感应，其中L分量（light）用以表示像素亮度，取值范围[0，100]；a通道和b通道只负责颜色的多少，a通道取值范围[127，-128]，表示从红色到绿色的范围；b通道表示从黄色到蓝色的范围，取值范围[127，-128]。

由于RGB颜色空间是非线性的，不能直接转换成Lab空间，因此必须先转换成XYZ颜色空间，再把XYZ颜色空间转换到Lab颜色空间。其转换公式包括两部分：

（1）RGB与XYZ颜色空间的转换公式如下：

（2）XYZ与Lab颜色空间的转换公式为：

本研究通过MATLAB编程对柑橘进行识别并进行计数。在对识别结果进行分析时，设定果实识别正确率、产量预估正确率对该方法进行评估与讨论。

2 结果与分析

2.1 识别结果

本试验根据不同的树干背景分两种情况进行背景（除果实外的都算做背景）剔除，选取成熟柑橘的典型图片，图片中包含天空、土壤、树叶等复杂背景，且该图片包括柑橘之间重叠、被果实遮挡等影响柑橘识别及技术的图像处理难题。图2中，（A）为脐橙树RGB图，近水果光照度为168 lx，近相机光照度为138 lx。

在图2中，RGB的“B”分量已在程序中设定为0，因此图形为黑色，没有果实和背景信息；“R”和“G”分量图像果实和背景颜色没有显著区分，不适用于图像识别。Lab颜色空间下的Lab图像背景为红色，不适合提取果实图像；“L”和“b”分量仅为小点，无法对该小点进行识别；“a”分量中果实显示为白色，其余复杂背景（如树叶，树枝，土壤、天空等）均显示为黑色，非常适合应用软件对柑橘进行识别及计数。由于柑橘类水果的形状大多为圆形或椭圆形，本研究采用MATLAB软件（版本号：R2018a），应用霍夫圆变换算法对柑橘的形状特征进行识别并自动计数，得出图3(A)的橙子数为113，识别结果见图3(B)，识别时间为1.03 s。通过人工对脐橙树进行计数的结果117，其中漏数7个，因土壤及树干等背景影响，导致虚数（虚假柑橘数）3个。

图3 原始RGB图形及自动识别结果Fig.3 Original RGB image and automatic detection result

2.2 性能比较

根据公式(7)和公式(8)，计算得出柑橘识别正确率为94.01%，产量预估正确率为96.58%。由于相关文献并没有做产量预估正确率分析，该方法与文献中的研究方法在识别正确率及识别时间两个性能上进行比较，结果如表2所示。

表2 不同图像处理方法识别正确率及识别时间比较Table 2 Detection accuracy and time comparison of different image processing methods

识别个数是从图像处理中得到的柑橘的数量，可从数量方面反映柑橘的产量。本研究根据识别数量实现对柑橘的产量预估，选取10株自然环境下的柑橘树图片（每棵树拍两面，共20幅图片）进行图像处理，得出其自动识别的柑橘产量，并与人工计数结果进行比较，应用Excel绘制其线性回归曲线图（图4）。

图4 线性回归分析结果Fig.4 Result of linear regression analysis

3 讨论

本研究结果表明，应用Lab颜色空间中的“a”分量进行霍夫圆变换，对树上柑橘进行识别并计数，所用时间为1.03 s，识别速度比基于Cr-Cb颜色空间的柑橘识别方法慢，但识别率提高3.2%。Dorj在文献中采用的传统阈值确定及去噪、形态操作等处理方法，虽然识别正确率能达到93%，但识别时间长达26.05 s，该方法如果用在水果自动采摘中对水果的定位上，由于速度太慢达不到实时定位的要求。本方法无论是识别时间和识别正确率都达到一个较高水平，通过人工计数的柑橘数量与基于机器视觉的图像识别数量的回归曲线分析图4可知，其相关系数R2达0.9879。

由于柑橘图像采集来源于RGB相机，隐藏在树深处的柑橘可能不能显示，仅根据该RGB图像进行产量预估仍会存在一定误差，要提高产量预测精度，可尝试应用多种传感器对柑橘园图像进行采集，但该方法将增加设备成本及处理时间。图片中另一个影响精度的是由于果实之间的过度重叠或过度遮挡，这种情况也会导致识别错误。

4 结论

本研究把自然环境下成熟柑橘园的原始RGB图像转换到Lab颜色空间进行图像处理，并经过分析得出其中的“a”分量能较好地去除除柑橘外的背景，在此基础上，根据柑橘的圆形形状特征，应用霍夫圆变换，对成熟柑橘进行识别并计数，该方法简单易操作，识别速度快，且识别精度高，对果实重叠或被遮挡等具有较好的鲁棒性。但该方法只适合对成熟的柑橘进行识别，对不成熟的柑橘识别并不适应。