定制化训练平台Easy DL在菠萝果实识别中的应用

张连兆 徐惠东 李萍

摘   要：文章通过百度定制化训练平台Easy DL，提出了一种基于深度学习的菠萝果实识别方法。以漳州市实地调研的菠萝果实图像为训练数据，对菠萝果实识别模型进行了训练。测试结果表明，该模型能够迅速准确地识别出菠萝果实以及果实在图像中的数量和位置，为将来菠萝采摘机器人的研发奠定了基础。

关键词：Easy DL;菠萝;图像识别

1    采摘问题分析

菠萝又称凤梨，是世界第7大水果，第3大热带水果，同时，也是国际水果贸易中极其活跃的热带水果，广泛分布于南北纬30°之间的80多个国家和地区[1]，在我国海南、广东、广西等地均有大面积种植。菠萝果实品质优良，营养丰富，含有大量的果糖、葡萄糖、维生素B、维生素C、柠檬酸、蛋白酶以及各类微量元素等[2]。菠萝叶中含有丰富的纤维，是一种具有优良杀菌性能的纺织材料[3-4]，而且在药用领域具有抗肿瘤、降血糖、调血脂的等作用[5-6]。

菠萝作为经济附加值较高的水果，具有广阔的市场前景。然而在主要产区，因菠萝种植面积大、采摘周期短，采摘是生产中最重要的一个环节。目前，我国菠萝主要依靠人工采摘，需要大量人力，劳动力成本高，且菠萝叶缘带有锐刺，人工采收必须穿戴防护服在高温下作业，劳动强度大、效率低下，导致菠萝种植成本升高、经济效益差，影响了果农的收入。

基于上述菠萝采摘过程中存在的问题，用机器人采摘菠萝将成为提高采摘效率、解放劳动力、增加种植户收入的必然趋势。菠萝果实的识别是菠萝采摘机器人采摘菠萝的关键步骤，需要将菠萝从复杂的环境中快速准确的识别出来，获取菠萝果实的大致位置信息。李斌等[7]提出了一种基于单目视觉的田间菠萝果实识别，通过去噪、区域处理、中心点提取、聚类分析等操作，识别菠萝果实果眼，获取菠萝果眼的中心点信息，对菠萝果实进行识别并定位。吴沛晟等[8]提出了一种基于双目视觉的菠萝采摘机器人，在HSV空间中对图像进行阈值分割，采用Shape Contexts算法对菠萝果实目标进行识别，用Open CV计算机开源库对目标进行三维重建，进而识别并定位菠萝果实。本文提出了一种基于百度Easy DL定制化训练平台的菠萝果实识别方法，作为后续菠萝采摘机器人的研发的基础。

2    图像数据获取

本文选用2018年12月在福建省漳州市拍摄的55张菠萝果实照片作为训练图片（见图1）。当地种植户对菠萝果实进行了套袋遮盖处理，首先，将菠萝果实头部的叶子去掉。其次，用报纸将菠萝果实包住。最后，对菠萝果实进行套袋处理。这样处理之后的菠萝果实与菠萝叶子区分出来，提高了识别准确度。

3    Easy DL平台使用

本文采用百度Easy DL定制化训练平台对菠萝图像进行深度学习，现该平台支持图像分类、物体检测、声音分类和文本分类等深度学习，由于是从图像中识别菠萝果实，因此本文选用“物体检测”模型。物体检测模型能在一张图像上识别出物体的名称、数量和位置，可以识别图片中有多个主体的场景。

平台用户进入平台后，首先，创建模型和数据集，并将菠萝图像上传，在数据集管理中对图像进行标注。其次，训练模型并检验效果。最后，上线模型获取API或离线SDK。

3.1  上传图像并标注

创建模型后在“数据中心”创建数据集，在“数据集管理”下找到刚才创建的数据集，将拍摄的55张典型的静态菠萝图像上傳。使用Easy DL平台的标注工具，拖动画框，将图像中菠萝果实框出，方框刚好框住菠萝果实即可，菠萝果实标注如图2所示。

3.2  训练模型

在将所有图片标注完成之后，选择“模型中心”下的“训练模型”对模型进行训练，Easy DL平台将70%的模型用于训练，剩余30%的模型用于检验模型效果。约3 h后完成训练。

mAP是衡量模型效果的指标。对于物体检测任务，每一类检测目标都可以计算出精确率和召回率，在不同阈值下多次计算或试验，每个类都可以得到一条P-R曲线，曲线下的面积就是AP的值。“mean”的意思是对每个类的AP再求平均，得到的就是mAP值，mAP值越接近于1，模型效果越好。

精确率为正确识别的物体数与识别物体总数之比，召回率为正确识别的物体数与真实物体数之比。

4    测试结果分析

应用类型为云服务、版本为v2时，模型训练结果的mAP、精确率、召回率、建议阈值见表1。

mAP 精确率 召回率 建议阈值

97.9% 100% 90% 0.6

应用类型为离线SDK、版本为v1时，模型训练结果的mAP、精确率、召回率、建议阈值如表2所示。

mAP 精确率 召回率 建议阈值

92% 94.7% 90% 0.3

对离线SDK模型检测结果如图3所示。

图3  离线SDK模型检验结果

实验结果表明，此训练模型能够较为准确地识别图像中的菠萝果实并将菠萝果实在图中的位置和果实的数量标注出来，基于Easy DL训练的模型，通过扩充训练，可以提高菠萝在不同场景下识别的准确度，对获得的离线SDK进行适当地修改，可以扩大模型的平台范围。

5    结语

菠萝果实采摘目前以人工采摘为主，用菠萝采摘机器人采摘菠萝将是必然趋势，菠萝果实识别具有广阔的发展前景。本文依托百度Easy DL定制化图像识别系统平台，训练出了菠萝果实识别模型，模型对菠萝果实识别的速度、准确度较高，为后期研究菠萝采摘机器人识别菠萝果实技术奠定了基础。

作者简介：张连兆（1997— ），男，山东日照人，本科生;研究方向：机械电子工程。

[參考文献]

[1]陈海芳，袁晓丽，张秀梅.菠萝品质生理的研究进展及展望[J].中国南方果树，2016（6）：172-176.

[2]刘世彪，彭小列，田儒玉.世界热带五大名果树[J].生物学通报，2003（3）：11-13.

[3]郁崇文，张元明.菠萝叶纤维的性能研究[J].中国纺织大学学报，1997（6）：17-20.

[4]刘恩平，郭安平，郭运玲，等.菠萝叶纤维的开发与应用现状及前景[J].纺织导报，2006（2）：32-35.

[5]王伟，丁怡，邢东明，等.菠萝叶酚类成分研究[J].中国中药杂志，2006（15）：1242-1244.

[6]王金萍，王宏英，杜力军，等.菠萝叶中新的酰胺类成分[J].中国中药杂志，2007（5）：401-403.

[7]李斌，NING WANG，汪懋华，等.基于单目视觉的田间菠萝果实识别[J].农业工程学报，2010（10）：245-249.

[8]孙睿康.基于Easy DL的超新星自动搜寻系统设计[J].智能计算机与应用，2019（1）：206-263.

Abstract：This paper proposes a pineapple fruit recognition method based on deep learning through Baidu customized training platform Easy DL. Based on the training data of pineapple fruit in Zhangzhou City， the pineapple fruit recognition model was trained. The test results showed that the model can quickly and accurately identify the pineapple fruit， and identifyied the number and location of pineapple fruit in the image. It laid the foundation for the future development of pineapple picking robots.

Key words：Easy DL; pineapple; image identification