菠萝全向定位自动化采摘系统设计*

李 明 ， 黎泽龙 ， 王润涛 ， 刘 瑶 ， 薛 忠

（1.岭南师范学院电子与电气工程学院，广东 湛江 524048；2.中国热带农业科学院南亚热带作物研究所，广东 湛江 524091）

菠萝是热带四大水果之一，富含大量人体所需的维生素、矿物质、有机酸、纤维质等营养成分。菠萝收获后，80%以鲜果的形式进入市场，采收时间与采摘方式均是影响鲜果品质的关键因素[1-2]。现阶段，全球的菠萝产地主要以人工采摘配合机械收集平台协同作业的方式进行菠萝采收，该方式需要大量的人力，劳动力成本占菠萝生产销售利润的近50%[3-4]。由于菠萝植株坚硬且外表呈刺状，导致采收环境恶劣，严重影响人工采摘效率，采摘过程易造成果实外伤，不利于后续储存运输。本文研究的菠萝全向定位采摘方法可实现菠萝全自动无损采摘，较大程度减轻果农的采收负担，对促进菠萝产业发展具有重要的意义。

1 系统结构设计

采摘装置结构如图1所示，主要包括控制中心、全向定位机构、双臂采摘机构，控制中心的功能由ARM与DSP实现，控制中心的壳体前面板设置屏幕和键盘，可以实现和用户的交互。全向定位机构用于获取采摘目标的深度数据，按照控制中心指令移动至最佳采样点，并在双臂采摘机构完成视野内采摘任务后，自动改变采摘装置角度；双臂采摘机构用于移动机械终端至采摘定位点，夹取采摘目标，切断果梗，实现对菠萝果实的无损采摘并放回原点收集；采摘装置的每个执行终端均配设电机，整个过程无需人工参与，完全自动化运行。

图1 菠萝自动化采摘装置示意图

2 系统控制流程

系统启动，控制中心初始化各终端原点位置，摄像头接收指令后将菠萝图像的深度数据发送至控制中心，对图像数据进行处理运算。针对当前的视野范围标定采摘目标，判断采摘目标个数n是否为0，如果n=0，控制中心发送控制信号驱动电机带动旋转底座顺时针转动30°，并用旋转后的位置更新原点位置；如果n>0，控制中心对各个采摘目标按照深度进行排序，并存入a[n]。

估计目标果实a[i]的最佳采样空间位置（xi,yi,zi），将其作为摄像头的目标采样点。控制中心驱动电机带动升降杆调整纵向高度，使采样点趋近yi，驱动旋转杆带动摄像头调整角度，减小与目标采样点的误差距离（xiΔ,yiΔ,ziΔ），对当前采样点的图像进行深度数据运算，得出捕获手的2个夹取钳中心点移动的目标位置，即捕获定位点（xib,yib,zib），切割手的2个切割钳中心点移动的目标位置，即切割定位点（xiq,yiq,ziq）。肩关节转动，使捕获定位点趋近（xib,yib,zib）。

捕获支臂的主轴移动减小（xibΔ,yibΔ,zibΔ），旋转轴转动调整夹取角度。捕获手执行夹取任务并固定目标果实，传感器实时监测修正切割定位点（xiq,yiq,ziq）。切割支臂调整切割角度，切割手执行切割。控制中心发送控制信号驱动捕获机构各电机，恢复原点位置，释放目标果实a[i]，完成对目标a[i]的采摘；如果i≤n，则循环采摘下一个目标果实，直至i>n，整个装置旋转至下一角度进行采摘；当装置周围360°均无采摘目标时，结束整个菠萝采摘装置所在地面位置的采摘，可将采摘装置移动至下一地面位置进行采摘。具体的系统作业流程如图2所示。

图2 系统流程图

3 菠萝定位算法

3.1 菠萝图像预处理

由于光照等因素影响，获取的菠萝图像存在较大差异，导致数据不均衡，为了扩充菠萝图像的数据集，增强菠萝图像特征提取效果，达到泛化模型的目的。本文基于Python对菠萝图像进行离线数据增强处理，通过对原始菠萝图像进行裁剪、旋转、镜像、加噪声等预处理，扩增数据集样本，增强效果图如图3所示。采用离线增强方法，扩增后得到8 000张菠萝数据集图像，编写Python程序对菠萝数据集按照8∶1∶1的比例进行随机划分，划分为训练集、验证集、测试集。

图3 菠萝图像预处理

3.2 定位算法模型

本文采用YOLOv5深度学习算法进行菠萝果实的识别定位，YOLOv5网络结构由四个部分组成，分别是输入端、Backbone、Neck以及Prediction[5-8]。其中，输入端包括Mosaic数据增强和自适应锚框计算；Backbone骨干网络中加入了CSP和Focus结构，Focus结构通过切片操作来扩充输入通道，对上部分进行传统的残差块堆叠，而下部分几乎不计算，类似一个残差边与上部分计算后的结果进行拼接，通过对两部分的跨级拼接与通道整合，增强卷积神经网络的学习能力。

在菠萝目标识别过程中，引入协同注意力机制对特征提取进行优化，进而提升模型检测性能。在模型中添加通道注意力可有效提升模型的性能，通常轻量级网络的注意力机制大多数都采用SE模块和CBAM模块[9]。SE模块只考虑通道间的信息，忽略了位置信息，尽管引入CSAM模块在降低通道数的方向上采用卷积来提取位置的注意力信息，但是卷积只能提取局部关系，在长距离关系提取能力上较差[10-11]。为此，本文引入协同注意力机制（Coordinate Attention,CA）模块对菠萝果实进行识别。

通过与YOLOv5识别基础网络进行对比试验，验证引入CA注意力模块对YOLOv5识别模型性能的影响，协同注意力改进对比分析表如表1所示。

表1 协同注意力改进对比分析表

结果表明：增加CA模块对参数量略有增加，mAP同时增大，检测速度提升。提高了动态情况下菠萝目标识别的实时响应效率，识别效果如图4所示。自然环境下，引入CA的YOLOv5s算法动态识别每幅耗时40 ms，识别精度为99.2%，能够满足自动化实时定位需求。

图4 YOLOv5基础网络结构图

4 系统测试

为验证系统采摘的可靠性与稳定性，于徐闻县“菠萝的海”进行大田试验，时间选择6月份夏菠萝成熟期。菠萝采摘装置安装于自行走车载云台，采摘装置完成当前位置的采摘任务后会发出信号，指引车载云台前进至下一采摘点，采摘试验结果如表2所示。

表2 采摘试验结果

分析表中晴天与阴天的采摘结果，晴天时光线强，摄像头采集的图像比较清晰，识别精度高。阴天时虽然受光线影响会出现误判，但误判数比例较小。大田试验表明：菠萝全向定位自动化采摘系统可实现全自动化菠萝采摘，单个果实平均采摘耗时约22 s，采摘精度高于93.5%。

5 结论

本文提供了一种深度视觉的菠萝全向定位自动化采摘方法，主要结论如下：1）采用改进的YOLOv5算法可在保证实时性的前提下实现菠萝果实的准确定位，识别精度高达99.2%；2）采摘装置能够实现菠萝果实全角度识别定位、固定夹取、果梗切割，装置的各个部分能够协调衔接，整个过程无需人工参与；3）大田采摘试验结果验证了采摘装置的可行性，晴天条件下采摘精度达100%，阴天条件下采摘精度高于93.5%。