基于视觉技术贡柑采摘机器人设计

1. 项目研究背景

广西壮族自治区贺州市钟山县贡柑产业发展迅猛，种植面积达到10万亩，年产量高达10万吨，是全国贡柑生产的大县。在整个贡柑种植过程中，成熟贡柑的采摘耗时最长，劳动力需求最大;而随着外出务工人员的增多，农村劳动力减少，导致请劳力成本上涨，果农的生产成本增加，高用工成本严重制约着贡柑产业的发展。贡柑产业向更深层次发展，亟需控制生产成本、减少人工采摘; 而在农业生产上广泛应用智能采摘机器人，对于节省成本、提高生产率具有重要意义。本文结合贡柑生产种植环境和实际采摘过程，基于越疆机械臂平台结合视觉技术设计机器人对贡柑采摘过程的试验研究，实现农业生产贡柑的智能采摘。

2.  结构设计

2.1 工作原理：

该采摘机器人由机械结构部分和电气智能控制系统两部分构成。机械结构包括可移动载体、越疆机械臂、采摘器和自动控制装置; 电气智能控制系统主要包括工控计算机、伺服电机驱动、单 PIXY 摄像机、传感器控制模块、数据采集卡、GPIB 卡、驱动模板、锂电池和控制系统，如图 2 所示。

2.2 设计制作

2.2.1 机械结构部分：该部分是智能采摘机器人的硬件平台，为机器人进行成熟果实识别与采摘奠定了坚实的基础，其各个部件的作用各不相同，结合起来实现采摘机器人的自动控制。

机械手臂装置采用多关节越疆机械臂，有4个主自由度，可以做左右转动和上下移动的动作; 再加上采摘器的X、Y 轴转动，可以使夹持采摘器到达臂长范围的任何三维坐标点。该机器人的机械手臂装置韧性强、承受负载大、自身轻薄、灵活性高、到达指定位置误差小，在整个采摘作业过程中，运行速度适中，惯性较小，平稳度高。

2.2.2 贡柑采摘器：这部分是采摘过程中作用最大的部件，是采摘机器人的“手”，贡柑的抓取收获依靠其完成，可以根据命令直接执行采摘任务。该设计中采用“夹持器+弧形双剪”结构，夹持器最大工作角度为 180°，采摘过程中夹紧力未 270N（“未270N”是指末端夹紧力为270牛顿），质量为 0.15kg，闭合时间为 0.2s; “双剪”与夹持器同步运行，一次性完成贡柑果采摘关键技术点“一果二剪”，装置轻便，采摘角度大，耗时短，力度适中，不会给果实带来机械损伤。

2.2.3 成熟贡柑果判断

本作品采用“PIXY”智能摄像头作为贡柑果采摘末端信号采集器。该摄像头配置高级语言Python脚本，数据结构可以快速运算并把计算结果用来控制IO引脚。“PIXY”作为末端执行器和普通的执行器相比，不但可以减少电机的数量，并且提高采摘机器人的工作效率。其中的柔性抓取器不仅代替了普通的末端执行器的手爪功能，从而减去了一个被驱动元件，还能直接把采摘的果实直接输送到指定点，进而大大提高了收获效率。

3.  主要技术指标

该机器人由机械结构部分和电气智能控制系统两部分构成。机械结构包括可移动载体、机械手臂、夹持器和横向滑动装置;电气智能控制系统主要包括工控计算机、伺服电机驱动、PIXY摄像头、传感器控制模块、数据采集卡、锂电池供电箱和控制系统，构成了完成这一项目的关键。

3.1 末端执行器：深圳越疆科技有限公司生产的DOBOT魔术师机械臂为工业型机器人，其额度负载0.5kg，采摘半径320mm，四轴旋转为+90°到-90°，机械臂距离地面高度可根据采摘水果类型做更换移动平台即可。

3.2 機器视觉系统

3.2.1果实的定位与识别

定位系统和果实识别的硬件主要由1394转换卡、单目摄像机和主控制器组成。先由摄像机采集果树图像，然后通转换卡将采集到的果树图像传输到主控制器，在主控制器中采用各种图像处理算法对果树图像进行处理，从而识别出成熟的果实，解算出果实在机械臂基坐标系下的三维坐标。

3.2.2 果实的图形采集

由于摄像机的视野有限，只采集一幅图片是不能对整棵果树进行覆盖的，所以采集图像时机械臂需要在多个不同的位姿进行采集。通过实验表明，大部分果树需要采集3幅图片方可覆盖。系统每采集1幅图，就会对果实进行识别和定位处理，并且对该图片中成熟果实的位姿信息进行保存，然后由上位机根据成熟果实的位姿信息对机械臂采摘路径作出规划。当一幅图像中的成熟果实采集完毕后，机械臂自行运动到下一个图像采集位姿，并重复以上图片的采集过程，直至3幅图片中所有被识别的成熟果实采集完毕。

3.2.3 软件的系统

整个控制系统软件是在Lua  VC++6.0中开发完成的，其程序设计流程如图：

采摘机器人控制系统软件设计简述如下：（1）系统设备初始化。（2）主控制器首先通过1394转接卡采集单目摄像机所拍摄的路面图像，通过RS232采集GPS航向信息及位置坐标。然后主控制器对导航图像进行处理，并提取视觉导航参数。最后主控制器再根据GPS采集位置和航向信息以及坐标导航图像信息进行决策分析，进而实现移动平台的自主导航。（3）主控制器通过1394转接卡采集单目摄像机拍摄的果树图像，对成熟果实进行识别与定位。并将摄像机坐标系下目标果实的三维坐标转换到采摘机械臂的基坐标系下。再由主控制器根据果实位置坐标对机械臂采摘路径进行规划。（4）当机械臂运动到目标姿位后，主控制器通过RS232向末端执行控制器发出指令，于是末端执行器抓取果实。（5）重复以上四个步骤直到机械臂采摘范围内的果实采摘完毕。（6）机械臂回到导航的初始位姿，并重复以上自主导航和自主采摘过程。

上图所示，XYZ为机械臂的基坐标系，O为坐标原点，F为果实中心，F为果实中心在XOY面内的投影。A、B、C、D分别为采摘机械臂处于不同位姿时其末端执行器的对称中心点。因为图像采集位姿在采摘之前就已经给定了，所以B点的坐标是已知的，D点的坐标可由双目视觉系统求得，故要完成整个路径规划，必须求出C点的坐标，设C点与D点之间的距离为L，试验中确定L的长度为0.5m，由以上已知条件可求得C点的坐标。

单目摄像机完成图像采集后，机械臂腰关节旋转至与Y轴夹角θ处。水果采摘时，机械臂在由点FOF构成的平面内运动，考虑到机械运动的平顺性，A到B及B到C之间路径采用的是PTP圆弧插补方式的运动。C到D之间轨迹采用的是PTP直线插补方式的运动，末端执行器只在FOF平面上作直线平移，这样对应果实采摘所需空间变小，末端执行器碰到树枝等障碍物几率变小，从而保证果实采摘的成果率。果实采摘成功后，先由D回到C，再有C回到果实收集箱的上方，然后末端执行器夹持手指松开，果实下落到收集箱内。

4.  科学性、先进性

对成熟贡柑果实的成功采摘，是衡量智能贡柑采摘机器人的性能优良的重要条件。作品在树龄为5年的贡柑果园进行成熟果实的采摘，并对果园中遮挡严重的贡柑做了一些整理，在机器人自主运行的情况下进行了采摘试验。

智能贡柑采摘机器人均可自动控制自身正常移动，能准确完成采摘作业，机械手臂及采摘器在智能控制系统的调节下能实现协调工作。从测试结果看，智能贡柑采摘机器人采摘目标果实的成功率在可以达到85%以上，对单个目标果实的采摘时间能控制在2s以内，证明该智能采摘机器人的采摘效果非常好，适合贡柑采摘作业过程中应用。

5.  结果

根据果农对成熟贡柑果的收获作业要求，设计制造了基于越疆魔术师机械臂平台，具有视觉技术的智能贡柑采摘机器人。该机器人将机器视觉技术与自动化技术融合在一起，机械结构简易、协调灵活、运行速度快，识别目标果实速度快，采摘果实的成功率高，实现了贡柑采摘过程的智能化、自动化、无人化，具有十分宽广的应用前景。

参考文献

[1]刘长林，张铁中，杨丽.果蔬采摘机器人研究进展[J].安徽农业科学，2008，36 （13）：5394-5397.

[2]刘锐.水果采摘机器人视觉控制及其轨迹规划研究[D].南京农业大学，2010.

[3]安秋.农业机器人视觉导航系统及其光照问题的研究[D].南京农业大学，2008.

[4]李建平。林妙玲.自动导航技术在农业工程中的应用研究进展[J].农机工程学报，2006，22（9）：232-236.