基于视觉检测的苹果采摘机器人系统设计与实现

孙贤刚，伍锡如，党选举，刘金霞

(桂林电子科技大学 电子工程与自动化学院，广西 桂林　541000)



基于视觉检测的苹果采摘机器人系统设计与实现

孙贤刚，伍锡如，党选举，刘金霞

(桂林电子科技大学 电子工程与自动化学院，广西 桂林541000)

摘要：为提高苹果采摘的自动化与智能化水平，降低重复繁琐的人工劳动强度，减少对果实的损坏率，研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中，硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成；软件平台基于VisualC++6.0开发环境，使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位，再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明：机器人在无人值守的情况下，能实现自动导航、自动识别、自动采摘苹果等功能，并且识别成功率大于94.00%，采摘成功率达到91.33%，平均采摘周期约为11s，具有较高的准确性及稳定性。

关键词：轮式机器人；苹果采摘；机械臂；双目视觉；图像处理

0引言

近年来, 农业果蔬采摘机器人的研究受到了科研工作者的青睐[1-7]。采摘机器人的研制能够减轻果蔬采收的劳动强度,改善果蔬品质,实时自动采摘，将人类从繁重的劳动强度中解放出来。2014年，国家主席习近平在两院院士讲话中指出：希望把我国机器人水平提高上去，而且要尽可能多地占领市场。可见，未来采摘机器人将受到更加广泛的关注。

早在20世纪60年代，日本、荷兰等国家就已经开始研制果蔬自动采摘的技术与装备，采摘对象有黄瓜、草莓、蘑菇及番茄等。例如：日本Kawamura等人研制了西红柿采摘机器人；日本冈山大学研制了一种5自由度极坐标机械手，适宜采摘果园棚架栽培模式下的成熟葡萄[2]。1996年，荷兰农业环境工程研究所(IMAG)设计了一种7自由度多功能黄瓜采摘机器人[3]。1983年，法国Cemagref研究所首次研制出苹果采摘机器人。国内果实采摘机器人研究起步较晚，部分高校及科研院所对各种果蔬采摘机器人相继开展了研究。南京农业大学的姬长英等人设计了一种智能水果采摘机器人[4]。苏州大学赵德安等人研制了一种苹果采摘机器人,可以快速跟踪识别目标果实[5]。中国农业大学李伟等人研制了黄瓜采摘机器人，运用近红外光谱特征提取技术，实现对黄瓜的准确识别和定位，采摘速度达到28.6s，机械手抓取成功率高85%[6-7]。

目前，由于农业果蔬采摘机器人的作业环境极其复杂、光线多变、动态搜寻中的干扰物及茎叶干涉末端执行器运动等诸多问题，使得目前采摘机器人系统复杂、结构庞大笨重、能耗高、采摘效率低，限制了采摘机器人的产业化和智能化。为此，研制了一款苹果采摘轮式机器人，能够自主导航、自动检测成熟红苹果及准确定位并自动采摘。采摘过程中采用2R-G-B法处理图像，通过OTSU算法对彩色苹果图像进行动态阈值分割，能够快速精准地识别出成熟果实，配合轻巧灵活的机械手，为实现农业果实采摘自动化、智能化提供了宝贵经验。

1硬件构成

苹果采摘轮式机器人硬件结构主要由轮式移动平台、4自由度采摘机械臂、双目视觉系统、末端执行器和电气系统5大模块组成。

1.1　轮式移动平台

由于果园的地面环境极其复杂，为了适应崎岖的路面环境，该移动平台选用了四轮驱动的自动导航越野车，如图1所示。采用48V锂电池供电，电能可供整体采摘作业之用，且锂电池可以进行适时充电。在越野车的前部连接有矩形的果实收集装置，双目摄像机安装在移动平台上方，实时获取图像,机械臂位于双目摄像机正前方。

图1　苹果采摘机器人硬件结构图

1.2　末端执行器

目前，已有的末端执行器一般采用适当力量折断果柄的方法，可能会导致采摘平台摇晃，采摘定位不准，或造成果实损伤。基于此问题，设计了轻巧实用的末端执行器。本末端执行器采用气动剪刀手，由采摘刀片、缓冲垫片、红外传感器及气泵控制系统组成，如图2所示[8]。

图2　末端执行器

首先在双目视觉系统的识别定位下，4自由度的机械臂在三维空间中运动带动机械手到达指定的坐标位置后，在气泵的作用下采摘手打开；末端执行器上的红外传感器实时地检测采摘手是否抓取到苹果；若抓取不成功，经过不断地调整采摘位置，根据机器人控制指令，将末端执行器送到准确的目标位置；最终在气泵的作用下采摘手瞬间夹断苹果的果柄，实现对果实的采摘，最终将采摘的苹果回收到果篮中。

1.3　机械臂

本设备采用4自由度柔性机械臂，如图3所示。机械臂总高度138cm，底座距离地面高度为80cm，采摘精度范围为2mm。该机械臂是一种典型的串联式机器人，机械臂由末端执行器及4个关节组成[9]。机械手腰部、大臂、小臂的转动均采用交流伺服电机作为驱动源，选用行星齿轮减速器对电机进行减速，同时提高最终的输出扭矩。

从下至上顺序串联的传动机构、光电机构、旋转机构、气动剪刀手和红外传感器，底座通过螺栓与移动平台连接。旋转机构由能水平、垂直四维度自由旋转的关节转动轴、与关节转动轴连接的关节电机、光电机构和旋转臂组成，每个电机都有相应的转动范围，其活动范围由机械臂上装有的限位光电开关来限定[10]。机械臂的采摘半径为100cm，能够满足苹果采摘在空间上的要求。

图3　采摘机械臂

1.4　苹果识别定位系统

机器人识别和定位的准确率严重影响苹果采摘的成功率，因此苹果视觉定位系统的选取很重要。本设备采用双目视觉系统对苹果进行准确识别和定位，应用C++程序编写算法，采用2R-G-B法处理图像，通过OTSU算法对彩色苹果图像进行动态阈值分割，采集对不同成熟度苹果的视频信息(见图4)，对拍摄的照片进行处理和分析，判断苹果是否成熟并准确识别和定位[11-14]。

苹果的识别与定位过程为：首先打开软件主控界面，机器人视觉系统初始化之后，通过采集卡传送至工控机处理端，摄像机获取实时图像，并传至工控机处理端；对所获取的两幅图像的亮度做直方图均衡化处理，提高图像对比度；对图像进行二值化处理，去除非红色区域，对二值图像做腐蚀处理，腐蚀掉红色细微小块，去除干扰，膨胀处理；对大的红色区适度还原，还原后的图像如图4所示；最终系统主控界面会弹出ROBOTCTRL对话框显示苹果的实时三维坐标并将数值传送到机械手控制端。

图4　苹果的识别和定位

1.5　电气系统

越野车的所有供电由48V锂电池来提供，驱动小车运动的伺服电机为48V直流电源，双目视觉摄像头为直流12V,机器臂伺服电机需要24V直流电源。电机驱动电气系统由直流电机、编码器、减速器组成，如图5所示。小车前方液晶显示模块用来显示锂电池电压、电流及电量。

图5　移动平台电气系统

2控制系统与软件设计

2.1　控制系统

本文设计的苹果采摘机器人控制系统硬件由便携式工控机、数据采集卡、图像采集卡、电机伺服控制和末端执行器等5个部分组成[15]。选用多轴运动控制卡作为苹果采摘机器人控制系统硬件结构的核心组件。苹果采摘机器人控制器采用 IPC-610L工控机，可以实现机械臂运动学计算、图像处理、各关节编码器反馈信息和传感器信息的处理和显示、机械臂关节的交流伺服驱动器的控制，以及苹果采摘的路径规划等功能。其中，工控机集成了软件和控制界面，对整个系统进行控制；图像采集系统、数据采集系统通过处理视觉传感器和外部传感器收集的信号，完成苹果采摘机器人外围环境信息的采集，转换成数字信号为工控机所用；工控机输出控制信号，最终驱动交流伺服电机和末端执行器运动，完成对目标果实的定位和抓取。机器人控制系统的结构图如图6所示。

图6　机器人控制系统结构图

2.2　软件设计

苹果采摘机器人的软件设计主要考虑控制的开放性和稳定性。工控机的操作系统选用Windows XP，使用CAN总线和RS232总线控制器实现人机之间的通信。由于控制系统的开放性，使得机器人的通用性大大提高，整个硬件和软件系统可以满足机器人对苹果的成熟度检测和采摘任务。

苹果采摘机器人的控制界面如图7所示。在软件运行后，先点击启动CAN，然后打开串口。控制界面包含了机械臂各关节的调整、复位、车轮运动控制、自主采摘等一些必要的按钮。抓取果实演示按钮就是让机器人开始工作；停止运动按钮是为了防止机器人发生误操作而造成损坏的情况；实时显示按钮是双目摄像机拍到的实时的动态图片。

图7　苹果采摘机器人的控制界面

2.3　控制主程序流程图

整个控制程序如图8所示。首先获取苹果实时图像，对图像进行处理。通过位置传感器将苹果的空间坐标发送给机械臂控制系统，驱动机械臂采摘苹果，完成对苹果的采摘。果实采摘控制程序主要包括图像的预处理、果实识别与定位、实时反馈等。

图8　机器人控制程序流程图

3试验结果与分析

3.1　试验目的

实验室试验主要目的：测试苹果采摘轮式机器人的轮式移动平台、4自由度采摘机械臂、双目视觉、末端执行器能否高度协同完成智能化采摘；测试在理想情况下成熟果实的采摘效率、识别正确率和采摘成功率。

3.2　采摘效率

机器人自动导航到达最佳的采摘位置，发现采摘目标后，各个系统开始同步工作。机器人采摘过程如图9所示。正常情况下，单个苹果采摘平均时间为11s，各个环节所用时间如表1所示。其中，耗时较多的就是机械臂的运动，可以通过调节电机的速度改变这个环节的时间；但考虑到机械臂运行的稳定性，最终设置机械臂运动的时间为5s。

图9　机器人采摘过程

序号各环节所用时间时长/s1双目视觉识别定位12机械臂运动53末端执行器切割、抓取、释放44延时1总计11

3.3　识别正确率和采摘成功率

试验过程中会有苹果定位失败的现象，如表2所示。主要原因是光线问题、苹果相互遮挡及机械手抓取时扰动苹果等。试验整体识别成功率大于94.00%，采摘成功率达到91.33%。试验结果表明：苹果采摘机器人在采摘过程中稳定性和准确性较高。

表2　机器人采摘结果统计

3.4　试验结果分析

1)在实验室模拟苹果的采摘试验，机器人对青苹果不予识别，对距离靠近机械臂的红苹果优先采摘。模拟采摘的结果表明：机器人能够准确地识别和采摘苹果，单个苹果采摘用时为11s。

2)机器人导航精确，各个模块之间高度协调同步。采用2R-G-B法处理图像，通过OTSU算法对彩色苹果图像进行动态阈值分割，使得采摘成功率达到91.33%。

3)为了减少采摘周期、保证整个系统的高稳定性，将小车的行驶速度限为35mm/s、机械臂运动时间为5s、双目视觉识别时间为1s。

4结论

研制了一种苹果成熟自动检测及采摘的轮式机器人，阐述了机器人的机械结构，以及控制系统的硬件和软件设计。系统将末端执行器、苹果采摘机械臂、四轮移动平台、双目视觉等技术融合起来，利用多传感器技术，对采摘对象进行信息获取、成熟度判断，并确定收获目标的三维空间信息，引导机械手与末端执行器完成抓取、切割、回收任务的高度协同自动化系统。实验室试验表明：其可实现无人值守情况下，自动导航、自动识别、自动完成机械臂运动及机械手采摘，整体识别成功率达到94.00%，采摘成功率大于91.33%，单个苹果采摘用时11s,实现了苹果采摘的自动化、智能化，验证了设计的有效性和合理性。

参考文献：

[1]智能·机器·人——致首届中国机器人峰会(RoboTop2014)[J]. 机器人技术与应用,2014(3)：1.

[2]Ogawa Y, Kondo N, Monta M, et al.Spraying robot for grape production [J].Computer and Computing Technologies in Agriculture,2006,24:539-548.

[3]Van Henten E J,Van Tuijl B A J,Hemming J.Field test of an autonomous cucumber picking robot [J].Biosystems Engineering, 2003, 86( 3): 305-313.

[4]顾宝兴，姬长英，王海青，等.智能移动水果采摘机器人设计与试验[J].农业机械学报，2012,43(6):153-160.

[5]吕继东,赵德安,姬伟.苹果采摘机器人目标果实快速跟踪识别方法[J].农业机械学报,2014(1):65-72.

[6]徐铭辰,牛媛媛,余永昌. 果蔬采摘机器人研究综述[J].安徽农业科学,2014(31):11024-11027,11057.

[7]纪超，冯青春，袁挺，等.温室黄瓜采摘机器人系统研制及性能分析[J].机器人，2011，33(6)：726-730．

[8]杨唐文,高立宁,阮秋琦,等.移动双臂机械手系统协调操作的视觉伺服技术[J].控制理论与应用,2015(1):69-74.

[9]娄军强,魏燕定,杨依领,等.智能柔性机械臂的建模和振动主动控制研究[J].机器人,2014(5):552-559,575.

[10]李宇飞,高朝辉,申麟.基于视觉的机械臂空间目标抓取策略研究[J].中国科学:技术科学,2015(1):31-35.

[11]蒋焕煜,彭永石,申川,等.基于双目立体视觉技术的成熟番茄识别与定位[J].农业工程学报,2008(8):279-283.

[12]Chi Y, Gejima Y,Kobayashi T,et al.Study on Cartesiantype straw-berry-harvesting robot[J].SensorLetters,2013(11):1223-1228.

[13]周俊,刘锐,张高阳.基于立体视觉的水果采摘机器人系统设计[J].农业机械学报,2010(6):158-162.

[14]Si Y S, Liu G, Feng J. Location of apples in t-rees using stereoscopic vision,Computers and Electronics in Agriculture[EB/OL].205-01-10.http://dx.doi.org/10.1016/j.compag.2015-01-10.

[15]赵庆波,赵德安,姬伟,等.采摘机器人视觉伺服控制系统设计[J].农业机械学报,2009(1):152-156.

Abstract ID:1003-188X(2016)09-0151-EA

Design and Implementation of Apple Picking Robot System Based on Visual Inspection

Sun Xiangang, Wu Xiru, Dang Xuanju, Liu Jinxia

(College of Electronic Engineering and Automation, Guilin University of Electronic Technology,Guilin 541000，China)

Abstract：In order to improve the automation and intelligence level of apple picking,reduce the labor intensity of human and the damage rate of the fruit, the paper developed a wheeled robot system for automatic detection and picking ripe apples. The system is made up of hardware platforms and software platform. The hardware platform includes four-wheel drive off-road car, IPC-610L, image data ac-quisition card, four degrees of freedom manipulator and end-effectors; The software platform includes Visual C ++ 6.0 development environment, based on binocular vision and image processing techniques to achieve the identification and location of apple, then through the manipulator path planning to achieve the apple picking. Through simulation and data analysis show that the robot can realize automatic n-avigation, automatic recognition, automatic picking apples and other functions in the case of unattended. The correct rate of apple recog-nition and the success rate of picking was 94.00% and 91.33%, respectively. The average period of picking is about 11s and the accuracy and stability of the system is excellent.

Key words：wheeled robot； apple picking； manipulator; binocular vision; image processing

中图分类号：S225;TP242.6

文献标识码：A

文章编号：1003-188X(2016)09-0151-05

作者简介：孙贤刚(1990-)，男，安徽安庆人，硕士研究生，(E-mail)2546442391@qq.com。通讯作者：伍锡如(1981-)，男，湖南娄底人，副教授，博士,(E-mail)xiruwu520@163.com。

基金项目：国家自然科学基金项目(51465011)；广西自然科学基金项目(2014GXNSFBA118275; 2015GXNSFAA139297)；广西高校科研项目(YB2014128)

收稿日期：2015-09-14