基于激光视觉的智能识别苹果采摘机器人设计

张　宾，宿敬肖，张微微，邓明华，汪小志

(1.河北工程技术学院，石家庄　050091；2.武汉工商学院 信息工程学院，武汉　430200；3.武汉理工大学 物流工程学院，武汉　430063)



基于激光视觉的智能识别苹果采摘机器人设计

张宾1，宿敬肖1，张微微1，邓明华2，汪小志3

(1.河北工程技术学院，石家庄050091；2.武汉工商学院 信息工程学院，武汉430200；3.武汉理工大学 物流工程学院，武汉430063)

摘要：为了提高苹果采摘视觉识别系统的精度，增强视觉系统的抗干扰能力和自适应能力，设计了一种新的苹果采摘机器人激光视觉识别系统，可以直接获得层次关系的深度图像，实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果，在果园中对其采摘性能进行了测试：首先采用高清相机完成了对果实图像的采集，通过图像处理准确地实现了苹果的识别，在遮挡率低于50%时其识别率达到了90%以上；然后利用激光测距方法对苹果进行距离测量，成功定位了果实位置，其响应时间仅为3.58s，动作效率快，实现了苹果的高效率、高精度采摘功能。

关键词：采摘机器人；视觉识别；抗干扰性；自适应性；激光扫描

0引言

机器视觉技术打破了传统的机器人定位方式，通过计算机来模拟人的视觉功能，从客观事物上提取有用的视觉信息，并利用逻辑判断手段对信息进行加工处理，最后完成目标的定位功能。农业机器人的作业对象为有机生物体，其作业过程受作业环境和作业对象的影响比较大，即便是对于同种作物，其作业对象也是千差万别，因此采用机器视觉技术，可以有效地提高作业效率和作业精度。农作物自动采摘机器人的视觉识别技术是近年来最热门的研究课题之一，其工作原理是在收获机器人上装备视觉系统，通过采集田间和树上的作物图像，并利用图像分析和识别方法来定位作业目标，引导机械手完成采摘动作。采集机器人在发达国家已经取得了较大的进展，但在我国还处于初始阶段，采用机器视觉方法对机器人进行研究具有重要的意义。

1果实识别视觉系统总体设计

在视觉识别系统中有两种主要的方式，其中主要包括被动成像方法和主动成像方法。被动成像方法一般是利用相机获取周围环境的反射图像，而主动成像方法是利用光学投射器，将光束投射到目标表面，通过感光器件完成成像，可以高精度的获取距离信息。激光测距仪是利用激光对目标的距离进行准确测定的仪器，通过激光速度和计时来完成距离的准确测量，本文利用激光测距仪和高清相机来完成苹果果实的定位， 其总体设计框架如图1所示。

图1　激光苹果采摘定位系统总体设计框架

图1中，主要采用的设备是激光扫描测距仪和高清相机。其中，激光扫描测距仪完成果实的测距功能，高清相机完成图像的采集功能，动作执行机构为PLC单片机，其基本动作过程如图2所示。

采摘时，首先采用高清相机对果实图像进行采集，然后利用图像处理技术对果实进行识别，成功完成果实识别后利用激光测距仪对果实进行距离测量。当距离在采摘范围内时，执行对果实的采摘动作；当距离未在采摘范围内时，继续对距离进行测量，直到距离满足采摘机械手的采摘距离，执行对果实的采摘动作。

2激光测距和果实定位控制系统设计

为了实现果实的精确测距和定位控制功能，使用激光扫描仪对果实距离进行识别，激光扫描仪在直线运动时可以采集多组点对点的距离值和角度。设滑台的初始位置是原点，假设远离原点的为X*轴的正方向，滑轨的垂直上方为Y*轴的正方向，垂直X*Y*指向目标场景表示Z*轴的正方向，建立激光三维视觉系统坐标系如图3所示。

图2　果实定位采摘流程图

图3　激光三维视觉系统坐标系

图3中，当该点位移激光扫描序列的前半部分时，i在0～201范围内，则

(1)

当该点位移激光扫描序列的中间部分时，i在201时，则

(2)

当该点位移激光扫描序列的后半部分时，i在201～401范围内，则

(3)

其中，i表示扫描的序列号，其值范围为1～401；D表示扫描的深度值；L表示扫描对应的水平位移。

根据苹果扫描的坐标，可以定位苹果的具体位置。苹果采摘机器人激光视觉系统主要由3部分组成，包括数据和图像采集、数据和图像处理及运动控制3部分，其设计框架如图4所示。

图4　激光扫描视觉系统设计框架

图4中，数据采集部分使用激光扫描仪进行测距，运动控制部分包括步进电机、PLC单片机及电动机驱动等。步进电机的参数如表1所示。

表1步进电机参数表

Table 1The parameter list of stepping motor

项目参数项目参数相数3步矩角/(°)0.05静态电流/A8相电阻/Ω1.5相电感/mH6.6保持转矩/N·m8定位转矩/N·m0.6电压/VDC20～80

表1中,步进电机的主要类型有3种，包括反应式、永磁式和混合式。步进电机的控制主要根据激光测距后，使用脉冲信号进行控制。激光扫描仪的结构如图5所示。

其测量原理是基于脉冲时间的，其光速已知，根据发射和接受到信号的时间，可以准确地测量出距离目标的距离。为了提高测量范围，通过如图6所示的方式进行测量。

图5　激光扫描仪结构图

图6　激光扫描测距方式图

为了扩大扫描面积，利用旋转镜改变入射光的角度，可以完成位移如图6所示扇形面积内的激光扫描。激光测距完成后，需要根据距离对果实进行采摘，其具体流程如图7所示。

图7　果实采摘电机控制过程流程图

电机采摘控制的过程中，使用步进电机可以将电脉冲信号转换为相应的角或者线位移信号。其中，移动速度和终止位置可以由脉冲激励信号的频率和脉冲数来控制：当测距数值在满足采摘范围内时，步进电机停止运动，通过机械手来完成采摘任务；当测距在采摘范围外时，步进电机继续运动，直到在采摘范围内停止。

3激光视觉系统采摘机器人苹果采摘测试

为了验证设计的激光视觉系统采摘机器人采摘性能，在果园对苹果采摘机器人进行了测试，测试项目主要包括苹果图像的采集、处理、定位，激光测距位置定位响应等。测试场景如图8所示。

图8　机器人苹果采摘实验

图8左图表示机器人的激光视觉和图像采集系统，右图表示苹果采摘机械手。利用图像采集系统对苹果图像进行采集，通过图像处理得到的灰度测试曲线如图9所示。

图9　灰度值测试结果

由图9可以看出：果实区的灰度频率值和普通区存在明显的不同，因此可以有效地识别苹果的果实区域，通过测试得到的用时如表2所示。

表2　图像处理用时表

由表2可以看出：图像处理的各个环节用时都比较低，说明系统的处理速度迅速、响应速度高，可以有效完成图像的识别过程。其果实识别标记结果如图10所示。

由图10可以看出：在进行图像处理之后，可以有效地完成图像特征点的提取，为果实的初始定位提高数据准备。通过计算最终得到的果实识别结果如表3所示。

图10　果实识别标记示意图

%

通过图像处理准确地实现了苹果的识别。由表3可知：在识别率在遮挡率低于50%时达到了90%以上；在遮挡面积为50%以上时，识别率达到了80%以上，准确识别率较高。

对苹果进行初始定位后利用激光测距方法对苹果进行距离测量，如图11所示。通过距离测量成功定位了果实精确位置，其响应时间仅为3.58s，动作效率快、精度高，满足了高精度采摘的需求。

图11　果实定位响应曲线

4结论

1)依据激光测距原理，结合图像采集和处理技术，采用步进电机和PLC单片机设计了苹果采摘机器人激光视觉识别系统，大大提高了苹果采摘机器人对苹果的识别率和作业效率。

2)建立了苹果激光测距的三维坐标系，使用扇形扫描的方式设计了激光扫描的方式，提高了有效测量面积，对步进电机的参数进行了合理的选择，并对机器人采集流程进行了详细设计。

3)通过测试发现：激光视觉识别系统可以有效地识别苹果的图像，并可利用激光测距精确的完成评估定位。其中，图像准确识别率在遮挡率低于50%时达到了90%以上，激光扫描仪精确定位响应时间仅为3.58s，动作效率快，满足了苹果高精度采摘的设计需求，为苹果采摘机器人的研究提供了较有价值的参考。

参考文献：

[1]周俊,赵高阳,刘锐,等.基于粒子滤波的苹果采摘机器人目标姿态估算[J].农业机械学报,2011,42(3): 161-165.

[2]曾碧,杨宜民. 动态环境下基于蚁群算法的实时路径规划方法[J].计算机应用研究, 2010,27(3):860- 863.

[3]席裕庚. 动态不确定环境下广义控制问题的预测控制. 控制理论与应用, 2007, 17 (5) : 665- 670.

[4]仲朝亮,刘士荣. 基于虚拟子目标的移动机器人主动寻径导航[J].机器人, 2009,31(6): 548- 555.

[5]戚继忠,王自强.基于 ARM7TDMI 实现 CF 卡存储的文件系统设计[J].微处理机,2007(1):114-115.

[6]秦培龙,李国,李艳红.基于 S3C44B0X 的 Bootloader 设计与实现[J].微计算机信息,2008(2):153-155.

[7]谢志勇,张铁中,赵金英.基于 Hough 变换的成熟草莓识别技术[J].农业机械学报,2007,38(3):106-109.

[8]王东,赵宇,王秀红.一种改进的DFT迭代的MIMO- OFDM系统信道估计算法[J].应用科技，2009(3): 19-22.

[9]徐文颖,张静,董建萍.导频信道估计中的插值算法[J].上海师范大学学报,2007,12(6):41-46.

[10]张铁中,杨丽,陈兵旗,等.农业机器人技术研究进展[J].中国科学:信息科技,2010,40(S1):71-87.

[11]毕坤,赵馨,侯睿锋,等.机器人技术在农业中的应用方向和发展趋势[J].中国农学通报,2011(27):469- 473.

[12]周俊,刘锐,张高阳.基于立体视觉的水果采摘机器人系统设计[J].农业机械学报,2010,41(6):158-162.

[13]宋健,孙学岩,张铁中,等.开放式茄子采摘机器人设计与试验[J].农业机械学报,2009,40(1):143-147.

[14]赵庆波,赵德安,姬伟,等.采摘机器人视觉伺服控制系统[J].农业机械学报,2009,40(1):152-156.

[15]段瑞玲,李庆祥,李玉和.图像边缘检测方法研究综述[J].光学技术,2005(3):415-419.

[16]番茄采摘机器人末端执行器的硬件设计[J]. 农业机械学报, 2008, 39 (3) : 109-112.

[17]蒋焕煜,彭永石,申川，等.基于双目立体视觉技术的成熟番茄识别与定位[J].农业工程学报，2008, 24(8):279-283.

[18]蔡健荣,李玉良,范军，等.成熟柑橘的图像识别及空间定位研究[J].微计算机信息，2007, 23(12-1): 224-225.

[19]司永胜,乔军,刘刚，等.基于机器视觉的苹果识别和形状特征提取[J].农业机械学报，2009, 40(8):208-213.

[20]吴修文,冯晓霞,孙康岭,等.农用机器人导航电子地图的研究[J]. 农业装备与车辆工程,2010(3):40-42.

[21]谢志勇,张铁中.基于 RGB 彩色模型的草莓图像色调分割算法[J].中国农业大学学报,2006,11(1): 84-86.

[22]祖迪,韩建达,谈大龙.动态多障碍物环境下目标追踪的路径规划方法[J].高技术通讯,2006,12(2): 136-142.

[23]赵鹏,赵德安.双目立体视觉在果树采摘机器人中的应用[J].农机化研究,2009,31(1):212-214.

[24]彭熙伟,陈建萍.液压技术的发展动向[J].液压与气动,2007(3):1-4.

[25]黄兴.液压传动技术发展动态[J].装备制造技术,2006(1):36-39.

[26]曹玉宝.液压传动技术在联合收割机中的应用拖拉机与农用运输车,2008(4):4-5.

Design for Apple-picking Robot of Intelligent Recognition Based on Laser Vision Zhang Bin

1, Su Jingxiao1, Zhang Weiwei1, Deng Minghua2, Wang Xiaozhi3

(1.Hebei Polytechnic Institute, Shijiazhuang 050091, China; 2.School of Information Engineering,Wuhan Technology and Business University,Wuhan 430200, China;3.School of Logistics Engineering, Wuhan University of Technology, Wuhan 430063, China)

Abstract：In order to improve apple-picking accuracy of visual identification system, enhance anti-interference ability and adaptive ability of visual system,it designs a new apple-picking robot with laser vision recognition system,which can direct access to the depth image of the relationship.It can realize the identification and localization of the unstructured environment of orchard fruit.In order to test laser identification system of apple-picking robot in the orchard of the picking performance were tested. First of all, the high-definition camera completed the acquisition of fruit image, accurate implementation of the recognition of Apple by image processing, the recognition rate in shielding rate of less than 50% to more than 90%.Then the laser ranging method to measure the distance of apple and the successful positioning of the fruit position, its response time is only 3.58s and fast operation efficiency,which realize the function of picking apples with high efficiency and accuracy.

Key words：picking robot; visual recognition; anti jamming; adaptive; laser scanning

文章编号：1003-188X(2016)07-0060-05

中图分类号：S225.93;TP242

文献标识码：A

作者简介：张宾(1978-)，男，河北保定人，讲师，硕士。通讯作者：邓明华(1981-)，女，湖北恩施人，讲师，硕士，(E-mail)dengminghua1981@163.com。

基金项目：湖北省自然科学基金项目(2014CFB322)；现代物流与商务湖北省协同创新项目(2011A201313)

收稿日期：2015-07-01