基于计算机视觉的高速机器人芒果分选系统设计

白东升，李 康

(平顶山工业职业技术学院，河南 平顶山 467000)



基于计算机视觉的高速机器人芒果分选系统设计

白东升，李 康

(平顶山工业职业技术学院，河南 平顶山 467000)

针对目前芒果的外观品质分级采取人工方法所存在的不足，基于机器视觉、并联机器人等先进技术，构建了用于芒果品质动态、实时检测及分选的高速机器人系统，设计了芒果分拣的计算机视觉硬件系统，开发了高速分拣计算机视觉软件系统。工作时，芒果输送带将芒果按机器人动作节拍输送至图像采集区域由工业相机采集图像，识别系统对图像信息进行特征提取，建立图像特征与国家标准中的三级芒果的对应关系，将具有相应图像特征的芒果其所处位置信息及其级别对应的位置信息，通过单片机控制系统输送给高速分选机器人，从而完成芒果的高速分选。测试结果表明：高速分拣机器人系统可以高速、准确地完成芒果的分选工作。

芒果；水果分选；高速机器人；计算机视觉

0 引言

在我国农产品的水果产业中，芒果占据了较大比重，对采收后的芒果进行分级筛选，可增加芒果产品附加值、提高其市场竞争力和经济效益[1]。

根据农业部标准，芒果可根据其内部品质和外部特征(如颜色、形状、大小、表面缺陷和损伤等)分成三级。 传统的芒果等级分选主要依靠人工，根据个人的自身经验使用肉眼观察来判别，分选准确度受个人的主观经验影响，人力视疲劳易导致分选不准确，并且有速度慢、劳动强度大、人力成本高、易发生二次污染和人为损伤等缺点，无法满足市场的需求，影响其经济效益[2]。

随着计算机视觉技术、机器人技术的不断成熟和机械制造技术的发展，基于计算机视觉的高速分拣系统，在水果的分选上的应用正在逐渐取代传统的分选方法[3]，它主要运用图像处理技术、神经网络技术和机器人技术，根据相应的国标分级，通过控制系统控制机器人进行水果分选。 目前，已研究出了针对球形水果的实时控制系统样机，对球形水果分选试验的准确率高达94.6%。然而，针对形状为扁平的类似芒果外观的水果，其自动分选系统，尤其是高速分选机器人开发还处于摸索阶段。

农业现代化的一个重要命题是农业机械化，而农业机器人技术可以反映出一个国家的农业机械化水平[4]。 农业机器人是现代农业发展出来的一种能够部分代替人类劳动的智能化、精准化的机械设备，多面向娇嫩性和复杂性的作业对象，以及非结构性的作业环境、特殊的使用对象，是现代农业生产中不可缺少的环节，也是未来农业发展的必然趋势。

自1970年之后，发达国家纷纷启动农业机器人的研发。我国在这方面的开发起步比较晚，目前已经取得了一定的进展，但是在操作精度、工作效率和智能化等方面仍然比较落后。

水果高速分拣机器人系统以计算机视觉为基础，具有非接触测量、可靠性高及柔性好等特点，适用于农产品无损高速的检测分选[5]。基于此，本文开发出一种基于计算机视觉技术的芒果高速分选机器人系统设计，具有速度快、无损伤、设施较简单等优点，可以较好地解决芒果的按级别自动分选问题。

1 设计原理

本计算机视觉芒果高速分选机器人由芒果输送带、计算机视觉识别系统、单片机控制系统、基于模糊控制和高速并联自动化控制的高速机器人组成。其工作流程为：电机驱动输送链轮，输送带首先将筐中的芒果按机器人动作节拍输送通过图像采集区，图像采集区设置4个摄像头，从4个方位采集芒果图像信息，摄像动作由设置在输送带上方的光电传感器触发；获得图像后，图像处理系统进行芒果图像特征提取，提取结果由计算机识别系统进行识别，按照模型判断芒果分属等级，并对芒果进行空间定位，将等级判定结果和空间位置信息从串口发出；最后，单片机同步控制系统操纵机器人进行抓取和放置完成芒果的分级。

基于计算机视觉的芒果分选高速机器人中的计算机要同时进行图像采集、发出指令两个动作，相互之间易形成干扰，降低工作效率。本系统在计算机和分选机器人之间增加单片机，可以接收计算机的指令，且不影响图像处理，从而实现高速分选。

2 软硬件设计

2.1 软件设计

本项目软件分为实时和非实时两部分，实时部分以Sherlock嵌入Visual C++6.0进行开发。Sherlock 软件主要完成图像处理，自主开发的程序主要实现视觉算法、数据转换与存储及输入输出等功能。非实时部分采用MFC进行开发，形成高速机器人分拣系统的机器视觉软件。

分选机器人控制系统由主程序和分级控制子程序组成。工作时，单片机接收到结果及位置信号之后， 调用相应子程序启动机器人进行芒果分选。

2.2 计算机视觉识别系统

受自然条件及采摘、运输、保存等过程中外力的影响，芒果表面不可避免地会产生一些如虫伤、雹伤、裂伤、碰压伤及霉斑等表面缺陷，缺陷区域的大小是评价芒果外观品质好坏的重要依据。NY/T 492-2002将芒果根据外观缺陷分为三级。对应地，根据芒果图像特征提取，建立图像特征模型，以区分不同等级的芒果。

工作时，输送带将芒果输送到图像采集视场后，系统即可获取芒果图像。从图像采集卡采集和相机采集两种图像采集方式中选择了工业相机方式，使用工业相机采集图像，具有图像传输速度快、图像清晰度好、方便二次开发等特点，正日益广泛地在工业自动化生产的场合得到推广应用。

本计算机视觉机器人分选系统选用基于千兆以太网通信协议开发的面阵工业相机，黑白成像，适用于计算机视觉处理。

选用专门用于检测、搜索和质量控制等的专用机器视觉软件Sherlock开发本机器视觉软件系统。该软件能进行图像处理运算、几何运算及测量分析等大量高性能机器视觉算法，足以匹配高速机器人的性能。

计算机视觉识别系统工作时，首先由视觉系统对视场内芒果的外部特征(如颜色、形状、大小、表面缺陷和损伤等)进行特征提取，建立国标三级芒果的特征模型，通过系统分析和比对，确定该芒果的等级。

2.3 硬件设计

2.3.1 输送带

输送带由电机驱动输送链轮带动，节拍根据机器人节拍设定。通过调节片的开度控制芒果成单排输送，最终使芒果按机器人节拍输送到机器人操作平台。

2.3.2 高速机器人设计

高速机器人分选系统由单片机指令控制。工业相机端采集输送带上的芒果图像，经Sherlock机器视觉软和自主开发软件判定，确定视场内芒果的级别类属，并获取空间位置信息；再通过单片机驱动并联机器人和握持器动作，将芒果送入相应通道，进入相应级别包装箱，从而实现芒果的自动分选与分装。

1)芒果分选机器人要解决的问题：

(1)对通过计算机视觉采集端的芒果快速判断级别类属；

(2)快速将相应级别的芒果放入相应通道。

2)工艺过程及系统布局。芒果分选机器人操作环境主要包括芒果入口输送带及分选输送带，芒果入口输送带为塑封条运行路径。分级输送带是纸箱输送带。

3)对自动分选高速机器人的要求：

(1)能够在0.2s内判断当前芒果类别；

(2)抓起器能够按照不同芒果大小自动调整，并且准确定位；

(3)抓起器必须安全、可靠、不对芒果造成任何损伤；

(4)在更换不同类别芒果时，机器人控制系统可以进行灵活调整。

4)总体方案。高速分选机器人机械手包括控制系统、驱动系统和抓手。考虑到芒果的外形，抓手设计为握持型。抓手的握持、旋转和放置动作都是由驱动系统来完成的，旋转角度根据计算机视觉软件系统做出的具体的芒果级别判定结果所指向的输出角度确定。

采用外转动副驱动和轻质杆平行四边形支链，可获得很高的速度和加速度。一个高速芒果分选机器人设置两个抓手。

针对机器人的抓取—放置操作任务，以速度曲线修正梯形加速度模式(S型)作为运动规律，分别对关节坐标空间和直角坐标空间对握持器和主动臂进行轨迹规划。

3 试验与结果

3.1 试验安排

为了测试设计的芒果分选高速机器人的性能，通过芒果的分选试验，对机器人的芒果分选工作的有效性和速率进行测试。试验选用海南产小台芒，进行计算机视觉高速机器人分选。

3.2 试验结果

试验表明：高速分选机器人的分选速度为20 000个果/h。对所分选出来的芒果随机抽取部分样品，由专业人员进行观察评定等级。每个芒果3人评定，3人评定结果一致则采纳，任何一人的评定结果与另两人不同则结果无效。将有效判定结果与高速分选机器人的分选结果进行比对，表明高速分选机器人分选结果准确、偏差极小。

4 结论

设计了基于计算机视觉的芒果高速分选机器人，通过计算机视觉软件识别系统和机器人控制系统的构建，实现了芒果的高速自动分选。试验表明： 该分选机器人识别、分选准确，效率高，有助于提高芒果的附加值，改善劳动条件，在我国具有重要的经济价值，值得推广运用。

[1] 韦家少．世界芒果产业发展概况[J]．中国热带农业，2005(5):22-25．

[2 ] 张立华．基于计算机视觉的芒果表面缺陷检测方法研究[D]．南宁：广西大学，2006．

[3] 易中懿，胡志超．农业机器人概况与发展[J]．江苏农业科学，2010(2)：390-393．

[4] 王辉，程雪，李玉霞．农业机器人应用进展初探[J]．安徽农业科学，2009，37(16)：7674-7675．

[5] 许红玉．张东兴．基于计算机视觉的水果分选机实时控制系统[J]．农机化研究，2006(8)；104-105,108．

A High Speed Robot System Based on Computer Vision for Mango Sorting

Bai Dongsheng, Li Kang

(Pingdingshan Industrial Vocational and Technical College, Pingdingshan 467000, China)

A Aiming at the shortage of the manual mango sorting, A high-speed robot system combined dynamic, real-time detection and sorting Mango based on machine vision, parallel robots and other advanced technology.A hardware system for mango sorting by computer vision is designed, and a high speed sorting computer vision system was developed, which consists of conveyor belt, computer vision recognition system, MCU control system,parallel automatic control of high speed robot based on fuzzy control and high-speed. The mango conveying belt will works rhythmically according to robot motion beat and transport Mango to the image acquisition area by industrial camera image acquisition, recognition system treat image information for feature extraction, and established the corresponding relationship between the image features and the national standard of mango. The result and the location information is transported through the MCU control systemto the high speed sorting robot, thus completing the mango high-speed sorting. mango sorting experiment show that the high speed sorting robot system based on computer vision can sort mango with high speed and accuracy.

mango; fruit sorting; high speed robot; computer vision

2016-06-13

河南省科技攻关项目(20140131)

白东升(1981-)，男，河南泌阳人，讲师，硕士， (E-mail)baidongsheng0601@163.com。

李 康(1984-)，男，河南平顶山人，硕士。

S226.5；TP242

A

1003-188X(2017)08-0231-03