并联机器人串类水果抓取模型及抓取位姿计算

张 千，高国琴

并联机器人串类水果抓取模型及抓取位姿计算

张 千，高国琴※

（江苏大学电气信息工程学院，镇江 212013）

针对随机放置串类水果图像中主果梗和非主果梗间特征区别不明显、平面轮廓法获取的机器人抓取位姿信息较少的问题，该文构建了并联机器人串类水果三维抓取模型，并提出一种基于主果梗骨架和三维抓取模型的4-R(2-SS)并联机器人随机放置串类水果抓取位姿计算方法，以获取较高精度、包含较多信息的抓取位姿，进一步提高机器人对串类水果的抓取成功率。采用果粒和果梗区域的轮廓间距构建用于提取串类水果果梗轮廓的形态学图像分割法，并基于多维特征向量和高斯混合模型聚类算法提取主果梗；根据主果梗三维位姿和机器人夹持机构特征构建4种基于主果梗骨架的随机放置串类水果三维抓取模型，获取夹持机构的空间位置、绕轴的旋转角度以及手指开口宽度的抓取位姿信息。将提出的抓取位姿计算方法应用于课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统进行试验验证。试验结果表明，相对于基于平面轮廓的抓取位姿获取方法，基于该文方法的有分支主果梗和无分支主果梗串类水果的抓取成功率分别提高14和12个百分点，平均抓取成功率提高13个百分点。该文提出的抓取位姿计算方法可有效提高4-R(2-SS)并联机器人机器视觉系统对随机放置串类水果抓取位姿的获取精度，有助于进一步实现串类水果的准确快速自动分拣。

机器人；机器视觉；水果；抓取模型；抓取位姿

0 引 言

利用机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义[1]。在水果自动分拣过程中，高精度高效率的抓取位姿获取是机器人实现准确、快速、无损抓取控制的前提条件[2]。目前，机器人的抓取位姿检测方法主要有红外传感器法[3]、光谱分析法[4]、机器视觉法[5]等。其中机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取位姿获取问题[6]。与苹果、梨、菠萝等独立水果相比[7]，葡萄、桂圆、荔枝等串类水果由于其果串形态多样、主果梗无形状和位置约束，其抓取位姿的获取仍是难点[8]。同时，基于精度高、速度快并联机器人的串类水果自动分拣对抓取位姿获取的准确性和快速性提出了更高的要求[9]。

在基于机器视觉和机器人的抓取位姿获取研究中，现有方法可分为固定对象抓取、多类对象抓取以及未知对象抓取3类。固定对象抓取主要针对抓取对象的固有特征获取其抓取位姿或位置。如对橙子、草莓等具有固定形态的独立水果，基于轮廓分析和几何模型计算水果质心、惯性主轴、曲率等参数，实现对象抓取位置的获取[10-11]。针对自然悬挂生长状态的串类水果，现有方法主要根据主果梗位于果串上方、外形近似直线、无分支等特征约束，采用边缘检测和直线检测方法对主果梗进行检测，得到准确的抓取点或采摘点[12-13]。多类对象抓取主要基于图像匹配方法实现对象的检测和定位。如通过改进图像匹配方法提高目标旋转或平移位姿的检测精度[14]。未知对象抓取主要基于深度学习和强化学习对多种已知对象的抓取策略进行学习和训练，实现对未知对象抓取位姿的检测[15]。随机放置串类水果由于主果梗无形状和位置约束，难以计算主果梗轮廓几何参数，且平面轮廓法获取的机器人抓取位姿缺少轴坐标、抓取角度以及手指开口宽度等信息，使得现有固定对象抓取的位姿或位置获取方法并不适用。同时，果串形态的多样性给精确构建串类水果的三维匹配模型带来了困难，基于图像模板匹配的现有多类对象抓取方法难以获取高精度的随机放置串类水果抓取位姿。未知对象抓取需要在大型数据集中长时间、大规模地训练模型，成本较高，耗时较长，仿真环境与真实环境之间的差异也易造成训练模型的不准确。

在串类水果抓取位姿获取中，可用于果梗轮廓提取的方法主要有阈值分割法、轮廓分割法、模糊均值聚类法、形态学法等[16-18]，其中形态学法由于其简单高效，得到了广泛的使用。现有的形态学方法需要根据试验或经验预先设定图像卷积核大小，基于图像卷积消除非目标区域[19]。但由于串类水果放置的随机性，图像中果梗、果粒、果蒂以及其他背景的轮廓间距随机，难以找到一个最佳固定卷积核。主果梗区域提取的方法主要有区域选择和区域分类，其中区域选择法基于特征构建阈值，并用于筛选目标，该方法简单有效但精度和鲁棒性并不高[20-21]。区域分类法主要基于区域特征和图像像素，其中基于图像像素的区域分类法虽然将像素作为分类的输入可以保留较多的图像信息，但也伴随着图像信息的冗余[22]。基于特征的区域分类法具有速度快、精度高、适应性强等优势[23]，但由于串类水果放置的随机性，果梗区域中的主果梗和非主果梗的轮廓特征区别不明显，难以直接计算区别特征并进一步实现主果梗骨架的准确提取和拟合。

基于此，本文针对4-R(2-SS)并联机器人机器视觉系统，通过拟合串类水果主果梗骨架和构建三维抓取模型，提出一种并联机器人随机放置串类水果抓取位姿计算方法。采用果粒和果梗区域的轮廓间距构建提取串类水果果梗轮廓的形态学图像分割法，基于多维特征向量和高斯混合模型（gaussian mixture model, GMM）聚类算法提取主果梗区域，以解决果串形态多样、图像中主果梗和非主果梗区域间特征区别不明显导致的主果梗骨架难以准确提取和拟合的问题。根据主果梗三维位姿和机器人夹持机构特征构建4种基于主果梗骨架的随机放置串类水果三维抓取模型，无需计算主果梗的轮廓参数，解决平面轮廓法获取的机器人抓取位姿缺少轴坐标、抓取角度以及手指开口宽度等信息的问题。基于主果梗骨架和三维抓取模型解算不同抓取条件下夹持机构的空间位置、绕轴的旋转角度以及手指开口宽度的抓取位姿信息，并基于坐标变换链的封闭性计算夹持机构在世界坐标系下从当前位姿转换为抓取位姿的转换矩阵，实现串类水果的自动抓取。

1 4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统

课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统如图1所示，机器人主体包括由4个运动学结构相同的R(2-SS)支链构成的并联机构和夹持机构，可实现空间三维平动和绕轴的一维转动。根据串类水果分拣需求，采用Eye-to-Hand系统，将相机安装在机器人外部，不随夹持机构运动。为获取随机放置串类水果的三维坐标信息，采用基于TOF（time of flight）的Kinect立体相机获取图像，其中Kinect相机由彩色相机和红外相机组成。抓取时，夹持机构电机驱动滑动丝杠，带动手指相对运动，进而夹紧串类水果果梗，将水果送到接果位置后，电机反转带动手指张开，水果落入接果装置，完成自动分拣。

1. 连接块2. 滑动丝杠3. 滑块4. 驱动电机5. 压力传感器6. 底部连板7. 左手指8. 右手指9. 从动杆10. 滑座11. 弹簧12. 并联机构13. 标定板14. 夹持机构15. Kinect相机16. 水果串

1. Connecting block 2. Sliding screw 3. Slider 4. Driving motor 5. Pressure sensor 6. Bottom connecting plate 7. Left finger 8. Right finger 9. Driven rod 10. Sliding base 11. Spring 12. Parallel mechanism 13. Calibration plate 14. Clamping mechanism 15. Kinect camera 16. Fruit cluster

注：O-XYZ为机器人基础坐标系，也是世界坐标系，原点O位于并联机构上部的中心，XY平面平行于水平面；O-XYZ为标定板坐标系，O位于标定板中心；O-XYZ为夹持机构坐标系，原点O位于左右手指间的中心，Y轴垂直于手指内侧面，X轴平行于手指内侧面；Z和Z共线，XY平面和XY平面均与水平面平行；O-XYZ为抓取对象坐标系，基于抓取位姿进行建立；O-XYZ为Kinect相机中的红外相机坐标系，也是Kinect相机的基础坐标系；O-XYZ为Kinect相机中的彩色相机坐标系，O和O为对应相机的中心，Z和Z与对应的相机光轴重合。

Note:O-XYZis the basic coordinate system of robot and the world coordinate system. OriginOis located in the center of upper part of parallel mechanism.XYplane is parallel to the horizontal plane.O-XYZis the calibration plate coordinate system. OriginOis located in the center of calibration plate.O-XYZis the clamping mechanism coordinate system. OriginOis located in the center between left and right fingers.Yis perpendicular to the inner side of finger andXis parallel to the inner side of finger.ZandZare collinear.XYplane andXYplane are parallel to the horizontal plane.O-XYZis grasping object coordinate system and is established based on grasping pose.O-XYZis infrared camera coordinate system of Kinect camera and the basic coordinate system of Kinect camera.O-XYZis color camera coordinate system of Kinect camera.OandOare the centers of infrared camera and color camera respectively.Zand the optical axis of infrared camera are collinear.Zand the optical axis of color camera are collinear.

图1 4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统

Fig.1 Machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot

2 4-R(2-SS)并联机器人串类水果抓取模型与解算

并联机器人的抓取姿态即为夹持机构抓取串类水果时在O-XYZ下的位姿。因此，相对于二维抓取位姿(,)，三维抓取位姿可以表示为O-XYZ与O-XYZ之间的转换参数(,,,,,)。由于4-R(2-SS)并联机器人的自由度限制，夹持机构的抓取姿态包括O在O-XYZ下的空间位置(,,)和绕轴的旋转角度，不包括绕轴和轴的旋转角度和。同时，为提高抓取成功率，减少抓取时手指运动时间，本文将手指开口宽度也作为抓取位姿信息。因此本文以夹持机构抓取位姿参数(,,,,)对基于机器视觉的4-R(2-SS)并联机器人串类水果抓取进行建模，其中旋转方向以逆时针旋转为正。

根据主果梗类型，将串类水果分为有分支主果梗和无分支主果梗2类。有分支主果梗骨架可以简化为人字形线段、和，无分支主果梗骨架可以简化为直线段。对于有分支主果梗，抓取时可分别基于2种主果梗元素：一种为线段，一种为2个相交线段和。对于无分支主果梗，抓取时仅采用。同时，由于主果梗长度不等，为使抓取时主果梗尽可能靠近夹持机构的手指中心O，不同的主果梗元素对应不同的三维抓取模型。本文根据主果梗元素特征，将三维抓取模型分为4类：A-AB三维抓取模型，B-AB三维抓取模型，B-CBD三维抓取模型和E-CBD三维抓取模型。

2.1 A-AB三维抓取模型

注：h、l和g分别为手指的高、长和宽，mm；A点为主果梗上远离水果串的端点；无分支主果梗上的B点为r5与r2的交点；r2为线段AB所在的直线；r5为果串轮廓最外点的切线，无分支主果梗上的r5垂直于r2；F点为AB与靠近水果串一侧手指边缘的交点；r2¢为直线r2在XwYw平面内的投影直线；A¢、B¢、F¢和Og¢分别为点A、B、F和Og在XwYw平面内的投影点；k为手指的内平面；zd为检测平面与XwYw平面的距离，mm。

式中1和1为2的空间直线方程参数。抓取时，交点=(x,y,z)应满足：点位于主果梗直线2上；点在XY平面上的投影点¢在直线2¢上，且|¢¢|=。为使抓取时2尽可能位于平面的中部，保持抓取稳定性，夹持机构中心点g需位于的垂直分量上。同时，为使夹持机构抓取时不接触检测平面，避免夹持机构底部与检测平面的摩擦，抓取时夹持机构底部与检测平面最小距离为dmin，则抓取位姿参数由式（3）计算：

式中¢=(z+z)/2。抓取时，由于主果梗为单线段模型，抓取位姿参数由式（4）计算：

=dmax+dmin（4）

式中dmin为抓取时夹持机构内边缘与抓取对象间的最小要求距离，mm；dmax为主果梗最大直径，mm。由式（1）～（4）即可解算A-AB三维抓取模型的夹持机构抓取位姿参数(,,,,)。

2.2 B-AB三维抓取模型

2.3　B-CBD三维抓取模型

注：有分支主果梗上的B点为第一个果梗分支的交点；C点和D点分别为r5与主果梗分支直线的交点；E点为r5与r1的交点；有分支主果梗上的r5垂直于r1；r1为平面m内ÐDBC的角平分线；m为线段和所在的平面；r1¢为直线r1在XwYw平面内的投影直线；点G和H分别为CB和DB与平面n的交点；n为靠近水果串的手指平面；G¢和H¢分别为点G和H在XwYw平面内的投影点；dG和dH分别为G¢和H¢到直线r1¢的距离，mm；r3和r4分别为CB和DB所在的直线。

抓取时端点处于夹持机构边缘，主果梗直线1位于平面上，因此，O在XY平面上的投影点O¢位于投影直线1¢上，且|O¢¢|=/2，抓取位姿参数(,)由式（7）计算。

=d+d+dmin（8）

由式（3）和式（6）～（8）即可求得B-CBD三维抓取模型的夹持机构抓取位姿参数(,,,,)。

2.4 E-CBD三维抓取模型

抓取时端点处于夹持机构边缘，主果梗直线1位于平面，O¢位于投影直线1¢上，且|O¢¢|=/2，抓取位姿参数（,）可由式（10）计算。

3 基于主果梗骨架和三维抓取模型的随机放置串类水果抓取位姿计算

本文基于主果梗骨架和三维抓取模型的随机放置串类水果抓取位姿计算流程如图4所示。在彩色图像的色调通道（hue,）中采用形态学提取果梗轮廓，基于多特征和GMM提取随机放置串类水果的主果梗骨架，根据4-R(2-SS)并联机器人串类水果抓取模型计算抓取位姿。

注：x为随机变量；Aj为区域集合；p为概率密度；W为参数集合；fi为权重系数；n为参数数量；s为标准差；m为均值；A1为主果梗区域集；A2为非主果梗区域集。

3.1 图像采集与配准

为获取随机放置串类水果的主果梗三维坐标，采用由彩色相机和红外相机组成的Kinect立体相机获取图像。为实现获取的彩色图像和深度图像的配准，采用张正友相机标定法对深度相机和彩色相机进行标定。红外相机标定时将Kinect上的红外投射器遮挡住，采用额外的红外光源照射标定板获取图像。标定之后，基于标定参数和图像匹配点计算图像转换关系，并基于转换关系对彩色图像进行映射，得到与深度图像匹配的配准彩色图像。由于串类水果与背景间、串类水果中的果粒、果梗、果蒂间具有一定的颜色差异，因此为增加图像前景与背景的对比度，对配准后的彩色图像进行HSV（hue, saturation, value）通道分解，并基于式（12）提取图像色彩信息具有明显区分度的H（hue）通道用于果梗提取[24]。根据随机放置串类水果果梗区域的纹理特征，采用式（13）和（14）[25]对提取的H通道图像进行预处理，并采用中值滤波降低噪声影响。

3.2 基于形态学和高斯混合模型的随机放置串类水果主果梗骨架提取与拟合

3.2.1 基于形态学的果梗轮廓提取

基于局部阈值对预处理后的H通道图像进行分割，并根据区域的面积、形状特征进行区域筛选，得到串类水果中包含果粒、果梗、果蒂等部分的区域。通过统计水果果粒和果梗区域的轮廓间距阈值，构建大小为的圆形卷积核对串类水果区域进行形态学闭运算和开运算。形态学闭运算时，闭合轮廓距离较小的果梗区域，保持其他果粒区域的较大空隙。之后再进行形态学开运算时，将具有较大空隙、较小连接的区域断开，保留连接在一起的较大区域，再通过基于面积和形状特征的区域筛选，即可保留果梗区域。基于掩膜操作剔除果梗以外的图像，并对提取的果梗图像进行局部阈值分割，得到包含主果梗、次果梗以及果蒂的果梗区域轮廓。

3.2.2 基于高斯混合模型的主果梗骨架提取与拟合

由于串类水果放置的随机性，使得获取的果梗区域中的主果梗和非主果梗的轮廓特征区别不明显，难以直接计算区别特征并进一步实现主果梗骨架的准确提取和拟合。因此本文采用可以自主学习对象特征的高斯混合模型聚类算法对果梗区域样本数据进行学习并分类，实现基于GMM的主果梗区域提取。

GMM中随机变量的概率密度为

对于提取的主果梗区域，根据待检测像素为中心3×3像素邻域内的特征，从区域外围向区域中心不断腐蚀细化，直至腐蚀到单层像素宽度得到图像骨架。基于彩色图像中主果梗骨架的图像坐标位置，在深度图像中搜索对应位置的深度信息，计算对应主果梗的三维位置坐标，并将不同种类的主果梗对应的不同主果梗元素分别进行直线拟合，得到三维直线段方程。由图5得到的主果梗骨架三维拟合直线段可知，具有主分支的有分支主果梗拟合后的3条线段组成人字形结构，无主分支的有分支主果梗拟合后的2条线段组成八字形结构，无分支主果梗拟合线段为直线形结构。

3.3 4-R(2-SS)并联机器人机器视觉抓取位姿计算模型选择原则

为防止抓取时夹持机构与果串碰触导致水果果粒脱落和损坏，本文以抓取时夹持机构尽可能远离水果串、主果梗尽可能多地被手指夹持以保证抓取稳定为原则，基于主果梗骨架的拟合线段对三维抓取模型进行选择。

对于有分支主果梗，其抓取模型的选择原则为

对于无分支主果梗，其抓取模型的选择原则为

图5 主果梗骨架的直线拟合结果

4 夹持机构抓取位姿的转换

5 验证试验

5.1 试验平台

1.显示屏 2.控制柜 3.检测柜 4.并联机器人 5.光源 6.串类水果

5.2 试验方法

为验证本文并联机器人随机放置串类水果抓取位姿计算方法的有效性，分别对有分支主果梗和无分支主果梗的白罗莎葡萄串进行抓取位姿试验。为验证本文方法相对于基于平面轮廓的抓取位姿获取方法[27]对随机放置串类水果抓取性能的优越性，分别采用2种方法进行抓取试验。

5.2.1 抓取位姿试验

分别对有分支主果梗和无分支主果梗2类串类水果的6种抓取方式进行6组试验。即无分支主果梗的-模型、无分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型和有分支主果梗的-模型6组试验。每组试验分别采集对应主果梗类别的白罗莎葡萄串随机放置状态下的20幅彩色图像和深度图像，并基于本文抓取位姿计算方法求取对应葡萄串的抓取位姿。将计算的抓取位姿与实际抓取位姿进行对比分析。

5.2.2 抓取试验

分别对有分支主果梗和无分支主果梗的葡萄串进行抓取试验。并分别采用本文抓取位姿计算方法和基于平面轮廓的抓取位姿获取方法求取对应葡萄串的抓取位姿，并基于抓取位姿抓取水果串，统计抓取成功率。

5.2.3 试验指标

实际抓取位姿的测量以夹持机构尽可能远离水果串、保证抓取稳定、优先抓取直线主果梗为准则，人工采用激光测距仪INR-Laser Scanner H和电子罗盘Honeywell-HMR3100测量夹持机构的抓取位姿。抓取成功率基于机器人的抓取过程计算，将机器人成功抓取并稳定运送水果到指定位置视为抓取成功，未抓取到水果、运送过程水果掉落、未抓取水果主果梗等均视为抓取失败。

5.3 试验结果与分析

抓取位姿试验结果如表1所示，计算的抓取位姿与实际测量的抓取位姿误差如图7所示。

表1 抓取位姿试验结果

注：(,,)为O在O-XYZ下的坐标，mm；为夹持机构绕Z轴的旋转角度，(°)；为夹持机构手指开口宽度，mm。

Note: (,,) is coordinate ofOinO-XYZ, the unit is mm.is rotation angle of clamping mechanism aboutZ-axis, the unit is (°).is finger opening width of clamping mechanism, the unit is mm.

图7 抓取位姿误差曲线

由表1和图7可知，无分支主果梗的A-AB抓取模型的抓取位姿平均误差分别为（0.172 mm，0.151 mm，0.579 mm，2.075°，0.539 mm）；无分支主果梗的B-AB抓取模型的抓取位姿平均误差分别为（0.463 mm，0.404 mm，0.938 mm，2.429°，0.507 mm）；有分支主果梗的A-AB抓取模型的抓取位姿平均误差分别为（1.014 mm，0.885 mm，1.415 mm，2.932°，0.538 mm）；有分支主果梗的B-AB抓取模型的抓取位姿平均误差分别为（1.347 mm，1.178 mm，1.781 mm, 3.267°，0.499 mm）；有分支主果梗的E-CBD抓取模型的抓取位姿平均误差分别为（2.339 mm，2.020 mm，2.757 mm，4.252°，1.186 mm）；有分支主果梗的B-CBD抓取模型的抓取位姿平均误差分别为（3.064 mm，2.665 mm，3.554 mm，5.033°，1.729 mm）。6组试验的抓取位姿平均误差分别为（1.400 mm，1.217 mm，1.837 mm，3.331°，0.833 mm）。

表2 白罗莎葡萄串抓取试验结果对比

6 结 论

针对随机放置串类水果图像中主果梗和非主果梗间特征区别不明显、平面轮廓法获取的机器人抓取位姿信息较少的问题，该文构建并联机器人串类水果三维抓取模型，并提出一种基于主果梗骨架和三维抓取模型的4-R(2-SS)并联机器人随机放置串类水果抓取位姿计算方法，以进一步提高机器人基于机器视觉对串类水果的抓取成功率，主要结论如下：

1）根据主果梗有无分支、主果梗中心线与夹持机构手指长度关系，将主果梗分为无分支长主果梗、无分支短主果梗、有分支长主果梗、有分支短主果梗4种类型，构建了4种基于主果梗骨架的随机放置串类水果三维抓取模型，以主果梗骨架的形式简化了模型，无需计算无形状和位置约束主果梗的轮廓参数，解决了平面轮廓法获取的机器人抓取位姿缺少轴坐标、抓取角度以及手指开口宽度等信息的问题。

2）提出在色调图像中基于形态学和GMM的随机放置串类水果主果梗骨架提取与拟合方法，解决了果串形态多样、图像中主果梗和非主果梗区域间特征区别不明显导致的主果梗骨架难以准确提取和拟合的问题。

3）将拟合的主果梗骨架和构建的三维抓取模型用于解算不同抓取条件下夹持机构的空间位置、绕Z轴的旋转角度以及手指开口宽度的抓取位姿信息，实现了串类水果的稳定抓取。

4）将提出的抓取位姿计算方法成功应用于课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统。试验结果表明，相对于基于平面轮廓的抓取位姿获取方法，基于本文方法的平均抓取成功率提高了13个百分点。提出的抓取位姿计算方法可有效提高4-R(2-SS)并联机器人机器视觉系统对随机放置串类水果抓取位姿的获取精度，有助于进一步实现串类水果的准确快速自动分拣。

[1]黄辰，费继友. 基于图像特征融合的苹果在线分级方法[J].农业工程学报，2017，33(1)：285－291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285－291. (in Chinese with English abstract)

[2]周俊，朱树平. 农业机器人果蔬抓取中滑觉检测研究[J].农业机械学报，2013，44(2)：171－176.

Zhou Jun, Zhu Shuping. Slippage detection in gripping fruits and vegetables for agricultural robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 171－176. (in Chinese with English abstract)

[3]袁挺，李伟，谭豫之，等. 温室环境下黄瓜采摘机器人信息获取[J]. 农业机械学报，2009，40(10)：151－155.

Yuan Ting, Li Wei, Tan Yuzhi, et al. Information acquisition for cucumber harvesting robot in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 151－155. (in Chinese with English abstract)

[4]袁挺，纪超，张震华，等. 基于近红外图像的温室小型西瓜采摘信息获取技术[J]. 农业机械学报，2012，43(7)：174－178，155.

Yuan Ting, Ji Chao, Zhang Zhenhua, et al. Information acquisition technique of mini-watermelon for harvesting based on near-infrared image in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 174－178, 155. (in Chinese with English abstract)

[5]熊俊涛，邹湘军，陈丽娟，等. 采摘机械手对扰动荔枝的视觉定位[J]. 农业工程学报，2012，28(14)：36－41.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Visual position of picking manipulator for disturbed litchi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 36－41. (in Chinese with English abstract)

[6]Seema, Kumar A, Gill GS. Automatic fruit grading and classification system using computer vision: A review[C]// International Conference on Advances in Computing and Communication Engineering. IEEE, 2015: 598－603.

[7]Lin G C, Tang Y C, Zou X J, et al. Fruit detection in natural environment using partial shape matching and probabilistic Hough transform[J/OL]. Precision Agriculture, 2019-04-24 [2019-12-08]. https://doi.org/10.1007/s11119-019-09662-w.

[8]Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127(C): 395－405.

[9]倪鹤鹏，刘亚男，张承瑞，等. 基于机器视觉的Delta机器人分拣系统算法[J]. 机器人，2016，38(1)：49－55.

Ni Hepeng, Liu Yanan, Zhang Chengrui, et al. Sorting system algorithms based on machine vision for Delta robot[J]. Robot, 2016, 38(1): 49－55. (in Chinese with English abstract)

[10]周俊，刘锐，张高阳. 基于立体视觉的水果采摘机器人系统设计[J]. 农业机械学报，2010，41(6)：158－162.

Zhou Jun, Liu Rui, Zhang Gaoyang. Design of fruit harvesting robot based on stereo vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(6): 158－162. (in Chinese with English abstract)

[11]Cubero S, Maria P D, Jose B, et al. A new method for pedicel/peduncle detection and size assessment of grapevine berries and other fruits by image analysis[J]. Biosystems Engineering, 2014, 117(1): 62－72.

[12]罗陆锋，邹湘军，熊俊涛，等. 自然环境下葡萄采摘机器人采摘点的自动定位[J]. 农业工程学报，2015，31(2)：14－21.

Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[13]Luo L, Tang Y, Zou X, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90－104.

[14]Zhang W, Mei J, Ding Y, et al. Angle recognition algorithm based on discrete series data of object-boundary in polar coordinate[J]. Optik-International Journal for Light and Electron Optics, 2013, 124(12): 1273－1277.

[15]闫哲，杜学丹，曹淼，等. 基于深度学习的机器人抓取位置检测方法[J]. 高技术通讯，2018，28(1)：58－66.

Yan Zhe, Du Xuedan, Cao Miao, et al. A method for robotic grasping position detection based on deep learning[J]. Chinese High Technology Letters, 2018, 28(1): 58－66. (in Chinese with English abstract)

[16]Cubero S, Diago M P, Blasco J, et al. A new method for assessment of bunch compactness using automated image analysis[J]. Australian Journal of Grape and Wine Research, 2015, 21(1): 101－109.

[17]Yuan L M, Cai J R, Sun L, et al. A preliminary discrimination of cluster disqualified shape for table grape by mono-camera multi-perspective simultaneously imaging approach[J]. Food Analytical Methods, 2016, 9(3): 758－767.

[18]Hirvonen J, Kallio P. Automatic image-based detection and inspection of paper fibres for grasping[J]. Computer Vision Iet, 2015, 9(4): 588－594.

[19]Aquino-Martín A, Millan B, Diago M P, et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis[J]. Biosystems Engineering, 2017, 156: 80－95.

[20]Reis M J C S, Morais R, Pereira C, et al. A low-cost system to detect bunches of grapes in natural environment from color images[C]// Advances Concepts for Intelligent Vision Systems, International Conference. Ghent, Belgium, 2011: 92－102.

[21]Reis M J C S, Morais R, Peres E, et al. Automatic detection of bunches of grapes in natural environment from color images[J]. Journal of Applied Logic, 2012, 10(4): 285－290.

[22]Yu X, Liu K, Wu D, et al. Raisin quality classification using least squares support vector machine (lssvm) based on combined color and texture features[J]. Food and Bioprocess Technology, 2012, 5(5): 1552－1563.

[23]Tang S, Zhao D, Jia W, et al. Feature extraction and recognition based on machine vision application in lotus picking robot[C]// International Conference on Computer and Computing Technologies in Agriculture. Springer, Cham, 2015: 485－501.

[24]张凯兵，章爱群，李春生. 基于HSV空间颜色直方图的油菜叶片缺素诊断[J]. 农业工程学报，2016，32(19)：179－187.

Zhang Kaibing, Zhang Aiqun, Li Chunsheng. Nutrient deficiency diagnosis method for rape leaves using color histogram on HSV space[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 179－187. (in Chinese with English abstract)

[25]Wang W, Liu Y, Shen Y, et al.Visualization enhancement of arthrosis tissues structure in ultrasound image based on improved diffusion[C]// International Conference on Biomedical Engineering & Informatics. IEEE, 2008: 290－294.

[26]Qin Y C, Priebe C E. Maximum Lq-likelihood estimation via the expectation-maximization algorithm: a robust estimation of mixture models[J]. Journal of the American Statistical Association, 2013, 108(503): 914－928.

[27]仲训杲，徐敏，仲训昱，等. 基于多模特征深度学习的机器人抓取判别方法[J]. 自动化学报，2016，42(7)：1022－1029.

Zhong Xungao, Xu Min, Zhong Xunyu, et al. Multimodal features deep learning for robotic potential grasp recognition[J]. Acta Automatica Sinica, 2016, 42(7): 1022－1029. (in Chinese with English abstract)

Grasping model and pose calculation of parallel robot for fruit cluster

Zhang Qian, Gao Guoqin※

(,,212013,)

Grasping pose calculation with high accuracy and efficiency is precondition to realize the accurate, fast and nondestructive automatic sorting based on machine vision for a robot. Due to the unconstraint shape and location of stalk, the variability of cluster morphology, and unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster, it is difficult to acquire the grasping pose parameters of robot for fruit cluster sorting based on machine vision accurately. Therefore, in this paper, a grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model is proposed by fitting stalk skeleton of fruit cluster and constructing 3D grasping model for the machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. Firstly, according to the stalk node, the relationship between the finger length of robot clamping mechanism and centerline of stalk, the stalk of fruit cluster is divided into four categories: the long stalk without node, the short stalk without node, the long stalk with node and the short stalk with node. Four 3D grasping models of randomly placed fruit cluster based on the stalk skeleton are constructed according to the 3D pose of stalk and the features of robot clamping mechanism. The models does not need to calculate the contour parameters of stalk without constraint shape and location, and solve the problem that it is difficult to grasp randomly placed fruit cluster stably and effectively adopting the 2D grasping pose based on plane contour parameters. Secondly, a morphological image segmentation method for extracting stem region of fruit cluster is designed based on the distance between the contours of stem region and berry region. Then a multi-dimensional feature vector is constructed based on the descriptors of region. The Gaussian mixture model that can learn the object features independently is adopted to extract the stalk region from the stem region. It can solve the problem that it is difficult to extract and fit the stalk skeleton accurately because of the variability of cluster morphology, unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster. Thirdly, the grasping pose parameters including spatial position, rotation angle about-axis and finger opening width of clamping mechanism under different grasping conditions are calculated based on the stalk skeleton of fruit cluster and 3D grasping model. Then the transformation matrix of clamping mechanism from the current pose to the grasping pose in world coordinate system is calculated based on the closed loop of coordinate transformation chain, which can be directly used to realize the automatic and stable grasping of fruit cluster. Finally, the proposed grasping pose calculation method is verified by experiments with the self-developed machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. The average errors of pose parameters,,,andcalculated by the proposed grasping pose calculation method are 1.400 mm, 1.217 mm, 1.837 mm, 3.331° and 0.833 mm respectively. Compared with the existing 2D grasping pose calculation method, the success rates of grasping for the fruit cluster with stalk node and the fruit cluster without stalk node, and the average success rate of grasping based on the proposed method increased by 14, 12 and 13 percentage points respectively. Experimental results demonstrate that the proposed grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model can effectively improve the grasping accuracy of 4-R(2-SS) parallel robot for randomly placed fruit cluster based on machine vision, and realize accurate and fast automatic sorting of fruit clusters.

robots; machine vision; fruit; grasping model; grasping pose

张 千，高国琴. 并联机器人串类水果三维抓取模型及抓取位姿计算[J]. 农业工程学报，2019，35(23)：37－47.doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

Zhang Qian, Gao Guoqin. Grasping model and pose calculation of parallel robot for fruit cluster[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 37－47. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

2019-07-04

2019-11-20

国家自然科学基金项目（51375210）；镇江市重点研发计划（GZ2018004）；江苏高校优势学科建设工程资助项目；江苏省研究生科研与实践创新计划项目（KYCX17_1780）

张 千，博士生，主要从事基于机器视觉的并联机器人抓取检测研究。Email：stella_zq@foxmail.com

高国琴，教授，博士生导师，主要从事并/混联机器人控制及机器视觉检测等研究。Email：gqgao@ujs.edu.cn

10.11975/j.issn.1002-6819.2019.23.005

TP242; TP751

A

1002-6819(2019)-23-0037-11