采摘机器人运动目标逼近方法研究—基于分裂迭代和模糊算法

王　娜，汤金金

(1.河南工业职业技术学院 机电自动化学院，河南 南阳　473000；2.济源职业技术学院 机电工程系，河南 济源　459000)

0　引言

为了适应农业的发展，减少劳动成本，提高劳动生产率，在水果采摘领域引入采摘机器人是当前农业研究的焦点问题[1-2]。但是，由于采摘机器人的作业过程中受到风力因素和枝叶之间的扰动，作业环境变得异常复杂，要想采摘机器人得到长足的发展，还需要解决很多关键问题[3-5]。在果实采摘的过程中，无论采用何种机械采摘执行末端，都不可避免地会造成水果振荡。采用的一般方法是等待果实静止后再执行采摘，会大大地降低采摘效率[6-7]。为了适应扰动状态下果实采摘的作业需求，需要设计果实运动目标下的采摘方法[8]。帧间差分方法是最常用的运动目标检测方法，该方法采用时间间隔较短的两帧图像为依据，近似地认为其背景的灰度值是不变的，只要检测相对位置即可[9-13]。在目标逼近时，进行差分计算便可以锁定果实目标，特点是检测速度快、计算效率高、对外界条件的适应性好，将其应用在采摘机器人的果实运动目标逼近算法上将会发挥巨大的效用[14-18]。

1　基于运动目标捕捉的采摘机器人设计

在视觉系统的设计上，同传统的工业机器人相比较，农业机器人的视觉系统设计要求更高。这是由于工业机器人的工作地点一般是固定的，而光线和作业环境也可以人为设置[19-20]；而采摘机器人的作业环境相对复杂，需要从复杂多变的气候条件和作业环境中识别作业目标，经常会遇到目标能见度差、目标非静止等问题，且不同作物的特征形状有所不同，其获得空间信息的方法也有所不同。本次研究主要针对果实在采摘过程中遇到的振动性造成采摘机器人不能准确地识别目标空间信息的问题，采用虚拟仿真和试验相结合的方法，对采摘机器人整机进行改进。改进后的采摘机器人设计基本框架如图1所示。

图1　整机设计总体框架

采摘机器人作业过程中会出现多种扰动现象，最常见的是在采摘过程中由于风力影响和枝叶之间的扰动出现的果实运动[21]。因此，在设计时除了建立静止果实的特征数据库之外，还要考虑针对果实振动过程的特征建立特征数据；在获取空间坐标时，可以采用帧间差分的方法，捕捉运动果实的实时特征，从而待采摘果实目标的坐标。运动目标捕捉流程如图2所示。

图2　运动目标捕捉流程

果实运动目标的获取主要采用高清摄像机摄取图像的方法，通过图像分析对果实目标的空间信息进行核算，从而获取目标的具体空间位置坐标。对于运动图像的检测，最常用的是帧间差分方法。但这种方法在计算过程中会产生大量的子图像，不利于图像的捕捉和处理。因此，可以采用分裂迭代模糊聚类的方法将图像进行分类处理，从而得到准确的目标信息。

2　运动果实目标捕捉和帧间差分迭代模糊控制算法

运动目标图像的逼近和静止图像的逼近有所不同。由于图像的运动性，需要不断地对实时视频的各帧图像进行扫描分析[22-24]。假设图像序列表示第k和k-1帧图像的灰度值，分别为fk(x,y)、fk-1(x,y)，Dk(x,y)表示差分运算结果，其表达式为

Dk(x,y)=

(1)

采用图像帧间差分算法对运动果实图像进行处理时，经常会出现空洞的现象[25]。这是由于目标的运动性造成相邻两帧的运动果实相互重叠。因此，在实际进行识别时可以在目标周围画一个最小外接矩形，然后将处理后的图像与第k帧图像进行相减，最终得导完整的目标运动图像区域。为了提高图像的处理质量和运动果实目标逼近的精度，需要对图像进行去噪处理。因此，在帧间差分运动之前可以进行迭代处理，其流程如图3所示。

图3　帧间差分和迭代处理

分裂迭代可以降低帧间差分运算，降低噪声影响。假设运动果实目标的图像M∈Rn×n，则称MB|C(B,C∈Rn×n)为一个分裂，将其相应的记做(B,C)。假设Bk、Ck、Ek、Fk、Dk图像数据为非负对角阵，且存在如下3个条件：

1)M=Bk+Ck，k=1,2,...,a.|Bk|=0;

2)Bk=Ek+Fk,k=1,2,...,a.|Ek|=0;

3)ak=1，Dk=I(n×n阶单位阵)。

如果同时满足以上3个条件，则称Bk、Ck、Ek、Fk,Dk为图像M的二次多分裂。

在进行帧间差分分裂迭代运算后，会产生较多的分裂迭代子图像，可以采用模糊分类的方法，将图像进行分类，最终逼近运动果实目标，如图4所示。

图4　帧间差分分裂迭代模糊聚类过程

本次将广义钟形函数引入到迭代分裂模糊聚类算法中，其隶属度函数为

(2)

其中，mi为聚类中心；a、b为计算参数，其数值一般是正数。μ(x)为隶属度函数；λ(x)为非隶属度函数；π(x)为直觉指数π(x)，三者的关系式为

μ(x)+λ(x)+π(x)=1

(3)

通过模糊聚类后，图像运动后的位置将被确定。由此可以使采摘机器人实时逼近运动目标，从而达到在外接扰动的条件下精确锁定果实目标的目的。

3　采摘机器人运动果实目标逼近实验测试

为了使分裂迭代和模糊控制方法在运动目标的逼近上发挥效果，需要采用帧间差分算法对模型进行验证[26]。虚拟场景采用软件建模的方法，主要包括采摘机器人、运动果实目标和果树3部分，如图5所示。

图5　虚拟场景模型

虚拟场景的搭建有利于对算法的验证。利用虚拟实验场景，使用MatLab软件可以方便地完成图像处理和算法编程。通过对第2节中算法的编程，实现了基于分裂迭代和模糊算法的运动目标帧间差分算法。

为了进一步验证算法在实际操作中的可行性，采用PC处理机的形式，将硬件程序植入采摘机器人的控制系统中。通过试验测试(见图6)，对采摘过程的成功率进行了统计，并分析了存在采摘误差的主要原因，如表1所示。

试验采摘了1 000个果实，采摘机器人总体采摘成功的概率为95.3%，成功率较高。采摘失败的原因主要是由3点引起的，主要包括果实空间信息获取失败、果实分离失败及果实目标逼近失败，而目标逼近失败的概率较低。

图7表示采用虚拟软件对果实运动图像识别的结果。由识别结果可以看出：采用分裂迭代模糊聚类的帧间差分方法，可以有效地对运动目标进行识别。其识别误差统计如表2所示。

图6　试验实际测试实物图

失败类型失败数量比例失败原因果实空间信息获取失败435．2枝叶遮挡，光线不均匀果实分离失败544．6枝条为新生长枝条果实目标逼近失败221．2目标空间计算错误

图7　果实运动图像识别

误差/mm果实数量百分比/%0～327527．53～636236．26～936336．3

由误差统计结果可以看出：采用分裂迭代模糊聚类的帧间差分方法，即便是外界存在扰动，使果实图像运动，图像识别的效果和坐标获取的成功率都不会受到太大影响，因此相应的空间坐标获取的误差就会减小。

4　结论

待采摘果实的振荡扰动问题是影响采摘机器人目标定位不准确的主要因素之一。如果等待果实静止再采摘，将会大大影响水果采摘的效率。本设计采用的运动目标逼近方法可以有效地解决这一问题，从而提高了采摘机器人的作业质量和作业效率。为了验证方法的可靠性，采用虚拟仿真和样机试验分别对帧间差分的分裂迭代模糊聚类算法进行了验证，结果表明：利用该方法的果实成功采摘率较高，除了果实枝叶本身的影响因素之外，目标定位信息对采摘失败的影响因素较小。对采摘目标定位误差进行统计发现：采用该方法获取的运动果实目标准确，误差较小，可以满足高效采摘机器人的设计需求，是现代采摘机器人定位算法的一种新的突破，为采摘机器人高精度定位方法的设计提供了一种新的方案。

参考文献：

[1]吕继东,赵德安,姬伟,等.采摘机器人振荡果实动态识别[J].农业机械学报,2012,43(5)：174-178.

[2]熊俊涛,邹湘军,陈丽娟,等.采摘机械手对扰动荔枝的视觉定位[J].农业工程学报,2012,28(14):36-41.

[3]王天健,吴振升,王晖,等.基于快速傅里叶变换的电力系统频率实时计算方法[J].郑州大学学报:工学版,2011,32(3):81-84.

[4]宁志刚,程辉,龚学余,等.适用无线传输的图像 ROI 提取及优先编码研究[J].南华大学学报:自然科学版,2012,26(2):45-49.

[5]宁志刚, 杨恒, 杨玲,等.彩色序列车牌图像超分辨率复原技术研究[J].自动化仪表, 2013, 34(11):6-8.

[6]陈军, 王虎, 蒋浩然,等.猕猴桃采摘机器人末端执行器设计[J].农业机械学报,2012,43(10):151-154,199.

[7]崔永杰,苏帅,吕志海,等.基于 Hough 变换的猕猴桃毗邻果实的分离方法[J].农机化研究,2012,34(12): 166-169.

[8]崔永杰,苏帅,王霞霞,等.基于机器视觉的自然环境中猕猴桃识别与特征提取[J].农业机械学报,2013，44(5): 247-252.

[9]王辉,毛文华,刘刚,等.基于视觉组合的苹果作业机器人识别与定位[J].农业机械学报,2012,43(12):165-170.

[10]魏泽鼎,贾俊国,王占永.基于视觉传感器的棉花果实定位方法[J].农机化研究,2012,34(6):66-68,112.

[11]高春城.我国农业发展的资源环境问题与展望[J].当代生态农业,2013,3(4):151-154.

[12]万宝瑞.当前我国农业发展的趋势与建议[J].农业经济问题,2014,4(1):110-114.

[13]徐茂,邓蓉.国内外设施农业发展比较[J].北京农学院学报,2014,29(2):75-79.

[14]赵其国.当前我国农业发展中存在的深层次问题及对策[J].生态环境学报,2013,22(6):911-915.

[15]赵其国,黄国勤,王礼献.中国生态安全、农业安全及“三农”建设研究[J].农林经济管理学报,2014,13(3): 237-243.

[16]袁挺,纪超,陈英,等.基于光谱成像技术的温室黄瓜识别方法[J].农业机械学报,2011,42(S1):172-176.

[17]熊俊涛,邹湘军,陈丽娟,等.采摘机械手对扰动荔枝的视觉定位[J].农业工程学报,2012,28(14):36-41.

[18]郭杰锋,陈桂林.结构元素选取对基于形态学红外点目标检测的影响[J].半导体光电,2009,30(3): 469- 472.

[19]陈曦,谭冠政,江斌.基于免疫遗传算法的移动机器人实时最优路径规划[J].中南大学学报:自然科学版, 2008, 39(3):577-583.

[20]吕继东,赵德安,姬伟,等.采摘机器人振荡果实动态识别[J].农业机械学报,2012,43(5):173-196.

[21]傅隆生,张发年,槐岛芳德.猕猴桃采摘机器人末端执行器设计与试验[J].农业机械学报, 2015,46(3):1-8.

[22]高浩,王虎,陈军.猕猴桃采摘机器人的研究与设计[J].农机化研究, 2013,35(2):73-76.

[23]纪超, 冯青春,袁挺,等.温室黄瓜采摘机器人系统研制及性能分析[J].机器人,2011, 33(6):726-730.

[24]刘继展,李萍萍,倪齐,等.番茄采摘机器人真空吸盘装置设计与试验[J].农业机械学报,2010,41(10):170- 173,184.

[25]陆化珠,蔡健荣,孙力,等.基于超声测距的柑橘收获机器人应急避障系统[J].农机化研究,2011,33(12): 151-153.

[26]吕继东,赵德安,姬伟.苹果采摘机器人目标果实快速跟踪识别方法[J].农业机械学报, 2014,45(1):65-72.

ID:1003-188X(2018)04-0058-EA