果实摘取机械手的果实识别方法与摘取路径规划

，

(沈阳工学院，信息与控制学院软件教研室，沈阳 113122)

0 引言

近年来，我国农业发生了翻天覆地的变化，科学技术在农业生产过程中占据着越来越重要的作用，有效的推动了现代农业的发展。在科技逐渐进步的过程中劳动力资源丰富不再是我国农业的优势，逐渐的改变了社会经济结构。应当通过对现代生产技术的应用以及农业机械设备的推广来提升生产效率。作为农业大国，我国政府对于农业的发展非常重视，投入了大量的资金来进行农业技术科研，有效的推广并使用了农业生产机械以及各项先进农业技术，对于先进技术和设备在我国的推广有一定的推动作用。我国的农业生产在快速发展的过程中进一步加强了其在国民经济中的基础地位[1-2]。

目前采摘机器人在果蔬生产中得到了一定的应用，相比于人工采摘，机器人在单位时间内所采摘果实的质量以及数量有非常明显的差距。同时机器人在采摘的过程中会损伤果实。应当通过高精度视觉系统技术的研发来解决这一问题，保证采摘果实的准确度和速度。因此需要对机器视觉技术进行深入的研究，该技术与很多学科方面的知识存在紧密的联系，主要包括过程控制学、生物学、影响成型、计算机学以及光学原理等等[3-4]。

1 果实识别与摘取机械手

果实识别与摘取机械手总体结构如图1所示，机械手采用履带式行走底盘在果林间行走，通过视觉传感器获取果树信息，通过图形识别技术获取目标果树中的果实数量和位置信息，从而控制机械手完成摘取果实的任务。

图1 果实识别与摘取机械手总体结构

主要技术问题：

(1)果实图形识别技术。通过图形分割处理技术从采集到的原始图形中分割出目标果实图形，再利用由遗传算法优化后的神经网络算法构建果实图形识别模型，完成对果实图形的识别，并保证了识别效率[5]。

(2)机械手的路径规划。

在使用机械手摘取果实的过程中应当保证机械手运行路径的优化，这样可以降低机械手运行成本。因此首先使用图像识别技术识别出机械手当前视线中的果实数量和位置，利用遗传算法对机械手的运行路径进行优化，并将其结果与随机路径规划和人工路径规划的结果进行对比。

2 图像分割处理

在跟踪和识别重叠果实的过程中的技术难点是分割重叠果实，后续匹配和识别图像会受到分割效果的影响。尽管在实时性上固定阈值分割具有一定的优势，但不具有足够的适应性，特别是在图像较为复杂的情况下，通过对动态阈值分割法的影响，充分利用果实颜色与苹果图像背景所存在的不同，以颜色为基础对Otsu法进行了应用[6]。

σ2(t)=ω0(μ0-μ)2+ω1(μ1-μ)2=

ω0ω1(μ0-μ1)2

(1)

使得σ2(t)取得最大值的t就是分割目标与背景的最佳阈值T。

3 果实图像识别模型构建

3.1 图像识别算法

在分析处理后果实图像的过程中采用了神经网络算法，这样可以对图像中的果实进行识别。BP神经网络是一种多层前馈型网络，能够实现逆向反馈误差信号并前向输入信号。输出信号在进行前向运输过程中途径为输入层-隐含层-输出层，可以逐层处理。反馈可以通过输出层输出和期望输出的对比来实现，通过两个的差值可以对网络结构中的权值进行调整。经过对此训练以后就可以保证期望输出与实际输出比较接近，进而保证阈值和权值合适。

因此非线性是神经网络函数比较明显的特显，其中输出层输出的变量为非线性函数的因变量，输入层输入的变量为自变量，这样函数映射就能够形成。以神经网络相关特性为基础，在对识别质量影响因素进行充分分析的基础上，应用神经网络函数分析这些因素和识别质量之间的关系，其中可以通过权值和阈值将这些关系体现出来。

然而在BP神经网络应用的过程中存在以下问题：首先权值和阈值的生成是随机的，局部最优的出现会使得训练效果降低；然后学习率无法有效的确定，既无法保证过大的学习率，而且学习率太小会使得训练过程放缓，降低了收敛速度。采用了两种方法来解决该问题：首先根据遗传算法来进行权值和阈值的寻找，这样局部最优问题就能够避免出现；然后对原有的固定学习率进行改进，这样就可以有效的保证学习效率的提升。

最为一种自适应以及可以并行运算的算法，在组合优化、机器学习、自适应控制以及人工生命过程中遗传算法应用比较广泛，在现代智能计算中发挥着非常重要的作用，在对遗传算法进行应用的过程中通过对二进制和多进制的采用来编码所优化参数，然后产生n个随机的初始种群，根据种群优化的目标反向可以对种群的适应度函数进行确定。其中交叉操作通过对两个染色体的基因进行交换来实现新个体的产生，变异操作决定了GA的全局搜索能力。其中变异操作是指对染色体的相关基因进行变异，新个体可以通过变异操作来产生，通过变异才做还能够确定GA的全局搜索能力。利用文献[8]中的改进算法可以优化遗传优化算法，进化速度可以通过常规交叉和变异操作的改动来提升。首先应用免疫算法中所存在的免疫记忆机制，对优秀个体进行保护，不进行变异和交叉操作，保证能够快速的找到最优解；然后对变异过程中的变异概率进行改变，在培训适应度的基础上对后30%的个体进行标记，然后为了保证出现最优个体出现的概率更高，对变异操作进行优化，这对于进化速度的提升有非常积极的作用；最后，由于染色体的长度较长，因此采用多点交叉的方法来保证优秀个体的产生。

3.2 识别模型构建

由于BP神经网路的应用比较依赖于权值以及初始阈值，而随机选取的方法会导致局部最优现象的出现。然而作为一种自适应概率搜索算法，全局优化是遗传算法应用的主要目的，应当保证全局最优解的获取，因此应用遗传算法在优化和寻优神经网络初始阈值和权值时能够进行自适应学习，对于学习和训练效率的提升有非常积极的影响，下图所示为优化流程。

图2 遗传算法优化神经网络流程

下面对遗传算法优化神经网络的步骤进行简单的介绍。

步骤1：采用随机的方法生成NL个染色体，使用实数方法对这些染色体进行编码，染色体长度可以通过下式进行计算：

N=Ni×Nh+No×Nh+Nh+No

(2)

式中：Ni表示神经网络输入层节点数；Nh表示神经网络隐含层节点数；No表示神经网络输出层节点数。

步骤2：均方差通过将染色体的权值和阈值带回神经网络进行计算；

步骤3：将均方差带回公式(1)和(2)进行选择操作；

步骤4：回到步骤2，进行多次均方差的运算保证均方差收敛，这样就可以得到神经网络的最终阈值和权值[8]。

4 摘取机械手运动控制

4.1 果实目标确定

通过图像识别技术得到图像中的果实位置后，需要控制位于图像中心的机械手移动到果实位置，摘取机械手移动控制示意图如图3所示。

图3 摘取机械手移动控制示意图

图像采集系统采集到的图像具有600个垂直像素点和800个水平像素点，得到分辨率为800×600的图像，其中左上顶点为图像中像素坐标原点，就可以得到图像中心坐标(400，300)。通过对步进电机控制机械手的运动进行控制摘取果实，进而得到对应的移动步数。

4.2 摘取机械手路径规划

在使用机械手摘取果实的过程中应当保证机械手运行路径的优化，这样可以降低机械手运行成本。在机械手由先前位置移动到当前位置过程中所耗费的成本就是机械手行进成本。其中两个位置之间的距离设定为Dij, 单位长度的机械手行进成本设定为a, 则可以按照下面的公式计算完成N个果实摘取的机械手行进成本：

(3)

通过数学方法能够得到典型TSP以及机械手路径规划问题的精确解，然而在节点数量较多的问题中这种精确解法并不适用。在对这种组合优化问题进行求解的过程中蚁群算法、神经网络算法、人工免疫算法、遗传优化算法以及粒子群优化算法能够发挥比较好的作用。因此在研究机械手路径优化的过程中应用遗传优化算法。

作为一种模拟进化算法，自然选择机理、自适应寻优以及自然遗传机制是遗传算法的基础。在对新达尔文主义生物遗传进化规律进行模仿的过程中衍生出了遗传算法。

使用遗传算法进行机械手路径规划优化的基本流程进行介绍[9-10]。

步骤 1：产生初始种群，采用随机的方法产生一组初始个体，并利用这些个体产生初始群体，该群体表示一些可行解的集合；

步骤 2：对群体中每个个体的适应函数值进行计算，同时根据收敛条件进行判断，当满足条件是就将搜索结果输出，如果不满足就运行下一步；

步骤 3：根据优胜劣汰原则在个体适应度的基础进行复制操作，保证所选择的个体具有较高的适应度；

步骤 4：通过交叉操作来对交叉概率(Pc)的取值进行确定，根据Pc的大小来对交叉的个体数目进行确定，在交叉操作过程中获得的新个体将其父辈个体的特性包含在内；

步骤 5：通过变异操作来对变异概率(Pm)的取值进行确定，进行变异的个体数目可以根据Pm的大小来选择，种群多样性通过变异能够提升，进而避免算法局部最优的现象出现；

步骤 6：得到新种群，返回步骤 2。

图4所示为使用遗传算法进行机械手路径规划优化的操作流程图。

图4 基于遗传算法的路径优化操作流程图

5 果实识别与摘取路径规划实例分析

5.1 果实图像特征提取

下面通过对采集到的果树图像进行果实图像特征提取实验。果树图像处理过程如图5所示。

图5 苹果果实图像处理过程

5.2 果实图像识别结果分析

下面通过实验验证研究的果实图像识别模型的准确率。使用常规BP神经网络算法建立基于Otsu 法图像分割方法的果实图像识别模型作为对比算法。实验样本见表1所示，样本中的完整果实比例逐渐减少。

表1 苹果果实识别测试样本

图7 机械手行进路径优化实例2(40个果实)

实验结果表明，随着样本中的完整果实比例逐渐减少，两种模型的识别准确率均有所下降，在仅有60%完整果实比例的样本中本文研究的识别模型仍保持较高的识别准确率，而常规BP神经网络算法建立的识别模型误差较大，严重影响识别模型的性能，不适用于实际生产中。

5.3 机械手路径规划

以最低成本摘取果实路径规划任务为实例，重点考虑最小化机械手行进成本，研究基于遗传优化算法的机械手路径规划性能。设定种群规模为40，交叉概率0.6，变异概率0.05[11]。由采集的果树图像中随机抽取多张图片，识别图片中果实数量及位置，如图6(a)、7(a)、8(a)所示。使用遗传算法对机械手运行路径进行规划，适应度函数变化如图6(b)、7(b)、8(b)所示。进行规划后得到的机械手路径如图6(c)、7(c)、8(c)所示。

图8 机械手行进路径优化实例3(60个果实)

机械手摘取20个果实的实例中，进行随机路径规划得到的机械手行进路径总长度为6 636.5 mm，由人工进行路径规划得到的机械手行进路径总长为6 528.6 mm，由遗传算法优化后得到的机械手行进路径总长度为6 452.6 mm。

机械手摘取40个果实的实例中，进行随机路径规划得到的机械手行进路径总长度为12 062.7 mm，由人工进行路径规划得到的机械手行进路径总长为11 652.2 mm，由遗传算法优化后得到的机械手行进路径总长度为10 475.4 mm。

机械手摘取60个果实的实例中，进行随机路径规划得到的机械手行进路径总长度为17 218.3 mm，由人工进行路径规划得到的机械手行进路径总长为16 012.9 mm，由遗传算法优化后得到的机械手行进路径总长度为13 774.9 mm。

三个实例中使用遗传优化算法得到的路径相比随机路径规划和人工路径规划得到的路径长度降低2.77%和1.16%、13.2%和10.1%以及19.9%和13.9%。通过三个机械手行进路径优化实例可以看出，使用遗传优化算法得到的机械手行进路径相比随机路径规划和人工路径规划所消耗的成本更低。并且随着果实量的增加，遗传优化算法得到的机械手行进路径消耗的成本低的优势更加明显。

6 结论

通过图形分割处理技术从采集到的原始图形中分割出目标果实图形，再利用由遗传算法优化后的神经网络算法构建果实图形识别模型，完成对果实图形的识别。使用遗传优化算法对机械手行进路径的规划过程进行优化。研究结果表明：

(1)随着样本中的完整果实比例逐渐减少，两种模型的识别准确率均有所下降，在仅有60%完整果实比例的样本中本文研究的识别模型仍保持较高的识别准确率，而常规BP神经网络算法建立的识别模型误差较大，严重影响识别模型的性能，不适用于实际生产中。

(2)使用遗传优化算法得到的机械手行进路径相比随机路径规划和人工路径规划所消耗的成本更低。并且随着果实数量的增加，遗传优化算法得到的机械手行进路径消耗的成本低的优势更加突出。使用遗传算法等优化算法进行机械手行进路径规划的优化，可提高机械手行进效率，降低能耗以及机械手摘取果实成本。