排球运动规划在采摘机器人识别定位中的应用

马洪涛

(河南艺术职业学院,郑州 451464)

0 引言

随着计算机技术的进步,以及视觉图像获取与转换的深度发展,我国的采摘机具不断向智能化、无人化方向演变。据了解,在大规模种植地区,已将采摘机器人投入使用,大大降低了人工劳动成本,提高了采摘作业率。但是,农业采摘作业环境的不确定、封闭采摘状态及作物的分布性质各异等因素,给智能采摘机器人作业带来了新的挑战,相关专家学者近年来均做出不同程度的研究努力。在广泛发展的排球专业,各类排球打法依据一定的运动规律被应用到实际,排球机器人则是一种集目标视觉识别、预测、判定、规划及动作等多功能于一体的智能机器,其控制核心在于目标的识别与定位。为此,本文从排球机器人的运动规划机理角度入手,着重对采摘机器人的识别与定位目标环节展开研究。

1 采摘机器人工作原理

果实采摘机器人是一种模拟人工进行动作的机器,工作原理可概要描述为:在一定的指令下,通过采摘图像识别与转换、数据传递与控制,将感性化的视觉状态转化为可量化的数字,实现采摘避障及处理复杂采摘环境的功能,形成规则化的运动采摘轨迹。其工作组件主要由各类图像采集与转换功能构成的视觉系统、识别与预测运动路径的自动引导装置、进行采摘动作的末端执行的抓取系统,以及具有信息反馈调节、算法控制功能的电脑终端组成,各组件在高度协调配合下完成采摘作业,如图1所示。

图1 采摘机器人工作组件构成图

工作时,视觉系统对采摘图像进行滤波、均衡化与图像分割处理后,传递至采摘机器人的中控系统,经数据处理转换至采摘末端执行器;机器人的执行臂给出准确的角度范围与关键动作范围,保证了采摘运动规划的自主避障移动、转向角度及次数的实现等。采摘机器人的D-H参数如表1所示。

表1 采摘机器人的D-H参数设置表

续表1

2 运动规划与采摘功能实现

2.1 采摘控制理论模型建立

果实采摘控制目标的准确实现,关键在于对果实的视觉搜索、识别与定位。结合排球的核心运动动力学算法规划理念,并加之较为准确的信息感知处理技术,考虑排球运动的旋转角度与落地位置关系、采摘机器臂的运动轨迹及运动控制要求,建立如图2所示的采摘机器人运动识别与定位坐标系。

图2 采摘机器人运动识别与定位参考坐标系

设(X,Y,Φ)为采摘机器人的位置坐标,(Xin,Yin,Φin)为预设定运动坐标,并在采摘定位算法的控制下(流程见图3)建立采摘机器人运动控制理论模型为

(1)

(2)

式中vr—采摘机器人运动线速度;

ωr—采摘机器人运动角速度;

c1、c2、c3—核心运动控制算法的正增益参数值;

eD—采摘机器人的驱动控制方向角度;

eL—采摘机器人的驱动控制下一个新的方向角度;

eθ—采摘机器人的驱动控制转向角度误差。

图3 采摘机器人定位算法流程简图

2.2 排球运动规划与采摘定位结合

将排球机器人的运动规划原理与采摘定位以一定的内控规则相融合,通过对采摘环境进行判定及图像的转换处理,排球运动模型智能体与采摘机械臂运动规划智能体在中心关节运动管控调节器下达到一致性的定位要求。对于动作优化选择,可操作度作为采摘机械臂的位姿操控指标,进行目标定位,即

(3)

(4)

式中 (m,n)—采摘机器人视觉系统的像素点坐标;

M—采摘机器人作业选定的工作区域;

Xi(g+m,l+n) —采摘机器人视觉系统的像素灰度;

Xi-1(g,l) —采摘机器人视觉系统的前一个像素灰度;

η(xi)—采摘机器人视觉系统获取参数前后的误差;

ω(xi)—采摘计算点x的权重比例;

K(i) —采摘机器人运动轨迹控制的核心函数。

2.3 基于采摘系统搭建

排球机器人运动规划下的采摘系统搭建,主要是对信息的采集与路径的规划做出准确响应,以迅速性、自动反馈性为特征,如图4所示。

基于采摘机器人需要的采摘功能与识别定位准确度,形成排球机器人运动规则下的采摘机器人系统硬件配置(见表2),主要包含摄像机的型号选取、运动控制卡的匹配和相应的电机驱动部件等。

表2 排球机器人运动规划下的采摘机器人系统硬件配置

续表2

为实现采摘的快速识别与准确定位,进一步对采摘机器人的软件系统优化,定位流程如图5所示。工作时,通过读取左右摄像机的信息并同步跟踪校正,经果实目标分割手段处理与行程编码区域标记后告知采摘机器人的定位模块最优采摘目标,从而进行特征点与互相关性系统匹配,确保图像视觉误差的基础上,融入双目识别模型进行定位。

图5 排球机器人运动规划下的采摘机器人系统识别定位软件设计流程Fig.5 Design flow of recognition and positioning software for picking robot system under volleyball robot motion planning

针对采摘识别与定位的关键信号网络传输,设计采摘机器人识别与定位的无线传感网络抽象控制结构,如图6所示。该结构基于采摘信息数据的采集、处理与传输单元进行布置。其中,数据处理单元管控着信息流、数据流的走向,多种功能性传感装置在多个模块下协作进行信息处理,高精度、实时地进行数据采集调控。片段控制指令代码如下:

Def Validate ((x1,y1),(x2,y2))

Broadcast(val_request)

(x,y,d)=Receive(val_refrences)

Broadcast(restrain_request)

d1=[(x1-x)2+(y1-y)2]1/2

d2=[(x2-x)2+(y2-y)2]1/2

if(|d-d1|>|d-d2|)

return(x2,y2)

else return(x1,y1)

……

Def main():

Broadcast(loc_request)

L=Receive(loc_ refrences)

L1,L2=partition(L)

If(length(L2)==0)

return Computer(L1)

else

(x1,y1)= Computer(L1)

(x2,y2)= Computer(L2)

Return Validate((x1,y1),(x2,y2))

图6 采摘机器人识别与定位的无线传感网络抽象机构图Fig.6 Abstract mechanism diagram of wireless sensor network for picking robot recognition and localization

3 采摘识别与定位试验

3.1 试验条件

进行排球机器人运动规划下的采摘机器人识别与定位试验,图7为选定的试验素材。试验条件设置:①采摘作业环境选定无风雨的干扰状态,保证信息获取平稳性;②各采摘部件动作平滑,无中断;③采摘机器人软件控制系统正常运行等。

图7 排球机器人运动规划下的采摘识别定位试验素材

3.2 试验分析

通过试验过程中目标与定位图像的有效抓取,获得采摘机器人对采摘果实的主要处理过程,如图8所示。在目标位置形成区域边缘二值图,通过霍夫算法进行线段的分布检测,最终通过系列判定求解得到目标采摘点,从而驱动采摘执行臂进行动作。

选取对单个果实进行采摘的关键控制时间作为过程评价指标,选取果实采摘定位准确率作为综合评价指标,对该采摘识别与定位试验数据进行统计分析,形成试验数据,如表3所示。由表3可知:在排球机器人运动规划与控制机理下,试验次数选取20～50之间不等,获取得采摘图像识别时间范围为0.435～0.513s之间,说明图像识别的设计波动不大,具有一定的平稳性;采摘定位时间控制在0.6s左右,且采摘机器人的定位准确率保持在93.8%以上,试验可行。

图8 采摘机器人目标识别与定位主要处理过程

表3 排球机器人运动规划下的智能采摘识别与定位试验数据对比Table 3 Comparison of intelligent picking recognition and location test data under volleyball robot motion planning

4 结论

1)将排球机器人的运动规划原理与采摘机器人的控制要求进行融合,针对采摘的识别与定位系统展开设计,搭建了采摘机器人对果实的识别定位理论模型,进而通过软件系统后台指令控制与硬件配置动作执行协调形成完整的识别定位系统。

2)着重运用图像识别与处理算法,利用多功能性传感装置实现信息数据的采集与传输,实现准确、实时地定位目标,并进行采摘机器人的识别与定位试验。

3)试验表明:在排球机器人运动规划与控制机理下,系统的图像识别功能保证一定的平稳性,采摘定位时间控制在0.6s左右,综合定位准确率保持在93.8%以上,验证了该设计理念的可行性,可为其他类似农用设备的定位功能提供一定参考。