采摘机器人定位导航系统设计—基于机载三维激光成像电力巡线

阮娟娟

(内蒙古机电职业技术学院 机电工程系,呼和浩特 010070)

0 引言

近年来,随着国家经济水平的增长,劳动力价格不断提高,劳动密集型企业的生产成本上升,尤其是农业生产领域,果蔬的采摘往往需要耗费大量的人力资源。据数据统计,我国农业生产过程中采摘工作所需的劳动力约占整体的40%,采用机器人代替人力劳动是未来农业生产的趋势。目前,我国的采摘机器人设计技术还未成熟,特别是在果实识别率和采摘效率方面技术还不够先进,本次拟将机载三维激光成像电力巡线技术引入到采摘机器人的定位导航系统的设计过程中,以提高采摘机器人定位导航的准确率和效率,对于现代采摘机器人技术的革新具有一定的借鉴意义。

1 三维激光电力巡线技术在采摘机器人导航系统中的应用

采用机载三维激光进行电力巡线过程主要是对电力线的提取和重构。目前,我国三维激光电力巡线技术还处于初始阶段,国内的研究还比较少,在电力线提取时一般都是采用的Hough变换原理,通过将激光点云转换到二维空间后进行Hough变换。采用Hough变换对电力线进行提取会损失一些三维信息,如高程信息,对于多层电力线,也不能够快速地提取和识别单条电力线,因此有必要利用三维重构技术构造电力线的三维模型。其流程如图1所示。

图1 三维激光电力巡线过程

基于局部各根电力线互相平行与同一线路电力线数目、线路宽度、相邻档电力线走向基本一致等先验特征,可以采用三维重构的方法重新构造三维电力线模型。采摘机器人在进行定位导航时,为了准确计算待采摘果实的位置坐标,需要对采集到的果实图像信息进行投影线,确定方位坐标,也可以采用电力巡线三维模型重构原理确定果实的具体位置信息。其流程如图2所示。

在采摘机器人视觉定位过程中,由于无法直接得到果实相对于采摘机器人的具体位置坐标,可采用基于激光巡线原理的三维模型重构方法,通过准确识别果实的球形形状,提取出果实的质心位置,最终确定果实的相对位置坐标。

图2 采摘机器人视觉定位导航过程

2 果实模型重构和识别及准确采摘控制方法

对于大部分待采摘果实而言,球形结构占70%以上,因此可以以球形目标参照物为主进行设计。为了使待采摘果实目标定位更加准确,根据激光电力巡线的原理,对三维模型进行重构,利用果实目标上的多个坐标点重构出球形模型,最后利用最小二乘法得到果实的质心位置,则有

(x-a)2+(y-b)2+(z-c)2=R2

(1)

其中,a、b、c分别表示球心在相机坐标系中的坐标,式(1)也可以写成

(2)

如果采用n个点进行重构,则可以利用矩阵来进行求解。其表达式为

(3)

式(3)可以简写成

Am=B

(4)

利用最小二乘法,可以解得

m=(ATA)-1ATB

(5)

首先对采集的图像进行处理,得到果实图像上的8个位置点,然后用近似圆形来代替果实形状,通过Hough变换得到圆心的坐标(i,j)和圆的半径R,根据圆形得到圆的外接矩形,该矩形左上点(xmin,ymin),右下点坐标为(xmax,ymax),则矩形内任意坐标点(x,y)的表达式为

(6)

其中,rand()表示随机数,返回0～32767间均匀分布的伪随机整数;%表示求余数。通过随机数可以将点进行分散化,从而提高最小二乘的计算机准确性,其流程如图3所示。

图3 果实位置坐标求解流程

根据果实位置坐标的求解流程,通过采集得到的图像点(i,j)可以求出其在采摘机器人视觉系统中的三维坐标(x,y,z)。采摘机器人根据定位坐标可以自主实现导航功能,其采摘机械手的移动可以利用分段控制的方法,原理如图4所示。

图4 采摘机器人执行末端移动示意图

根据果实目标G在导航视觉系统坐标系xoy平面内的投影G′,控制采摘机器人执行末端旋转与轴夹角α的位置。其中,α的表达式为

α=arctan(Y/X)

(7)

在采摘过程中,采摘机器人的执行末端将在直线OG′与z轴组成的平面内运动,从A到B的移动可以利用圆弧插补的方式,其中B点的坐标为

(8)

利用B点的坐标值,通过曲线插补的形式可以将采摘机械手执行末端移动至G点位置,定位后利用执行末端的手指将果实夹紧,然后通过将果柄分离果实实现自动采摘。

如图5所示,采摘机器人的视觉传感器和关节角度编码器直接采用RS232通信的方式和主控PC机进行数据进行反馈,执行末端传感器较多,采用数据采集卡的形式将数据信息传送给PC机。PC机端主要负责数据的处理和指令的发送,指令发送是通过将数字指令转换为模拟指令的方式,控制执行末端的各种气动阀工作,实现采摘机器人的自动作业。

图5 采摘机械手末端控制硬件结构

3 采摘机器人视觉定位导航系统测试

为了验证方案的可行性,以苹果的采摘为例,对采摘机器人视觉定位系统的可行性进行验证。因为苹果是圆形的,通过圆形检测和三维重构可以得到苹果的质心坐标。

如图6所示,为了保证测试的顺利进行,选取了3个球形比较规则的苹果作为研究对象,首先对采集得到的苹果图像进行处理,通过去掉背景图像对苹果进行提取,得到了如图7所示的结果。

图6 待采摘苹果图像

图7 初步图像处理后结果

通过对采集得到的苹果图像进行初步处理,成功提取了苹果的图像,为了使三维重构能够更加准确,需要对初步处理后的图像进行增强处理,进一步增强处理得到了如图8所示的结果。

图8 增强图像处理后结果

通过图像进一步增强处理,包括图像的膨胀腐蚀等,得到了完整的圆形苹果图像;然后,对得到的图像进行圆形检测和三维重构,可以得到质心的位置,并对多次计算的位置坐标进行统计,得到了如表1所示的结果。

表1 质心计算值和测量值统计表

为了验证计算结果的准确性,将计算得到的质心位置Z坐标和测量得到的实际结果进行了对比,对比结果表明:通过计算得到的Z坐标值点和测量得到的结果基本吻合,从而验证了计算的可靠性。

为了进一步验证方案的可行性,在不同工况测试条件下,对采摘机器人导航视觉的成功识别率进行了测试,如表2所示。由测试结果发现,在较暗、暗、较亮和明亮4种工况条件下,其准确识别率都在90%以上,从而进一步验证了方案的可靠性。

表2 不同工况成功识别率统计

4 结论

为了提高采摘机器人定位导航的准确率和效率,将机载三维激光成像电力巡线技术引入到采摘机器人的定位导航系统的设计过程中,通过对果实圆形检测和三维重构,得到果实的准确质心坐标位置。为了验证方案的可行性,对果实质心的测量精度进行了测试,结果表明:采用机器人导航定位系统计算得到的质心位置和测量得到的结果基本吻合。对不同工况采摘机器人的成功识别率进行了测试,结果表明:采摘机器人对果实的成功识别率加高,可以满足导航定位系统的设计需求。