采摘机器人动态果实目标检测与跟踪技术研究—基于云存储

李 敏,冯亚丽,吴东林

(漯河食品职业学院 信息工程系,河南 漯河 462300)

0 引言

移动目标检测与跟踪是当前信息领域的前沿和热点方向,融合了计算机科学、自动控制、机器视觉、图像处理、模式识别及数学等多学科的先进技术。运动目标检测和跟踪技术可以对动态场景中的目标定位、识别和跟踪,并在此基础上分析和判断目标的行为,实现运动目标的定位和识别。随着现代化农业技术的不断发展,采摘机器人被逐渐投入到农业生产过程中,受采摘作业环境的影响,采摘机器人的视觉系统往往不能发挥出最好的效果,如在有风的天气,视觉系统如果没有动态目标捕捉功能,很难实现对果实的采摘,进而影响采摘机器人的采摘效率和采摘精度。如果将动态目标检测追踪技术引入到采摘机器人的设计上,将会进一步提高采摘机器人对复杂采摘环境的适应能力。

1 基于云存储的图像处理技术

在采摘机器人视觉系统设计时,为了实现动态目标的捕捉,需要对大量的实时运动图像进行处理,如果采用传统的图像处理方法,其计算效率慢、计算精度低。为有效处理图像和视频数据,可以借助互联网搭建基于云存储的图像处理技术平台,通过对图像的特征抓取、特征训练、分类学习,提高图像的识别效率,其基本流程如图1所示。

图1 基于云平台框架的图像处理流程

在SSH安全协议框架下,可以借助物联网搭建具有高存储容量和高处理速度的图像处理云平台,如果不借助互联网直接采用硬件形式搭建云平台,可以采用硬件拓扑的方式,如图2所示。

图2 图像处理云平台硬件拓扑

基于云存储的图像处理系统以原始的果实图像训练为训练集图像,训练集图像可以通过分类器模型进行分类和标注,采摘机器人图像处理系统只需对分类器进行学习,便可以对实时图像进行分类和标注,便于机器人对于果实特征的提取和运动目标的匹配。云平台系统框架采用硬件拓扑的形式,可以大大提高图像处理速度,最终提高运动目标的跟踪和处理效率。

2 基于云存储的运动目标检测和跟踪技术

运动目标的检测和跟踪主要是根据目标信息,在运动序列图像中对目标进行锁定,目标的信息表达主要有特征视觉、特征统计和代数统计等。其中,特征视觉包括图像边缘、形状和纹理等,特征统计包括直方图和矩阵等,特征代数包括图像矩阵等。目标特征表达提取完成后可以对目标进行相似性度量,然后再运到图像帧中进行搜索,最后定位跟踪。

相似性度量主要是根据运动目标的特征表达信息,通过一定的算法将目标信息和运动图像各帧的信息进行匹配,常用的相似性度量方法有欧氏距离、加权距离等,最常用的是欧氏距离,这种方法也是最简单的相似性度量方法。

在进行目标跟踪时,由于运动目标会产生大量的图像帧,直接对图像场景的所有内容进行对比会产生大量的冗余信息处理。为了降低计算量、缩小搜索范围,可以采用滤波的方法。Kalman滤波器是最常用的一种滤波器,可以对运动状态的序列进行线性最小方程估计,通过观测方程和状态方程描述一个完整的运动动态过程,可以实时地预测目标的位置和速度。

在采摘机器人视觉系统设计时,采用基于特征匹配的跟踪方法,可以通过运动目标的特征来进行跟踪;采用目标特征进行搜索时,除了利用单一的目标特征外,还可以采用多目标特征。采摘机器人果实目标特征匹配过程主要有两个方面组成,其中一个是特征提取,另一个是特征匹配。

1)特征提取。特征提取就是从原始的果树图像上对需要定位的果实进行特征提取,提取的特征需要简单便于计算,且可以平移和旋转操作等;提取的特征还需要尺缩效应不明显,旋转和平移操作后,目标特征不会发生变化。

2)特征匹配。特征匹配主要是利用提取的特征对运动过程中的果实进行匹配,匹配过程可以采用Kalman滤器。在进行匹配时,基于特征的各种算法具有明显的优点,如在目标运动过程中被遮挡了一部分,也可以被成功识别出来。

在进行图像识别处理时,以图像颜色感知的色调、饱和度和亮度属性k(k=1,2,…,m)来构建图像函数,假设采摘机器人视觉系统采集的3帧图像序列分别为fk-1(x,y)、fk(x,y)、fk+1(x,y),将第k和第k-1帧图像进行差分,将第k+1与第i帧图像进行差分,其计算模型为

(1)

(2)

其中,fd1(x,y)、fd2(x,y)为连续3帧图像序列的帧差分后的结果。二次帧差分图像运算为

YH(x,y)=fd2(x,y)Θfd1(x,y)=
{YH(x,y)YS(x,y)YI(x,y)}

(3)

运算规则定义为

(4)

其中,Y(x,y)为相与运算所得结果,表示运动目标移动区域fd1(x,y)、fd2(x,y)做相与运算结果所得区域,可以确定目标的移动区域和背景区域。对于运动目标的定位,需要计算目标区域的重心横纵坐标,即

(5)

其中,OR为二值化图像中的确定要跟踪的运动目标区域,然后再根据相机的小孔成像原理,计算得到图像点的高度,便可以得到目标在实际果树上的具体位置,即转换为大地坐标。

图3所示为图像特征提取训练,在图像处理过程中可以通过一定的智能算法对图像集进行训练,以提高果实目标图像的提取效率,在进行图像提取和匹配过程中,由于实时图像的信息量非常庞大,因此可以借助于云处理平台,采摘机器人整个运动目标检测和跟踪的流程如图4所示。

图3 图像特征提取训练

图4 采摘机器人动态果实采摘流程

采用云存储技术主要可以实现过图像的特征提取、运动图像帧的处理及图像匹配等,通过追踪运动果实,输出果实的实时信息,为采摘机械手的定位提供可靠的数据。

3 采摘机器人果实运动目标跟踪测试

基于云存储的运动目标检测跟踪技术可以实时捕捉定位运动目标,如将其使用在采摘机器人控制系统上,那么在有风和较为恶劣的天气条件,也可以对果实进行采摘。

为了验证基于云存储的运动目标检测跟踪技术在采摘机器人上使用的可行性,本次以果实运动目标的捕捉为例(见图5),对其目标跟踪定位的效率和准确性进行了测试。为了简化实验,先不在采摘机器人上安装系统,直接采用基于云存储技术的图像处理平台,对果实目标图像进行处理,并对果实运动过程中不同的帧图像进行跟踪定位和捕捉,得到了如图6所示的处理结果。

图5 果实目标图像

图6 果实运动过程中图像捕捉输出

以实时输出果实的位置信息为例,对运动图像进行实时捕捉,由输出结果可以看出:利用基于云存储的图像处理平台可以成功地输出果实运动过程的实时图像,并对果实进行定位捕捉。果实在不同时刻的实时定位信息如表1所示。

表1 果实实时定位信息

以输出结果标定的果实位置为例,选择其中的一个果实作为目标信息输出点,利用坐标转换技术,将实时信息转换成大地坐标后便可以让采摘机器人按照实时位置信息定位,定位果实后进行采摘作业。由输出结果可以看出:利用基于云存储技术的图像处理平台可以成功捕捉运动目标的实时信息,可为采摘机器人提供准确的目标果实位置实时信息。

目标跟踪定位时间对比如表2所示。对使用和不使用云存储技术时平台对于果实目标实时定位的时间进行了对比,结果表明:使用云存储技术可以明显地提高定位速度,这是由于云存储技术可以大幅度提高平台对于图像的处理效率。

表2 目标跟踪定位时间对比

为了进一步验证基于云储存技术的运动目标检测和跟踪的准确性,将使用云存储技术平台和不使用云存储技术平台的目标定位准确率进行了对比,如表3所示。多次对比发现:采用基于云存储平台技术后果实目标定位的准确率要高于不使用的情形,说明采用云平台技术后不仅提供了实时图像处理的速度,而且提高了计算精度。

表3 目标跟踪定位准确率对比

4 结论

为了提高采摘机器人在有风环境内作业的适应能力,将运动目标检测追踪算法引入到了采摘机器人视觉系统设计上,并采用云存储技术提高了图像实时处理的效率。为了验证方案的可行性,以运动果实的目标实时定位为例,对基于云存储的采摘机器人动态果实目标定位系统进行了测试。测试结果表明:利用运动目标检测追踪算法可以成功定位运动果实,且采用云存储技术的图像处理速度较快、定位的精度较高,对于采摘机器人自主定位导航系统的设计具有重要的意义。