张大伟 ,胡 波 ,梁 磊
(1.广西科技大学自动化学院,广西 柳州 545616;2.柳州职业技术学院机电工程学院,广西 柳州 545006)
随着种植环境的标准化与结构化发展,我国农业生产将走向规模化和精细化[1-2]。农机具的精准定位和导航均与农用机器人的田间移动距离精确测量有关,并且在复杂的农田环境下农用机器人的采摘系统也依赖于精确的移动距离测量。
目前对于农用机器人的移动距离测量方法中以多传感器融合测量方法和机器视觉测量方法居多,李晨阳等使用里程计与激光雷达信息相互融合的方法对农业机器人移动距离进行测量,将测量误差控制在0.39 m,较为精确地完成了机器人移动距离测量[3]。陈劭等利用RGB-D 相机对移动机器人移动过程进行图像采集,利用特征点的匹配方法完成对移动机器人的定位,经过实验,此方法的定位误差为0.024 5 m,满足了移动机器人快速定位的需求[4]。季宇寒等利用激光雷达与编码器的信息相互融合对巡检机器人进行导航定位,此方法可以将巡检机器人的位置测量误差控制在5 cm 以下,满足巡检导航定位要求[5]。肖正邦提出利用LiDAR 和摄像头的数据进行融合,提取图像中的深度信息对农业机器人进行定位,此方法有效解决了农业机器人在复杂环境中行走及定位检测的问题[6]。张凯龙等在农用车辆上安装车牌,利用深度学习的方法对车牌特征进行检测,根据集合关系模型,对车辆距离完成检测[7]。赵荣阳等通过单目视觉构建农业机器人导航系统,使农用机器人自主完成导航和定位工作,测量精度较高,满足了农业机器人的应用需求[8]。黄沛琛等提出一种基于单目视觉的农业机械导航定位算法,将农机的实时位姿信息与姿态阈值滤波器信息相融合,对农业机械移动距离与位置求解,该算法可以实现农业机械的自动定位,在短距离范围内具有一定的可靠性[9]。但是无法避免的是,利用传感器融合的方法测量距离成本较高[10],并且传感器还存在累计误差[11],无法完成在大视场环境下的测量。
目前国内的种植环境更加趋向标准化,并且种植环境可塑化是标准环境最大的优势,所以为了在进一步提高测量精度的同时提高测量方法的适应性和稳定性,本文提出将远景标志物放置在标准化种植环境中,利用机器视觉测量农用机器人的移动距离,实现对农用机器人田间移动距离的精确测量,并通过田间实验对此视觉测量方法进行分析验证。
在标准化种植环境中,放置远景标志物作为对标准化种植环境的进一步改进,其角点信息的鲁棒性及稳定性可以为农机视觉位姿检测、精确导航等方面提供有利帮助[12]。实验环境示意图如图1 所示,在室内环境中,选用黑白格标定板作为标志物放置在远处,将带有摄像头和水平仪的图像采集装置放置在设定的世界坐标系原点处,根据所建立世界坐标系,图像采集装置对远处放置的标志物进行图像采集,并将图像采集装置沿Xw轴移动不同距离后进行图像采集,完成模拟机器人移动真值的测量。其中,Ow、Zw、Yw及Xw分别为世界坐标系的原点、Z轴、Y轴及X轴;像素点坐标在图像坐标系下表示,u 为标志物角点图像坐标的横坐标值,v为标志物角点图像坐标的纵坐标值。
图1 实验环境示意图
对所采集的图像经过图像预处理后,提取图像中的远景标志物的角点图像坐标,并对所提取的角点图像坐标根据模拟机器人距离标志物的远近进行排序,以此得到角点图像坐标的变化图。图像中标志物角点图像坐标纵坐标值变化规律如图2 所示,对图像中的角点提取后发现,摄像头的移动距离与角点坐标的纵坐标值变化成正比,即摄像头移动的距离逐渐增大,所提取的角点像素点纵坐标值也逐渐增大,由此说明图像坐标的变化和模拟机器人与远景标志物的距离存在相关关系。
图2 角点图像坐标纵坐标值变化规律图
实际田间环境在广西壮族自治区柳州广西科技大学柳东校区南门对面的小型种植田,在田垄间放置米尺以测量模拟机器人移动真值,在田垄起始点与田垄末尾分别放置模拟机器人与远景标志物,标志物大小为100 cm×100 cm,使用海康威视A7 型摄像头进行图像采集,分辨率为1 920×1 080,图像储存设备为PC 端,图像共采集19 张,模拟农用机器人移动范围为0~2.2 m。
将室外所采集的图像中的角点进行提取,首先将图像进行预处理操作,包括图像的灰度化及角点的排序和提取,并将所提取的角点坐标作为数据集,处理结果图如图3所示。
图3 角点提取图
在模拟机器人移动距离的预测方法中,经过实验证明,像素点的变化是线性的,并且像素点面积的变化与距离的变化也是线性化的,故计算每一个距离下所采集图像中远景标志物相邻角点的像素面积,并将其作为输入对模拟移动机器人的移动距离进行测量,像素点面积示意图如图4 所示。
图4 像素点面积示意图
根据像素点面积示意图可明显得出像素点面积计算式,如式(1)、式(2)、式(3)所示。
其中,U、V为标志物角点相邻角点的横纵坐标值,Δx为横坐标差值,Δy 为纵坐标差值,S 为像素点面积。故使用线性回归方程对移动距离进行预测,预测方程如下,式(4)为面积预测式。
其中,S 为像素点面积值,L 为所预测距离值,a0、a1、a2、a3均为预测模型系数。
利用测试数据对所建立的模型进行可靠程度检验,检验结果如图5 所示,根据图示可知,测试数据中模拟机器人移动距离的真值与模型所预测移动距离值几乎重合,故此预测模型的可靠程度较高,可以作为本次实验的预测模型。
图5 模型检验图
为验证此方法可以在实际环境中对模拟移动机器人的移动距离进行精确测量,将三组测试数据输入建立好的模型,并以实际距离与预测距离的误差值及准确度作为检测标准,所得到的预测结果即为距离测量结果,经过测试后得到预测结果,如表1所示。
表1 预测结果表
由表1 可知,利用像素点面积作为输入对农用机器人的移动距离视觉测量的最小误差为0.4 cm,最大误差不超过7 cm,测量精度均在95%以上,但由于在田间环境下垄间道路不平的原因,模拟移动机器人的移动距离越远,测量误差就越大,在实验过程中发现利用黑白格标定板作为远景标志物能够有效地避免标志物反光因素的影响。
本文针对在标准化农田种植环境中使用图像处理方法对农用机器人移动距离测量精确度不高的问题,提出利用远景标志物的像素点面积作为输入,建立一元三次回归预测模型对农用移动机器人移动距离进行视觉测量的方法,经过实际场景下的实验,得出以下结论:
1)标准化农田种植环境是更趋向科学化的,而利用远景标志物作为改进标准农田种植环境的方法,不但符合标准化农田建设的需求,增加了视觉测量的视场范围,解决了视觉测量范围局限性的问题,并且有效增加了倾角测量范围。
2)精度方面,实验中所采用的以黑白格标定板作为远景标志物,对农用机器人在田间移动距离进行测量的方法最小误差为0.4 cm,最大误差不超过7 cm,测量精度均在95%以上。利用黑白格标定板作为远景标志物进一步改进标准化种植环境,对模拟移动机器人的移动距离测量方法具有很好的鲁棒性和适用性。利用远景标志物完成对农业机器人移动距离的测量,有助于农机发展更加科学化及精细化。