基于立体视觉匹配的采摘机器人目标定位方法

金何

基于立体视觉匹配的采摘机器人目标定位方法

金何

（六安职业技术学院 汽车与机电工程学院，安徽 六安 237158）

为了解决采摘机器人目标定位偏差大的缺陷，提出基于立体视觉匹配的采摘机器人目标定位方法。引入立体视觉模型获取目标图像，采用线性平滑滤波模板消除目标图像的噪声；应用Bouguet算法立体校正左、右图像对；应用Sobel算子检测采摘目标边缘，确定目标的采摘中心点，通过立体匹配确定左、右图像中采摘目标的对应关系，完成采摘中心点的正确匹配，实现采摘机器人目标精准定位。测试结果显示，应用提出方法获得的采摘中心点匹配精度更高，采摘机器人目标定位误差最小值为1.0%，降低了目标定位偏差，应用性能较佳。

立体匹配；空间定位；采摘机器人；立体视觉；目标识别；目标定位

近年来，中国果蔬种植面积呈现逐年扩大的趋势。在果蔬栽培过程中，收获作业环节至关重要。以往采用的人工采摘手段存在效率低下、作业强度大、消耗时间长等缺陷，并且具有一定的危险性[1]。采摘机器人的出现改善了这些情况，大幅度提升了果蔬采摘效率，实现劳动力资源的优化配置。采摘机器人在进行采摘任务时需要从杂乱背景中寻找到果蔬目标，确定目标的空间位置，才能准确采摘果蔬，由此可见，机器人采摘目标准确定位的重要性。

雷旺雄等[2]提出了葡萄采摘机器人采摘点的视觉定位方法。将果实的初始采集图像转换为YUV颜色模型进行均衡化处理；利用双阈值分割和形态学算法去除图像干扰；利用分水岭法划分采摘点图像的感兴趣区域，对目标二值图像进行角点检测和线性回归；通过K均值聚类确定最佳采摘点位置。徐凤如等[3]基于改进YOLOv4算法提出茶树芽叶采摘点识别和定位方法。优化YOLOv4算法，应用DenseNet单元替换ResNet单元；利用优化后算法对采集的茶树数据集进行芽叶目标检测；利用OpenCV图像处理方法转换初始图像的RGB-HSV颜色；结合形态学算法实现采摘点定位。

两种方法未考虑摄像机左右成像平面不一致的情况，未正确匹配左、右图像中的采摘中心点，导致采摘机器人目标定位误差较大，无法满足果蔬采摘要求。本文提出基于立体视觉匹配的采摘机器人目标定位方法，创新性地通过立体匹配确定左、右图像中采摘目标的对应关系，完成采摘中心点的正确匹配，实现精准定位。

1 采摘机器人目标定位方法研究

1.1 采摘机器人目标图像获取与预处理

由于机器人是在立体且杂乱的空间内完成采摘任务，为了提升采摘机器人定位准确性，引入立体视觉模型获取目标图像，并对其进行预处理，保障后续左、右图像对的立体校正效果。

立体视觉模型的引入，使得采摘机器人具备人眼的立体环境感知能力，通过两个摄像机获取目标图像，模型如图1所示。立体视觉模型中应用两个摄像机模拟人的左、右眼，以此来获取目标图像。由于多种因素的影响，使得获取的采摘机器人目标图像整体质量较差，若是直接对其进行应用，会大幅度降低目标定位的精度，影响采摘机器人的工作效率[4]。因此，在目标图像应用之前，采用线性平滑滤波模板对目标图像进行预处理。

图1 立体视觉模型

研究采用的线性平滑滤波模板结构为3×3，较为简单、清晰，方便目标图像的预处理。应用线性平滑滤波模板与目标图像进行卷积运算，具体步骤为

（1）依照从左到右、从上到下的顺序，将模板在目标图像上平移，使得模板中心与像素重合；

（2）将像素对应数值与重合模板系数进行相乘运算；

（3）重复进行（1）～（2），并求和处理全部乘积结果，再除以模板系数总数量，以此为基础，对模板中心像素进行赋值[5]。

基于上述步骤，即可完成目标图像的预处理，消除目标图像的噪声信息，使得目标图像细节信息更清晰。

1.2 左、右图像对立体校正

在实际立体视觉模型应用过程中，由于摄像机制作缺陷，左、右两台摄像机的成像平面并不一致，成像平面存在夹角，使得左、右图像对像素无法对准，影响目标定位的精度。因此，将预处理后的采摘机器人目标图像作为基础，应用Bouguet算法对左、右图像对进行立体校正，为采摘机器人目标的识别做好充足的准备工作[6]。

依据式(3)输出结果，结合摄像机标定内参数矩阵，即可获得立体校正后的图像对投影矩阵[8]，表达式为

1.3 采摘机器人目标识别

以立体校正的左、右目标图像对为依据，应用Sobel算子检测采摘目标边缘，确定目标的采摘中心点，完成采摘机器人的目标识别，助力最终目标定位的实现[9]。

Sobel算子主要是通过模板与图像进行邻域卷积，获取目标图像灰度分布梯度情况，根据特定阈值对目标边缘进行提取，阈值的选取需要根据采摘目标的实际情况[10]。Sobel算子模板表达式为

应用式(5)所示模板对目标图像进行检测，获得目标图像梯度对应幅值与位置

根据采摘目标轮廓，以其中心作为采摘中心点，采摘中心点坐标信息表达式为

上述过程完成了采摘目标的识别，并确定了目标的采摘中心点，为目标的精准定位提供支撑。

1.4 采摘机器人目标定位

依据1.3所示流程获取左、右图像全部目标的采摘中心点，由于左、右摄像机位置不一致，其对应图像中的目标数量可能也不同，因此需要通过立体匹配确定左、右图像中采摘目标的对应关系，完成采摘中心点的正确匹配，以此为基础，计算视差数值，实现采摘目标的精准定位，为采摘机器人的应用提供准确的数据支撑[11-12]。

依据60组岩石力学参数测试结果，针对二2煤层综合机械化开采和巷道支护提出以下4点建议：①在二2煤层顶底板岩石硬度普氏系数小于6的区域可以进行综采，普氏系数大于6的区域难以进行综采。②对于11204工作面直接顶以砂质泥岩为主，直接底以砂岩为主，可采集工作面部分顶板岩样进行硬度测试，视情况决定是否综采。③建议不能进行综采的区域考虑底板穿层孔等其他区域治理瓦斯措施。④建议对于运输巷和回风巷围岩为泥岩和部分砂质泥岩的软岩区域适当加强支护。

此研究应用匹配代价函数来衡量采摘中心点之间的相似度，表达式为

以式(8)计算结果为基础，制定特征点匹配规则，表达式为

通过上述过程实现了采摘机器人目标的精准定位，为采摘机器人的应用与发展提供一定的助力。

2 实验与结果分析

选取文献[2-3]方法作为对比方法1与2，设计采摘机器人目标定位对比实验。

2.1 实验工况设置

为了提高实验结论的准确性，设置10种实验工况，如表1所示。每一种实验工况背景下，左图像目标数量、右图像目标数量与目标匹配数量存在着较大的差异性，符合提出方法应用性能测试需求。

表1 实验工况设置表

2.2 立体视觉摄像机标定

利用标定后的立体视觉摄像机安装到采摘机器人上，在10个工况下的图像目标数量采集到700×600像素的图片1.4G。通过平滑预处理将采集到的图片分辨率压缩为500×500像素。

本文所使用的实验平台是处理器频率为2.53GHz的个人计算机，内存为4GB，视频内存为1GB。算法由MATLABR2016a编程实现。图像训练集和测试集比例设置为6∶4。采用Python编程语言在Tensorflow深度学习框架上进行算法的训练和测试。

2.3 实验结果分析

以设置的实验工况，采集的图像为基础，进行采摘目标定位实验。通过采摘中心点匹配结果与采摘机器人目标定位误差来显示提出方法的应用性能。

选取某种实验工况作为背景，应用Sobel算子获得的采摘目标边缘检测结果如图2所示。

图2 采摘目标边缘检测结果

由图2可知，本文方法可以有效检测采摘目标边缘。采摘目标边缘类似于椭圆形状，故采用椭圆替代采摘目标外轮廓，以其中心作为采摘中心点进行匹配定位。同时利用其他两种方法进行目标定位，3种方法的中心匹配结果如图3所示。

图3 采摘中心点匹配结果

图3中，绿色圆圈代表采摘中心点，连线代表匹配结果。提出方法可以准确的匹配左、右图像中的采摘中心点，而对比方法1与2均存在着采摘中心点匹配错误的现象，表明提出方法采摘中心点匹配精度更高。

应用提出方法与对比方法获取采摘机器人目标定位结果，以实际目标位置为标准，计算采摘机器人目标定位误差结果如图4所示。相较于两种对比方法，应用提出方法获得的采摘机器人目标定位误差数值更小，最小值为1.0%。

图4 采摘机器人目标定位误差

实验结果表明，与对比方法1与2比较，应用提出方法获得的采摘中心点匹配精度更高，采摘机器人目标定位误差数值更小，充分证实了提出方法的应用性能更好。

3 结束语

智能化是农业未来发展的主要方向之一。随着采摘机器人的制造与应用，农业收获环节效率得到了大幅度提升，但采摘机器人目标定位缺陷也逐渐显现，制约着采摘机器人的应用与发展，故提出基于立体视觉匹配的采摘机器人目标定位方法。测试结果表明，提出方法有效提升了采摘中心点匹配精度，降低了采摘机器人目标定位误差，能够助力农业发展。

[1] 庄苏锋，屠大维，张旭，等. 水下双目立体视觉对应点匹配与三维重建方法研究[J]. 仪器仪表学报，2022, 43(5): 147-154.

[2] 雷旺雄，卢军. 葡萄采摘机器人采摘点的视觉定位[J]. 江苏农业学报，2020, 36(4): 1015-1021.

[3] 徐凤如，张昆明，张武，等. 一种基于改进YOLOv4算法的茶树芽叶采摘点识别及定位方法[J]. 复旦学报（自然科学版），2022, 61(4): 460-471.

[4] 郭倩，张福杨，孙农亮. 融合多特征表示和超像素优化的双目立体匹配[J]. 计算机工程与应用，2020, 56(1): 216-223.

[5] 程子怡，卢荣胜，毛翠丽. 光亮表面双目立体视觉三维形貌测量方法[J]. 激光与光电子学进展，2020, 57(7): 196-203.

[6] 黄青丹，何彬彬，宋浩永，等. 基于双目立体视觉的目标空间坐标计算及姿态估计[J]. 华南师范大学学报（自然科学版），2020, 52(2): 9-13.

[7] 崔新男，汪旭光，王尹军，等. 基于立体视觉的数字图像相关方法在爆破抛掷作用研究中的应用[J]. 四川大学学报（工程科学版），2020, 52(1): 102-109.

[8] 刘妤，刘洒，杨长辉，等. 基于双目立体视觉的重叠柑橘空间定位[J]. 中国农业科技导报，2020, 22(9): 104-112.

[9] 郑坤，姜文正，卢晓，等. 基于双目立体视觉的海浪波面三维重建技术[J]. 科学技术与工程，2021, 21(6): 2392-2396.

[10] 马洪涛. 排球运动规划在采摘机器人识别定位中的应用[J]. 农机化研究，2020, 42(6): 191-196.

[11] 杨萍，郭志成. 花椒采摘机器人视觉识别与定位求解[J]. 河北农业大学学报，2020, 43(3): 121-129.

[12] 李涛，邱权，赵春江，等. 矮化密植果园多臂采摘机器人任务规划[J]. 农业工程学报，2021, 37(2): 1-10.

[13] 高梦圆，马双宝，董玉婕，等. 基于实例分割苹果采摘机器人视觉定位与检测[J]. 江苏农业科学，2022, 50(3): 201-208.

[14] 陈欣欢，常辉，李能菲. 双臂空间机器人在数字化车间智能制造中的应用[J]. 遵义师范学院学报，2022, 24(5): 87-91.

[15] 秦中. 一种空间经纬网的地表面影像填图方法[J]. 遵义师范学院学报，2022, 24(1): 96-98.

Target location method of picking robot based on stereo vision matching

JIN He

(College of Automotive and Electromechanical Engineering, Lu'an Vocational Technical College, Anhui Lu'an 237158, China)

In order to solve the problem of large target positioning deviation in harvesting robots, a target positioning method for harvesting robots based on stereo vision matching is proposed. Introduce a stereo vision model to obtain the target image, and use a linear smoothing filter template to eliminate noise in the target image. Apply Bouguet algorithm for stereo correction of left and right image pairs. Apply the Sobel operator to detect the edge of the picking target, determine the picking center point of the target, and determine the corresponding relationship between the picking targets in the left and right images through stereo matching, completing the correct matching of the picking center point and achieving precise target positioning of the picking robot. The test results show that the proposed method achieves higher matching accuracy for the picking center point, with a minimum target positioning error of 1.0% for the picking robot, reducing the target positioning deviation and achieving better application performance.

stereo matching；spatial positioning；picking robot；stereovision；target recognition；target positioning

TP391.41

A

1007-984X(2023)06-0047-06

2023-04-11

2021年安徽省高等学校自然科学研究项目“采摘机器人目标识别与定位研究”（KJ2021A1357）

金何（1982-），男，安徽六安人，副教授，硕士，主要从事机器人路径规划、图像识别与处理研究，ll568958@163.com。