基于机器视觉的挖掘机辅助控制系统设计

张学东 张晨宇 许子文 马月坤

摘  要：液压挖掘机作为工程机械里公认的高技术机械，伴随着经济发展出现了一系列问题：技术要求高，市场需求大，导致了大量的人涌入该行业，但其施工质量和效率、功耗问题，以及安全问题愈发受到关注。基于双目视觉、物联网、嵌入式等技术研究通过双目视觉以及YOLOv5等技术进行挖掘机姿态识别和挖掘机施工深度测量，旨在降低挖掘机行业门槛、降耗增效、促进精准施工、提高施工质量、减少安全事故的发生概率。

关键词：机器视觉；YOLOv5；物联网；双目视觉；挖掘机辅助控制

中图分类号：TP391.4；TP18 文献标识码：A 文章编号：2096-4706（2023）09-0030-04

Abstract： As a recognized high-tech machinery in construction machinery， hydraulic excavators have emerged a series of problems with the economic development， such as high technical requirements and large market demand， which have led to a large number of people pouring into the industry， but their construction quality， efficiency， power consumption and safety issues are increasingly concerned. Based on the research of binocular vision， Internet of Things， embedded technology and other technologies， the excavator attitude recognition and excavator construction depth measurement are conducted through binocular vision and YOLOv5 technology， aiming to reduce the threshold of the excavator industry， reduce consumption and increase efficiency， promote accurate construction， improve construction quality， and reduce the probability of safety accidents.

Keywords： machine vision; YOLOv5; Internet of Things; binocular vision; excavator auxiliary control

0  引  言

随着中国经济近年来的快速发展，基础设施建设和矿产开发等工程量也越来越大，目前我国的工程机械领域仍是一个劳动密集型的产业，2020年9月工信部发表了《建材工业智能制造数字转型行动计划（2021—2023年）》，该计划旨在促进我国工业方面的自动化、智能化和无人化的变革。2021年4月发表《“十四五智能制造发展规划”》（征求意见稿），旨在加强包括高性能控制等关键核心技术攻关，大力发展智能制造装备，且主要是针对感知、控制、决策、执行等环节的短板弱项。在“新基建”和“中国制造2025”的政策推动下，技术革新传统行业的浪潮四起，工程机械设备智能化、无人化的升级革新可以显著减少作业安全事故、降本增效，赋能工程机械企业提升产品竞争力，行业的发展朝着智能化方向升级日渐清晰。

挖掘机被称为工程机械领域的皇冠明珠，被广泛用于资源开采、建设施工、抢险救灾应急救援中。但是其工作在高危的环境中，施工的环境复杂，路况起伏不平，高噪音、高粉尘、安全事故易发生等，虽然司机薪资较高，但是很多年轻人不愿意进入这个圈子，现存的熟练主力工人都是三四十岁的中年人为主，恶劣的作业环境、频发的安全事故、降本增效的要求等是实际工业生产中的挑战，也是挖掘机向智能化方向迭代的推动力量。

我国经济在疫情期间依然稳定上升，且随着物联网、5G技术等深入推广与应用，智慧工业经济整体健康发展，处于良性循环。由数据显示，2022年的头两个月，全国工业规模增加值为7.5%，发展速度比較快。同时对于需要使用挖掘机的行业，如采矿业、高技术制造行业、铁路行业等增长规模均大于7.5%。挖掘机辅助控制系统的市场需求量大，未来发展前景好[1]。

1  挖掘机姿态识别概述

1.1  视觉技术概述

视觉是人体感知三维世界的主要手段之一。据统计，人类获取外部信息的80%都来源于眼睛，位于五官之首，通过视觉，我们可以获取外界事物的大小、明暗、颜色、状态等信息，还可以在不需要进行身体接触的情况下，直接与周围环境进行智能交互，立体视觉是在双眼共同作用下产生的一种感觉，同一物体在左右眼的视网膜像是有微小差别的，这种差别给人的视觉系统提供了一种立体视觉的最基本的信息—视差[2]。立体视觉使我们得到了一个对周围世界生动而精确的相对深度的分辨信息，机器视觉是使用计算机技术去实现人眼所能实现的立体视觉。机器视觉的最大特点是观察的器件与被观测的对象之间无接触，因此对观测双方都不会产生任何影响以及损伤等，这是其他方式所无法比拟的一大优点。另外，视觉方式所能检测的对象的领域也十分广泛，即便是人肉眼无法观察的东西，机器视觉都可以观察，如：红外线、微波等肉眼无法观察的东西，而机器视觉则可以利用相关的器件组成视觉传感器形成红外线、微波、超声波等图像，其很大程度地扩大了人类的视觉感应范围[2]。此外，其还有一个点就是：人无法长时间地对物体进行监测观察，而机器视觉却不知道疲劳，可以始终如一地进行观测，因此机器视觉可以应用于长时间恶劣高危的工作环境，为提高机器的智能、增强机器解决问题的能力提供新的思路。

1.2  挖掘机辅助控制领域概述

目前在挖掘机辅助控制领域中，国外对挖掘机的研究起步较早，挖掘机姿态检测方式相对于国内处于比较先进的水平，并且已经在坡度控制、轨迹规划和远程遥控等领域实现了从理论研究到实际应用[3]。如：Leica公司采用基于GPS与数字地图的Dozer2000导航系统，在无须勘察标桩等辅助设施的情况下，能够精确地控制推土机的推土板和识别确定机器的位置，实现线上远程虚拟推土作业。同样的还有美国Trimble公司的产品SiteVisionGPS，通过可视化显示系统指导驾驶员作业，可实现坡度的精确控制，其精度可达厘米级[3]。在国内，由于经济水平以及科技技术以及其他高新技术的制约，相关研究起步较晚，目前徐工、三一重工、中联重科等基本都是在挖掘机上添加传感器来实现挖掘机姿态识别，进行挖掘机辅助控制[4]。

传感器的选择决定了挖掘机姿态的测量精度，而传感器的选择需要考虑以下的几个方面：不同的传感器的适用条件不同，工作环境也不同；不同的传感器所能达到的精度也不同；传感器的成本高低等。目前传统的传感器检测挖掘机姿态角存在以下问题：有些传感器安装靠近油缸或者输油管不便安装；接触式传感器长期暴露在外界，容易磨损；传统接触式传感器如果长时间的使用会导致精度降低；精度较高的光电类传感器需要稳定的工作环境，挖掘机一般工作在复杂高危环境，路况起伏不平，目前大多数传感器无法满足在该条件下的测量精度要求[5]。因此探究视觉技术在挖掘机辅助控制的应用及其重要。

2  双目识别系统设计

2.1  双目识别系统设计

挖掘机姿态检测系统（双目识别系统）的设计目的是为了测量动臂、斗杆、铲斗的姿态角，因此需设计安装一种便于双目摄像头识别以及能够体现出各机械器件的姿态角的被检测点—标靶。在实际的测量识别中，由于双目摄像头中的轮廓位置的变形程度大，不易检测，而标靶在图像中的变形很小，仍易于被检测到。如图1所示，分别在挖掘机的动臂、斗杆，以及轿点（斗杆与铲斗连接处）贴3，2，2个，其中标靶中点的连线分别与对应部件平行，其中对于动臂我们粘贴3个标靶是由于其跨度较大，两个不是能够很准确的表示出其姿态，为方便后期处理，因此设计三个标靶位于动臂上。因此，对于动臂和斗杆，测量出鞍点连线的倾角即测出了对应工作臂的姿态角；对于铲斗，测出铲斗连杆姿态角后，通过数学计算（D-H算法）即可计算出铲斗姿态角。在设计标靶的时候，由于使用机器视觉来做相关方面，因此我们选择适合于YOLOv5算法的分类相关知识来制作靶标，每个靶标使用二进制编码，其原本为正方形加中心的圆形，其中每个圆形设计是为了圆心的连线和部件对应平行，而正方形是为了设计编码，将每边三等分，每个标靶的对应边都不一样，其中缺失的为0，存在的记为1。通过YOLOv5算法将每个标靶识别之后判断标靶的类型，再通过双目摄像头生成的点云图识别空间三维坐标进行处理，计算出各鞍点的空间坐标，最后计算出挖掘机臂姿态，系统总体流程如图2所示。

我们针对挖掘机设计了适用的挖掘机车载双目系统，由于其存在一定的畸变，我们针对畸变的图像采取了以下操作进行矫正：

1）将三维空间各个点投影到归一化平面。归一化坐标为[x，y]T。

2）对归一化平面上的各个点进行径向畸变以及切向畸变的纠正。

3）将纠正后的点通过内参数矩阵投影到像素平面。

2.2  模型算法

2.2.1  YOLOv5

关于YOLOv5算法的选择，YOLOv5是YOLO算法体系中较为优秀的产品。该模型的检测精度较高，推理速度快，据官方说法，其最快检测速度可达140帧/秒。YOLOv5目标检测网络模型的权重文件较小，比YOLOv4小了近90%，但是其较YOLOv7还存在一定差别，由于课题设计以及相关技术的成熟程度，我们需要在移动式设备上部署模型算法，因YOLOv5网络的优点是检测精度高，重量轻，同时检测速度快，为了目标检测的准确性、实时性和轻量化，综合考虑我们选择了YOLOv5s算法进行本课题设计研究。

2.2.2  SGBM

1）SGBM中采用了水平Sobel算子。图像处理的公式：

2）图像上每个像素由水平处理Sobel运算符映射到新图像。映射公式如下所示：

3）成本计算是得到SAD的方程（绝对差值之和）之间的梯度成本原始图像和处理后的图像。渐变成本是采样中的图像梯度信息。

4）动态规划：

cn表示图像中的通道数，SADSize、SAD窗口的大小是一个奇数。

5）后处理：

唯一性测试：如果成本最低，则视差窗口是成本第二低的（1+A/100），则对应于最低成本的视差值为像素的视差，否则视差值为0。

亚像素插值：插值方程为：

一致性检查：disp12MaxDiff，错误阈值，默认为1。

2.2.3  D-H

D-H建立的变换矩阵的过程类似于欧拉角，其变换顺序为：沿Xi轴从Zi向Zi+1移动ai；绕Xi轴从Zi向Zi+1旋转ai沿Zi轴从Xi-1向Xi移动di；绕Zi轴从Xi-1向Xi旋转θi；所以一个关节的变换矩阵如下：

3  模型训练及其结果

3.1  模型训练

将双目摄像头采集到的数据使用labelme软件进行打标，对应相应的标靶，YOLOv5算法識别结果如图3所示，模型测试结果如图4所示。

3.2  结果

我们将模型部署在树莓派4B上，对模型准确度进行测试，将其与传统角度传感器测量结果进行比对，如图5所示，在与传统传感器测量对比当中，其误差较小，与传统的接触式传感器基本一致，并且在60 s的视频测试当中，其误差基本在-1°～1°之间，如图6所示，误差在合理范围内，而且满足实时性的需求。

4  结  论

综上所述，基于机器视觉的挖掘机辅助控制系统设计能够实现使用双目视觉（机器视觉技术）测量挖掘机姿态角，达到传统的接触式角度测量传感器的相同的效果，并且其很好地解决了传统传感器面临的各种难点（工作环境、易损耗、精度等难点），相应成本以及使用寿命较传统传感器更长，此外该模型算法的设计可以嵌入到树莓派4B移动设备达到实时检测，便于嵌入式开发以及实际应用，在挖掘机向智能化方向迭代过程中提供了新的解决方案，在辅助挖掘机施工，提高效率，降低风险，精准施工方面发挥了重要作用。为挖掘机驾驶员提供优质辅助控制，降低操作风险，发挥了重要的作用。

参考文献：

[1] 杨华勇.工程机械智能化进展与发展趋势（二） [J].建设机械技术与管理，2018，31（1）：38-39.

[2] 朱湘冀.机械式挖掘机机器人化的探讨 [J].工程机械，1995（9）：15-17+41.

[3] 周翔，何明，夏利锋.物联网与工程机械 [M].北京：电子工业出版社，2012.

[4] 戴兴建.挖掘机机器人化技术研究 [D].沈阳：东北大学，2010.

[5] 李傲傲.挖掘机姿态检测系统研究 [D].泉州：华侨大学，2019.

作者简介：张学东（2003—），男，汉族，河北张家口人，本科在读，研究方向：电子信息工程、机器视觉、人工智能。