融合场景理解与机器视觉的矿山巡检机器人导航避障研究

王 斌 田宝雄 赵明辉

(1.国能神东煤炭集团有限责任公司,内蒙古 鄂尔多斯 017200;2.中国神华能源股份有限公司神东煤炭分公司,陕西 神木 719315;3.同济大学电子与信息工程学院,上海 201804;4.中煤科工集团上海有限公司,上海 200030)

随着计算机技术的不断发展,人工智能技术已经逐渐被应用于各个领域,其中包括矿山巡检领域。 在矿山巡检过程中,机器人作为一种高效的工具,应用日趋广泛。 矿山巡检机器人是一种能够在矿山环境中进行巡检和检测的自主移动机器人,具有高效、安全、节能等优势。 但是,机器人巡检矿山时,往往需要面临很多复杂的地形和环境,例如山间峡谷、岩石堆放等,这些地形会给机器人导航和避障带来很大的困难,安全隐患也随之增加[1-3]。 矿山巡检机器人可以代替人类在危险和恶劣环境中进行巡检工作,提高矿山生产的安全性和效率。 在矿山巡检过程中,机器人需要在复杂的地形环境中自主导航和避障,这对机器人的场景理解和机器视觉能力提出了更高要求[4]。

矿山巡检是一项危险而重要的工作,需要人们在恶劣的环境下进行长时间的巡视和检查。 为了提高效率和安全性,矿山巡检机器人已经成为了一个备受关注的领域。 然而,传统的机器人导航技术往往只能依靠GPS 或激光雷达等设备进行定位和避障,这些设备在矿山环境中容易受到干扰或失灵[5]。 对此,近年来越来越多的研究者开始探索融合场景理解与机器视觉技术的矿山巡检机器人导航避障方法。 该类方法可以通过对场景信息的理解和分析,使机器人能够更加准确地感知周围环境,并做出更加智能化的决策[6-7]。 邵明志等[8]设计了一种多传感器信息融合算法,将陀螺仪、里程计和电子罗盘采集的数据进行融合。 该算法以多种导航定位传感器组合为融合单元,采用扩展卡尔曼滤波算法进行实现。 研究表明:通过这种算法的应用,移动机器人可以在复杂环境中进行自主定位,并且有效避开障碍物。 郭爱军等[9]提出了一种利用虚拟远程操控技术进行煤矿井下多旋翼飞行器避障的控制方法;构建了煤矿井下巷道多旋翼飞行器虚拟远程操控系统,在该系统中建立了虚拟巷道模型及全局导航地图,以此获得飞行器移动过程中已知的静态障碍物信息。 试验结果表明:该算法能够有效地实现煤矿井下多旋翼飞行器避障。现代导航和避障系统不仅需要机器人能够感知周围环境,还需要机器人能够理解这些环境,知道如何在不同环境下做出不同的响应。 在这个过程中,融合场景理解和机器视觉技术是十分关键的。 场景理解技术可以帮助机器人更好地理解周围环境和任务需求,提高机器人的自主性和智能性[10-12]。 机器视觉技术则可以帮助机器人准确地感知周围环境中的各类信息,包括障碍物、危险区域、巡检点位等。 通过融合场景理解和机器视觉技术,矿山巡检机器人可以更加精确地规划巡检路径,避开危险区域,同时可以根据场景需求自动调整巡检速度和机器人行为。

场景理解是一种基于计算机视觉、感知和软件工程等领域的技术,它可以实现对物体、场景和情境的检测、定位、识别和理解等多个层次的通用计算机视觉功能。 在矿山巡检机器人中,通过场景理解技术对矿山环境进行分析,可以识别矿石、设备和人员,并对矿山环境中的障碍物进行检测和分类,从而为机器人的导航和避障提供更加精准的信息[13-14]。 机器视觉技术可实现巡检机器人的自主感知和导航,通过图像处理、机器学习等技术,可以让机器人自主获取周围环境的信息,如物体位置、形状、大小、颜色等,并将这些信息转化为可处理的数字信号,提高机器人的识别和判断能力[15-17]。

基于以上技术手段,本研究提出了一种融合场景理解和机器视觉的矿山巡检机器人导航避障方法。首先通过机器视觉技术对矿山环境进行识别和定位,获取当前机器人所处的位置和周围场景信息。 然后,利用场景理解技术对矿山场景进行分析,包括识别各种矿石、设备和人员,并对矿山环境中的障碍物进行检测和分类。 最后,将融合后的场景理解和机器视觉信息应用于机器人的导航和避障控制,使机器人能够在复杂的矿山环境中精准地自主导航和避免障碍物。该方法的实现和应用有助于推进智能矿山建设,提高矿山生产效率、降低巡检成本。

1 模型架构设计与理论分析

1.1 模型设计的基本理念

场景理解可以帮助机器人更好地理解周围环境,识别出可能存在的危险因素。 机器视觉可以让机器人更准确地感知周围环境,并做出相应的反应。 具体来说,在矿山巡检中,场景理解可以帮助机器人识别出可能存在的危险因素,例如未爆炸的炸药、坍塌风险等。 同时,场景理解还可以帮助机器人识别出重要的设备和区域,并进行标记和记录。 机器视觉则可以帮助机器人更准确地感知周围环境,并做出相应的反应。 例如,在遇到障碍物时,机器人可以通过机器视觉技术快速识别出障碍物的位置和形状,并做出相应的避让动作。

1.2 场景理解

场景理解是指通过计算机对于真实世界中的场景信息进行分析和理解,在矿山巡检机器人导航避障研究中,场景理解包括以下用途[18-19]:

(1)环境感知。 通过传感器获取环境信息,如激光雷达、摄像头等,融合这些信息可以得到环境地图,进而确定机器人在环境中的位置和朝向。

(2)障碍识别。 根据环境地图,结合机器视觉、深度学习等技术,能够自动判断环境中的各类障碍物或危险区域,进而规避风险。

(3)规划路径。 利用场景理解的地图和障碍物信息,可以进行路径规划和行进策略制定,确保智能化巡检机器人能够更快、更安全地完成任务。

(4)增强决策能力。 通过分析和理解场景信息,可以系统化产生是否移动、选择哪个方向移动等决策的过程,进而提高智能化巡检机器人的运行安全性和效率。

特征提取网络由特征预处理结构和多个不同维度的特征提取模块串联组成。 特征预处理结构在降维的同时从多个角度提取输入图像特征,减少噪声干扰、保障有效特征提取,并降低后续提取高维特征的计算量。 特征提取模块通过逐层提取并融合特征信息,以密集连接的方式提升整体网络的非线性表达能力。 特征提取网络结构如图1 所示。 本研究场景理解网络的详细结构参数设置见表1。

表1 场景理解的详细网络结构参数Table 1 Detailed network structure parameters for scenario understanding

图1 场景理解网络结构示意Fig.1 Schematic of scenario understanding network structure

综上所述,通过利用场景理解技术,能够大大增强矿山巡检机器人的导航和避障能力,通过智能化的反馈和决策过程,使得机器人能够实现快速、自主、精确地完成巡检任务。

1.3 机器视觉

机器视觉是一种利用计算机和传感器等技术,可以模拟人类视觉系统进行环境感知与决策的过程。机器视觉技术在矿山巡检机器人导航避障中的应用包括以下方面[20-21]:

(1)物体检测。 通过物体检测算法结合摄像头或其他传感器,能够识别出环境中各种不同类型的物体,包括设备、障碍物和建筑等,并对其进行标记。

(2)物体分类。 基于深度学习、卷积神经网络等技术,可以对环境中检测到的物体进行归类,进一步增强矿山巡检机器人对环境的感知能力。

(3)距离测量。 利用激光雷达、红外线等传感器,可以实现精确的距离测量,通过建立环境中物体之间的距离关系,提供更精确的信息来支撑导航避障算法运行。

(4)地图构建。 根据机器视觉技术获得的数据,在三维空间下建立矿场地图,提供给导航规划算法使用,以实现智能化的路线规划和导航操作。

(5)智能决策。 结合机器视觉技术所获取的环境和障碍信息,可以运用深度学习、强化学习等技术,进行决策,并实时调整巡检机器人行为,从而提高其导航避碍能力。

首先,将彩色图像进行灰度化处理,然后采用多帧平均法建立基于灰度图的背景模型:

式中,Ak是第k帧矿山巡检图像中的背景模型;m为矿山巡检图像帧数;A(x,y) 为矿山巡检图像中各个像素点的灰度值;Bk(x,y) 表示在第k帧矿山巡检图像序列中由所有像素点所构成的整幅矿山巡检背景图像。

从当前帧的矿山巡检灰度图像Ck(x,y) 中减去该矿山巡检背景图像Ak(x,y) ,再进行二值化处理,得到矿山巡检前景图像:

式中,T为阈值,决定了图像分割的精度和效果,本研究设置为100。

综上所述,机器视觉技术的应用对于矿山巡检机器人导航避障非常重要,具有丰富的场景感知和辨识能力,通过高度自动化和精细化处理,可以为矿山巡检机器人提供更贴近真实生产环境条件的数据支撑和操作指引。

1.4 融合场景理解和机器视觉的分析

为便于计算,本研究将矿山巡检机器人外形简化为矩形,并分别标记车辆轮廓线左前点、右前点、右后点、左后点、后轴中点为A、B、C、D、M′。 记RA、RB、RC、RD、R为车辆轮廓各顶点及后轴中点M′的行驶路径圆弧半径。 矿山巡检机器人从起始点出发,不断调整矿山巡检机器人位置和姿态角,然后沿圆上圆弧行驶进入矿山。 当矿山巡检机器人定转角运动时,其各点运动轨迹为定圆。 因此,由几何关系可知,机器人定转角行驶时,车位尺寸需满足以下条件:

式中,lad和lab分别为矿山巷道的左侧和右侧宽度,m;Lr为矿山巡检机器人长度,m;LK为矿山巡检机器人宽度,m;RB和RC可分别进行如下计算:

式中,L为机器人后轴中点M′到前轴中点N的距离,m;Lf为机器人前轴中点N′到车头最前端的距离,m;R为机器人后轴中点M′的行驶路径圆弧半径,m。

矿山巡检机器人的最小车位尺寸可以进行如下计算:

以R为变量对上式求导,可得:

由上式可知:当机器人结构参数一定时,避障所需的车位尺寸与车辆运动灵活度即机器人转弯半径相关,所需车位长度随着转弯半径增大而增大,宽度随转弯半径增大而减小。 代入机器人结构参数,由上式可得车位最小长度与宽度随矿山巡检机器人转弯半径的相关联系。

由 Ackerman 转向几何原理[22]可知:

式中,φ为矿山巡检机器人前轴等效转角(弧度);L为轴距,m;R′为后轴中点运动曲线半径,m;ρ为路径曲线曲率,如图2 所示。

图2 Ackerman 转向几何原理Fig.2 Ackerman steering geometry

矿山巡检机器人是一种用于取代传统人工巡检的智能化设备。 在矿山巡检中,机器人需要在复杂、多变的地形和环境中进行导航,同时避免碰撞或跌落等意外情况,融合场景理解和机器视觉的模型框架如图3 所示。 为此,机器人需要完成以下步骤:

图3 矿山机器人导航避障框架Fig.3 Framework of mine robot navigation obstacle avoidance

(1)场景建模。 通过机器视觉技术,将矿山环境中的各种物体、建筑等进行三维建模,得到环境地图和空间布局信息。

(2)路径规划。 基于场景建模结果,机器人可以规划出最优路径,确定前进方向和速度,同时考虑到设备自身限制、风险评估等因素,确保安全与高效。

(3)避障检测。 机器人通过激光雷达、摄像头等设备进行障碍物检测和路径规避。 当机器人侦测到障碍物时,可以利用场景理解技术分析障碍物的性质(例如大石头或小石块)和位置,决定是停止或继续前进以及调整航向。

(4)定位更新。 机器人在行进过程中需要实时根据自身传感器读数来定位其在地图中的位置,这可以通过融合场景理解与机器视觉数据实现,如融合相机和惯性传感器的输出。

2 试验验证与分析

2.1 试验设置

本研究在Matlab2021b 软件上进行轨迹规划和避障算法的控制试验。 模拟设定一些包含不同类型障碍物和地形变化的测试路线,其中,包括不同类型的道路(如直线、弯曲、上坡、下坡等)、地形(如平整、崎岖、石头、沙土等)和障碍物(如大型设备、建筑物、悬崖等)。

试验步骤为:① 运行机器人获取环境信息,并将数据处理为可供深度学习使用的格式;② 利用经过训练的深度学习模型实现场景理解和距离估计;③ 基于场景理解和深度估计产生矿山地图,并进行路径规划和行进策略制定;④ 机器人进行自主导航,实时感知障碍物并进行规避。

试验指标为:① 导航成功率,机器人是否能够安全、快速地完成任务;② 避障成功率,机器人是否能够及时、准确地避免障碍物;③ 时间效率,机器人完成巡检任务的耗时;④ 精度,机器人对于矿山场景的理解和跟踪精度。

2.2 试验结果分析

为验证矿山巡检道路导航中线提取的有效性及与实际道路信息的偏差,本研究将矿山中常规道路、弯曲道路以及阴影道路3 种类型的图片(图4)传入MATLAB 软件进行处理。 在矿山图像中的路面上绘制等距的分割线,利用中心点公式计算各分割块中心点的虚拟坐标,并通过相机标定将虚拟坐标转换为实际屏幕坐标。 将实际画出的矿山巡检道路中心点连线与软件拟合成的虚拟导航线进行对比,分析其偏差情况,结果见表2。 在融合场景理解与机器视觉的矿山巡检机器人导航避障过程中,拟合坐标与实际坐标之间存在一定的误差,主要是由于摄像头畸变、姿态变化、光照变化等因素所致。 为了分析误差情况,本研究将实际测量得到的矿山中心点坐标与机器视觉算法计算得到的虚拟坐标进行对比。 通过求取两者之间的欧氏距离或者垂直距离等度量指标,对误差进行量化评估。 从试验结果来看,由于不同因素影响,拟合坐标与实际坐标之间的误差大小不同。 例如,对于弯曲道路和阴影道路,由于照明条件不佳,容易出现较大的误差;在常规道路等相对简单的环境下,误差则相对较小。 为了提高导航精度,可以在拟合算法中引入滤波技术,剔除异常值,进一步减小误差。

表2 拟合坐标与实际坐标的误差分析Table 2 Error analysis of fitted coordinates and actual coordinates

图4 不同类型道路Fig.4 Different types of roads

融合场景理解与机器视觉的狭小空间内矿山巡检机器人导航避障具有显著效果。 通过场景理解技术,可以获取矿山环境中大量的语义信息,如建筑物、设备、堆场等,并且将这些信息以地图形式进行表示。通过机器视觉技术,可以对矿山巡检机器人的周围环境进行感知,识别出不同类型的实体物体,并提供精确的位置和距离信息。 在导航避障方面,矿山巡检机器人可以通过融合场景理解和机器视觉技术来规划最优路径,避开各种障碍物和危险区域,实现高效安全地行进。 同时,场景理解与机器视觉的融合还可以提高矿山巡检机器人在夜间或恶劣气候下的导航能力。 从试验结果来看,融合场景理解和机器视觉的机器人导航避障效果明显优于单一技术的应用效果。导航速度更快且更准确,可以适应更为多样化的矿山巡检环境,提高了生产效率和安全性。

机器人避障试验仿真图是评估系统性能的有效手段,如图5 所示。 图中“五角星”符号所在位置表示矿山巡检机器人实体,曲线表示导航避障路线,直线框表示矿山中的障碍物。 仿真效果主要受到环境建模、光照条件、传感器配置等多因素影响。 在建模时,需要准确地将矿山环境中的各种实体物体以几何图形进行表示,并标注其语义信息。 光照条件的不同也会影响模拟环境中实体物体的外观和表现形式。同时,传感器的分辨率和视野范围也会影响系统的感知范围和精度。 从试验结果来看,融合场景理解与机器视觉的机器人避障试验仿真效果较好。在各种情况下,机器人均能够通过识别障碍物、规划最优路径等方式,在不同复杂环境下安全高效行进。 同时,仿真图清晰明了,反映了矿山环境中各种实体物体的位置、形态、颜色等关键信息,可以有效地评价系统性能。

图5 矿山巡检机器人避障试验仿真结果Fig.5 Experimental simulation results of obstacle avoidance for mine inspection robot

机器人导航避障过程中,成功率和时间效率是评价算法性能的重要指标。 4 次试验指标分析结果见表3。 表3 中,导航成功率反映机器人在目标点之间导航的成功概率。 在融合场景理解和机器视觉的情况下,机器人能够更加准确地识别环境中的关键信息,如道路、建筑物和障碍物等,并能够规划出更为优化的导航路径。 因此,导航成功率相对较高。 避障成功率反映机器人在行进中避开障碍物的成功概率。通过融合场景理解和机器视觉技术,机器人能够更好地感知到周围环境并及时调整行进路径,进而有效地避免碰撞。 时间效率主要衡量机器人从起点到达目标点所需的时间。 通过结合应用场景理解和机器视觉技术,机器人能够更快速准确地识别环境信息并规划出更优路径,从而缩短了导航时间。 同时,算法优化也能有效提高避障和导航效率,进一步提高时间效率。

表3 试验指标分析Table 3 Analysis of the test indexes

融合场景理解与机器视觉及其单一方法的导航避障路径长度对比如图6 所示。 由图6 可知:本研究方法可以得到最短的路径值。 总体来看,融合场景理解与机器视觉的技术应用,能够显著提高导航成功率、避障成功率以及时间效率,有助于推动机器人在矿山巡检等各种实际场景中的应用。

3 结 论

(1)本研究出了一种融合场景理解和机器视觉技术的矿山巡检机器人导航避障方法,不仅可以提高机器人在复杂矿山环境中的适应性和实用性,而且可以大幅度降低相关巡检工作成本,提高生产效率和安全性。

(2)基于场景理解和机器视觉技术的矿山巡检机器人导航避障方法可以更加精准地识别和定位矿山环境中的物体、设备和人员,并对矿山环境中的障碍物进行检测和分类,从而为机器人自主导航和避障提供更加准确的信息。

(3)随着人工智能和机器人技术不断发展,基于场景理解和机器视觉技术的矿山巡检机器人导航避障方法将不断得到升级和改进。 例如,可以引入先进的深度学习算法和强化学习技术,进一步提高机器人的感知能力,不断提升其智能化水平。