SLAM技术及其在矿山无人驾驶领域的研究现状与发展趋势

2024-12-31 00:00:00崔邵云鲍久圣胡德平袁晓明张可琨阴妍王茂森朱晨钟
工矿自动化 2024年10期
关键词:无人驾驶

关键词:矿山智能化;无人驾驶;即时定位与地图构建;多传感器融合SLAM;视觉SLAM;激光雷达SLAM

中图分类号:TD67 文献标志码:A

0引言

无人驾驶是矿山智能化关键技术之一[1],主要包括环境感知、定位建图、规划决策、自动控制等几大部分[2],其中定位建图主要为无人驾驶系统提供地图及位姿信息。地图包含周围环境信息,是无人驾驶系统执行后续规划决策的重要依据,需要随环境变化而实时更新;位姿信息包括无人驾驶设备相对于全局地图的位置及姿态,需要在设备行驶过程中实时更新。对于无人驾驶系统而言,定位建图需确保实时性。同时,地图构建需首先明确自身位姿,将此刻获取的环境信息增加至地图;定位的前提在于环境信息与地图信息的匹配。由此即时定位与地图构建(Simultaneous Localization and Mapping, SLAM)技术应运而生,为无人驾驶实时定位建图提供了强有力的支撑。地面无人驾驶领域针对SLAM 技术已展开多年研究,并取得了丰富成果。而矿山无人驾驶领域的SLAM 技术尚处于理论研究及实验室验证阶段,具有明显的滞后性。

为推动SLAM 技术在矿山无人驾驶领域的发展,明确未来的研究方向,本文系统总结了SLAM 技术研究现状及未来发展趋势。首先阐述了SLAM 技术的原理及框架;其次从视觉、激光、多传感器融合3 个方面归纳总结了地面主流的SLAM 方案,为矿山SLAM 技术发展提供可借鉴模板;然后重点探讨了SLAM 技术在矿山无人驾驶领域的研究现状,提出以多传感器融合SLAM 作为井工煤矿的首选方案;最后结合相关硬件及技术的发展趋势,归纳总结矿山无人驾驶SLAM 技术的发展方向。

1SLAM技术原理及研究进展

SLAM的概念由R. C. Smith 和P. Cheeseman[3]于1986年提出,发展至今已有近40 a,SLAM 使无人驾驶设备在未知环境中同时实现自身定位与环境地图构建[4]。SLAM 系统框架分为数据预处理、前端里程计、后端优化、回环检测和地图构建5 个部分,如图1所示。通过数据预处理对环境感知传感器获取的数据进行噪声剔除、有用信息(点云特征、图像灰度等)提取。将预处理后的数据交由前端里程计处理分析,通过特征匹配等手段快速估算相邻数据帧之间无人驾驶设备的位姿变换,此时估计位姿存在误差。后端优化负责全局轨迹优化,得出精确位姿,以构建全局一致性地图。在后端优化过程中,回环检测重复执行,识别相同场景,以实现闭环数据关联,消除前端里程计累计误差。

SLAM 技术所使用的环境感知传感器包括相机、激光雷达、惯性测量单元(Inertial" MeasurementUnit,IMU)等,根据传感器不同将其分为基于相机的视觉SLAM 技术、基于激光雷达的激光SLAM 技术、多传感器融合SLAM 技术[5]。

1.1基于相机的视觉SLAM技术

以相机为基础传感器的视觉SLAM 技术获取周围环境信息,经过前后端处理完成位姿估计与地图构建。凭借相机自身成本低、安装方便及所获取环境信息丰富等优点,视觉SLAM 技术始终是无人驾驶领域的研究热点[6],众多学者围绕其展开研究。

文献[7]提出单目即时定位与地图构建(Monocular Simultaneous Localization and" Map-ping,Mono−SLAM)算法,实现了30 Hz 的视觉实时定位与建图功能。Mono−SLAM 首先利用特征检测子与特征描述子实现图像特征提取,然后根据所提取信息确定相邻帧相似特征,最后通过计算相似特征的坐标转换关系完成位姿估计及地图构建。但是Mono−SLAM 位姿估计与建图的逐帧优化在同线程执行,计算量较大,仅适合处理环境中的稀疏特征,以建立稀疏地图(图2 (a));未形成“回环检测”的概念,造成误差随算法运行时间及距离不断积累,导致位姿精度、地图质量无法保证。

文献[8]针对上述问题,以多线程、关键帧的全新思路提出并行跟踪与地图构建(Parallel Trackingand Mapping,PTAM) ,其将相机位姿优化及构建地图划分为2 个独立线程同时执行,以降低计算压力,节省时间;引入关键帧的概念,基于少量的关键帧图像优化位姿与地图,在不影响精度的同时大幅降低计算量,进一步确保SLAM 的实时性。“多线程”及“关键帧”概念为后续相关研究提供了可借鉴思路,在SLAM 发展过程中影响深远。但是,累计误差问题仍未得到有效处理,大环境下易产生地图漂移等现象。

文献[9]针对PTAM 的累计误差问题,提出基于词袋模型的回环检测线程,构建了包含位姿估计、地图构建及回环检测三独立线程的基于方向加速分割测试特征检测子和旋转二进制鲁棒独立特征描述子的即时定位与地图构建(Oriented Features fromAccelerated Segment Test and Rotated Binary RobustIndependent Elementary Features SimultaneousLocalization" and Mapping, ORB−SLAM)框架(图3)。相较于PTAM,ORB−SLAM 框架完善,功能齐全,具有良好的实时性及精度。经过多年发展, ORB−SLAM 凭借卓越的性能已成为特征点法视觉SLAM的代表技术之一。不过其仅支持单目相机,易产生尺度漂移、旋转估计失效等问题。随着双目相机、RGB−D 相机的成熟, 文献[10]提出ORB−SLAM2,增加了双目及RGB−D 相机的接口,拓宽了系统的应用范围。同时,由于双目相机及RGB−D 相机可以提供深度信息,尺度漂移等问题得到有效抑制。但是ORB−SLAM2 所建立的地图较为稀疏,无法还原空间结构,更适合解决对地图密度要求不高的SLAM问题。

Mono−SLAM、PTAM 及ORB−SLAM 系列算法可归纳为一类以特征提取与匹配为核心的特征点法视觉SLAM,是视觉SLAM 发展较早的一类技术,目前理论已相对成熟。但是由于此类SLAM 技术特征提取及匹配大量占用计算资源,且性能受环境特征、光照变化、动态物体等影响,应用范围较窄,仅适合特征明显、光照稳定的小尺度环境。

针对上述问题,仅提取图像灰度值而无需特征匹配的直接法视觉SLAM 技术被提出,并成为当下主要的研究方向。文献[11]在Mono−SLAM 和PTAM的基础上提出密集跟踪与地图构建(Density Trackingand Mapping,DTAM) ,首次实现了基于图像灰度值的位姿估计和地图构建。假设相邻图像帧之间的灰度值不变,根据灰度值是否相同确定相邻图像帧的像素点对应关系,最终通过计算相似像素点坐标关系实现SLAM 功能[12]。由于灰度值保留了环境丰富的颜色信息,DTAM 可以复原周围环境,构建稠密地图(图2 (b))。但是,大量像素点灰度值的提取工作需要借助高性能的GPU 才可完成,对硬件要求较高;当相邻图像帧灰度值变化较大时,像素点灰度值匹配难度加大,性能将断崖式下降。

为降低直接法视觉SLAM 对高性能硬件的要求, 同时解决大尺度场景下的定位建图问题, 文献[13]提出了大尺度直接单目即时定位与地图构建(Large-Scale Direct Monocular SimultaneousLocalization and Mapping, LSD−SLAM) ,框架如图4所示。LSD−SLAM 采取关键帧的思路,仅利用满足阈值条件的关键帧图像进行位姿估计与地图构建,可大大减少计算量。由于其主要对关键帧图像进行优化处理,环境的深度信息存在缺失,构建的地图类型为半稠密地图(图2 (c) ) ,并且同样受限于直接法工作原理,对相机曝光参数、环境亮度变化敏感,当相机快速运动或环境亮度变化明显时极有可能失效。

以DTAM、LSD−SLAM为代表的直接法视觉SLAM可控制建图的稠密程度,较特征点法单一的稀疏建图更具优越性,同时灰度值匹配机制使得其在特征缺失场景下仍具备较强的位姿估计和建图能力。但是,直接法视觉SLAM 的性能同样受动态物体影响,无法应用于动态场景。

针对动态环境中视觉SLAM 的应用问题, 文献[14]通过卷积神经网络预测环境深度,弥补单目相机视觉SLAM 在动态环境中深度估计的不足,最终呈现的位姿估计精度明显优于LSD−SLAM。文献[15]将语义分割网络与ORB−SLAM2 结合,借助环境语义信息对动态物体进行剔除,提升算法在动态场景的定位精度及鲁棒性。由于深度学习往往需要大量训练成本及高性能GPU,当下较难部署于嵌入式平台,是未来亟待解决的问题。

1.2 激光SLAM技术

激光SLAM 以激光雷达为基础传感器感知环境信息,经后续数据处理实现定位建图。由于激光雷达具有测距精度高、不受环境光照影响等优点,不少学者展开了激光SLAM 技术的研究。

前期的激光SLAM 研究主要为2D 激光SLAM研究。文献[16]将SLAM 问题分解为位姿估计和地图特征后验估计2 个子问题,前者基于粒子滤波实现,后者基于扩展卡尔曼滤波实现。以此思路构建的快速即时定位与地图构建(Fast SimultaneousLocalization and Mapping,Fast−SLAM)可处理非线性系统,构建环境的平面地图。但是,算法执行后期粒子耗散现象严重,导致定位及构图精度骤降。目前已逐渐被淘汰。谷歌提出的Cartographer 算法[17]较Fast−SLAM 框架更加完善,新增传感器同步等多种功能。其通过创建子图的方式提高数据匹配精度和效率,得到的大量子图可保留丰富的环境信息,有助于大场景建图;在回环检测环节采用分支定界法提升回环检测速度。目前,Cartographer 算法是鲁棒性最佳的开源SLAM 算法之一,但该算法的计算资源消耗较大,且完整复杂的框架学习难度较大。

在应用场景相对简单及3D 激光雷达技术尚不成熟、成本相对较高的情况下,Fast−SLAM、Cartographer等仅可建立基于2D 平面地图(图5 (a))的2D 激光SLAM,可满足基本的定位和建图需求,现已成为室内服务机器人、扫地机器人等功能单一智能体的首选定位方案。但是伴随着无人驾驶系统环境感知需求的不断提升及3D 激光雷达技术逐渐成熟,可建立基于3D 环境地图(图5 (b))的3D 激光SLAM 成为更具发展前景的定位建图方式。

文献[18]提出激光雷达里程计与地图构建(LiDAR Odometry and Mapping,LOAM)算法(图6) ,将定位和建图的复杂问题进行划分,以2 种频率、精度不同的算法执行,一种高频率但低精度算法用于激光里程计,估计相邻激光雷达扫描帧的运动,另一种算法以低频率高精度的方式,借助激光里程计获取的运动信息消除点云畸变,对点云进行精确匹配并注册至地图,最终将低频率高精度算法结果即所构建的地图以低频率输出,2 种算法的融合结果即估计位姿以高频输出,实现快速定位与高精度建图。但是其框架中不包括后端优化与回环检测环节,易在大尺度场景、空旷环境下出现漂移现象。

文献[19]针对LOAM 无回环检测的缺点,提出轻量级地面优化激光里程计与地图构建(Lightweight and Groud-Optimized Lidar Odometry and Mapping,LeGo−LOAM),利用关键帧及局部数据帧构建回环检测所需的Loop−Submap(回环子图)。除此之外,LeGo−LOAM 新增地面分割环节,先对激光雷达获取的点云数据进行地面分割,然后将地面点云与非地面点云区分后进行特征匹配,可降低点云数据处理量,满足实时性的同时实现更高精度的位姿估计。但是当地面具有明显坑洼特征,地面分割可能出现漏检或误检,导致算法精度降低。

文献[20]针对LOAM 无法直接应用至固态激光雷达的问题,充分考虑固态激光雷达Livox 小视场的特点, 通过优化LOAM 特征提取环节, 提出用于Livox 的激光里程计与地图构建(LiDAR Odometryand Mapping for Livox,LOAM−Livox)算法(图7),将激光SLAM 的应用研究由单一的传统机械旋转式激光雷达拓展至固态激光雷达。

伴随着深度学习的大规模流行,学者们开始研究基于深度学习的3D 激光SLAM 算法。文献[21]在LOAM 基础上引入语义分割概念和回环检测模块,实现大尺度环境下语义地图的建立。文献[22]引入RangeNet++构建的SuMa++算法,可利用语义分割网络输出的语义信息剔除环境中的动态物体,抗干扰能力较强。文献[23]构建了第1 个端到端的3D 激光里程计框架,通过单一神经网络模型即可完成全流程的位姿估计,并且精度可媲美LOAM,但其实时性较差。深度学习在激光SLAM 中的应用使得精度提升不再需要繁杂的配准、回环检测算法,但其资源消耗较大,对于硬件性能不高的无人驾驶智能体而言,不具备应用条件。

1.3多传感器融合SLAM技术

视觉或激光SLAM 技术通过单一相机或激光雷达即可实现,但是单一传感器存在易受环境干扰、无法适应复杂环境等缺点,多传感器融合是目前最佳的解决方法。

文献[24]基于图优化提出IMU 与单目相机融合的单目视觉惯性导航系统(Visual Inertial NavigationSystem – Monocular, VINS−Mono) , 框架如图8 所示。VINS−Mono 前端引入IMU 预积分模型,基于相机与IMU 的同步量测实时校正视觉估计位姿,后端基于滑动窗口进行图优化,即只根据一定时间间隔内的量测信息进行优化,抑制累计误差的同时避免过度增加计算负担。在VINS−Mono 基础上, 文献[25-26]分别提出用于移动设备的视觉惯性导航系统(Visual Inertial Navigation System for MobileDevices, VINS−Mobile) 及融合视觉惯性导航系统(Visual Inertial Navigation System – Fusion, VINS−Fusion),前者可应用至移动设备端提供定位,后者支持双目相机,应用范围进一步拓展。不足之处在于,VINS 系列算法基于灰度不变假设,且IMU 仅能提供短时间的精确位姿,无法长时间应用于光照变化明显场景。

文献[27]采用激光雷达−IMU 融合的方案, 在LeGo−LOAM 基础上提出基于平滑与建图的激光−惯性里程计(Lidar-Inertial Odometry via Smoothingand Mapping,LIO−SAM)算法(图9)。其后端引入因子图的概念,各类型数据可作为约束因子对定位建图进行优化,为后续融合其他传感器提供了更为宽泛的接口。凭借良好的性能及易扩展的框架,LIO−SAM 成为目前广为人知的多传感器融合算法。不过在退化场景及非结构化场景下,该算法会由于长时间缺少有效精确的观测而失效。

为进一步提高SLAM 算法的鲁棒性,文献[28]提出一种由激光雷达−相机−IMU 融合的基于平滑与建图的激光−视觉−惯性里程计(Lidar-Visual-InertialOdometry via Smoothing and Mapping, LVI−SAM) 算法(图10),由激光雷达与IMU 组合成为激光雷达−IMU 系统(LiDAR-IMU System,LIS),相机与IMU 组合为视觉−IMU 系统(Visual-IMU System, VIS) 。LIS 与VIS 既相互独立(可在对方系统失效时独立工作) 又相互辅助(LIS 提供VIS 缺失的深度信息,VIS 提供准确的初始位姿),因此该算法具有极佳的鲁棒性。

目前,主流的多传感器方案主要包括相机−IMU、激光雷达−IMU 及激光雷达−相机−IMU。融合传感器类型越多,构建的SLAM 算法鲁棒性越强,但融合难度及成本更高。因此,多传感器融合方案应根据实际应用场景进行选择。

在深度学习与SLAM 算法结合的大趋势下,有部分学者基于多传感器融合SLAM 算法开展了相关研究。文献[29]将VGG−16 卷积神经网络用于VINS−Mono 回环检测环节,有效降低了回环检测累计误差。文献[30]将PointPillars 网络应用至动态特征点的检测,便于去除动态目标并恢复静态特征点,理论上减轻了动态环境对激光−IMU 融合SLAM 的干扰,提高了激光里程计的鲁棒性。

上文未提及的常见多传感器融合SLAM 方案见表1。

2矿山无人驾驶SLAM技术现状

煤炭行业作为我国的支柱型能源行业,是我国国民经济的重要组成部分。但煤炭开采环境复杂、条件恶劣导致相关企业招工难、留工难,推动无人驾驶技术应用成为解决这一难题的首要举措。SLAM作为无人驾驶的关键技术,是矿山无人驾驶领域重要的研究方向。根据应用场景(图11)的不同,当前的SLAM 技术在矿山无人驾驶领域的研究可分为面向井工煤矿与面向露天矿山2 类。

2.1井工煤矿领域

井工煤矿深处地下, GNSS 信号缺失,而UWB,RFID,WiFi 等定位方式均需铺设配套设施,维护成本高。因此相关学者针对井下特殊环境,对凭借设备自身传感器即可实现定位建图的SLAM 技术进行了研究。

2.1.1井下视觉SLAM 技术研究现状

由于煤矿井下光照明暗交替,以相机为核心传感器的视觉SLAM 技术应用具有先天不足。因此,井下视觉SLAM 技术相关研究较少,仅有部分学者就如何优化现有视觉SLAM 技术开展了相关研究。

由于视觉SLAM 技术的核心在于图像间的特征匹配,改善图像质量是井下视觉SLAM 技术优化的首要举措。文献[47]在视觉SLAM 关键图像帧选取环节,引入包括几何结构、特征点均匀分布等多重约束,以提高关键图像帧的质量,增强特征匹配、回环检测等鲁棒性与精度。关键图像帧选取流程如图12所示。

文献[48]将图像增强算法应用于视觉SLAM 图像处理环节,并针对经过增强处理后的图像存在泛白、光晕的问题,提出改进双边滤波的Retinex 算法,进一步改善图像质量,算法流程如图13 所示。

文献[49]根据现有的特征检测子、特征描述子及匹配算法得出多种组合方案,并通过多组试验对5 种组合方案的关键点匹配数量、耗时及准确度等3 项指标进行评价。综合考虑3 项指标与实际应用需求后,选择采用不同的方案分别实现视觉SLAM的离线地图构建与实时定位功能:将匹配准确度更高的SURF(Speeded - Up Robust Features,加速稳健特征) +FLANN(Fast Library for Approximate NearestNeighbors,快速最近邻搜索库)组合用于离线状态地图构建,特征匹配耗时较短的GFTT(Good Features toTrack, 良好特征追踪) +BRIEF(Binary RobustIndependent Elementary Features,二进制鲁棒独立基本特征) +BF(Brute Force,暴力匹配)组合用于实时重定位。但双组合方案将增加视觉SLAM 的复杂程度,不利于其拓展应用。

提高图像质量或更改特征匹配方案的优化方法一定程度上改善了视觉SLAM 在井下应用的效果。但现有的优化方案存在以下问题:① 优化方案将增加原SLAM 算法的复杂程度,计算资源及硬件要求提高,不便于井下部署。② 相机易受光照条件影响的固有缺陷始终无法彻底改变,导致视觉SLAM 在井工煤矿环境应用受限。③ 煤矿地面颠簸造成的图像畸变、长距离巷道导致的特征缺失等问题进一步加剧视觉SLAM 技术的应用难度。因此,笔者认为以相机为核心传感器的视觉SLAM 方案并不适用于井工煤矿领域。

2.1.2井下激光SLAM 技术研究现状

激光雷达不受光照影响、抗干扰能力强的优点使得激光SLAM 相较于视觉SLAM 在井工煤矿领域的应用难度更低。因此,煤矿智能化领域的多数学者以井下激光SLAM 为研究方向开展了相关研究。2006年,文献[50]利用高精度激光扫描仪实现了煤矿巷道三维模型重建,验证了激光扫描技术在井下环境应用的可行性。但受限于技术成熟度,仅实现了离线状态下的环境地图构建,并通过手持装备实现,未搭载至可移动设备。2015年,文献[51]对蒙特卡罗定位算法与贝叶斯栅格地图构建算法进行研究、分析后,提出了用于井下搜救机器人的定位与建图算法。但未意识到后端优化、回环检测的重要性,因此框架存在功能单一、定位建图精度不高、鲁棒性不强等缺陷。

针对框架不完善的问题,部分学者提出以成熟且完整的地面激光SLAM 框架为基础进行适应性优化的解决方案。目前,主要的优化方式有2 种。

1) 以不同点云配准方法提高激光SLAM 点云匹配精度。文献[52]以井下搜救机器人为研究对象,开展了井下激光SLAM 研究,如图14 所示。基于激光点云满足正态分布的假设,其将正态分布变换(Normal Distributions Transform,NDT)理论应用至激光SLAM 的特征匹配、回环检测、位姿图优化等多处需点云配准的环节,取代传统迭代最近点(IterativeClosest" Point,ICP)方法。NDT 实际上是一种基于高斯分布的统计配准方法,通过匹配点云的高斯分布函数进行点云配准,受环境噪声、特征缺失等影响较小,因此可提高SLAM 算法在井下特征缺失场景的点云配准精度及鲁棒性。不过由于NDT 需对点云进行离散化处理,计算量较大,计算速度相对较慢。

文献[53]采用广义迭代最近点(GeneralizedIterative Closest Point,GICP)方法取代传统的ICP 方法,对激光SLAM 的点云进行配准,如图15所示。相较于ICP 方法,GICP 可通过点到点、点到面的方式确定对应激光点云点集,因此配准精度更高,可应对井下巷道等特征缺失场景。但是GICP 仍高度依赖最近点搜索匹配,当空间点云密集导致搜索量成倍增加时,算法计算效率降低,无法实时运行。

文献[54]针对煤矿长直巷道环境退化问题,提出NDT 与ICP 方法结合的双配准冗余机制,同时获取点云集合的几何特征及概率分布特征,以此提高激光SLAM 在特征缺失场景下点云匹配的准确率,进一步提高位姿估计精度。然而双配准冗余机制增加了SLAM 系统的复杂程度。

2) 针对特定激光SLAM 算法在井下应用存在的局限性进行优化。文献[55]针对井下环境中Fast−SLAM 的应用难题开展研究,提出利用粒子群优化算法对采样粒子质量进行改善,保证粒子多样性,缓解粒子耗散问题,并在此基础上基于图论优化全局地图及位姿,精度得到进一步提高。但是全局优化的做法势必导致计算速度降低,实时性无法得到充分保证。文献[56]通过求解局部最优的方式维持小基数粒子群,避免占用过多内存,同时设置有效粒子数阈值作为重采样判断依据,以避免粒子丧失多样性,较好地平衡了Fast−SLAM 自身计算资源消耗与建图精度之间的关系。为进一步提高煤矿巡检机器人在巷道等结构相似场景的位姿估计精度,将自适应蒙特卡罗定位算法与优化Fast−SLAM 算法结合。尽管机器人的定位建图精度及鲁棒性有所加强,但是2 类算法同时运行导致计算资源占有量增多,对机器人硬件要求更高。文献[57]针对Fast−SLAM 易受煤矿复杂地形噪声影响等问题开展研究。利用二阶中心差分粒子滤波方法取代扩展卡尔曼滤波方法,将一阶泰勒精度提高至二阶,同时避免了复杂的雅可比矩阵计算;然后,引入次优渐消因子动态优化滤波增益,抑制煤矿环境噪声对SLAM 状态估计的影响。但其并未考虑粒子耗散问题,仅适合煤矿井下小范围使用。

针对基于占有栅格的地图构建(Grid Mapping,Gmapping)的井下应用问题,文献[58]引入量子粒子群优化算法,长期保持粒子的多样性,缓解粒子耗散问题。不过,其将Gmapping 作为地图构建算法,定位功能主要通过蒙特卡罗定位算法实现,存在计算资源占用率高等问题。

随着鲁棒性更强的Cartographer 算法被提出,学者开始对其进行优化研究。文献[59]针对井下巷道长距离相似场景下Cartographer 回环检测常出现的误检现象,提出将Lazy Decision 策略引入回环检测环节,等待更多验证回环闭合的环境数据,确保全局优化的准确性。然而此举导致算法计算时间延长,实时性不佳。文献[60]在LeGO−LOAM 基础上,针对井工煤矿存在的斜井场景,借助激光点云高度差信息实现坡面点云检测,将其与水平地面点云同时进行分割;为克服井下特征缺失的问题,新增人工路标作为定位特征,但此做法增加了基础设施建设成本,提高了SLAM 技术的实际应用门槛。文献[61]以LeGO−LOAM 为研究对象,针对其回环检测模块进行改进,通过SegMatch 算法实现高频率的回环检测(图16)。SegMatch 算法不依赖环境特征,即使处于大规模非结构化的井下环境仍能可靠运行, 为SLAM 算法提供更为精确的回环检测。但是,单一激光SLAM 在复杂煤矿环境的特征检测与匹配性能仍有待进一步提高,采用多传感器融合改善井下定位建图成为首选方案。

2.1.3井下多传感器融合SLAM技术研究现状

井下多传感器融合方案与路面相同,包括相机−IMU、激光雷达−IMU、相机−激光雷达−IMU3种。针对3种融合方案,学者分别以不同方式开展了相关研究。

文献[62]在VINS−Mono 框架基础上,以融合点线特征的方法应对井下特征缺失场景, 提高SLAM 特征匹配的鲁棒性;充分利用IMU 采集数据,一方面用以消除相机因矿井地面坑洼产生的图像畸变,另一方面可在视觉里程计失效时提供短时精确的位姿信息,进一步增强SLAM 的环境适应性。文献[62]建立的SLAM 框架如图17 所示。

文献[63]基于ORB−SLAM2 实现相机−IMU 融合SLAM,为自制煤矿探测机器人提供精确的位姿估计。此外,引入语义分割方法对巷道内存在的动态物体进行剔除,避免对特征匹配环节产生干扰。这是井工煤矿领域较早将深度学习等智能算法应用至SLAM 技术的案例,为后续井下SLAM 方法研究提供了新的策略与方向。

然而煤矿井下存在长距离昏暗场景,此场景下视觉里程计失准、IMU 误差逐渐累计,导致相机−IMU 融合SLAM 方案失效,无法满足煤矿井下全场景使用,通用性较差。

文献[64-67]采用激光雷达−IMU 融合方案,一方面通过IMU 测量数据消除由于井下路面颠簸导致的激光点云畸变,提高SLAM 精度,另一方面在激光雷达突然失效的情形下,由IMU 为无人驾驶系统提供短时高精度的位姿数据,增强算法的鲁棒性。井下激光雷达−IMU 融合SLAM 框架如图18 所示。

文献[68]为进一步提高激光雷达−IMU 融合SLAM 的位姿估计准确性,提出一种动态提取特征点的方法,根据煤矿环境变化动态调整特征提取阈值,尽可能在环境特征退化处保留更多特征点,用于局部位姿估计。由于特征点通常以曲率作为判断依据,在长直巷道等曲率变化不突出的场景下仍存在特征提取匹配难题,定位建图仍可能漂移失准。

文献[69]以LIO−SAM 为基础,对其特征提取、特征匹配及回环检测进行全面改进。特征提取方面借助可描述物体表面细节信息的表面法向量进行点云区分,并引入快速点特征直方图局部描述子进一步增强特征提取的鲁棒性;特征匹配分为粗配准与精配准2 个阶段,由粗配准提供初始转换关系,避免精配准阶段的ICP 算法陷入局部最优;回环检测基于高效的Scan Context 实现。改进后的LIO−SAM 算法在模拟36 m 狭长走廊试验中呈现出不错的应用效果,但实际煤矿环境中的狭长巷道长达千米,算法的实际效果有待进一步验证。

通过相机−IMU、激光雷达−IMU 的融合一定程度上消除了井下复杂工况导致的相机图像畸变、激光点云畸变等问题,使得二者适用于井工煤矿特定场景。同时,IMU 的加入令SLAM 算法在核心传感器暂时失效的情况下仍可输出高精度的位姿信息。但是,相机−IMU 融合SLAM 在长时间无光环境中易失效,不具备井下全场景应用的能力;而激光雷达−IMU 受井下单一特征影响较大,在长距离巷道场景下定位建图精度有待提升。于是,相机−激光雷达−IMU 融合SLAM 方案的研究越来越广泛。

文献[70]基于LVI−SAM 框架开展多源信息融合的巷道建图定位研究。针对原LVI−SAM 系统视觉RGB 信息受煤矿井下光照影响明显的问题,引入图像深度信息,提高视觉子系统在暗光照条件下的鲁棒性,避免完全失效。为提高视觉回环检测的适应性,提出一种结合视觉特征信息及其空间拓扑信息的视觉词袋模型,通过更多信息匹配改善语义分割效果,避免回环检测的误检、漏检;但随着空间尺度变大,环境地图语义信息将加重存储空间负担。

文献[71]借鉴LVI−SLAM 算法框架,提出激光雷达、相机、IMU 三者融合的井下SLAM 方案(图19),分别构成LIO 及VIO 子系统。考虑到视觉SLAM在煤矿环境的局限性,最终以LIO 为主、VIO 为辅完成同时定位与建图工作,VIO 可信赖权重根据环境光照条件动态调整。

文献[72]采取不同的策略,通过激光雷达、视觉、IMU 无差别提供位姿变化估计值,自适应选取最优位姿作为定位建图依据;针对视觉在井下应用的不足,引入自适应Gamma 校正和限制对比度的自适应直方图均衡化(Contrast Limited Adaptive Histogram"Equalization,CLAHE)图像增强算法,提升视觉特征点提取数量和匹配质量。经狭长走廊及煤矿井下环境试验验证,文献[72]所提方法具备较好的定位精度,并可真实反映周围环境信息。

传感器融合种类越多,SLAM 鲁棒性越强,但融合难度及成本越高,需根据应用场景确定最终方案。在井工煤矿领域,安全性是SLAM 技术应用的前提,因此相机−激光雷达−IMU 融合方案更符合实际需求。

2.2露天矿山领域

相较于井工煤矿领域,露天矿山具有开阔环境,可利用全球导航卫星系统实现无人驾驶设备定位。因此,针对露天矿山领域的SLAM 研究相对较少。

文献[73]采用激光雷达与IMU 融合SLAM 实现露天矿无人驾驶车辆的定位与建图。与常规激光雷达−IMU 融合策略相同,借助IMU 消除激光点云运动畸变,同时建立激光点云与IMU 测量残差函数,对位姿估计进行联合优化。

文献[74-75]针对露天矿区大场景下点云数据计算复杂问题,利用栅格地图方法进行地面点云分割,并借助高度信息对斜坡点云进行有效分割。在此基础上,其结合LIO−SAM 框架重新构建了矿山环境的SLAM 算法。文献[76]采用迭代扩展卡尔曼滤波(Iterative Extended Kalman Filter, IEKF)进行激光雷达与IMU 数据融合,基于因子图进行优化,提出适用于露天矿山环境的LiDAR/IMU 紧耦合SLAM 算法。文献[77]重点考虑露天矿山颠簸地面致使的点云畸变加剧现象,利用IMU 测量数据对畸变进行校正,并通过多次ICP 匹配进行进一步去畸变处理,提高SLAM的精度及鲁棒性。

SLAM 技术起初为运行在室内环境的机器人而设计,作为GNSS 信号丢失场景的替补定位手段。受限于传感器的感知范围,SLAM 技术并不适合开阔露天矿山场景。因此,SLAM 技术在露天矿山领域研究价值不高。

3矿山无人驾驶SLAM 技术展望

3.1矿山无人驾驶SLAM技术难点分析

分析矿山无人驾驶SLAM 技术的研究现状可知,井工煤矿领域的SLAM 技术更具研究价值,故仅总结现阶段井下SLAM 技术存在的难点。

1) 煤矿环境方面。井工煤矿属于大规模复杂环境,范围大且存在多类型场景。因此,SLAM 技术一方面需减少误差随时间及活动范围的积累,另一方面需克服各类场景引起的不良影响,如光照变化明显导致的视觉失效、长直且无纹理巷道导致的特征匹配失败、颠簸路面引起的图像点云畸变等。这导致井下全场景同时定位与建图难度远超地面。

2) 可使用硬件方面。煤矿安全准入规则要求:各类传感器均需有相应资质的煤安认证。现阶段大多数相关研究所使用的传感器无法直接应用至井下,且当前具备煤安认证的相关传感器性能较差,无法满足高精度SLAM 算法对硬件的要求。这导致井下SLAM 技术的应用难度较高。

3.2 矿山无人驾驶SLAM 技术趋势分析

1) 由于井工煤矿环境存在时空变换特性,井下SLAM 技术应具有较强的环境适应性。目前主流的相机−激光雷达−IMU 融合SLAM 方案仍无法避免粉尘、水雾影响。未来可尝试通过融入强穿透力的毫米波雷达克服这一缺点,使得SLAM 技术更具鲁棒性。

2) 目前SLAM 技术所使用的激光雷达以机械旋转式架构为主,仅有少数学者针对新兴的固态激光雷达进行研究。与机械旋转式相比,固态激光雷达具有结构简单、体积小、成本低等优点,是未来激光雷达的研发方向。矿山无人驾驶领域学者应针对固态激光雷达展开SLAM 技术研究,降低SLAM 应用成本及难度。

3) 分析SLAM 技术研究现状可知,现阶段针对井下特殊环境的优化策略主要是通过图像增强技术、点云配准技术等改善特征匹配、回环检测等SLAM 核心环节的精度,模式相对固化。机器学习、深度学习等人工智能技术的发展为SLAM 技术发展提供了新的思路。针对特征匹配、回环检测等SLAM核心环节,未来可借助人工智能技术取代传统的ICP、NDT 等匹配算法,取得更为准确的匹配效果;同时为环境地图赋予更多语义信息,便于无人驾驶设备更深层次地理解所处环境,执行更为智能的操作,助力煤矿智能化发展。

猜你喜欢
无人驾驶
突飞猛进的矿山无人驾驶技术
我们村的无人驾驶公交
无人驾驶起重机安全隐患分析
无人驾驶车辆
科学(2020年3期)2020-11-26 08:18:28
无人驾驶公园
专用车企业首次主导 无人驾驶环卫车上路
专用汽车(2018年10期)2018-11-02 05:32:26
无人驾驶,先上赛道如何?
空中之家(2017年11期)2017-11-28 05:28:21
HANDS OFF THE WHEEL
汉语世界(2017年5期)2017-09-21 07:44:38
北京第一条无人驾驶地铁试运行!你敢坐吗?
无人驾驶智能飞行汽车