选矿智能巡检机器人VSLAM 导航技术研究

武 涛 ,杨文旺 ,苏 勇 ,赵玉华

(1.北矿机电科技有限责任公司,北京 100160;2.矿冶科技集团有限公司,北京 100160)

传统选矿车间人工巡检量大,且高速运转设备多、噪音大、药剂味道浓烈、粉尘多,给操作人员的安全和健康带来较大威胁。机器人是人工智能技术的重要应用领域,自21 世纪以来,已经成为前沿高新技术研究最活跃的领域之一,对经济和社会发展产生了巨大推动作用[1]。目前在金属矿山领域已经出现了选矿过程智能巡检机器人替代人工巡检的技术。通过选矿车间定位导航技术、机器人机械结构与测控技术、多传感器信息融合的智能分析决策技术,形成了一台具备智能行走、智能感知、智能决策,云端监控等功能的智能巡检机器人,实现对选矿车间全天候、全方位、全自主智能巡检和监控,有效降低劳动强度和运维成本,提高巡检效率和管理智能化水平[2]。

定位导航技术是选矿机器人实现自主化和智能化的核心,常见的机器人定位导航方式包含地磁导航、惯性导航、激光雷达导航等[3]。其中地磁导航和惯性导航均需要在地面敷设引导物,存在线路固定、灵活性差、易破损等问题[4]。图1 是矿冶科技集团研制的全球首台套摇床巡检机器人,并在云南某选矿厂成功应用,其导航方式属于地磁导航。激光导航雷达导航方式虽然定位精度较高,但激光扫描传感器成本高昂且体积较大。

图1 摇床巡检机器人工业应用

针对以上问题,本文拟研究基于双目视觉传感器和深度传感器融合的VSLAM(基于视觉的即时定位与地图构建)导航技术,通过研究点云地图的构建与路径规划方法,形成选矿巡检机器人视觉导航技术及控制软件产品,解决机器人在选矿复杂工业环境内定位不准的难题。

1 选矿机器人VSLAM 导航主要技术框架

VSLAM (Visual Simultaneous Localization and Mapping),是指机器人在位置环境中通过视觉传感器信息确定自身空间位置,并建立所处空间的环境模型[5]。它通过传感器数据预处理方法、前端视觉里程计算方法、回环检测和点云建图定位和规划路径方法,形成三维地图构建和导航技术。主要的技术框架如图2 所示。

图2 VSLAM 技术框架图

传感器数据预处理:VSLAM 传感器主要的组成功能模块有工业相机、惯性测量单元等,在进行应用过程中可以对数据进行标定处理以及数据的同步。

前端(视觉里程计):主要根据相邻两帧图像数据来分析相机运动进行研究。通过把相机采集到的帧数据串联起来形成一个完整的运动轨迹,就可以比较好地解决定位问题。通过对串联起来的帧数据进行分析可以得到像素空间位置,在处理中主要采用了视觉相关算法。

后端(非线性优化):主要是对前端传输的数据进行优化和处理,得到比较精准的数据。主要有两种方法:一种是基于滤波理论来对位姿数据进行优化,常用的方法有EKF、PF、RBPF、UKF 等。在早期的系统应用中以EKF 方法为主,在实际应用中主要是把获取到的状态数据进行线性化处理,然后采用高斯分布的方法来对系统中的噪声进行处理,通过采用卡尔曼滤波方法来对这些数据进行更新。但在实际应用过程中,对噪声较高的数据无法有效处理,所以在线性化处理的过程中会丢失高阶项。另一种是非线性优化,这种方法在应用中是把变量作为图像中的一个节点,通过迭代更新使精度得到保障。

回环检测:在系统中主要完成机器人路径规划数据的识别,机器人能够识别到自己走过的数据,可以有效解决位置漂移问题。在系统中通过采用视觉回环检测的功能可以对相机捕获图像的相似性进行分析,达到与人眼直接判断位置数据一致的效果。由于系统采集的图像数据比较丰富,因此应用VSLAM 系统有比较大优势。在完成数据的检测后会把这些数据回传到后端调用算法来进行处理,从而最大限度地消除累积误差。

建立地图:VSLAM 在进行应用中可以根据传感器类型的不同来建立不同的地图模型,通常在应用中建立的地图有2D 栅格地图、2D 拓扑地图和3D点云地图等。

2 选矿机器人VSLAM 定位导航算法

VSLAM 算法根据不同的原理可以分为直接法、间接法和混合法[6]。这些不同的方法应用场景存在一定的差异,直接法主要针对图像中的每个像素进行计算,然后通过分析求得相机的位姿数据。因为在进行数据的获取过程中会存在纹理稀疏区域的差异,所以要考虑算法的鲁棒性。这种算法在实际应用过程中比较容易受到外部光线变化的影响。间接方法则依赖于特征的匹配,一方面这些数据要具有特异性,在进行数据提取过程中对光线变化不敏感,同时也可以比较精准地提取特征数据。这两者需求很难兼顾,因此在实际应用的过程中,需要在特征数据提取速度与提取精度之间取得平衡。

特征算子和描述符:特征算子在整个系统中主要是完成对特征信息的提取,对所提取的特征数据还要进行描述,这样就可以根据不同的特征数据的描述来分析出相似度。为了减小系统数据分析的误差,会采用FAST 算子来完成对特征数据的检测。

初始化:单目VSLAM 系统在应用的过程中需要对环境信息进行初始化处理。

位姿估计:因为数据组织存在比较大的计算量,目前所有的SLAM 系统应用的过程中都会采用位姿数据进行校验。MONO-SLAM 在应用的过程中会首先假设相机的位置信息,然后通过两个帧数据之间的运动模型分析出位姿的详细信息,但是需要系统对位姿变化有比较敏感的功能。LSD-SLAM 和SVO在进行高帧频率数据的处理过程中并不是非常明显,所以会采用当前帧数据进行校验和分析。

地图生成:在地图的应用中主要有尺度地图和拓扑地图。在实际应用过程中对地图深度信息提取中可以比较直接地获取到位置信息。尺度地图在数据绘制中主要是通过不同稠密程度的点云数据进行描述。拓扑地图可以很好的克服这一缺点。在VSLAM 的应用过程中会采用节点关键帧数据来完成地图的拓扑数据绘制,这样可以对大规模场景进行模拟,比较准确地获取到相机的位置数据信息。

地图维护:地图优化应用过程中主要是采用位姿优化的方法,在具体过程中可以采用非线性优化处理。

错误恢复:在系统实际运行的过程中存在比较多的问题,比如相机在剧烈运动的情况下会导致特征点的提取出现错误。为了有效提高整个系统运行的鲁棒性,需要在系统设计中增加错误恢复能力,可以对不同的丢失数据进行追踪。

3 选矿机器人VSLAM 技术方案与路线

选矿车间需要机器人智能巡检的设备种类较多,例如磨机、浮选机和搅拌槽等多个设备。同时设备之间连接管道空间排布也较为复杂,这些复杂场景需要机器人所建点云地图自适应能力强,同时定位精准才能达到智能巡检要求。

由于视觉特征在应用过程中更倾向实物边缘的检测,容易导致数据测量过程中受到噪声干扰,在具体应用的过程中为了减小误差,本文采用可靠的深度数值来完成特征数据提取,应用中基于RGB-D SLAM 算法。在基于RGB-D 相机的三维重建中,输入有深度信息和彩色信息,并且深度信息起主导作用,而在SLAM 和SFM 算法中输入的主要是彩色信息。通过应用平面特征提取的方法可以有效提高整个系统的精度以及鲁棒性,同时在应用过程中也可以使数据的测量更加合理。在这个过程汇总与ICP方法进行荣恶化可以实现视觉测量的精度,同时在应用中构建点云地图,但是需要计算机设备具有GPU 加速。因为构建的是点云地图,所以在应用的过程汇总会消耗一定计算资源,导致不容易进行维护,不利于机器人导航系统的应用。

在本文研究过程中提出ORB-SLAM(Oriented FAST and Rotated BRIEFSLAM)方案,ORB-SLAM 基于PTAM 架构,增加了地图初始化和闭环检测功能,优化了关键帧选取和地图构建的方法,在处理速度、追踪效果和地图精度上都取得了成效。实际应用中主要是根据图像的序列来对具体的位姿进行实时计算,系统计算的鲁棒性和精度都要优于之前所选择的方法,这种方案还支持单目、双目和RGB-D 摄像机。ORB-SLAM 在实际应用的过程中可以对小尺度、大尺度等这些环境物体位姿进行实时的检测,并提取物体特征数据来构建特征点地图,同时还可以支持自动化的初始化功能。这种技术方案相比RGB-D SLAM,会存在构建稀疏特征点在实际应用领域有限,该方案更加侧重于点位功能,在机器人应用过程中无法进行有效的避障以及路径规划。

为了解决存在的这些问题,在本文中将采用基于八叉树结构的高效、紧凑的地图构建算法。八叉树的基本思想是,递归地把空间分成八个方块,这些方块在内存中以八叉树的形式组织起来,每个树的节点对应于空间中的一个方块。用一个0～1 之间的浮点数来描述这个节点被(障碍物)占据的概率,0 表示未占据,1 表示空闲,0.5 表示不确定。当某个节点下所有子节点的概率都相同时(如都被占据,都是空闲或都是不确定),则将这些子节点通过剪枝修剪掉,只保留父节点,从而节省内存。通过八叉数算法可以高效完成对深度数据的采集,同时也可以构建点云地图,大大减少了内存占用,通过该技术可以构建适合选矿机器人系统应用的数据地图。选矿机器人VSLAM 巡检系统方案图如图3 所示。

图3 选矿机器人VSLAM 巡检系统方案图

4 结论

本文提出了一种基于双目视觉传感器和深度传感器融合的VSLAM 导航技术,集成在选矿巡检机器人系统中较好解决了长期存在的定位精度差、构建地图不准等问题。同时该技术将会丰富机器人定位导航产品,促进有色行业人工智能与实体经济结合,具有较大经济效益和良好社会效益。

图4 摇床设备巡检机器人构建地图