基于单激光束信息的掘锚装备视觉定位方法研究

张旭辉 ，陈 鑫 ，杨文娟 ，雷孟宇 ，田琛辉 ，杨骏豪

（1.西安科技大学 机械工程学院, 陕西 西安 710054；2.陕西省矿山机电装备智能监测重点实验室, 陕西 西安 710054）

0 引 言

在传统的巷道成型工艺中，施工人员根据悬挂在巷道后方顶板上经过方向标定的激光指向仪向巷道断面投射的激光光斑作为基准，进行断面测量、巷道成型及巷道锚护工作，以保证巷道的施工结果与设计一致。因此，掘锚机司机需要在施工过程中多次停机测量，严重拖慢了巷道掘锚效率，并且巷道成型过程中产生的粉尘、噪声和存在的极大安全隐患也对掘锚装备的智能化提出了迫切的要求[1–2]。

然而，掘锚装备的精确定位是实现智能化的前提，因此研究者们尝试了各种可能的定位方案，并取得了一定的成果。目前，煤矿井下掘锚装备的定位方案大致可以分为基于全站仪的定位方案、基于惯性导航的定位方案、基于iGPS 的定位方案、基于超宽带技术的定位方案和基于机器视觉的定位方案。其中，全站仪可以实现高精度的位置测量，但其不能同时测量多个目标，因此全站仪难以实现掘锚机的姿态测量[3–4]。另外，煤矿井下复杂的光线环境也增加了全站仪对棱镜的自动识别难度。惯性导航可实现较高精度的实时姿态检测，但其长时定位精度难以保证，因此单独使用时无法满足井下掘锚长时短距的定位导航要求[5–6]。iGPS 技术具有较高的定位精度，适用于没有GPS 信号的室内环境。但目前的iGPS 技术难以适应煤矿井下高粉尘的恶劣工况环境[7–8]。超宽带技术可在局域范围内提供较高的测距和定位精度，但仍然存在基站设置和稳定性较差的问题。同时，井下恶劣的工况环境对超宽带技术的定位精度也会产生强烈的影响[9–10]。另外，基于视觉的定位方案由于其非接触、高精度、低成本且无累计误差的优势，逐渐得到专家学者们的关注[11–12]。

杜雨馨等[13]提出基于双十字激光和图像处理技术的掘进机位姿检测方法。以双十字激光器与激光标靶为信息来源，通过对标靶上十字光线成像特征的分析，建立了掘进机位姿空间解算模型，得到机身相对于巷道的三轴倾角及在巷道断面上的偏离位移，实现了掘进机机身位姿的自动实时检测。田原[14]采用摄像机成像系统对给定空间分布模式的特征点阵(光靶)成像，利用视觉测量理论，通过对图像中特征点分布模式变形情况的分析，计算摄像机相对特征点阵(光靶)的空间位置和姿态参数。张旭辉等[15]使用防爆工业相机采集三激光指向仪的点特征，采用P3P 单目视觉定位算法，通过空间坐标矩阵变换计算出了掘进机机身的空间位姿并进行了试验验证，结果表明该方法对井下高粉尘、多杂光的环境具有良好的适应性，并且具有较高的定位精度。杨文娟等[16]利用视觉技术对三激光束标靶图像进行分割，采用Hessian 矩阵与泰勒展开对激光束中心线特征提取与定位，结合最小化重投影误差实现非迭代全局最优解估计，可获得掘进机机身位姿的最优解，位姿解算精度满足在煤矿井下恶劣环境中的定位需求。张超等[17]利用双目视觉技术实现掘进机位姿检测，将红外LED 光源组成图像测量标靶，对光斑中心点进行特征提取，使用双标靶交替移动实现连续不间断测量，并使用3D–3D 运动估计方法完成位姿参数求解。

通过分析不难发现，目前基于视觉的定位方案大都通过构建复杂的合作标靶获取掘锚装备的实时位姿，因此在实际应用时不可避免地出现合作标靶标定复杂的缺陷。为解决这一问题，在笔者前期研究的基础上，提出了一种基于单激光束信息的掘锚装备视觉定位方法。该方法采用固定于掘锚装备尾部的双目相机采集包含巷道后方激光指向仪信息的图像，通过激光点线特征分割与提取，建立双目位姿解算模型，得出掘锚装备在巷道中的位姿。该方法选择巷道原有特征作为视觉定位的合作标靶，简化了定位系统的安装和标定程序，同时也不会对掘锚机司机的手动作业产生影响，具有较高的应用价值。

1 掘锚装备视觉定位系统

1.1 系统总体情况

基于单激光束信息的掘锚装备视觉定位系统组成如图1 所示。系统主要由掘锚装备、1 个激光指向仪和2 台防爆工业相机组成。其中，激光指向仪固定于掘锚装备后方顶板上并沿巷道掘进方向发射红色激光，同时在巷道粉尘作用下形成明亮的光束；2 台防爆工业相机构成大基线距的双目汇聚结构固定于掘锚装备尾部，用于采集包含激光指向仪光斑和激光光束信息的巷道图像。相较基于单目视觉的测量方法，双目视觉测量方法对深度方向的感知具有先天的优势。常见的双目视觉测量系统的结构有光轴平行结构和光轴汇聚结构，其中光轴平行结构较为常用。然而，为实现掘锚装备的长距离定位需求，长基线距离(1 000 mm 以上)的双目视觉方案是必然选择，此时基于光轴平行结构的双目视觉定位方案在近距离测量时的盲区较大，增加了相机标定的难度，如图2 所示。基于上述原因，选择双目光轴汇聚模型以使相机标定得以完成，同时提高视觉定位的有效距离。

图1 基于单激光束信息的掘锚装备视觉定位系统组成Fig.1 Composition of visual positioning system of digging and anchoring equipment based on single laser beam information

图2 光轴平行结构和光轴汇聚结构近距离盲区比较Fig.2 Comparison of optical-axis-parallel and optical-axis-convergent structures for near-range blindness

1.2 系统测量原理

如图1 所示，为便于描述和分析，在巷道起始位置建立巷道坐标系OHXHYHZH，原点OH为巷道起始点，XH轴垂直于巷道掘进方向向右，YH轴沿巷道掘进方向向前，ZH轴垂直于巷道底板向上；在掘锚装备中心位置建立机身坐标系OBXBYBZB，原点OB为机身中心点，XB轴垂直于机身纵轴线向右，YB轴沿机身纵轴线向前，ZB轴向上；在相机光心位置建立相机坐标系OC10XC10YC10ZC10和OC20XC20YC20ZC20，原 点OC10和OC20为相机光心，XC10轴和XC20轴向右，YC10轴和YC20轴向下，ZC10轴和ZC20轴沿光轴向前。显然，两相机坐标系之间的位姿关系可以由双目相机标定轻易获得，相机坐标系与机身坐标系之间的位姿关系可以通过2.3 节提供的标定方法确定，因此只需要通过视觉测量方法得到相机坐标系与巷道坐标系之间的位姿关系即可通过坐标转换得到掘锚装备在巷道坐标系下的位姿。

基于单激光束信息的掘锚装备视觉定位系统的测量原理如图3 所示。系统工作时，双目相机采集包含激光指向仪光斑及光束特征的巷道图像对，通过极线校正得到行对准图像对，然后通过特征提取得到激光光斑中心在图像坐标系下的亚像素坐标和激光光束在图像坐标系下的直线方程，并构建双目视觉定位模型，得到掘锚装备在巷道坐标系下的位姿。

图3 基于单激光束信息的掘锚装备视觉定位系统原理Fig.3 Principle of visual localization system for digging and anchoring equipment based on single laser beam information

2 视觉位姿解算模型

极线校正是提高特征匹配效率、简化双目视觉定位模型的必要步骤。在通过双目相机标定得到两相机的内参矩阵、畸变系数矩阵及其之间的旋转矩阵R和平移向量t之后，基于Bouguet 算法可以将双目汇聚模型转化为如图4 所示的行对准双目平行模型。图4 中，OC1XC1YC1ZC1和OC2XC2YC2ZC2为左右两相机的校正坐标系，双目相机的校正坐标系建立在左相机上，为OCXCYCZC。OHXHYHZH和OBXBYBZB分别为巷道坐标系和机身坐标系。巷道坐标系和双目相机坐标系、双目相机坐标系和机身坐标系之间的位姿关系可以由转换矩阵TCH和TBC表示。因此可以将掘锚装备的视觉定位问题简化成空间点和空间直线在平面投影的空间几何问题。

图4 基于单激光束信息的掘锚装备视觉位姿解算模型Fig.4 Visual positional solution model for digging and anchoring equipment based on single laser beam information

2.1 基于视觉的姿态解算模型

设空间直线L在左相机成像平面的投影为图像直线l1,在右相机成像平面的投影为图像直线l2，并设图像直线li(i=1,2) 的直线方程为aix+biy+ci=0(ai>0) ，则图像直线上任意一点可表示为ti(xti,yti,f)，图像直线的方向向量可以表示为vi(bi,-ai,0) ，其中f为相机焦距，由相机内参标定得到。

此时，空间直线L在双目相机坐标系下的方向向量LC可以由双目坐标系下两投影平面法向量NS1和NS2的外积得到，即

同时，已知空间直线L在巷道坐标系下的方向向量LH为

双目相机坐标系相对于巷道坐标系的的旋转关系可由旋转向量表示。其中，从向量LH到向量LC的旋转轴可以表示为

因此，双目相机坐标系相对于巷道坐标系的旋转矩阵可以由罗德里格斯公式表示为

2.2 基于视觉的位置解算模型

则相机坐标系相对于巷道坐标系的平移向量可以表示为

2.3 坐标系转换

巷道坐标系到双目相机坐标系的转换矩阵可以表示为

另外，为得到双目坐标系与机身坐标系之间的精确位姿关系，可以将棋盘格标定板固定于双目相机视野范围内，同时使用全站仪在机身坐标系位置建站并测量标定板角点的三维坐标，使用双目相机采集棋盘格标定板的图像，极线校正后从左相机图像中通过角点检测算法得到标定板交点的像素坐标，然后通过PNP 算法即可得到双目相机坐标系到机身坐标系的旋转矩阵RBC和平移向量tBC[18]，因此，双目相机坐标系到机身坐标系的转换矩阵可以表示为

此时，掘锚装备在巷道坐标系下的位姿可以表示为

3 特征提取方法

3.1 激光光斑特征提取方法

目前光斑中心的提取方法主要分为基于光斑边缘信息的提取方法(如椭圆拟合、霍夫变换等)[19–20]和基于光斑灰度信息的提取方法(如灰度重心、高斯拟合等)[21–22]。其中，基于椭圆拟合和霍夫变换的光斑中心提取方法计算简单，但对于边缘不规则或不对称光斑的提取精度较差[23]；基于灰度重心的光斑中心提取方法精度较高，但受噪声干扰的影响较大，稳定性较差[24]；基于高斯拟合的光斑中心提取方法对于能量较低的点光源光斑的拟合度较高，可以获得亚像素级的光斑中心计算结果，但对于激光光斑等能量较高的光斑中出现“平顶”情况的拟合效果较差，因此适用范围有一定限制[25–26]。

因此，为更加高效地提取激光指向仪光斑的亚像素中心，需要事先对图像中的光斑区域进行分割（图5），激光指向仪的原图如图5a 所示。由于激光指向仪光斑具有较高的能量，图像中光斑区域的灰度值明显高于其他区域，因此可设置相应的阈值对光斑区域进行初步分割，处理结果如图5b 所示。然后，通过轮廓检测得到激光光斑轮廓ROI 区域的坐标，如图5c 所示。最后，对光斑的ROI 区域进行分割，得到如图5d 所示的激光指向仪光斑图像。

图5 激光光斑分割结果Fig.5 Laser spot segmentation results

如图6 所示，分析光斑的灰度分布情况可以看出，光斑中心较大范围内的灰度值接近255，出现了“平顶”的现象，因此该类光斑的中心提取问题很难再使用传统的高斯拟合方法进行求解。文献[27]的研究表明，二维反正切函数通过调整参数可以达到近似“平顶”的效果，因此提出一种基于二维反正切函数的光斑中心提取方法，用于解决上述问题。

图6 光斑灰度情况分析Fig.6 Spot gray situation analysis

类比基于高斯函数的拟合方法，可将拟合函数定义为

其中，Emax为光斑能量的最大值，也即光斑灰度的最大值； (x0,y0) 为光斑中心的坐标；ax为光斑的半长轴；ay为光斑的半短轴； α 为 修正因子， 0<α<1时拟合函数的图像趋向于“尖顶”， α>1时拟合函数的图像趋向于“平顶”；为补偿因子，可以保证拟合函数始终大于等于0。

因此，光斑中心的提取可以转化为拟合函数中各未知参数特别是(x0,y0)的确定。然而，式中参数的求解过程是非线性的，故可对式(17)做如下等价变换：

3.2 激光光束特征提取方法

图7 为激光光束特征提取结果。分析激光束的图像特征可采取如下方案提取激光束中心直线的平面方程：首先，对原始图像进行二值化处理凸显出激光束的轮廓特征，并进行中值滤波滤除图像中存在的椒盐噪声，提高图像质量，如图7b 所示；进而，对二值化图像进行细化处理，得到激光束图像的骨架信息，如图7c 所示；然后，对激光线骨架信息做Hough直线检测，得到激光束特征在像素坐标系下的直线方程，如图7d 所示。

图7 激光光束特征提取结果Fig.7 Laser light feature extraction results

4 试验验证

为验证本文提出的激光指向仪特征提取方法和基于单激光束信息的的掘锚装备视觉定位方法的可行性和准确性，在实验室模拟掘进工作面高粉尘、低照度的工况环境，搭建如图8 所示的试验平台。该试验平台由计算机、煤矿掘锚装备模型(3∶1 缩比)、矿用激光指向仪、烟雾发生器、2 个矿用防爆相机和相关测量仪器组成。其中，烟雾发生器用于模拟巷道的粉尘环境；激光指向仪固定于掘锚装备后方顶板上并沿巷道掘进方向发射红色激光，在巷道粉尘作用下形成明亮的“光路”；2 台防爆工业相机构成双目汇聚结构固定于掘锚装备尾部，用于采集包含激光指向仪光斑和激光光束信息的巷道图像；相关测量仪器包括棱镜、全站仪和惯导，棱镜和全站仪用于对本文定位方法得到的位置信息进行验证，惯导用于对本文定位方法得到的姿态信息进行验证。

试验前，首先对双目相机内外参数进行标定，同时标定双目相机坐标系到机身坐标系的转换矩阵TBC。然后在适当的位置建立全站仪坐标系作为巷道坐标系OHXHYHZH，并使用全站仪标定激光指向仪“光心”的空间坐标PH和激光指向仪光束的方向向量LH。

4.1 特征提取精度验证

在图像中，激光光斑和光束特征的真值通常难以获得，但在巷道坐标系中由本文定位方法得到的掘锚装备位置信息可以由全站仪精确得到。

因此，为验证提出的激光指向仪特征提取方法的可行性和准确性，试验时从3 个不同位置分别采集180 张包含激光指向仪光斑及光束特征的图像，并利用不同的激光指向仪特征提取方法和提出的掘锚装备视觉定位方法进行重复性试验，得到的激光光斑和光束中心提取结果(局部)如图9 所示。不同特征提取方法得到的位置误差的均值和标准差见表1。

表1 不同特征提取方法得到的位置误差的均值和标准差Table 1 Average position error obtained by different feature extraction methods

图9 激光指向仪特征提取结果Fig.9 Laser pointer feature extraction results

由图9 可以直观地看出，提出的激光指向仪特征提取方法可以稳定地检测出激光光斑的中心点和激光束的中心直线，同时与椭圆拟合法相比，本文提出的激光光斑提取方法和高斯拟合法都能更加精确地得到光斑的中心。

由表1 的数据可以看出，基于提出的激光指向仪特征提取方法得到的位置误差的均值和标准差均为最小。根据算法原理，在激光光束特征提取方法和视觉定位模型都相同的前提下，掘锚装备在巷道中的位置测量精度仅受到光斑特征提取结果的影响。因此，表1 数据也表明提出的光斑中心提取方法精度和稳定性最高。

4.2 系统定位精度验证

为验证提出的基于单激光束信息的掘锚装备视觉定位方法的可行性和准确性，在模拟巷道中控制掘锚装备模型以不同的姿态向前移动，并记录由本文视觉定位方法得到的计算值和由全站仪、惯导测量到的实际值，完成6 组试验。试验时，由全站仪标定得到的激光指向仪“光心”的空间坐标为PH(785.10,3334.90,2061.70)，激光指向仪光束的方向向量为LH(210.80,874.90,74.30)，单位为mm。试验特征提取结果如图10 所示，试验结果见表2，试验误差如图11 所示，试验误差绝对值见表3。

表2 掘锚装备视觉定位方法试验结果Table 2 Experimental results of visual positioning method for anchor digging equipment

表3 掘锚装备视觉定位方法实验误差绝对值分析Table 3 Analysis of absolute value of experimental error of visual positioning method for anchor digging equipment

图10 试验特征提取结果Fig.10 Experimental feature extraction results

图11 掘锚装备视觉定位方法试验误差分析Fig.11 Experimental error analysis of visual positioning method for anchor digging equipment

由图10 可以看出，提出的激光指向仪特征提取方法在50 m 的范围内鲁棒性较好，可以准确得到激光光斑中心的亚像素坐标和激光光束的平面方程，保证了系统的测量精度。

由表3 可以看出，提出的基于单激光束信息的掘锚装备视觉定位方法在50 m 的范围内具有较高的位姿测量精度。其中，机身位置在巷道坐标系下沿X轴、Y轴和Z轴的平均测量误差分别为25.44，58.64，31.08 mm，其最大误差分别为55.16，127.39，63.57 mm；机身姿态在巷道坐标系下的俯仰角、偏航角和横滚角的平均测量误差分别为0.22°、0.22°、0.41°，其最大误差分别为0.29°、0.37°、0.58°。

通过图11 和表3 可以看出，由于双目视觉定位方法是基于三角测量原理提出的，因此与x轴和z轴相比，y方向的位置测量误差较大，同时随着测量距离的增大，机身位姿的测量误差也随之增大。但是，根据我国“短掘短探”的巷道掘进施工模式，在一个“探掘”周期内，提出的基于单激光束信息的掘锚装备视觉定位方法及其特征提取方法满足相关精度要求。选择巷道原有特征作为视觉定位的合作标靶，简化了定位系统的安装和标定程序，具有较大的应用前景和推广价值。

5 结 论

1)以煤矿井下掘进工作面固有激光指向仪特征为视觉定位合作标靶，提出了基于双目视觉的掘锚装备位姿解算方法和激光指向仪点线特征提取方法，解决了现有视觉定位方法因标靶结构复杂而导致标定繁琐的问题。同时，保留并利用巷道固有特征完成视觉定位，不影响掘锚机司机的手动作业。

2)分析激光指向仪光斑图像特征，针对其高能量的特点，提出了一种基于二维反正切函数拟合的激光光斑中心提取方法，得到了比传统基于椭圆拟合和高斯拟合的光斑中心提取方法更加精确的结果。

3)为了验证本文提出的基于激光指向仪特征的掘锚装备视觉定位方法的可行性与准确性，在实验室搭建实验平台进行了实验。结果表明，本文提出的基于激光指向仪特征的掘锚装备视觉定位方法具有较高的位姿测量精度，满足煤矿井下巷道施工的定位精度要求。