悬臂式掘进机截割头位姿视觉测量系统改进

张旭辉， 谢楠， 张超， 杨文娟， 张楷鑫， 周创

(1.西安科技大学 机械工程学院， 陕西 西安 710054；2.陕西省矿山机电装备智能监测重点实验室， 陕西 西安 710054)

0 引言

近年来，随着煤矿综采技术装备快速发展，开采任务量成倍增长，采掘失衡问题尤为突出[1-2]，掘进装备智能化问题亟待解决。由于井下环境复杂，存在粉尘、噪声等，在截割过程中掘进机司机难以准确判断截割头位置，导致巷道断面成形质量差等问题[3-4]。因此，研究掘进机截割头位姿精确测量，实现复杂工况下井下设备的局部定位，对于提高巷道断面成形质量和掘进工作效率具有重要意义。

悬臂式掘进机截割头位姿检测方法主要包括接触式和非接触式2种，其中接触式测量方式应用广泛，取得了一定效果，但易受井下振动等工况影响，造成传感器数据不稳甚至失效[5-8]。视觉测量是一种非接触式测量方法，利用光学成像原理和位姿解算模型实现目标物体的姿态求解，具有价格低、便于安装标定的特点，用于设备局部定位具有较大优势[9-10]。文献[11]提出了一种基于红外LED特征的悬臂式掘进机截割头位姿视觉测量方法，通过相机采集红外标靶特征，实现了截割头姿态的实时解算和可视化显示。但在实际应用过程中，巷道环境、测量方法、标定参数误差、图像特征提取精度等都会对视觉测量结果产生影响[12]。

工业相机外参标定稳定性对视觉测量精度具有重要影响。在悬臂式掘进机截割头位姿视觉测量系统中，外参标定即求取相机与掘进机机体之间的位姿关系，确定相机坐标系与掘进机基坐标系的相对位置，从而为截割头位姿解算奠定基础。外参数即相机坐标系相对于掘进机基坐标系的转换矩阵。现有外参标定方法需依靠经验将截割臂摆至正中位置(未知)，标定结果存在较大波动。针对该问题，本文提出了一种基于多点固定的外参标定方法，该方法将截割臂摆动到已知极限位置时的相关数据作为标定依据，可有效提高外参标定稳定性，且具有简单、快速、不受限于机身位姿的优点。

防爆工业相机采集掘进机运行过程中的红外LED标靶图像并进行预处理后，需进一步提取光斑中心来进行截割头位姿解算。但红外LED光斑的形状不规则，难以对光斑中心进行提取，且掘进机作业过程中的振动、光线等因素会影响光斑中心提取精度。现有的灰度质心法采用像素的灰度值作为权重来计算光斑质心，精度只能到像素级，仅可粗略满足实际应用需求。亚像素级边缘检测算法可有效降低光斑中心提取误差，从而提高视觉测量精度。因此，本文采用亚像素级[13]边缘检测算法对光斑中心提取方法进行改进。

1 系统组成及原理

悬臂式掘进机截割头位姿视觉测量系统由悬臂式掘进机、防爆工业相机、红外LED标靶、机载防爆计算机、捷联惯导、超声波传感器等组成，如图1所示。红外LED标靶垂直固定于掘进机截割臂上，防爆工业相机、机载防爆计算机固定于掘进机机身上。

图1 悬臂式掘进机截割头位姿视觉测量系统组成

(1)

2 外参标定改进方法

2.1 坐标系建立

坐标系定义如图2所示[15]，其中O0X0Y0Z0，O1X1Y1Z1，O2X2Y2Z2，O3X3Y3Z3，O4X4Y4Z4分别为悬臂式掘进机基坐标系、回转关节坐标系、抬升关节坐标系、伸缩关节坐标系及截割头坐标系，OcXcYcZc，OwXwYwZw分别为相机坐标系及标靶坐标系。

图2 坐标系定义

(2)

2.2 基于多点固定的标定方法

由掘进机结构参数可知，截割臂水平摆角θ1的变化范围为[-32°,32°]，垂直摆角θ2的变化范围为[-132°,-66°]。运行视觉测量系统，控制掘进机截割臂分别摆动到左上角、右上角、左下角、右下角4个已知极限位置，(θ1，θ2)分别为(-32°，-132°)，(32°，-132°)，(-32°，-66°)，(32°，-66°)，如图3所示。

图3 截割头摆动位置

(3)

3 光斑中心提取改进方法

为实现光斑中心精确定位，首先采用灰度质心法进行光斑中心粗提取，然后采用亚像素级边缘检测算法求出亚像素级边缘坐标[17]，最后使用基于最小二乘法的椭圆中心拟合算法[18]进行光斑中心定位。

进行亚像素级边缘细定位之前，将边缘点所在区域划分为2个部分，如图4所示，设黄色部分为区域1，蓝色部分为区域2，原点O为圆心，P(xp，yp)为圆边缘像素点。

图4 边缘点区域划分

设区域1中点P的临近点为K(xk，yk)，J(xj，yj)，K点和J点分别为直线OP与直线x=xp+1，x=xp-1的交点；设区域2中点P的临近点为M(xm，ym)，N(xn，yn)，M点和N点分别为直线OP与直线y=yp+1，y=yp-1的交点。假设边缘点P位于区域2内，则有ym=yp+1，因为点M在直线OP上，且直线OP已知，通过ym可以求得xm。

任意像素点(i,j)的灰度值可表示为

(4)

式中g(x,y)为图像的连续光强分布。

对边缘点P的临近点进行灰度插值。根据线性插值原理得到M点的灰度值：

f(xm，ym)=(1-λ)f([xm]，ym)+

λf([xm]+1，ym)

(5)

式中：[xm]为xm的整数部分；λ=xm-[xm]。

同理可得临近点K(xk，yk)，J(xj，yj)，N(xn，yn)的灰度值f(xk，yk)，f(xj，yj)，f(xn，yn)。根据4个临近点的灰度值可得到亚像素级边缘点坐标(x0,y0):

(6)

4 实验验证

悬臂式掘进机截割头位姿视觉测量实验平台如图5所示，包括1∶5实验室掘进机模型、30 cm×30 cm红外LED标靶、MV-EM130M/C型工业相机、机载防爆计算机、SCA120T型倾角传感器、拉绳传感器。红外LED标靶上均匀分布16个红外LED光源。倾角传感器、拉绳传感器分别用于检测截割臂垂直摆角和水平摆角。

图5 悬臂式掘进机截割头位姿视觉测量实验平台

4.1 光斑中心提取精度对比

采集到红外LED光斑图像后，首先进行二值化处理；其次采用灰度质心法实现光斑中心粗提取，对杂点进行滤除；然后采用亚像素级边缘检测方法实现边缘细定位；最后通过最小二乘拟合获取光斑中心，得到其三维坐标值。光斑中心提取过程如图6所示。

图6 光斑中心提取过程

根据所得光斑中心坐标值计算标靶LED灯间距，并与实际间距120 mm进行对比。将截割头摆动至按3×3布置的9个位置点，在每个位置点采集多组图像，进行均值滤波处理，测量误差如图7所示。

图7 光斑中心提取方法改进前后测量结果对比

由图7可知，改进前最大测量误差为3.2 mm，最大相对误差为2.7%；改进后最大测量误差为1 mm，最大相对误差为0.8%。

4.2 外参标定实验

在实验室关灯并紧闭窗帘，模拟煤矿井下光线不足环境，利用计算机程序实现工业相机的软触发，设置采集时间间隔为100 ms。分别摆动掘进机截割臂至左上角、左下角、右上角、右下角4个极限位置，通过防爆工业相机采集各位置的图像，通过计算机进行图像预处理、光斑中心提取及外参标定。每标定1次将相机在x轴方向移动50 mm，实现不同距离的外参标定。改进后的外参标定结果见表1、表2。

表1 外参数t

表2 外参数R

由表1、表2可知，平移矩阵中位移的最大变化幅度为15 mm，旋转矩阵中角度的最大变化幅度为1°，说明用基于多点固定的外参标定方法所获得的外参数矩阵比较稳定，可为掘进机截割头位姿解算奠定基础。

4.3 系统测量误差对比

在截割头位姿视觉测量实验平台上，使用倾角传感器和拉绳传感器检测截割臂真实摆动角，并采用改进前后的视觉测量系统进行对比实验。截割头水平摆角、垂直摆角测量结果对比分别见表3、表4。

表3 截割头水平摆角测量结果对比

由表3、表4可知，视觉测量系统改进前对截割头摆角的测量误差范围为[-1.2°,1.7°]，改进后截割头水平摆角误差范围为[-0.5°,0.5°]，垂直摆角误差范围为[-0.6°,0.6°]。实验结果表明，改进方法有效提高了截割头摆角的检测精度。以EBZ160掘进机为例，截割臂长度为4.7 m，结合摆角误差范围，可计算得到截割头位置误差在50 mm以内，满足煤矿井下截割头实时测量精度需求。

表4 截割头垂直摆角测量结果对比

5 结论

(1) 针对悬臂式掘进机截割头位姿视觉测量系统外参标定结果存在较大波动的问题，提出一种基于多点固定的外参标定方法，该方法将截割臂摆动到极限位置(已知)时的相关数据作为标定依据，可有效提高外参标定稳定性。

(2) 针对灰度质心法提取光斑中心精度只能到像素级的问题，提出采用亚像素级边缘检测算法改进光斑中心提取方法。在采用灰度质心法进行光斑中心粗提取的基础上，采用亚像素级边缘检测算法进行边缘细定位，再使用基于最小二乘法的椭圆中心拟合算法进行光斑中心定位。

(3) 光斑中心提取精度对比实验结果表明，改进光斑中心提取方法将标靶LED灯间距最大测量误差从3.2 mm缩小为1 mm，提高了检测精度。外参标定实验结果表明，基于多点固定的外参标定方法所获得的外参数矩阵比较稳定，平移矩阵中位移的最大变化幅度为15 mm，旋转矩阵中角度的最大变化幅度为1°。系统测量误差对比实验结果表明，视觉测量系统改进前对截割头摆角的测量误差范围为[-1.2°,1.7°]，改进后截割头水平摆角误差范围为[-0.5°,0.5°]，垂直摆角误差范围为[-0.6°,0.6°]，说明改进方法有效提高了截割头摆角的检测精度。