基于导线纹理的架空导线巡检机器人视觉定位

李松涛，宋光明，李雅雯，甄富帅，宋爱国

(东南大学仪器科学与工程学院，生物电子学国家重点实验室，江苏省远程测控技术重点实验室，江苏南京 210096)

0 引言

近年来，随着机器人技术的快速发展，机器人被越来越多应用于电力巡检领域。利用机器人完成架空输电线路的巡检作业任务，比传统的人工巡检方式与直升机巡检方式的作业效率更高，维护成本更低，同时能够保障操作人员的人身安全[1]。搭载探伤装置的架空导线巡检机器人能够对输电线路进行无损探伤作业，保障电网安全可靠运行。

定位技术是架空导线巡检机器人(以下简称巡检机器人)研究的关键技术之一，定位精度直接影响线路缺陷位置的精确定位。项目组研发了用于碳纤维复合芯导线内部探伤作业的巡检机器人LineSpyX[2]，作业区域位于杆塔与第1根间隔棒之间约30 m的区域，需要提供较准确的缺陷位置。现阶段，巡检机器人的定位多采用编码器等接触式相对定位方法[3-4]，存在累计误差大的缺点。为了减少累计误差，研究人员使用差分GPS进行机器人定位[5-6]，能够达到cm级的定位精度，但该方法对基准站架设要求高，存在成本高、现场不易部署等缺点。

随着机器视觉技术的发展，视觉定位方法被广泛应用于机器人领域。巡检机器人工作环境特征较单一，其中，输电导线纹理有规则的特征。本文提出了一种基于导线纹理的巡检机器人视觉定位方法，使用LK光流法[7]跟踪导线纹理边缘特征，计算巡检机器人线上运行距离。为了提高系统定位性能，同时跟踪背景特征评估导线纹理跟踪结果。实验表明，本文提出的方法具有较高的定位精度，满足应用需求。

1 系统设计

1.1 巡检机器人平台设计

项目组研发的碳纤维导线探伤巡检机器人如图1所示。机器人框架为铝合金包裹式结构，主要由运动模块、探伤模块、控制模块、监控模块与定位模块组成。机器人运动速度为0.1 m/s，搭载便携式X射线探伤装置与X射线数字成像板(DR)作为探伤模块，云台摄像头作为监控模块，具有自主探伤功能。机器人自动检测过程中，先沿导线运动15 cm，然后运动暂停进行射线图像采集与处理，重复此过程直至线路检查完毕。

图1 碳纤维导线探伤巡检机器人

1.2 视觉定位方法总体架构

本文所提出的架空输电线路巡检机器人视觉定位方法总体架构如图2所示，主要分为3个部分：导线识别、特征提取、特征跟踪。导线识别部分检测图像中输电导线所在的位置，提取该部分图像作为感兴趣区域(ROI)用于后续的特征提取。特征提取部分对导线图像进行预处理与自适应边缘检测，得到导线纹理特征。同时，在背景图像中提取特征点，用于后续跟踪计算。特征跟踪部分对纹理特征与背景特征分别进行光流跟踪，根据光流矢量的比例关系对导线纹理跟踪结果进行评估，并更新特征点位置用于后续计算。最后，根据像素点与物体运动的映射关系，得到机器人相对导线的位移。

图2 视觉定位系统总体架构

1.3 定位模块硬件设计

定位模块硬件主要包括置于机器人前端的摄像头，摄像头对准导线向下拍摄，可以减少阳光直射对成像的影响。摄像头如图3(a)所示，分辨率为640像素×480像素，图像采集速率最大为30帧/s。图像经摄像头采集后输入机载工控机进行处理。机器人选用的工控机见图3(b)，其运行环境为Ubuntu 16.04，处理器为i7-8550U，内存为4 GB，结构紧凑，计算能力能够满足机器人的需求。

(a)摄像头

2 架空碳纤维导线纹理提取方法

2.1 基于霍夫变换的导线检测

为了准确地提取导线纹理特征，消除图像中背景带来的干扰，并减少运算量，需要确定导线在图像中的位置。本文提出基于霍夫(Hough)变换的导线检测方法，通过对导线两侧边缘进行直线检测，确定导线位置。

首先针对图像进行平滑与增强处理，然后进行Hough直线检测。由图4可以看出，Hough直线检测在提取导线两侧边缘的同时，也会检测出部分导线纹理，同时，会出现线段重叠的情况。在摄像头视角下，导线在图像中基本竖直，为了消除导线纹理对结果的影响，将Hough直线检测结果变换到极坐标(r，θ)下进行判断，若|θ|>|θmax|，则剔除该直线。

机器人正常工作期间，由于导线在图像中的位置基本保持不变，为了提高计算效率，导线检测仅在系统启动后的前10帧图像中进行。检测结果的端点利用随机一致性算法(RANSAC)进行拟合，得到导线位置与ROI范围，并作为固定值用于后续计算，检测效果如图4所示。

图4 导线检测示意

2.2 碳纤维导线纹理提取

本文的检测对象为碳纤维导线，其外层由截面为梯形的铝线绞合而成，导线表面分布均匀而规则的接缝，是图像中最规则的纹理特征。碳纤维导线表面在室外光照条件下，容易因反射导致导线图像亮度不均，影响纹理提取的准确性。同态滤波属于频域滤波的范畴，可以对光照不均的图像进行补偿，能够一定程度上改善图像质量。为了提高本文方法在室外环境下的稳定性，采用了文献[8]提出的自适应同态滤波器对图像进行预处理。

碳纤维导线表面纹理为螺旋状，不易提取稳定的特征点，可通过边缘检测算法提取线特征用于后续计算。当前，常用的边缘检测方法主要有Canny、Laplacian、Sobel等。其中Canny边缘检测算法相比其他方法有更好的检测精度与信噪比[9]。传统Canny算法的双阈值需要人工确定，易检测到伪边缘，影响提取准确性[10]。本文采用基于图像直方图信息的自适应Canny边缘检测方法，根据图像灰度值统计结果，动态调整阈值，阈值计算过程为：

(1)计算灰度图像梯度直方图，取最大值、中位数与最小值。

(2)计算平均像素强度：

(1)

(3)根据式(1)，得到高低阈值TH、TL为

TL=max[0,(1-σ)V]

TH=min[255,(1+σ)V]

(2)

式中σ为常数，σ=0.4。

由于导线纹理特征较稠密，若计算所有边缘点，不能保证系统的实时性。本文对边缘图像进行均匀采样用于后续跟踪计算，保证了运算实时性。导线纹理提取结果如图5所示。

图5 导线纹理提取流程

3 特征融合光流定位方法

3.1 特征跟踪原理

由于导线纹理特征在图像中的重复性较高，采用特征匹配的方法会造成大量的误匹配，本文中采用Lucas-Kanade光流法(以下简称LK光流法)进行特征跟踪，从而反映机器人相对架空导线的运动。LK光流法基于灰度不变假设，描述了像素点在相邻图像间的运动矢量，利用图像间的灰度变化进行运动估计。设t时刻某特征点位置为(x，y),灰度值为I(x，y)，由灰度不变假设，可得：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(3)

对式(3)进行泰勒展开，得到约束方程：

(4)

式中：Ix、Iy、It为像素值的梯度与随时间的变化率；[u，v]为光流矢量。

受光照变化、遮挡等其他因素的影响，光流矢量与特征实际运动情况可能出现较大误差，通过判断跟踪的可逆性，可以剔除错误跟踪[11]，如图6所示。对前向跟踪结果进行反向计算，若特征位置相差较大，则认为跟踪失败，删除此特征。

图6 光流可逆性判断

3.2 运动映射关系

机器人下视摄像头与导线的相对关系保持固定，理想情况下，相机光轴与导线垂直，根据针孔相机模型，物点与图像特征点的运动关系[12]如图7所示。

图7 运动映射关系

图7中，P(XR,YR,ZR)点为导线表面纹路上某点，R(0,0,ZR)为相机光轴与物点平面的交点，P′为相机光心与物点连线在归一化成像平面上的交点，有：

(5)

由于相机成像过程存在畸变，成像平面上的实际投影点与理想针孔模型中的投影点不重合，实际投影点Pd坐标如式(6)所示，其中，k1、k2、p1、p2、k3为畸变参数。

(6)

转换到像素坐标系下，得到的坐标如式(7)所示：

(7)

式中：fx、fy为焦距在水平与竖直轴上的缩放值，像素；cx、cy为成像平面与像素坐标系原点的平移量。

由于[xp，yp]T可直接由图像中确定，空间点的位置可由式(7)得到。导线截面为圆形，由图7可知，ZR的长度随点P位置的变化而变化，设导线半径为r，物点到相机光轴的垂直距离为d，ZR长度可由式(8)计算。

(8)

式中L可由标定获得，对于文中的导线巡检机器人，L=90 mm。

由式(8)可以计算出相机即机器人相对导线的位移。

3.3 基于背景特征的机器人运动估计

在实际工况中，纹理特征在图像间的运动速度较快，可能出现跟踪失败的情况。相较于输电导线表面纹理单一的情况，背景图像中特征相对丰富，且不易产生强烈的反射光。由于距相机较远，特征点在图像间的运动较小，跟踪更加稳定。为了减少错误跟踪对定位精度的影响，本文提出一种融合背景特征的光流定位方法，对背景图像提取Shi-Tomasi角点进行光流跟踪，判断导线纹理跟踪的正确性，并对错误跟踪进行修正，如图8所示。

图8 特征融合光流跟踪

在架空输电线路巡检机器人的工作环境中，导线背景图像通常为地面，场景相对固定，不会随机器人运动出现剧烈变化。沿导线方向上，图像中背景特征与导线纹理特征的光流矢量大小可以保持相对稳定的比例关系，设比例为

(9)

式中：wy为图像中导线纹理特征沿导线方向的位移；gy为图像中背景特征沿导线方向的位移。

通过判断μ的大小，可以判断无效跟踪，并根据μ给出修正值。为了减少因导线相对背景距离变化而产生的影响，本文通过计算滑动窗口中最新的5个比例值的平均值，并以此为基准进行判断与估计，若当前图像中比例μ∈[tlth]，tl、th为比例阈值，文中分别取0.8、1.2，认为导线特征跟踪结果正确，若超出此范围，认为导线特征跟踪错误，wy=μegv(μe为滑动窗口中比例均值)。

4 实验验证

为了验证本文提出的定位方法的有效性，使用项目组研发的碳纤维导线探伤巡检机器人于室外模拟碳纤维线路上进行了实验,并与机器人现有编码器定位方法进行对比，机器人的运动速度设置为0.1 m/s。实验中，机器人工作模式分别设置为连续行走模式与自动检测模式。

实验中，锚固导线两端，调整导线基本保持水平，使用二轴倾角仪测量导线倾角，使两端角度小于3°。图像均保存在机载工控机中供后续分析，同时记录电机驱动器反馈的编码器数据作为实验对照。倾斜导线工况实验中导线最大倾角设置为15°。

本方法测得的机器人运动速度如图9所示。在连续运动模式下，测得机器人沿导线的瞬时速度如图9(a)所示，由于室外环境影响，测得速度存在一定的波动。定位结果如表1所示，本文所提出方法误差为0.03 m；编码器定位误差为0.1 m，定位精度提高了76.9%。

(a)连续运动模式

表1 机器人定位实验数据 m

在自动检测模式下，测得机器人沿导线的瞬时速度如图9(b)所示，定位结果见表1。本文所提出方法误差为0.174 m；编码器定位误差为0.189 m，定位精度提升了7.93%。相比连续运动模式，自动检测模式定位精度提升较小。这是由于机器人在自动检测模式下频繁启停，本方法中的跟踪算法在加减速过程中有波动导致。

5 结束语

本文提出了一种基于导线纹理的架空输电线路巡检机器人视觉定位方法。通过Hough变换与RANSAC拟合检测导线位置并提取导线图像，采用自适应阈值的Canny边缘检测方法提取导线纹理，提高对图像的适应性。特征跟踪过程中，根据前向-后向模型剔除错误跟踪，通过光流矢量比值判断跟踪有效性，剔除错误跟踪并进行估计。实验表明，该方法能够适应室外作业环境，精度满足架空碳纤维导线巡检作业的需求。