面向柔性导线涂覆作业的机器人视觉检测与定位方法

饶成龙，宋屹峰，赵娟平，王俊彭

(1.沈阳化工大学信息工程学院，辽宁沈阳 110142；2.中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁沈阳 110016；3.中国科学院机器人与智能制造创新研究院，辽宁沈阳 110169)

0 前言

随着社会的快速发展，电力能源的使用愈加频繁，配电网线路快速增长。以端侧线路为例，架空裸导线是发电端到达用户端的通道，其应用与居民生活紧密相关。架空裸导线没有绝缘外皮保护，极易出现氧化腐蚀现象，在人群密集区域容易发生电力安全事故，缺乏对突发事件的防御能力，对人民群众的人身安全具有较大危害[1-5]。因此，对裸导线进行绝缘化处理具有极大的现实意义[6-7]。

较早裸导线绝缘化技术是直接通过人工配备防护工具来进行不停电作业，这种作业方式危险性极大，直接影响到作业人员的生命安全。同时，人工作业人力成本高、劳动强度大、工作效率低以及面临高空高压的危险环境[8-10]，难以实现电力设备绝缘化大面积普及。

故此，架空裸导线绝缘化作业任务机器人应运而生，代替人工完成裸导线绝缘化的工作。华北电力大学研制了一款10 kV架空线绝缘修复机器人[11-12]，能对绝缘导线破损处包裹新的绝缘皮，完成线路修复。西南交通大学设计了用于架空裸露导线的自动绝缘包裹机器人[13]，能有效地对架空裸露导线包裹，实现自动化运行与带电操作。

目前利用电力机器人对裸导线绝缘化作业存在着涂覆不均匀现象，在质量上难以管控。而当下，视觉已经被广泛应用于电力机器人的研究[14-18]，具体包括视觉引导[19]、越障[20]、障碍物识别定位[21]。

美国伊利诺伊大学提出了一种智能检测框架，基于安装双目视觉传感器的塔监测图像数据，检测柔性线路植被侵占情况，有效避免了植被与电力线路的接触[22]。上海交通大学利用一种实时在线维护操作机器人，实现户外柔性电缆的识别与定位，自动完成电缆的剥皮、切割与电气检查等任务[23]。沈阳自动化研究所使用了一种基于视觉的电力线路机器人断线检测方法，可有效识别柔性导线上的线路断股和障碍物，完成故障线路的检测[24]。

以上研究都是将柔性线路当作了刚性环境处理，而忽略了其本身所具有的柔性特性。由于机器人在作业过程中会引起线路变形，从而导致机器人运动路径发生偏差，影响了机器人工作状态。

针对以上问题，本文作者提出一种面向柔性导线涂覆作业的机器人视觉检测与定位方法，在考虑配电网线路因柔性变形的影响下，实现观察臂对涂覆机器人的实时跟踪与定位，从而观察涂覆机器人的运动状态以及柔性导线的涂覆情况。根据涂覆机器人位置的改变实时调整观察臂位姿状态，有效观察涂覆机器人涂覆导线的状态，以调整自身位姿，从而具备外部环境的适应能力。

1 涂覆机器人模型及运动原理

1.1 涂覆机器人系统

如图1所示，带电作业涂覆机器人系统主要由涂覆机器人、观察臂以及单目摄像机组成。涂覆机器人对电缆进行涂覆，完成裸导线绝缘化工作；观察臂具有6个自由度，协助涂覆机器人挂线以及实现自动跟随涂覆机器人运动；观察臂自身携带的单目摄像机可精准定位涂覆机器人，对涂覆机器人的涂覆状态进行有效的评估。

1.2 机器人上线流程

为了让涂覆机器人能够安全到达柔性配电线进行涂覆作业，需要完成以下操作来实现涂覆机器人的安全挂线：

(1)首先将观察臂与涂覆机器人放在绝缘斗臂车的工作平台上，然后利用绝缘斗臂车的升降机构把涂覆机器人与观察臂放到柔性配电线的水平安全距离。

(2)利用观察臂自身所携带的夹爪将涂覆机器人的升降机构(挂钩)挂在配电线上，利用升降机构的电机将涂覆机器人上升到配电线，实现自动挂线。

(3)找准限位孔，将配电线卡在涂覆机器人的限位孔中，根据柔性配电线的直径，调整限位孔大小，完成进线过程。

涂覆机器人上线流程如图2所示。

图2 涂覆机器人上线

1.3 涂覆运动过程

涂覆机器人行走会致使柔性配电线发生形变，改变柔性配电线在水平位置的位姿，影响涂覆机器人作业的涂覆距离以及涂覆的状态。因此，采用视觉定位涂覆位置点和跟随涂覆机器人，有效调整观察臂的位姿，从而观测柔性配电线形变对涂覆状态的影响。如图3所示，其涂覆运动具体如下：

图3 涂覆机器人涂覆运动

(1)利用观察臂对涂覆机器人的初始状态进行标定，储存初始状态信息。

(2)涂覆机器人前进过程中喷涂装置自动出料，为配电线涂覆，实现裸导线绝缘化。

(3)根据配电线的涂覆状态，利用观察臂对涂覆的情况进行目标定位。

涂覆机器人在柔性配电线上行走，摄像机对获取的图像实时更新，不断确定空间中新的位置点，确定配电线涂覆位置点，实时监控配电网线路的涂覆状态。

2 基于柔索环境下的视觉定位原理

涂覆机器人以一定的速度沿柔性配电网线路前进，观察臂识别涂覆位置点，实时定位并跟随运动。如图4所示，整个视觉定位系统包括感知子系统与控制子系统两大部分。感知子系统主要是观察臂对涂覆位置点进行实时定位，通过相机标定对涂覆位置点实时跟踪。控制子系统根据涂覆位置点的位置信息，与期望的位置信息进行比较，通过PID视觉伺服控制器快速控制系统稳定，利用图像雅可比将图像信息差值转化为观察臂末端的速度。再利用观察臂雅可比矩阵将末端速度转化为各个关节速度，通过观察臂的伺服控制器将各关节角度信息传输到观察臂本体，让观察臂实时跟踪目标。其中，该系统利用了闭环控制，保证运动控制的精准性。

图4 系统控制框图

2.1 手眼成像模型

图5所示为摄像机与标定板的模型，包括摄像机、目标标定板以及摄像机成像平面。a为机器人未工作时柔性电缆的初始状态，b为机器人涂覆作业时柔性电缆发生形变的状态。其中{OL}为标定板与箱体接触平面的参考坐标系，{OC}为摄像机坐标系，{XOY}为图像物理坐标系，{Of}为图像像素坐标系。P为标定板在摄像机坐标系上面一点，其在图像物理坐标系和图像像素坐标系中的坐标分别为P1(X1,Y1)和Pf1(u1,v1)。根据中心透视投影关系模型，可得

图5 手眼成像模型

(1)

(2)

式中：(u0,v0)是{XOY}坐标系原点在{Of}坐标系下的中心点；fx、fy、u0、v0为摄像机的内部参数；R、T为摄像机的外部参数。

2.2 柔索环境下的视觉定位

2.2.1 特征提取

对目标点位置进行有效定位与跟踪，则有如下的处理过程：

涂覆机器人沿着裸导线进行作业，观察臂所携带的摄像机采集视野中的图像，计算每张图像所对应的摄像机外部参数矩阵。同时，每一次图像采集并记录其对应观察臂末端的位姿矩阵。通过图像处理来计算目标点的位置信息，其处理过程如下：

(1)首先对采集的彩色图像进行预处理，利用图像灰度化，减弱背景环境对标定板的影响。

(2)对标定板进行角点提取。首先对标定板角点进行粗提取，确定角点处于可提取的范围之内；然后对粗提取的角点进行精提取，保证提取的精度；最后，遍历标定板，提取全部角点。

(3)对提取的角点进行标定。利用OpenCV的solvePnP函数对提取的角点进行实时标定，对标定的参数进行罗德里格斯转换，计算基于摄像机坐标系下的R与T。

2.2.2 图像雅可比矩阵

(3)

由公式可知

(4)

对u求导则有

(5)

将式(3)代入式(5)可得：

(6)

(7)

(8)

其中：Ji为图像雅可比矩阵：

(9)

因此观察臂末端速度可为

(10)

其中：e为图像物理坐标系下当前位置与期望位置的图像特征差。

2.2.3 观察臂雅可比矩阵

由观察臂末端速度可知观察臂的运动状态，但所输入到关节的变量为关节速度变量，因此需要将物理世界坐标系下的末端速度转化为观察臂的关节速度。

(11)

其中：Jr为观察臂雅可比矩阵。

(12)

利用观察臂的位置信息来求解自身的运动学逆解，从而获取各个关节的角度信息。

2.3 基于PID方法的伺服控制器位姿调整

图6 摄像机位姿调整

(13)

式中：Kp为比例控制参数；Ki为积分控制参数；Kd为微分控制参数。

图像空间中摄像机随着标定板的移动，其视野中标定板位姿偏差可如图6所示。其中定义标定板相对于摄像机的纵向中心线偏移角度为θk，标定板相对于摄像机的横向中心线偏移角度设定为λk，标定板相对于摄像机的横向中心线偏移距离设定为γk，[θkλkγk]T定义图像空间中特征变化，[ε1ε2ε3]T为图像空间中特征变化的极限值。当涂覆机器人工作时，观察臂亦跟随运动，不断调整自身位姿，使标定板处于摄像机范围内。如图6(a)所示，首先调整摄像机在纵向的偏角θk，当θk<ε1时，如图6(b)所示，调整摄像机在横向的偏角λk；θk<ε1且λk<ε2时，如图6(c)所示，调整摄像机在横向的平移γk；θk<ε1且λk<ε2且γk<ε3时，如图6(d)所示，为摄像机对准标定板，完成标定板的实时定位，即与配电线进行了实时定位。

3 实验研究

3.1 实验场景搭建

为验证所设计的面向柔性导线涂覆作业的机器人视觉检测与定位的准确性以及有效实施的可能性，在实验室搭建配电线的实验场景，如图7所示。

图7 实验室场景

3.2 实验测试

在实验中让观察臂能准确定位与跟随到涂覆机器人，保证摄像机能够跟踪图像平面中的特征点，从而引导观察臂末端执行器在空间中移动，以实现柔性导线下对机器人的定位与跟踪。观察臂在检测与定位涂覆机器人的过程中，会因为涂覆机器人的运动以及摄像机视野范围的变化，从而丢失目标，故而在实验环境中对观察臂的工作区间有所限制，从而确保观察臂对机器人的实时跟踪。其中观察臂在实验环境中所调整的偏角θk、λk可在[-45°，45°]之间变化，横向偏移距离γk的变化范围为[-320，320]pixel。实验中所允许ε1、ε2的偏角误差范围为[-1°，1°]，ε3的偏距误差范围为[-20，20]pixel。

图8展示了涂覆机器人在实验室环境下的运动状态。在运行过程中，观察臂对运动中的涂覆机器人进行了定位与跟踪。

图8 涂覆机器人运动

观察臂对初始位置进行初始化标定之后，然后跟踪涂覆机器人。经过多次实验反复验证可知，涂覆机器人沿柔性裸导线前进涂覆，观察臂对动态的标定板进行实时检测与定位，不断调整自身位姿，与涂覆机器人保持一定的状态。当观察臂携带的摄像机正对标定板时，此时对涂覆机器人的检测与跟踪效果最佳。

3.3 实验结果分析

图9展示了观察臂实时运动过程中各个模块参数的变化。图9(a)为观察臂所携带的摄像机观测到涂覆机器人的位置误差，通过摄像机前一帧图像的空间位置与后一帧图像的空间位置进行求差值得到。随着空间中位置差值的减小，观察臂逐渐跟踪到涂覆机器人并正对着标定板；图9(b)为观察臂的各个关节速度，利用观察臂末端速度经观察臂雅可比矩阵转化为关节速度；图9(c)为观察臂实时运行跟踪涂覆机器人所产生的轨迹。

图9 观察臂实时的参数变化

此实验主要采用的方法是涂覆机器人在不同速度下利用观察臂对涂覆机器人的检测与定位。同时考虑到实验环境中光照强度会影响观察臂对机器人涂覆状态的观测效果，故采用了在光照比较合适的环境中实现对涂覆机器人的定位与跟踪。

表1中，针对涂覆机器人在不同速度下，利用观察臂在不同偏距、偏角下调整观察臂位姿来检测跟踪涂覆机器人。

表1 观察臂跟踪时间

在现场实验中选取一组观测效果较好的数据，当涂覆机器人速度处于0.04～0.06 m/s，检测与定位状态最好，观察臂能够快速检测并跟踪涂覆机器人运动。此时偏角与偏距较大时(|θk|>25°，|λk|>25°，|γk|>200 pixel)，观察臂需要超过3.5 s来调整自身位置，实现柔索下机器人的检测与跟随；当偏角与偏距较小时(|θk|<10°，|λk|<10°，|γk|<80 pixel)，观察臂只需在2.5 s内即可调整自身位姿，实现柔索下机器人的检测与跟随。实验结果表明：基于视觉定位跟踪的方法是可行的，能够有效地实现对目标位置的定位。

4 结论

针对柔索环境下涂覆机器人运动导致柔索发生变形致使目标发生变化，提出一种面向柔性导线涂覆作业的机器人视觉检测与定位方法。图像处理方法简洁有效，特征点提取准确，减少了每次图像处理的计算量。综合考虑了柔性导线位置与姿态对涂覆机器人姿态影响，利用PID方法对观察臂姿态进行稳定性控制，实现观察臂对涂覆机器人的实时跟踪与定位，具有很强的工程可行性。实验结果验证了视觉定位跟踪的准确性与可行性。