融合机器视觉和触觉的机器人自动接线方法研究

赵 恒，陈清淼，李成钢，杨卫星

(1. 国网江苏省电力有限公司电力科学研究院，江苏 南京 211103；2. 国网电力科学研究院武汉南瑞有限责任公司，湖北 武汉 430074)

开关、连接线、控制面板等电气设备是发电机组、输电线路、变电站、配电室、自动化机器、工业厂房和民用住宅的基本组件。在实际应用场景中，由于接线任务操作的复杂性、接线设计的可变性以及小批量或多频次的重复接线操作，开关等电气设备接线通常由人工手动操作完成。

在传统的电气装配过程中，操作者需要从预先准备好的线圈中取出特定规格的导线，再将其金属端子插入对应连接器或目标开关的插孔中。然而，现有的传统人工接线方法主要面临两方面问题：一是接线过程十分依赖操作人员的技术水平，用工成本高且操作过程需要耗费大量时间和精力；二是接线工作存在较高危险性，电网接线操作人员通常需要带电作业或在高空环境下进行接线操作，这对安全生产提出了极高要求。

实际上，随着机器学习、大数据等技术的快速发展，市场上也出现了一些自动接线方法[2-5]，电网接线机器人是替代操作人员在不断电、高空或狭小空间下更换线路零部件或进行电线连接操作的高度自动化设备[18-19]。例如，SYNDY机器人[6]可自动完成开关柜的接线操作，但受限于机械臂末端执行器尺寸和移动性，该接线方法对开关柜中组件间的空间要求较高；KA自动接线系统可完成电线与螺丝钉的对接，然而该方法要求开关处于水平位置，对电气设备的定位提出了较高要求，许多场景下并不能很好地完成接线操作；在Nguyen等人的研究工作中[1]，提出了一种基于计算机视觉的机器人自动接线方法。实际上，现有大多数机器人自动接线系统主要依赖机器视觉，但受操作空间、光线以及杂乱背景等因素影响，仅依靠视觉系统很难保证接线操作的准确性，该问题在开关柜等狭小空间中尤为突出。

综上所述，为了克服传统手动接线以及现有机器人自动接线方法的缺陷，研究如何以一种自动化方式完成狭小空间电气设备接线操作，降低用工成本、让操作人员远离危险是十分有必要的。本文开发基于机器视觉[7-10]和触觉传感器[11-14]的机器人自动接线方法，该方法融合了视觉和触觉两种智能感知技术，两者协同互补，机器视觉系统通过卷积神经网络识别电线端子、连接器等组件，触觉传感器则整合经过训练的多层感知机，通过量化导线与电气组件间的碰撞来判断电线是否准确接入[20-22]。本文提出的方法能够在狭小空间中完成接线操作的自动识别、抓取和插入，通过现场试验证明了自动接线方法的优越性和有效性。

1 机器人自动接线任务描述

本文采用视觉-触觉-机械臂工作模式，主要面向开关柜等有限作业空间的导线插入[23-25]。自动接线机器人由工业机械臂(带机械手)、双目摄像头、触觉传感器和工控机等组件构成[15-16]。两个摄像头分别位于机械臂的侧面和正面近末端，侧面摄像头主要用于提供导线与连接器的近距离视图，正面近末端摄像机可完成导线端识别和位置姿态估计，触觉感知器位于机械臂末端，主要用于采集导线与连接器的碰撞信息，并通过多层感知机来判断触碰类别，指导导线准确插入接线器中，整个操作过程由视觉系统和触觉系统协同完成。该机器人自动接线臂结构如图1所示。

图1 机器人自动接线臂结构

机器人在运动过程中会收集视觉信息和触觉信息，为了完成导线端识别、抓握及插入等操作，本文采用了卷积神经网络和多层感知机算法来处理机械臂捕获的视觉、触觉信息，两者协同互补，共同指导机械臂将导线插入开关柜内部组件的连接器中。文中提出的基于机器视觉和触觉传感器的机器人自动接线方法具体可分为以下四个步骤：

(1)机械臂近末端摄像头采集视频图像，利用自训练卷积神经网络检测导线端口，并通过三角测量法对导线端进行位姿估计；

(2)在步骤1基础上，利用多层感知机(MLP)对触觉感知器接收到的碰撞进行分类，判断机械臂末端是否夹住导线；

(3)根据摄像头提供的视觉信息调整导线端位置，使得导线与连接器尽可能在同一水平线；

(4)再次根据触觉传感器反馈的碰撞信息，利用预先训练好的分类器对碰撞类型进行识别，最终将导线插入对应的连接器中。

基于上述四个步骤，可完成导线的识别、抓取和插入，整个自动接线过程如图2所示，四个步骤依次进行，接线过程融合了视觉信息、触觉感知、深度学习和机器学习算法，大大提高了接线效率和自动化水平。

2 融合机器视觉和触觉感知器的自动接线算法

本节主要介绍文中提出的融合机器视觉和触觉传感器的自动接线算法，详细论述算法中的每一个步骤，包括线端检测、导线抓握、位置修正及插入。此外，本节还将介绍自动接线方法中机器视觉和触觉感知系统中采用的深度学习模型和机器学习算法。

为了更好地展示自动接线过程，理解算法中各模块的相关性，图2展示了整个算法的流程。各部分之间相互关联，呈递进关系，共同支撑起机器人自动接线系统。

图2 自动接线流程图

2.1 基于Faster R-CNN的电线检测及位姿估计

在实际应用场景中，开关柜中的电线通常以统一的排列方式存储在线槽或某个区域中，机械臂的抓手可以抓住每根电线而不会与其他电线或障碍物发生碰撞。然而，由于电线自身可能的弯曲，机器人需要定位电线端口并以足够的精度估计其姿态，以便后续抓取、修正等操作。

该模块主要基于目标检测网络Faster R-CNN完成电线端口检测。在本文中我们创新性地引入注意力机制，以便Faster R-CNN更准确地定位电线端口位置，图3展示了该网络的基本架构。

图3 引入注意力机制的Faster R-CNN目标检测网络结构图

接下来，通过训练完成的深度神经网络来检测导线端口的位置，并通过工控系统不断变换机械臂位置，获取多个2D检测框信息。虽然某些高端摄像头可以重建导线端口的3D信息，但这对摄像头周围的光线、背景等有很高要求，因此通过检测网络获取的2D信息来从空间上重建目标对象的3D位置是更可靠的。在本节中，我们采用三角测量算法建立目标对象的3D坐标，理论上，如果我们已知图像In中目标对象的齐次坐标yn，则只需要两个视点即可获得准确地三角测量结果。为了更准确的表示目标位置，本文将Faster R-CNN输出的正方形检测框的中心作为2D参考特征，对于不同角度的检测，可以计算中心点的三角射线rn，即相机参考系中的单位向量，对应所选的二维特征如下：

rn=‖A-1yn‖

(1)

其中，A表示机械臂末端相机的内部参考系矩阵，即相机自身位置参数，相机参考系中心cn与三角射线rn共同生成3D视图。因此，给定一组线ln，最近的点O，即是与所有线的距离最小的点，可以通过如下公式计算：

(2)

为了验证相机从不同角度获取的图像对最终的检测结果的影响，本文通过相机与端口平行和正交两个方向来获取图像，并扫描红、黄、蓝三种颜色的导线，试验中从30个不同角度收集图像，通常情况下，当相机平行于图像平面时可以获得最佳检测结果。此外，为了评估相机与目标对象间距离对检测结果的影响，我们使用盖洛普等人提出的立体视觉误差算法进行估量：

(3)

其中，η是估计误差，d表示距离，f是机器人携带相机的焦距，b是基线，ηt是视觉误差。由于可以通过移动机械臂来控制相机位姿，因此可以根据实际情况选择不同的(d,b)组合，为了计算导线端口的3D位姿，我们首先定义如下泛型函数：

υ(y0,…,yn,C0,…,Cn)=O

(4)

υ(·)为函数体，y0到yn表示n个不同图像的二维特征，该式主要用来表示导线端口的三维向量。此外，为了更准确和直观地建立参考坐标系，本文提出四步参考系估计法：

1)在检测的目标区域中引入自适应阈值，只保留大于阈值的检测框；

2)对检测区域图像进行二值化处理，突出导线位置和姿态；

3)旋转检测区域，使得导线端口与放行检测框最近的边保持垂直；

4)对二值图像进行正交回归，估算最优的拟合线：

L={x,y)|y=mx+q}

(5)

式中m和q分别表示回归曲线的系数和偏差项。接下来，我们使用如下公式推断导线端的二维参考系：

Hw=(yw,θw)=(yw,tan-1(m))

(6)

其中，Hw表示检测到线端初始位置，θw表示检测框的旋转角度，m与公式(5)中的拟合系数相同，通过该式可得到中心齐次坐标yw，并基于公式(5)估计在机器人参考系中的3D位姿。最后，我们计算从不同视角收集的导线图像的三维点：

Ow=υ(yw{1,…,n},C{1,…,n})

(7)

Oc=υ(yc{1,…,n},C{1,…,n})

(8)

其中，yc是从不同角度检测到的导线端的齐次坐标。进一步，我们计算与导线终端对称轴方向一致的单位向量以及：

(9)

线端位姿的最终估计如下：

(10)

其中，Vwz=Wwx×(±ux),ux=[1 0 0]T表示相对于机器人参考系的前进方向。

2.2 基于触觉感知的导线抓握

众所周知，当导线被机械手的中心位置抓握时，最容易将导线插入目标端口中。然而，这种理想情况往往很难实现，在真实场景中，导线末端处于自由空间，难免会触碰到其他导线或障碍物。因此，本节主要在2.1节基础上，基于已知的导线检测和位姿估算结果，通过机器学习算法对导线与机械手的触碰信息进行分类，进而判断导线是否处于机械手的正确位置。

在本文中，我们选用多层感知机分类器(MLP)对触觉感知信息进行分类。综合考虑计算复杂度以及模型大小，MLP神经网络由一个输入层、两个隐藏层和一个输出层组成，分别对应16、8、4和2个神经元，具体结构如图4所示：

图4 自搭建的多层感知机结构图

我们首先通过触觉传感器将触碰信息量化成一个4×4矩阵，为了能够将数据输入多层感知机分类器，进一步将矩阵转换成16维矩阵。模型输出的是一组布尔值，b属于0、1，1表示导线被抓握在一个合理的范围内，0表示机械手未正确抓握导线：

(11)

其中，θ(┻Hw)表示以二维参考系┻Hw为基准的角度，lmin和lmax是相对于机械臂允许范围内的导线终端的移动阈值。

2.3 导线端口位姿修正及插入

在导线端口位姿修正方面，本文利用距离指标来评估导线端口位姿对线插入的影响，并通过三维空间坐标系进行修正[15]。基于相机自身坐标系和机械手位置，抓取平面(即抓取后导线所在的平面)与插入处的距离可以由dw=camOzee得到，其中Ozee是相机坐标系中的z分量。得到dw值后，从齐次坐标到三维坐标系的转换可通过公式(12)完成：

γ(y)=O=γ([αν1]T)=

(12)

其中，y=[αν1]T是二维坐标系下的齐次坐标，O是对应的三维坐标点，cx，cy，fx，fy分别是原始摄像机中的位置参数。因此，基于给定的接线端相对于机械臂末端的位置，根据上式可依次计算三维坐标系下的对应分量。参考三维坐标下的导线末端位置移动机械臂，使得导线与标准参考系保持相对一致。

在导线插入方面，为了检测导线端口是否与接线端接触，并在导线插入的最终阶段修正导线轨迹，我们利用机器学习算法对触觉传感器传回的碰撞矩阵进行分析。此外，在导线与其他物体碰撞过程中受向心力和切向力的共同作用，我们通过文献[25]中描述的触觉传感器对力进行区分，因为它们分别与测量的压力图的对称和不对称变化有关。因此，在碰撞中，被抓物体(即导线)的运动方向与4×4分类矩阵提供的信号xt之间存在着很强的相关性。基于此，xt被用于训练回归器，该回归器能够输出用于表示触觉传感器中碰撞力大小的标量值。

为了选择最优回归器，我们训练了随机森林(RF)，多层感知机(MLP)，支持向量回归(SVR)三种机器学习模型，并从已知位姿和真实场景中收集碰撞数据，这些数据用于预测与冲撞力相关的真实值。图5展示的是经过1000组数据训练不同回归器得到的准确率曲线，表1展示的000是在均方误差(MSE)和动态时间规整(DTW)上的结果。通过图表展示的结果可以看出，MLP可以更准确地量化导线端与目标接线位置的碰撞信息。值得注意的是，本阶段采用回归器来量化碰撞信息，而不是简单地进行分类，主要是为了区分实际碰撞与摩擦。

图5 不同模型碰撞识别对比

表1 三个模型在MSE和DTW指标上的对比结果

3 自动接线任务评估

为了验证本文提出的自动接线方法的有效性，我们选用开关柜作为实验场所，不仅进行了整体接线实验，还根据算法中的主要步骤进行了有针对性的消融实验。

首先，我们评估视觉信息对导线末端检测的有效性。在2.1节我们介绍了视觉特征提取模型，基于Faster R-CNN进行导线检测，图6的柱状图展示的是在各个开关柜上的准确率。从图6中展示的对比结果可以看出，五个开关柜均达到了90%以上的检测准确率，最高的4号开关柜为93.87%，受光线等因素影响，在各开关柜上的检测准确率略有差异。

其次，我们评估触觉信息对机械臂末端的导线抓握，以及在导线插入时对导线角度调整的影响。图7展示的是在标准插线流程中，多层感知机的输出，模型的原始输入是触觉传感器收集到的碰撞数据。通过曲线变化可以看出，MLP在5个开关柜中其的输出均超过了0.5的阈值，这证明通过触觉传感器的指导，机械臂末端在大多数情况下可以准确抓握导线，且仅需要25s左右的时间就可以达到稳定抓握状态。

图6 改进的Faster R-CNN在各开关柜中导线识别率对比

此外，我们也进行了导线的角度调整实验，图8展示的是机械臂根据视觉信息以及三维坐标系对导线末端的角度调整，其中红色虚线为坐标系的水平参考线，绿色线为机械臂抓握导线后的角度调整，蓝色线为基于视觉信息的角度对正。通过曲线图能够很直观的看到机器人能够有效调整导线末端的角度，使得电线与参考系处于几乎同一水平面，这给接下来的导线插入提供了良好基础。

图7 多层感知器在各开关柜中的碰撞检测对比

图8 机械臂对导线末端角度调节

最后，我们对整个自动接线流程进行测试，验证本文提出的融合机器视觉和触觉传感器自动接线方法的有效性。实验中，我们选用了直径为2.5mm和3.0mm两种尺寸的导线，选定五个开关柜，按照第二章介绍的算法分别完成两种导线的接线操作，每个开关柜都对应15次实验。受空间限制，表2仅展示了两个开关柜的接线结果。

表2 在不同长度和角度前提下的自动接线情况

表中展示的是直径3mm导线的接线实验，其中e表示导线的偏斜角度，d表示导线超出机械臂末端的距离，p表示导线是否在机械臂的操作下准确插入接线孔，其中T表示准确插入，F表示未插入。通过上表列出的插入结果，自动接线的成功率被展示在表3中。

表3 各开关柜中自动接线成功率对比

通过在5个开关柜中全流程的自动接线实验，平均接线成功率达到73.33%，开关柜4的成功率甚至达到80.00%。

基于以上实验结果，充分证明了本文提出的自动接线方法的有效性，机器视觉和触觉感知信息在机器人接线操作中发挥了重要作用。

4 结 论

为了提供机器人自动接线问题的解决方案，提出了融合机器视觉和触觉传感器的机器人自动接线方法。首先，基于改进的Faster R-CNN目标检测模型对导线进行识别，从而实现对导线端口的定位，然后，根据触觉传感器获取的碰撞信息，通过多层感知机(MLP)分类算法对碰撞类型进行判断，以实现机械手对导线的准确抓握，最后，利用三维坐标系修正导线端口的位姿，并再次通过触觉传感器和带有回归器的MLP指导导线的最终插入。为验证整体接线算法的有效性，基于开关柜场景进行一系列仿真实验，所提出的方法能够较为准确地完成导线与连接器的自动接线操作，这为开关柜等作业空间有限的工作场所提供了可靠保障，大大节省了人力，降低了人工作业风险。