自主移动焊接机器人嵌入式视觉跟踪控制系统

杨国威，王以忠，王中任，刘海生，肖光润

(1.天津科技大学 电子信息与自动化学院，天津 300222；2.湖北文理学院 机械工程学院，湖北 襄阳 441053)

0 引言

焊接过程中让焊接机器人自主感知焊接环境并实时调整焊枪位置进行焊缝跟踪是焊接自动化的发展方向[1]。尤其在工业现场的大型工件焊接中，固定工装机器人底座不能移动而且臂长有限，导致焊接操作区域和空间受限，难以适应复杂大型构件[2-3]的现场自动焊接，自主移动焊接机器人焊缝跟踪方法为有效解决全位置、大范围、具有复杂空间轨迹形式的大型结构工件实时焊接难题提供了新思路，自主移动焊接机器人的智能化焊接也成为焊接领域的研究热点和发展趋势。

为提高移动焊接机器人在现场焊接中的自主性和适应性，国内外学者通过优化移动焊接机器人的系统结构[4-6]来解决现场焊接空间受限问题，通过改进焊缝跟踪算法来解决焊缝跟踪精度受干扰的问题。在系统设计方面，Kermorgant设计了一种磁性履带移动机器人，可应用于船体内部空间和垂直结构的焊接；毕齐林等结合移动式焊接机器人研究了一种紧凑式柔性化的焊缝视觉跟踪系统，以适应狭小复杂焊接环境中焊缝跟踪高度可变的需求。在提高焊缝跟踪精度和焊接可靠性方面，针对焊接过程中视觉传感器受弧光、烟尘、飞溅等干扰而影响焊缝跟踪精度的问题，研究人员在焊缝图像处理[7-11]和跟踪控制算法[12-14]上进行深入研究，以保证焊接的质量和适应性。随着深度学习技术的发展，华南理工大学邹焱飚等[15-16]提出基于深度分层特征的焊缝特征提取方法，该方法提取目标多尺度层级的特征，克服了单一像素级特征的局限，从而能够在焊缝图像信息中存在强烈干扰的情况下准确定位焊缝特征点，其所设计的智能跟踪控制器具有稳健性和全局自寻优能力，能够进行平滑地轨迹跟踪，提高了焊接的质量和可靠性。

然而，现有可靠的焊缝自动跟踪算法研究大多通过工控机组成的控制系统实现，限制了移动机器人在复杂空间的应用。为提高移动焊接机器人在工业现场焊接的适应性，本文设计了一种自主移动焊接机器人嵌入式视觉控制系统，以减少设备的复杂程度和体积。为解决焊接时的弧光干扰问题并实现适应于嵌入式系统计算能力的实时、精确、可靠的焊缝跟踪，系统地提出了基于核相关滤波(Kernelized Correlation Filter, KCF)的焊缝跟踪算法。该算法通过训练大量的正负样本构建分类器并利用高斯核函数映射，以提高跟踪精度和可靠性，通过构建样本的循环矩阵和傅里叶变换来减少计算量，以提高跟踪的实时性，并在嵌入式系统中实施自动跟踪算法，从而控制移动机器人爬行和横摆，实现焊接过程的实时纠偏。

1 系统组成

1.1 系统结构

以焊接大型管道为例，图1所示为本文采用的自主移动焊接机器人嵌入式视觉跟踪控制系统，系统主要由自主移动焊接机器人、嵌入式视觉跟踪控制系统、工业相机、线激光传感器和焊枪组成。移动焊接机器人为磁吸附式四轮机器人，通过步进电机驱动进行爬行(x)、横摆(y)和上下(z)3个方向运动(如图1箭头)，并通过将爬行(x)和横摆(y)联动对焊缝进行跟踪扫描。工业相机和线激光器组成的视觉传感器与焊枪一起安装在横摆运动的导轨末端，用于获取焊缝的位置和尺寸信息。焊接时，视觉跟踪控制系统采用焊缝跟踪算法从焊缝图像中提取焊缝的位置和尺寸信息，根据焊缝位置和尺寸的偏离值控制焊枪移动实现焊接纠偏。为提高焊接的便捷性和适应性，采用基于ARM Cortex-A8的嵌入式处理器作为视觉跟踪控制系统的处理和控制核心。嵌入式视觉跟踪控制系统通过GigE接口获取焊缝图像，并利用焊缝图像处理和跟踪算法提取焊缝位置和尺寸信息，然后通过通用输出口驱动步进电机来控制3个方向运动，同时通过485总线与焊机通信控制焊枪起弧进行自主焊接。

1.2 视觉传感器

图2所示为由工业相机、线激光器和滤光片构成的线激光视觉传感器，其利用激光较好的单色性、方向性和高亮度来凸显焊缝结构特征。线激光光平面与相机光轴的夹角为θ，传感器与焊接工件的距离为H。相机采集被焊接件焊缝尺寸信息调制的线激光信号，根据激光三角法原理，焊缝深度变化会引起激光条纹偏折。因此，根据焊缝线激光信号可以定位焊缝的位置和尺寸信息，如果对线激光光平面进行标定，则可获取焊缝的深度信息。由于焊接过程中被弧光和飞溅强烈干扰，所采集的焊缝图像会产生图像噪声，严重时会覆盖激光条纹的重要信息部分，导致焊缝特征检测失败。因此系统设计时在焊枪和视觉传感系统中间设置挡板阻挡弧光，并采用金属外壳对视觉传感器主体进行隔绝保护，以避免焊接时被飞溅的融滴损坏；成像光路区域采用薄玻璃平板进行保护，以减少对成像误差的影响。焊枪和线激光器的夹持器通过绕横摆(y)方向旋转来调整焊枪和传感器之间的角度和距离，将焊枪尖端与焊缝特征点的距离控制在25 mm～30 mm之间，使得焊枪离传感器既不会太远而影响焊缝跟踪精度，也不会太近而受弧光影响。激光器选择弧光较弱的波长，同时采用激光器波长范围的窄带通滤光片，以减少弧光对图像信息的干扰。

2 初始焊缝特征提取

移动机器人自主焊接前，需要获取焊缝的初始位置和尺寸信息。根据激光三角原理，焊缝坡口深度变化会导致所采集的线激光条纹图像在焊缝边缘发生偏折，图3a所示为V型焊缝激光条纹图。因此，通过焊缝图像处理算法提取激光条纹两端的偏折点位置能够计算出焊缝的像素位置和像素宽度，结合实际焊缝宽度对相机成像进行标定，可以获取焊缝像素坐标和真实坐标之间的关系。因为初始化过程中焊机并未起弧，不受弧光和飞溅干扰，焊缝条纹偏折特征比较明显，所以采用简便的模板匹配算法进行提取。设计的偏折条纹模板图如图3c所示，利用模板匹配算法可分别确定焊缝左右两端的特征点，从而取得焊缝初始位置和焊缝的像素宽度，所提取的焊缝特征点如图3b所示。对所提取焊缝的像素宽度与其真实宽度进行标定计算，可以得出焊缝图像的像素分辨率。图3中焊缝的焊缝真实宽度为20 mm，提取的像素宽度为36像素，标定得到每个像素的分辨率为0.056 mm。

为方便后续跟踪焊缝，在焊缝初始位置处设定初始焊缝跟踪目标，以初始位置为中心，根据实际需要设定一定尺寸的目标进行跟踪，默认用100像素的正方形框表示待跟踪的焊缝目标，如图3b中的矩形标记所示。

3 焊缝视觉跟踪

3.1 跟踪原理

焊缝跟踪控制示意图如图4a所示。焊接时，视觉跟踪控制系统采用焊缝跟踪算法从传感器图像中提取焊缝的位置和尺寸信息，通过控制爬行和横摆两轴联动，使焊枪按照图4b所示的轨迹跟踪焊缝。为减少焊接机器人运动偏离和高温引起的焊件变形对焊接位置产生的影响，焊接时根据焊缝的位置和尺寸偏离值控制焊枪移动对焊接进行实时纠偏。为保证焊接质量，焊接跟踪过程中的工艺参数，如系统的爬行行程和速度、横摆幅度和速度、焊枪和焊缝的相对高度位置、焊枪在焊缝边缘处停滞的时延时间，以及焊接电流和电压等，在焊接运动中可根据焊接工艺需要进行设定和改变。

3.2 跟踪算法

移动机器人焊接起弧后，焊缝图像会受弧光和飞溅影响(如图5)，针对每帧单一焊缝图像，利用特征检测方法获取焊缝的位置和尺寸时，很容易影响其精度和可靠性，而且每帧都从整幅图中提取特征耗时较长，会影响其实时性。为此，采用基于KCF的焊缝跟踪算法来提高焊缝跟踪的精度、速度和可靠性。焊缝跟踪算法流程图如图6所示，具体步骤如下：

(1)生成训练样本

KCF所有的训练样本由目标样本循环偏移得到。以图3b矩形框所示的目标区域中心为特征点，选取邻域大小为M×N(本文默认为100×100)区域内的图像作为训练的正样本x，x∈Rn×1，n=M×N，对x进行循环偏移产生一系列负样本xi，

xi=Pix。

(1)

式中P为n×n矩阵，i=0,1,2,…,n-1，

(2)

xi为x循环偏移i位后的训练样本，所有训练样本xi构成训练样本循环矩阵C(x)，

C(x)=[x0,x1,…,xi,…,xn-1]T。

(3)

(2)高斯核空间的脊回归

脊回归是对样本集合进行分类器训练的过程，目的是构建回归函数来计算所有候选区域成为被跟踪焊缝目标的概率。为提高训练回归效果，利用高斯核函数

(4)

将x映射到高斯核特征空间φ(x)上，使映射后的样本在新空间中线性可分。因此，在高斯核特征空间构建回归函数

(5)

回归的目的是找到一个权重向量α=[α1,α2,…,αn]T，使得式(6)的残差函数为最小值：

(6)

式中：yi为训练样本xi对应的回归值，y=[y1,y2,…,yn]T；λ为防止过拟合的正则化参数。

利用循环矩阵卷积性质，式(4)～式(6)最优α值的解可由式(7)简化求解：

(7)

(3)快速检测

给定待检测的焊缝图像目标区域xt，其成为目标的概率值为

(8)

xi为焊缝目标区域xt通过循环移位i位得到的检测样本集合，选择概率值最大的检测样本目标区域作为最优检测结果，用目标循环移动的位置确定焊缝移动的位置。为计算所有循环移动后的检测样本区域成为焊缝目标的概率，构建核函数循环矩阵

Kxt=C(Kxxt)。

(9)

式中Kxxt为Kxt矩阵的第1行。利用Kxxt和脊回归训练得到的权重向量α值得到所有检测样本区域位置成为跟踪目标的概率为

(10)

式中：f-1为傅里叶逆变换：yt为检测的概率向量。新一帧的焊缝特征点坐标由yt最大值元素所在的位置确定为

(ut,vt)=max(yt)。

(11)

式中(ut,vt)为当前帧跟踪的焊缝目标位置的列值ut和行值vt。

(4)模型更新

为提高焊缝跟踪的适应性，跟踪过程中需要更新权重向量α和目标模型x，更新公式为：

(12)

综上所述，通过连续不断地采集图像，然后按照生成训练样本、高斯核空间的脊回归、快速检测、模型更新的步骤进行焊缝目标位置的跟踪计算，基于KCF的焊缝跟踪算法利用对目标区域循环偏移产生的大量样本来回归训练分类器，并利用高斯核函数计算候选区域与目标区域的相似度，从而提高回归效果，同时利用式(7)和式(10)中的傅里叶变换在频域里进行分类器回归训练和检测，以降低计算量。因此，基于KCF的焊缝跟踪算法能够对焊缝特征点进行实时精确地跟踪检测。

4 实验结果与分析

4.1 实验装置

本文实验搭建的自主移动焊接机器人自动焊接系统实物图如图7所示。图中自主移动焊接机器人在直径为250 mm的管道上完成焊接实验，管道上V型焊缝的最大缝宽为20 mm；线激光视觉传感器距离管道表面的高度H=150 mm，焊枪尖部与焊缝特征点的距离为25 mm；线激光器选择弧光较弱的660 nm波长，滤光片为660 nm±15 nm的窄带滤光片；采用的工业相机为Basler acA1300-60 gm，分辨率为1 280×1 024，最高采集帧率为60 fps。

视觉控制系统处理器采用基于ARM Cortex-A8内核的AM335X处理器，1 G内存。系统爬行(x)、横摆(y)、上下移动(z) 3个方向的重复定位精度为0.1 mm。通过对ARM的通用输出口进行脉宽调制(Pulse Width Modulation, PWM)来控制3个方向的位移和速度，其中：将焊枪上下移动来调节焊枪和工件表面的上下距离；通过控制系统爬行和焊枪横摆使焊枪尖部沿如图4b所示的轨迹运动，焊缝的实时纠偏控制在焊枪横摆方向进行。焊接设备采用奥太NBC-350气体保护焊机，视觉跟踪控制系统采用Modbus协议通过485串行总线与焊机通信对焊机进行控制。

4.2 软件功能

根据系统的视觉跟踪控制原理，本文方案搭建的嵌入式视觉跟踪控制系统的主要程序功能如下：

(1)视觉传感功能

在ARM嵌入式系统板上搭建Linux操作系统，通过编译和移植图像采集库来实时采集焊缝图像；采用C++程序语言完成基于模板匹配的初始焊缝特征提取和基于KCF的焊缝跟踪算法，并通过界面应用程序开发框架QT实现图像采集和处理的可视化。基于QT的自主焊接视觉处理系统软件界面如图8所示，图中显示了焊缝图像的采集、处理和带弧光图像的跟踪效果，能准确实时地跟踪焊缝的位置。

(2)系统的焊接控制功能

系统的焊接控制软件界面如图9所示，其能对系统爬行、焊枪横摆、焊枪上下移动3个方向的位移和速度进行控制。其中，系统爬行运动能根据设定的行程和速度自动或手动地进行前向和后向爬行；焊枪横摆运动可根据焊接工艺设定的横摆幅度、速度和焊缝边缘滞留时间，自动或手动地进行移动和回摆；焊枪上下移动可以通过手动微调来保证焊丝与焊缝的间距。

实际焊接时，通过系统爬行和焊枪横摆两轴运动的联动控制追踪焊缝来进行自主焊接，并结合视觉传感器获取的焊缝位置和尺寸信息进行视觉自动纠偏，也可采用人工观察焊接偏移量进行手动纠偏。

系统采用Modbus协议通过485总线与焊机通信，并通过通信设定和调整焊机的焊接电流与焊接电压来控制焊机的送丝、送气和起弧等焊接动作，将焊接动作与机器人的运动进行联动控制，使机器人能够自主移动完成自动焊接。

4.3 实验结果

系统跟踪起弧后受干扰焊缝图像的实验结果如图10所示，图10a和图10b为采用模板匹配检测的跟踪结果，图10c和图10d为采用本文基于KCF的焊缝跟踪结果。由图10a和图10c可见，受弧光干扰时基于KCF的焊缝跟踪结果比基于模板匹配的跟踪结果更准确；由图10b和图10d可见，在基于模板匹配方法出现受弧光干扰导致的跟踪错误时，基于KCF的焊缝跟踪仍然能够准确跟踪。

为定量分析跟踪精度，计算了100帧受弧光干扰的焊缝图像跟踪坐标的误差，其中对焊接纠偏控制更重要的横摆方向(y轴方向)坐标误差曲线如图11所示。基于KCF跟踪方法误差的均值和最大值分别为0.33 mm和0.14 mm，而基于模板匹配检测跟踪方法误差的均值和最大值分别为0.89 mm和0.35 mm，因此基于KCF焊缝跟踪方法较基于模板匹配检测跟踪方法的误差要小。这是因为基于模板匹配的结果受单一模板图片影响，当弧光干扰信息特征对模板特征影响较大时会降低跟踪精度，甚至发生跟踪错误；基于KCF的跟踪方法通过训练大量正负样本构建分类器可以保证跟踪精度和可靠性，并通过不断更新模型提高了弧光干扰下的适应性。

在AM335X处理器、1 G内存条件下，两种算法在嵌入式系统中的处理时间上，基于模板匹配检测的跟踪算法每帧的平均处理时间为0.53 s，基于KCF的算法只需0.087 s，处理帧率达到10帧/s以上，因为KCF算法通过构建样本的循环矩阵和傅里叶变换减少了计算量，所以更适合应用于嵌入式系统的实时控制。

系统对V型焊缝进行焊接，焊接控制工艺参数如下：焊接电流为150 A，焊接电压为70 V，爬行速度为10 cm/min，横摆速度为15 mm/s，焊缝横摆两端边缘的停滞时间为0.1 s,摆幅为20 mm。焊接过程中的视觉传感和焊缝跟踪结果如图8所示，系统焊接控制如图10所示，可见本文方法能完成焊接运动和工艺参数的设定并实现焊接运动控制和焊机控制。图7所示为实际自主焊接过程，视觉图像处理结果通过焊接控制功能进行实时纠偏，实时纠偏值显示在图12的曲线中。整体焊接结果如图13所示，图中实现了V型焊缝的自主焊接，并能随移动机器人的移动自动纠偏，焊接表面比较细腻，焊接质量较好。

5 结束语

本文设计了一种自主移动焊接机器人嵌入式视觉控制系统，研究了系统的线结构视觉传感原理和焊缝跟踪控制原理。为解决焊接时的弧光干扰问题，并实时、精确、可靠地对焊缝进行跟踪，采用基于KCF的焊缝跟踪算法。该算法通过训练大量正负样本构建分类器，并利用高斯核函数映射来提高跟踪的精度和可靠性；通过构建样本的循环矩阵和傅里叶变换来减少计算量，提高跟踪的实时性。自动跟踪算法采用基于ARM Cortex-A8的嵌入式视觉控制系统提取激光视觉传感器中焊缝的位置和尺寸信息，并通过控制移动机器人爬行和横摆对焊缝进行自动跟踪和实时纠偏。通过采用本文设计的系统和算法对大型管道V型焊缝进行跟踪和焊接实验表明，本文算法的处理帧率能够达到10 fps，所设计的系统能够自动跟踪和纠偏，且跟踪的焊缝轨迹准确，焊接的表面效果比较平滑细腻，因此本文设计的系统和算法能够满足焊接应用的要求。其中嵌入式系统可以大幅减少设备的复杂程度和体积，提高自主移动焊接机器人在工业现场焊接的适应性。

由于实际现场焊接的坡口形状会有多种复杂型式，后续研究将对本文在V型焊缝采用的基于模板匹配初始焊缝检测方法进行改进，采用机器学习方法对多种型式焊缝特征进行初始检测，并与本文跟踪算法相结合，进一步提高系统的适应性。