基于机器人视觉的焊缝跟踪系统关键技术研究进展

余卓尔，邓朝晖，葛吉民，刘 伟，李重阳

(1.湖南科技大学难加工材料高效精密加工湖南省重点实验室，湖南 湘潭 411201)(2.湖南科技大学智能制造研究院，湖南 湘潭 411201)

作为现代工业中不可或缺的加工工艺，焊接在军事、船舶、航空航天等领域发挥着不可代替的作用。焊件在局部受热后迅速冷却，由于热胀冷缩，只有焊缝区域会产生热变形，而在本体的约束下焊缝区域不能自由地膨胀、收缩，因此焊缝区域会产生焊接应力[1]，极大地降低了工件的连接强度和疲劳强度。为减小焊接应力，延长工件的使用寿命，一般需要对焊缝进行磨抛，一来消除焊接应力，二来使焊缝表面光滑[2-5]。

目前，大部分焊缝磨抛主要依靠人工完成，具有灵活性高、不伤及母材等优点。然而人工磨抛也存在较大弊端，一方面，焊缝磨抛的工作环境恶劣，常常伴随着强烈的弧光以及磨抛粉尘，对工人的身体健康造成了较大的损害；另一方面，工人因长时间工作而疲劳，导致工作效率降低，磨抛后焊缝质量得不到保证。机器人焊缝磨抛可以很好地克服以上人工磨抛焊缝的不足，不仅提高了工作效率，还能得到一致性高的焊缝表面。机器人焊缝磨抛的优点是可以不间断地工作，重复性高，能够保证大批量产品的质量稳定性。如果在机器人中引入焊缝自动跟踪系统，就可以省去示教或编程过程，降低设备的使用难度，进一步提高生产效率和磨抛质量。

本文详细介绍了机器人焊缝磨抛的关键技术，分析了各种关键技术的实现过程，总结了各种关键技术的应用情况，最后展望了焊缝跟踪技术未来的发展趋势。

1 摄像机的标定

目前，摄像机标定方法主要有传统摄像机标定、基于主动视觉的标定和自标定等方法[6]。

1.1 传统摄像机标定法

Abdel-Aziz等[7]提出了直接线性变换方法，通过求解线性方程组求出摄像机模型的参数，并引入非线性畸变因素，快速简便地完成摄像机的标定；Tsai[8]首先利用最小二乘法求解超定线性方程，求出摄像机外部参数，然后再对摄像机内部参数进行求解；Zhang[9]提出了张正友标定法，该方法控制摄像机观察至少两个不同方向上的平面图案，利用基于极大似然准则的非线性优化求得摄像机参数；Li等[10]提出了一种基于多视图模板的高精度摄像机标定方法，利用现有的摄像机标定算法对摄像机模型的径向畸变和切向畸变进行初始化，实现较高精度的摄像机标定，该方法比张正友标定法有更高的鲁棒性；张奎等[11]提出了一种基于同心圆环点模板的双目摄像机标定方法，利用摄影几何内秉的约束条件和左右图像的视差完成对摄像机的标定，省去了图像匹配与图像畸变校正的过程；Feng等[12]在张正友标定方法的基础上采用透明玻璃代替普通标定板，将摄像机放置在标定板正反两侧，如图1所示，该方法通过一次实验可以标定多台摄像机，但由于引入玻璃深度和折射率等参数，使得计算量增大。

图1 FENG H Z标定方法模型

1.2 基于主动视觉标定法

基于主动视觉标定法通过控制摄像机自身作特定运动，在不同位置采集图像，建立各个位置的方程并进行求解。Hartley[13]通过控制摄像机绕光心点旋转运动，求解每个位置的线性方程得到摄像机针孔模型的所有内参数，但一般情况下，标定过程中光心位置是运动的，所以该方法的使用受到一定的限制；朱嘉等[14]控制摄像机作一组二维平移运动，通过记录特定位置的点坐标，并建立这些特定点坐标的关系来求解摄像机的参数，该方法适用性较广，基本实现了标定过程参数的线性求解；陈天飞等[15]通过控制摄像机作几组纯平移运动，得到该运动平面的法线方向，再控制摄像机沿该法线方向作平移运动，求出摄像机的参数。

1.3 自标定法

Faugeras等[16]首次提出摄像机在运动过程中利用场景中平行或正交关系对摄像机进行标定，该方法称为摄像机自标定法；杨长江等[17]控制相机在同一平面内作两组相互正交的平移运动，对摄像机的参数进行了线性标定；Wei 等[18]让机器人随机运动，跟踪该随机运动的一组世界坐标系点，通过运动序列估计出摄像机的内部参数(包括畸变)、安装参数以及点的世界坐标系坐标；李华等[19]利用对极几何原理使摄像机作平面正交运动来求解摄像机内参数模型。

几种摄像机标定方法的比较见表1。

表1 几种摄像机标定方法比较

2 图像处理技术

焊缝图像处理是通过相应的算法完成对焊缝图像的降噪和增强等工作。

2.1 焊缝图像降噪

朱士虎等[20]提出了一种自适应均值滤波算法，该算法综合权衡了模板窗口内每个像素点与均值像素点间的灰度差距以及它们的空间位置关系，使均值滤波会损失图像的边缘等细节信息的不足有了较大的改进；Chang等[21]采用高斯滤波器算法对船舶双壳结构和钢框架结构的焊缝图像进行滤波降噪，结果表明，高斯滤波算法对高频噪声有着很好的降噪能力；袁新星[22]通过实验对相同图像施加不同密度的椒盐噪声，根据椒盐噪声分布特点，利用中值滤波算法进行滤波，结果证明，在信噪比高的情况下中值滤波算法降噪效果非常明显；申俊琦[23]使用自适应中值滤波法进行图像降噪处理，该方法针对噪声性质及强度的不同表现出很强的适应能力，同时能很大程度上防止图像失真；张杰飞[24]采用高斯滤波器对焊缝图像进行降噪处理，并通过实验比较了均值滤波法、中值滤波法与高斯滤波法对原始焊缝图像进行处理的效果，如图2所示。

图2 各滤波降噪方法效果对比图

中值滤波法、均值滤波法与高斯滤波法的比较见表2。

表2 各滤波降噪法比较

2.2 焊缝图像增强

图像增强的目的是为了让焊缝与母材在图像中区别开来，为后续的边缘检测提供更高质量的图像。焊缝图像增强的主要方法是直方图均衡算法[25-26]。刘松等[27]使用限制对比度自适应直方图均衡算法对高铁钢轨焊缝图像进行增强，该算法首先将图像分成若干块，并计算各块小图像的直方图限制值，然后对各块小图像直方图进行修正，使其向设定好的阈值靠近，最后再将各块小图像的边缘块去除。焊缝图像增强前后对比如图3所示。

图3 图像增强前后对比图

3 结构光中心线提取

结构光中心线提取是焊缝跟踪技术中研究得最多也是最关键的一步，结构光中心线提取方法可分为几何中心法与能量中心法[28]。

3.1 几何中心法

Lyvers等[29]提出了利用边缘信息提取中心线的方法，该方法首先确定结构光两边的边缘线，然后随机使用其中一条边缘线作为结构光的中心线，但由于结构光边缘线与中心线形态上有一定差距，会使提取的结果像边缘线一样出现分叉或断线等问题；黎明等[30]利用结构光强分布特点与结构光法线方向之间的关系，基于大量离散点无限逼近的思路使提取出的结构光中心线轮廓连续光滑，解决了由于遮挡等原因造成结构光中心线出现缺失或断线，从而造成测量误差的问题；林欣堂等[31]针对结构光因外界环境影响而产生的噪声问题提出了一种基于各向异性热扩散方程的中心线提取方法，该方法创新性地用温度代替像素值，实现了对结构光中心线内低像素值点的过滤；Tian等[32]通过轮廓跟踪识别图像中不同的光带段，利用轮廓多边形将每个光带段分割成若干部分，然后通过分段多项式拟合方法和自适应插值法将分割点拟合成一条平滑的中心线。

3.2 能量中心法

由于结构光两端灰度为非正态分布，造成了结构光强度不均匀，严重影响了结构光中心线提取的精度。吴家勇等[33]针对上述问题，首先利用低通滤波对原始图像进行降噪处理，之后确定结构光两边界区域的阈值，最后使用灰度重心法对结构光中心线进行亚像素提取；梅峻华等[34]综合了极值法和灰度重心法的特点，首先对图像逐行搜索极大值点，通过设定阈值滤除噪声点，再使用多项式曲线拟合提取出一条光滑的结构光中心线，该方法提取精度较高，能达到亚像素级精度；胡斌等[35]利用可变方向模板法，消除了内部系统自带噪声以及光强度分布不规律带来的误差，提高了结构光中心的提取精度；王泽浩等[36]在传统方向模板法的基础上提出了一种自适应方向模板的结构光中心提取方法，在对图像预处理后，预估结构光中心范围，再使用方向模板对结构光中心线精准提取，该方法能针对结构光在宽度方向出现奇数值或偶数值的不同情况下自适应快速提取。各种能量中心法比较见表3。

表3 各种能量中心法比较

4 展望

国内外学者围绕焊缝跟踪开展了大量研究，并取得了较多成果，但目前的研究依然存在着焊缝磨抛效率低、跟踪精度不高的问题。因此，为实现焊缝智能高效磨抛，有必要对以下各方面进行深入研究：

1)在摄像机标定时，需要确定非线性畸变校正参数来提高计算精度。当前的标定方法都有一定的局限性，建立一种便于计算且精度与鲁棒性都很高的摄像机模型是今后的一个发展方向。

2)焊缝跟踪视觉传感技术在焊缝磨抛机器人上的应用大多停留在实验阶段，焊缝跟踪视觉传感技术与焊缝磨抛机器人的集成将成为重要的发展趋势。

3)目前视觉传感器在焊缝磨抛机器人中主要发挥定位与跟踪作用，如何让焊缝跟踪视觉系统既能定位与跟踪，又能够在不同的条件下进行智能决策，是今后基于视觉的焊缝磨抛机器人发展过程中要解决的问题。