焊接机器人视觉系统对焊缝的标记方法研究*

赵陈磊 ，吴圣红 ，席 林 ，宋 强 ，罗 啸 ，冯叶陶 ，谷 丰

（吉利学院汽车工程学院，四川 成都 641402）

0 引言

焊接作为一种材料融合手段，是现代制造业当中必不可少的一项制造工艺。焊接从商周时期的铸焊工艺，一直发展到了现在门类繁多的气体保护焊、激光焊、点焊、螺柱焊等现代焊接工艺，在现代制造业当中的地位也越来越重要，同时自身的内涵也日新月异，自动化和智能化程度也在逐步提高，出现了第一代的示教焊接机器人以及现在正在开发的第三代智能焊接机器人。

第三代智能焊接工业机器人是指在一定条件下实现焊接工作的智能焊接、柔性焊接，核心功能是依托视觉系统来实现的。一个完整的智能焊接工业机器人，视觉系统应该具备以下几个基础功能：焊缝特征检测与标记、焊缝特征提取、焊缝特征三维重建、焊缝特征坐标与机器人坐标进行转换（手眼标定）；在此基础功能上，焊接机器人还可以对焊接过程进行控制追踪、焊接质量检测等传统第一代和第二代焊接机器人无法实现的功能。

其中，如何对焊缝特征进行标记或者说焊缝检测，是实现焊接机器人智能焊接工作的重要前提，也是目前焊接机器人视觉系统研究的热点方向之一。现有的焊缝标记方法研究方向大致分为两个：一是基于边缘检测算法来实现的，二是基于角点检测算法来实现的。本文在对上述两种方法进行详细论述的基础上，通过实验进行对比分析，确定了最适合本文研究对象的焊缝标记方法。

1 焊缝特征标记

1.1 基于边缘检测算法的焊缝特征标记方法

边缘检测算法目前大致分为两个研究方向：传统研究方向和基于深度学习的研究方向。传统研究方向主要通过研究图像边缘信息来实现对物体特征的提取，由于图像在边缘处某些信息会产生突变，例如图像的灰度信息；通过检测图像灰度信息突变点，可实现对物体边缘轮廓的检测标记，进而实现本文研究对象——焊缝特征的提取[1]。此外，也可以通过对物体颜色、纹理、亮度等特征信息进行提取，完成对物体特征的标记[2]。课题组针对传统边缘检测方法，重点选取了应用较为典型的Sobel 算子、Canny 算子进行了验证，其中Canny 算子是传统边缘检测方法中目前应用最广泛的算子。

1）Sobel 算子。Sobel 算子通过对图像的梯度信息进行检测，基于此实现对图像边缘的定位，并使用一个3×3的卷积模板，对图像进行处理，其定义为：

其中：

2）Canny 算子。Canny 算子首先对图像进行预处理，再对图像进行偏导，但是这个偏导采用了一个2×2 的差分模板进行，最后对图像的梯度的幅度和方向进行判断，取极大值，确定角点，其定义为：

基于深度学习的目标检测算法，是随着近几年人工神经网络技术的兴起发展起来的，虽然检测精度高，与人眼检测差异性小，但是该方法前期工作量大，对计算机硬件和训练数据量要求较高；且深度学习算法应用于目标检测本就具备一些缺点，例如有的算法检测精度高，但只能应用于图片检测，无法应用于视频流检测；有的算法可应用于视频流检测，但检测精度较低，不适用于小目标物体检测。从这个方向来看，传统方法相较而言更为成熟，适宜性更好，故本文未对基于深度学习的目标检测算法进行验证。

1.2 基于角点检测算法的焊缝特征标记方法

点是构成物体几何要素的最基本要素，对于焊缝特征亦是如此。本文研究对象的焊缝在一般状态下可以近似看作一条线，而线又可以看作是由若干个点构成的。所以要完成物体焊缝的特征标记的另外一个思路就是使用点对焊缝进行逐个标记，再由这些点集形成完整的焊缝特征。现有的角点提取方法大致分为3种，但基本上都是基于图像信息来实现的，包括基于图像灰度信息、图像二值信息、图像边缘信息[3-5]。针对本文实验对象，本文重点选取了基于图像灰度信息的Forstner、Harris 两种角点提取算法进行实验验证。因为图像灰度信息相较于图像二值信息、图像边缘信息更丰富，同时对于相关研究表面，在某些情况下，Forstner、Harris 角点提取算法性能更优异。

1）Forstner算子。Forstner算子被广泛应用于航空图像处理中，具有精度高、检测速度快等优势。通过确定最佳窗口对像元的边缘直线图像Y方向进行加权处理，或者通过确定Robert 梯度和固定窗口像素中心的灰度协方差矩阵，求解所求角点的最佳位置[6-8]。在确定最佳窗口时，可通过对比兴趣值q与权值w是否大于给定的阈值，对最佳窗口位置进行判断，其中：

式中，detN和trN表示为矩阵N的行列式和迹。

2）Harris 算子。Harris 算子具有局部特征不变性，且在图像匹配中，在图像的灰度变化上，对噪声的敏感性和鲁棒性都有较好的处理效果[9-10]；它使用角点响应函数CRF、微分矩阵M 和来实现对角点位置的判断。

式中，Gx、Gy分别表示x 和y 方向上的梯度，G(σ)表示高斯滤波器。

2 实验验证

本文研究对象为角焊焊缝特征的标记，为了保证实验的可操作性，故本文采用焊接模拟件用于算法效果验证。采用迈德威视工业相机进行数据采集，并在Halcon 平台上分别对边缘检测算子——Sobel 算子、Canny 算子以及Forstner、Harris 角点检测算子进行实验对比分析，实验模拟件原图如图1 所示，对应的焊缝标记效果如图2、图3、图4、图5所示。

图1 焊接模拟件

对实验结果进行分析可知，本文选取的研究方法对本文研究对象总体上均有较好的标记效果，但图像进行局部放大处理后，Forstner 算子的标记精度明显更高，如图6、图7、图8所示。由图6可知，边缘检测算法是标记焊缝的边缘轮廓，而在实际工程应用中最佳的标记位置是在焊缝中间，故角点检测算法更适合本文研究对象，同时Forstner 算子标记焊缝的一致性更好。

图2 Sobel算子标记焊缝

图3 Canny 算子标记焊缝

图4 Forstner 算子标记焊缝

图5 Harris 算子标记焊缝

图6 边缘检测算法焊缝标记效果

图7 Forstner 算子焊缝标记效果

图8 Harris 算子焊缝标记效果

3 结论

本文针对角焊模拟件的焊缝标记，使用了两种边缘检测算法和两种角点检测算法并进行对比分析。确定了Forstner 算子更适合本文研究对象。通过标记焊缝，可为后续的焊缝三维重建，焊接机器人的自主路径提供重要的依据。