基于边缘匹配的窄间隙焊缝初始位置识别

蒙禹舟，魏 昕，叶冬旭

广东工业大学 机电工程学院，广东 广州 510006

0 前言

焊接自动化发展日渐成熟，采用机器人焊接是焊接自动化技术现代化的重要标志。作为机器人智能焊接技术的主要构成部分，焊接机器人运动轨迹控制分为初始焊位导引与焊缝跟踪控制技术[1]。焊接前对焊缝初始点进行定位及引导是完成焊接自动化的第一步，国内的焊缝初始点导引技术研究较为薄弱。目前，对焊缝初始点进行人工定位居多，需要人工目测对相机的位置进行调整及对中。若焊前初始焊位三维位置与焊枪对焦中心重合存在偏差，焊接过程中将不能自动消除[2]。

近年来，一些学者对焊缝初始点导引技术进行了研究，总体上分为两类：一是基于三维重建的焊缝初始点导引[3]；二是基于两步法先粗后细的初始点检测方式[4-5]。基于三维重建的方法虽然定位精确，但是存在一定的弊端。因为三维重建过程中对传统的无坡口对接焊缝结构光检测方法主要是根据激光条纹在焊缝处的畸变特征来识别焊缝位置，而激光条纹无法在窄间隙的焊件表面形成较为明显的坡口，且系统在三维重建过程中会消耗大量算力。基于以上分析，三维重建的方法不适用于窄间隙的焊缝初始点定位。两步法即先粗略求出焊缝初始点范围，建立感兴趣区域，再进行角点检测获取焊缝初始点精确定位。通常两步法中的第一步粗定位有两种方式：第一种是求出焊缝与边缘交点，再进行感兴趣区域建立[4]；第二种则是利用模板匹配的方式建立感兴趣区域[5]。第一种方法需要拟合边缘曲线，若拟合误差较大或感兴趣区域大小选择不当，均会使得真实的焊缝初始点不在区域内，导致定位失败。而直接采用图像匹配的方式可直接获取包含真实焊缝初始点的感兴趣区域。现有文献主要是以灰度为匹配特征，匹配结果易受到光照不均等影响，从而导致匹配错误，最终影响焊缝初始点的定位结果。

在实际生产焊接中，平面对接的直线焊缝占比很大。因此，本文研讨了一种平面对接窄间隙焊缝初始焊位定位方法，可以在不均匀光照下提取焊缝初始点，有利于采用机器人焊接初始位置的自动化定位，减小人工定位可能出现的偏差对焊接过程稳定及质量的影响。

1 焊缝初始点定位图像采集及机器人引导系统

系统采用主动视觉图像采集系统，主要组成构件有面阵相机、背景光源、窄带滤波片、挡板等，如图1所示。相机为海康威视MV-CA050-10GM黑白相机，前置安装于焊枪并用挡板隔开。相机光轴应垂直焊件上表面，与焊枪轴线平行，视觉传感器中心与焊枪中心距离为52.8 mm。背景光源为条状平行光源固定在相机两侧，负责照明。初始点引导时，相机以10 fps采集帧率对焊缝图像进行采集，通过以太网传入上位机；上位机根据图像处理算法提取出焊接初始位置，并通过相机模型计算世界坐标系的目标位置与当前位置的偏差传入机器人控制柜；控制柜通过发布运动指令控制机械臂，使机器人末端即焊枪运动到达焊缝初始点。

图1 主动视觉的焊缝图像采集系统示意Fig.1 Schematic diagram of active vision image acquisition system of weld

相机的视觉模型主要是从二维图像到世界坐标系的映射，通常采用小孔成像模型，数学表达式为：

通过相机的内参标定可以获得图像像素当量，即可完成从二维像素坐标系到三维世界坐标系的转换。

2 基于边缘图像的模板匹配

将焊缝图像整体进行初始点检测，由于检测范围过大会受到不必要的噪声（划痕、标记等）和其他错误角点干扰。为了进一步确定真实的焊缝初始点，还需对角点进行分析筛选排除，如图2所示。该方法需要大量的计算，加大了焊缝初始点的获取难度，本文采用小范围内的焊缝初始点附近进行图像匹配，可提高角点检测的精度及计算速度[6]。

图2 焊缝初始点提取[6]Fig.2 Extraction of initial point of weld[6]

2.1 匹配模板特征选择

模板匹配是模式识别中最经典的方法之一。图像匹配基本工作原理是模板遍历滑动搜索整幅目标图像，并通过匹配的方式计算图像中各子区域和模板的相似程度，相似程度最高的区域为模板匹配结果。

在模板匹配过程中，目标图像光照不均、尺度与角度变化这些因素都会导致模板匹配的结果大打折扣。在实际生产过程中，焊件由夹具固定，待匹配图像中匹配目标不会产生大幅度的旋转或尺度变化，故仅考虑光照不均对匹配结果的影响。

基于灰度的模板匹配算法以图像灰度信息直接进行匹配，原理简单，但其抗干扰性较差，无法解决非均匀变化的光照问题。对比以灰度信息作为变量，基于边缘模板匹配对于光照的影响较不敏感，在非均匀变化光照下也可以得到很好的匹配结果[7]。

本文基于边缘的模板匹配算法以边缘作为匹配特征，采用Canny边缘检测获得获取图像边缘即焊件边缘及焊缝。无噪声条件下边缘检测结果如图3所示。

图3 无噪声条件下边缘检测Fig.3 Edge detection without noise

2.2 基于Hough直线拟合距离法去噪

图4为焊缝初始点原图像，根据实际现场情况，采用Canny边缘检测低阈值为31，高阈值为63，结果如图5所示。可以看出，图像并非都是理想状态，往往边缘检测后还会伴随着噪点。

图4 焊缝初始点原图像Fig.4 Original image of initial point of weld

图5 掺杂噪声的边缘图像Fig.5 Edge image doped with noise

先采用Hough直线拟合焊件边缘、焊缝直线，再用直线距离法去噪的方式进一步去除噪声。Hough直线变换基本策略是：利用图像空间与参数空间点与线的对偶性，将图像空间上的像素点转换为参数空间的线进行累加，最后选取累加器峰值点即为图像上所需直线[8]。平面中任意一条直线均可用极坐标方程来表示，图像空间任意点，其函数关系为：

式中ρ为坐标原点到直线的距离；α为直线垂线与x轴的夹角。对于在同一直线L上的n个点进行以上变换，可以得到在极坐标方程下的n条曲线，并相交于同一个点[9]。图6为检测到的边缘直线与焊缝直线，并可得对应直线方程：

图6 Hough直线变换Fig.6 Hough liner transformation

式中A1、B1、C1为直线L1的直线方程系数；A2、B2、C2为直线L2的直线方程系数。

Hough直线变换会存在一定的误差，此时得到的直线信息并不能代表真实的焊件边缘及焊缝。采用基于焊件边缘直线与焊缝直线距离法进一步去噪，如图7所示。

图7 距离法去噪Fig.7 Distance method denoising

设图像中灰度不为0的点有M个，则第N个点（N≤M）的像素坐标为（xn，yn），D1、D2为该点到两直线的距离。距离法去噪的主要逻辑如下：

（1）设置距离阈值T。

（2）判断La（a≤2）是否为垂线。若无直线垂直，D1、D2点到直线的距离根据式（5）分别进行计算；否则，令垂直直线方程为La∶x=ba，点到垂直直线La的距离为Da，此时点到另一条直线距离D3-a由式（5）计算可得

（3）若D1和D2同时大于距离阈值T则该点去除，反之保留。

2.3 模板匹配算法

模板匹配的主要原理为：假设输入图像矩阵I(x，y)的大小为(W×H)和模板矩阵T(x'，y')大小为(w×h)，模板从源图像左上角开始从左至右、从上至下滑动。每到达一个像素点，就会从源图像中截取出与模板相同大小的子区域与模板进行像素运算，最终得到矩阵R(x，y)，其大小为(W-w+1)×(H-h+1)。再根据所选择的算法计算矩阵R的最值坐标(x0，y0)为匹配结果的左上角点，匹配结果区域与模板大小相同[10]。本文根据实际情况，选用归一化相关系数匹配法作为模板匹配算法。该类方法采用模板减去模板均值和子区域减去子区域均值的乘积并进行归一化操作，将计算结果归一化到[-1，1]。所以数值为1时表示模板与滑动窗口完全匹配，数值为-1时表示完全不匹配。

式中T(x'，y')为在(x'，y')处模板的灰度值；T(x'，y')为模板的灰度均值；Iˉ(x+x'，y+y')为在(x，y)处时滑动窗口的灰度均值。R(x，y)是在(x，y)处滑动窗口与模板的归一化相关系数。模板匹配结果如图8所示，算法具体步骤如下：

图8 模板匹配结果Fig.8 Template matching result

（1）确定匹配模板R(x，y)。

（2）对采集图像进行2.1、2.2节中Canny边缘检测及基于Hough直线拟合距离法去噪，得到无噪声边缘特征的源图片I(x，y)。

（3）使用模板T(x'，y')与源图片I(x，y)进行匹配，得到R(x，y)。

（4）当R(x0，y0)＞0.96，以(x0，y0)为匹配结果的左上角点得到(w×h)的匹配结果区域，匹配结束。

3 焊缝初始角点检测算法

通过模板匹配结果得到包含正确焊缝初始点的特征区域，进而进行角点检测以确定初始特征点。焊缝初始角点检测算法流程如图9所示。

图9 焊缝初始角点识别算法流程Fig.9 Weld initial corner identification algorithm flow

3.1 Harris角点检测

角点通常可分为以下几种情况：一是两条边缘以上的交点；二是图像上各方向亮度变化较大的点；三是边缘曲线上的曲率极大值点[11]。焊缝初始点是焊件边缘与焊缝相交的交点，故角点检测适用于提取焊缝初始点。焊缝初始位置的准确与否与角点检测的结果息息相关。采用基于灰度强度的角点检测方法，该技术可大致分为基于梯度的角点检测与基于模板的角点检测[12]。基于梯度的角点检测方法主要是计算边缘的曲率值来确定是否存在角点，该方法对噪声相当敏感。基于模板的角点检测方法则是根据像素邻点的灰度值差异来确定角点。

Harris角点检测[13]工作原理是通过一个模板窗口在图像中任意方向上滑动，计算滑动前后窗口中像素的灰度强度变化，如果任意方向滑动都有较大的灰度变化，则认为存在角点。

若图像I在点(x，y)处的灰度值为I(x，y)，灰度强度变化的表达式为：

式中E(u，v)为衡量灰度变化的值；(u，v)为窗口偏移量；w(x，y)为窗口函数；I(x+u，y+v)为平移后的图像灰度。

将I(x+u，y+v)在(x，y)处泰勒展开得：

式中Ix、Iy分别为灰度图像上x跟y方向的偏导数。

对于微小变量[u，v]，可近似于：

假设矩阵M的特征值为λ1和λ2，可分为三种情况：

（1）λ1和λ2均较小时，表示当窗口沿着任意方向移动时，灰度变化均不明显，此时处于图像平坦区域。

（2）λ1≫λ2或λ2≫λ1时，表示沿着水平（竖直）方向灰度发生较为明显的突变，但沿着竖直（水平）方向变化趋势不明显，此时处于图像的边缘。

（3）λ1和λ2均较大时，则表示窗口沿着任意方向移动都会使得灰度变化很明显，此时该点为角点。

在实际中，为了更加准确地度量角点响应，一般采用以下角点响应函数进行计算：

式中 detM是M矩阵的行列式；α为修正系数，通常经验值范围为[0.04，0.06]；Trace(M)为矩阵M的迹。当角点响应值R大于预先设置的阈值T时，则认为是角点。最后可对角点响应值R采用非极大值抑制去除伪角点[14]。本文中采用的Harris角点检测具体算法流程如下：

（1）计算图像I(x，y)分别沿着x、y方向的灰度梯度I、xIy。

（2）由Ix、Iy计算Ix2、Iy2、IxIy，组成一个 2×2 的矩阵。

（3）通过窗口函数对矩阵各元素进行高斯滤波，获得矩阵M。

（4）计算图像I的Harris角点响应矩阵，如果该点R小于阈值T，则将该点取0。

（5）在邻域内进行非极大值抑制，去除伪角点。

3.2 亚像素角点检测

Harris角点检测获取的点为简单的整数像素坐标，但是实际情况中，角点坐标多是浮点型。为了提高角点精度，还需对提取结果进行亚像素角点定位。亚像素角点检测主要原理是根据亚像素角点到周围像素点的矢量应垂直于图像的灰度梯度，通过迭代的方法使误差函数最小以获取亚像素级的坐标值[15]。亚像素精度提取原理如图10所示。

图10 亚像素精度提取原理Fig.10 Principle of subpixel precision extraction

假设实际亚像素角点在起始角点q的邻域。若p点在平坦区域内，则此时p点的梯度为0，见图10a；若p点在边缘上，此时p点梯度方向垂直于边缘，见图10b。当q-p向量与边缘一致时，p点梯度向量与q-p向量点积为0。基于此，可在初始角点q邻域内获取多组梯度以及相关向量q-p，令其向量点积为0，得到方程组。该方程组的解即为亚像素角点位置。将新的q点作为区域中心进行进一步迭代，可以获得更高精度的亚像素角点位置。

3.3 焊缝初始点选取规则

工件的反光极易导致检测角点错误，如图11所示，为了消除此类影响，在角点检测前采用双边滤波最大程度上保留图像的边缘信息。

图11 光噪导致检测错误角点Fig.11 Light noise causes incorrect corner detection

此外，角点检测提取结果为近似的焊缝初始点，如图12所示。为了进一步提升焊缝初始位坐标的精确度，还需对检测到的点集进行处理。

图12 匹配区域内角点检测结果Fig.12 Detection results of corner points in the matching region

通过多次角点检测试验发现，焊缝边上两个正确角点的位置符合以下规律：正确的两个角点位置在x方向≥3 pixel且≤10 pixel；在y方向上≥1 pixel且≤5 pixel。最终选取两侧边缘的角点坐标均值为焊缝初始点位置[16]。如图13所示，两侧为边缘上的两个正确角点，中间为最终焊缝初始点。

图13 焊缝初始点选取规则Fig.13 Rules for selection of initial weld points

通过图像匹配结果获取匹配区域左上角在原全图像中的相对坐标，再根据焊缝初始点在匹配区域中的坐标，转换得到焊缝原图像的焊缝初始点。焊缝初始点提取如图14所示，白框为图像匹配结果，框内点为图像中的焊缝初始点。

图14 焊缝初始点提取Fig.14 Extraction of initial point of weld

对一系列的焊缝初始区域图像进行焊缝初始点的提取，代表性部分焊缝初始点提取结果如图15～图17所示。图中矩形框为模板匹配结果，红点为焊缝初始点提取结果，可以看到在不同光照强度下焊缝初始点提取算法均能很好地执行。

图15 光线不足时焊缝初始点提取结果Fig.15 Extraction results of initial point of weld under case of insufficient light

图16 光线均匀时的焊缝初始点提取结果Fig.16 Extraction results of initial point of weld under case of uniform Light

图17 光线不均匀时的焊缝初始点提取结果Fig.17 Extraction results of initial point of weld under case of uneven light

4 结论

（1）焊位初始点检测采用“先粗后细”的两步法，即先图像匹配再特征提取的方法可以有效地提高检测效率。

（2）采用边缘代替图像灰度作为匹配特征可以有效地避免非均匀光照的变化对匹配结果的影响。

（3）针对边缘图像匹配中噪点的干扰，提出了一种基于Hough直线变换距离的去噪方法。既可以在很大程度上保留图像的边缘信息，又可以去除远离焊件边缘及焊缝的噪声，进一步保障了最终匹配结果质量，增强后续的图像边缘匹配的准确性。

（4）采用Harris角点检测对匹配结果中焊件边缘及焊缝所形成的“T”形区域进行角点提取，并提取亚像素角点坐标，最后通过焊缝初始点选取规则进行筛选，获取更准确的初始点位置。