基于机器视觉的焊缝识别研究现状与发展趋势

张 帆，泮佳俊，刘 腾，张 浩，李佩齐

南通大学 张謇学院，江苏 南通 226019

0 前言

在现代制造业中，尤其是中国版“工业4.0”“中国制造2025”规划提出后，传统的“手动示教-记忆再现”的焊接模式早已不能满足智能制造的自动化、高精度焊接的要求[1]。尤其在非结构化焊接过程中，受热变形、装配误差和外力等多种因素都会造成理论焊接路径和实际路径出现较大的偏差，提高焊缝识别的准确性则是实现高精度焊接的关键。

常见的焊缝识别方式主要是利用传感技术来采集声、磁、光等物理信号，通过对这些信息的及时处理来实现焊缝识别，焊缝识别技术分类如图1所示。根据采集与处理物理信号的不同，可将焊缝识别方式分为以下几种：（1）基于超声反射时间的识别。利用声音的反射声学原理，采集超声波反射的时间差，经分析处理后得到焊缝形状、深度、宽度等信息。（2）基于磁场中偏转光线信息的识别。利用铁磁体材料漏磁现象和法拉第磁光效应等原理，并结合焊缝磁场分布，得到焊缝磁光图像，此方法对紧密对接焊缝有极好的识别效果。（3）基于熔池信息的识别[2]。使用红外传感器捕获焊缝熔池的图像，将热堆积效应参数、熔池匙孔的形变系数和熔池热图像的灰度值梯度数据用作焊接中心偏差的检测特征值，通过对特征值和焊缝偏差进行分析，获得它们之间的定量关系从而得到焊缝位置。王文超等[3]提出使用红外摄像头拍摄熔池红外图像，并提取相关参数，通过分析焊缝中心偏差检测特征值与焊缝偏差之间的关系获取焊缝位置。但红外传感技术常常会受到弧光和熔池温度变化的干扰，从而对上述参数产生一定的影响。

图1 焊缝识别技术分类Fig.1 Classification of weld identification technology

除了上述识别物理特征的传感技术外，对于对接直线型焊缝还可以采用接触式传感技术，通过导向轮、导杆等使焊接机器人与工件始终接触实现对焊接点的识别。该方法具有结构简单、成本低廉等优势，此外还具有较强的抗干扰能力。

近年来，基于机器视觉的焊缝识别技术逐渐走进了人们的视野。机器视觉即用机器模拟人类的视觉功能，在数十年的发展中，逐渐形成了图像采集、图像预处理、图像分割等完备的理论体系。因其具有稳定性好、灵敏度高、与工件不接触和获取焊缝信息丰富等特点，在焊缝识别中得到了广泛的应用[4]。本文对基于机器视觉的焊缝识别研究现状进行分析阐述，并预测了未来的研究方向，对相关研究具有一定的参考意义。

1 焊缝识别视觉传感技术研究现状

机器视觉技术凭借其在识别测量目标的颜色、形状、大小等信息上的优越性，逐渐在工业生产中得到了广泛应用，其基本原理为：摄像头采集目标图像，将其传送至图像预处理系统，获得目标的形态信息，最后提取目标特征并判断结果[1]。相比其他传感技术，机器视觉传感技术能够获得更丰富的焊缝信息，并且其精度与视觉灵敏度高、抗干扰能力强，因此是当前被广泛研究与应用的一种焊缝识别技术。用于焊缝识别的机器视觉传感技术根据是否采用辅助光源分为被动光视觉技术和主动光视觉技术两类[5]。

1.1 被动光视觉技术

被动光视觉技术是直接利用自然光或弧光照射到工件外表面，用摄像头直接拍摄焊缝图像来实现焊缝图像的获取。被动光视觉系统原理示意如图2所示。

图2 被动光视觉系统原理Fig.2 Principle of passive vision system

相较于主动光视觉，被动光视觉成本较低且容易获取焊缝全局信息。但被动光视觉技术稳定性相对较差，易受到弧光干扰，可操作性较差，故通常装配特殊的滤光片和遮光片来减少弧光干扰[6]。王昕等人[2]设计出一种滤光系统，该系统中的摄像头能够以某一角度、沿着焊枪方向在工件后方拍摄熔池图像，然后利用一种卷积神经网络模型经仿射变换后获得清晰的正面熔池图像，减弱金属飞溅和强弧光干扰的影响。基于熔池形态的焊缝识别可分为直接拍摄电弧法、同轴视觉检测法和激光频闪摄像法。

由于焊接过程中的焊缝特征、焊缝位置和焊缝偏差等信息可以在图像上直观体现，所以在焊缝检测、焊缝跟踪和熔池检测中通常使用被动视觉技术[3]。

1.2 主动光视觉技术

主动光视觉技术是使用辅助光源投射到工件表面，针对不同类型焊缝使用不同形状的结构光和其他辅助光，然后利用摄像头获取焊缝图像。其本质是三角测量原理[4]，可分为结构光法和激光扫描法[5]。

1.2.1 结构光法

结构光法的基本原理如图3所示，激光器发射激光照射到工件表面，会形成与焊缝的形状相吻合的光条纹。电荷耦合装置（CCD）摄像头获取激光条纹的图像并将其传输到微处理器或工业计算机，处理器进行图像处理分析后，可根据焊缝的特征提取焊缝位置。

图3 结构光法原理Fig.3 Principle of active vision system

根据结构光条纹形状的不同，将结构光划分为十字结构光、环形结构光、单线结构光、多线结构光[7]。环形结构光法的基本原理是使用光学扫描，由正负透镜组成的镜体由电机驱动旋转，激光器发射激光，并通过镜体在待焊工件表面上获得环形激光轨迹[6]。单线结构光法的基本原理是将一束激光转换成条形结构光照射在焊缝上，由于焊缝存在一定的间隙，所以条形光照到焊缝表面时会依据焊缝间隙改变自身形状，CCD摄像头采集变形的条纹光图像传输到微处理器或工业计算机，提取焊缝的中心线并确定焊缝的特征点[8-9]。与单线结构光法相比，环形结构光法可以获得大量的图像信息，但由于受电机转动产生的振动影响，环形结构光传感法的焊缝表面的激光光斑强度分布不均，且其精度和稳定性均有不足。这两种结构光法在焊缝三维重建领域均有广泛应用。多线结构光法和十字结构光法则在检测焊缝的高度变化、曲率变化和横向偏差领域占有一席之地[10-11]。

1.2.2 激光扫描法

激光扫描法在焊接领域有着广泛的应用，其主要利用三角测量原理[12]。采用激光扫描法识别焊缝时，激光束照射在焊缝表面可形成光点，摄像头捕捉光点，由于激光发射器和摄像头的位置固定不变，不同焊缝形状对应光点的位置也不相同，因而能够获取焊缝的高度和位置信息。文献[13]采用激光扫描法能够精准识别深、厚焊缝坡口信息，提高焊缝跟踪精度。

主动视觉和被动视觉各有优缺点，其对比如表1所示，但在实际生产应用中，主动光视觉技术具有测量范围大、通用性好、精确度高等突出特点，因此在焊接领域的应用更为广泛。

表1 主被动视觉传感技术对比Table 1 Comparison of active and passive visual sensing technologies

2 焊缝识别图像处理技术研究现状

基于机器视觉的焊缝识别图像处理技术中，视觉传感器能够采集丰富的图像信息，但是焊缝图像信息会受到电、光、磁、热等噪声的影响[14]，因此需要对图像进行一系列预处理[5]。有些焊缝识别技术会在图像去噪和二值化前通过感兴趣区域（ROI）选取法挑选出图像中存在焊缝的部分，之后不再进行图像分割[15]。目前大多焊缝识别技术首先利用灰度化简化图像信息以提高焊缝识别效率，针对不同噪声选用特定滤波方式完成去噪，针对不同焊接环境选用特定方法消除干扰，然后进行图像增强以改善图像质量，最后对处理完成的图像进行图像识别处理。

图像识别处理包括图像分割和特征提取与中心线拟合，其中图像分割是图像处理的关键步骤也是目前的研究热点。不同的图像分割方法需要配合使用不同的特征提取与中心线拟合方法，最终完成焊缝识别[16]。

2.1 图像采集与预处理

图像采集与预处理包括图像采集、ROI区域选取、灰度化、滤波去噪与消除干扰和图像增强等几个步骤，用于收集图像、简化图像、滤除噪声和提升图像质量，以提高后续图像识别处理的效率，提高特征提取与提取中心线的精度，其思维导图如图4所示。

图4 图像采集与预处理思维导图Fig.4 Image acquisition and preprocessing mind map

2.1.1 图像采集系统设计

焊接图像采集系统设计主要包括CCD摄像头、镜头、激光器等硬件的选型。摄像头的性能决定了焊缝识别与环境测量的精度；镜头选型的主要参数是焦距，目的是获取较为清晰的图像；选择激光器的主要参数是波长大小，最佳波长可通过分析不同电流强度下电弧的光谱分布来确定。

2.1.2 ROI区域选取

焊缝识别只需采集待焊工件表面的局部图像，对于细小焊缝，有时会采用直接提取ROI区域的方法来提取焊缝区域，既可以减少图像数据的处理量以加快处理速度，又可以避免其他区域噪声干扰的影响，提高特征提取的精度[17]。定义ROI区域的方法可分为使用矩形区域的Rect和指定感兴趣行或列的范围[18]。针对搭接、对接、T型角三种常见的焊缝类型的识别，文献[19]首先采用ROI区域选取的方法进行预处理，然后在特征提取阶段选取Hu不变矩作为待分类特征，接着利用反向传播（BP）神经网络算法进行特征训练，取得了很高的识别率，解决了当前ROI区域手工选取所导致低效率、不全面的问题。

2.1.3 灰度化

为了加快图像处理速度并为之后的图像处理做准备，需对得到的彩色图像进行灰度化处理。常用的灰度处理算法有最大值法、平均法、分量法、加权平均法等。加权平均法是最常用且最有效的方案，将图像的R、G、B三个分量以不同的权重进行加权平均来实现图像灰度化；最大值法是选择R、G、B中的最大数值作为转化后的灰度值；平均值法是将R、G、B三种分量数值进行平分作为灰度；分量法是根据需要选择R、G、B分量的一个强度值作为灰度值。为了提高灰度化的效率，彭刚等人[20]提出利用OpenCV开源库对原图进行灰度处理，然后再对R、G、B三通道进行加权灰度化。

2.1.4 滤波去噪与消除干扰

焊接过程中存在烟尘、弧光、飞溅等噪声[21]，根据不同的概率密度，可以将这些噪声[22-23]分为高斯噪声、爱尔兰噪声、脉冲噪声、泊松噪声和均匀噪声等。通常可采用图像滤波的方法消除这些噪声，根据不同的滤波处理算法，可将这些滤波去噪方式分为[24]：（1）线性滤波，包括均值滤波、高斯滤波[25]和方框滤波等；（2）非线性滤波，包括双边滤波[26]、中值滤波[27]、卡尔曼滤波[28]。线性滤波能够平滑处理图像，有良好的去噪功能，但由于其会导致图像边缘模糊化，因此不利于特征提取。其中均值滤波是利用像素均值来代替图像中的各个像素值，可以用于滤除高频噪声点，但常常会破坏图像的具体细节[29]。最常用的非线性滤波是中值滤波，它是一种非线性平滑滤波，其处理原理是将图像数字矩阵中某一点的值用其相邻点的值的中值替换，能在去噪的同时解决线性滤波导致的图像边缘模糊化问题，保持图像的边缘细节，抑制脉冲噪声的效果很好[30]。

图像存在某些特定干扰，如弧光、气泡、水波纹等[14]，因此需要根据干扰特征设计适当的干扰消除方法。针对弧光干扰，可以使用焊接弧光中能量相对较低且噪声较少的波段通过滤光法减少干扰或选用在电流较低的基值时刻采像的基值采像法[6]。水下焊接环境中不断运动的气泡会改变光的传播路径，从而在图像上产生白亮区域，造成气泡干扰影响图像识别，因此需要对气泡进行捕捉。哈尔滨工业大学李浩等人[31]提出了基于光流算法捕捉、修复被气泡遮挡部分的图像，进而去除气泡干扰的方法，同时还能对运动的背景进行补偿，效果良好。而水下焊接环境中水流的正常流动、水下生物和焊接机器人的运动都会造成水波纹干扰，使得原本的自然光发生折射，在焊缝图像上产生条纹状光斑。

因此在实际应用时，应根据噪声与干扰的特点、期望的图像和边缘特征等来选择合适的滤波算法和消除干扰方法，尽可能发挥图像滤波消除干扰的作用[32]。

2.1.5 图像增强

在图像去噪后常利用图像增强技术改善画质，使图像更加清晰，方便分割图像目标。常用图像增强方法有灰度值线性变换、直方图均衡化、直方图规定化、同态滤波等[33]。灰度值线性变换是一种直接的空间域图像处理方法，它在特定目标条件下根据一定的变换关系改变原始图像中每个像素的灰度值；直方图均衡化则是利用直方图调整对比度的图像处理方法；直方图规定化又称为直方图匹配，是将某幅影像或某一区域的直方图匹配到另一幅影像上。鄢治国等人[34]在此基础上，通过对焊缝梯度图像进行直方图均衡化来增强焊缝特征信息，有利于后续的特征提取。

2.2 图像识别处理

在进行图像识别处理时，首先进行图像分割，然后进行特征提取与中心线拟合，不同的图像分割方法需使用与之对应的特征提取和中心线拟合方法。

图5 图像识别处理思维导图Fig.5 Mind map of image recognition and processing

2.2.1 图像分割

按分割的判定标准不同，图像分割技术主要分为阈值分割法和图像边缘提取法两种方法。

阈值分割法将灰度图像转换为二值图像的原理是：通过判断图像中每个像素的特征属性是否满足阈值来确定图像中的像素属于背景区域还是目标区域。常见的阈值分割方法有最大熵阈值分割法[35]、自适应阈值法[36]、大津算法[37]。激光条纹与黑色背景的亮度存在巨大差别，因此可以运用最大类间方差法计算分割阈值，即把图像分割为白色前景（焊缝区域）与黑色背景（非焊接区域），算法简单，运算较快。其他的阈值分割法[38]还有双峰法、迭代法、Kirsch算子法。针对有一些关键点激光的反射弱，不易设置阈值的问题，刘少林等人[39]提出了一种解决方法，首先提取图像的直方图，然后计算图像的平均灰度值，最后将其与直方图中介于平均灰度值与最高亮度之间处于谷底的灰度等级进行比较，像素数最少的灰度级即为最终阈值。

图像边缘提取法基于灰度值在图像表面法向变化的不连续的特点，该方法易于实现，但精度不高。图像的边缘是灰度值发生剧烈变化的点的集合，即图像轮廓[40]。目前有许多算法应用于边缘提取，常用的有Laplace算子、LOG（Laplacian of Gaussian）算子、Robert算子、Sobel算子、Prewitt算子、数学形态学方法、Canny算子等方法。其中Laplace算子计算量小但对噪声敏感；LOG算子可以在锐化边缘前通过高斯滤波进行平滑处理以免加强噪声[41]；Robert算子应用简单，运算周期较短且对于图像中的转折点、陡峭边缘点都有较好的处理效果[42]；Sobel算子可以平滑噪声但精度不高[43]；Prewitt算子的最终处理效果与Sobel算子相似，二者的主要区别为选取的模板不同[44]；Canny算子由于抗噪性能好、边缘提取可靠，是目前最为常用、便捷和理想的边缘提取方案。郭亮[38]提出了一种基于小波变换的边缘提取方法，此方法为常用的边缘检测方法，将信号做小波变换后，通过对一些特殊值的检测得出图像边缘，可对图像逐列或逐行进行处理。

其他方法还有基于脉冲耦合神经网络（PCNN）的图像分割法、最小二乘支持向量机图像分割法等。如Yang L J等人[45]采用基于PCNN的图像分割和去除小的假区域来获得目标区域，然后利用传统的图像处理方法进行后续处理。该方法在复杂的焊接环境中具有较强的鲁棒性和灵活性，可以大大缩减初始焊接位置的定位时间。针对激光拼焊中结构光光纹畸变特征不明显，不能精准识别焊缝的问题，依据焊缝区和非焊缝区纹理特征差异，邹媛媛等人[46]提出了一种基于最小二乘支持向量机的焊缝识别方法，首先划分图像为一定数量的子块，然后利用最小二乘向量机模型对上述子块进行分类，最终完成图像分割。此类识别方法适应力强、精度高，可有效地进行焊缝识别。

2.2.2 特征提取与中心线拟合

完成图像分割后的焊缝图像还需进行特征提取与中心线拟合[47]。在图像分割过程中，如果采用阈值分割这一类方法，需要对分割后具有一定宽度的焊缝进行细化，然后再进行焊缝直线提取[48]。图像细化[23]即二值图骨架化，是一种图像操作运算，按照一定的规则逐层去除二值图像中的前景像素，在保证原图形状不发生改变的情况下将其设置为背景点，最终得到原图单像素宽度的骨架。其中图像的细化算法按照是否使用迭代运算分为两大类：（1）迭代运算，即多次运算，通过重复地去除满足相关条件的像素点最后得到所需的焊缝中心线。此方法的缺点是运算速度慢、对图像的分辨率敏感[49]。迭代运算又可分为并行细化算法和串行细化算法，并行细化算法的运行速度较快，但效果较串行细化算法稍差[50]。（2）非迭代算法，包括快速三角剖分细化法和Delaunay三角剖分细化法，其原理是用局部区域的边界去一点点地靠近多边形完成骨架运算。图像分割如果采用边缘提取这一类方法，需要利用一定算法从提取不连续的焊缝中找出直线方程[51]。王志刚等人[52]通过形态学操作将孔洞填充和闭操作相结合来补充焊缝轮廓中的孔，然后使用递归算法快速去除焊缝轮廓的毛刺并保留主焊缝轮廓，接着用最小二乘法拟合焊缝边缘直线轮廓线，最后用轮廓线方程求平均值，得到焊接中心线方程。雷正龙等人[53]在原有的斜率分析法提取焊缝的特征点方面做出创新，提出了“由形到点”提取特征点的方法，此方法适用于U型、I型、Y型焊缝坡口。目前普遍使用神经网络进行焊缝特征点提取以到达较高精度的检测要求，其中针对卷积神经网络计算量大、设备成本高的问题，刘美菊等人[54]提出了包括权值补偿算法和权值更新算法的改进型卷积网络压缩算法，在焊接现场中对焊缝中心的识别有很好的效果。

目前常用的中心线获取方法有极值法[55]、Ste-ger法[56]、骨架提取法[19]、几何中心法[57]、阈值法和细化法。极值法定义焊缝中心点为图像中灰度值最大的点，这对呈高斯分布的灰度条纹的获取有良好的效果。Steger法通常和Hessian矩阵相互配合，但由于计算较为复杂，一般应用较少。骨架提取法是激光条纹中心线提取常用的方法，该方法首先遍历目标像素点的邻域，对连通域进行优化处理，然后运用阈值处理的方法去除不相关的连通域，得到高亮光条。阈值法与极值法应用场合相似，也能被用作焊缝灰度呈高斯分布的图像。

3 结论与展望

本文对基于机器视觉的焊缝识别技术的研究现状进行了分析概括，随着现代制造业对焊接精度要求的提升，焊缝识别技术正在高速发展。目前，国内专家对于焊缝识别已经做了很多具有价值的研究[58-60]，但是受限于平台和技术的不足，国内的焊缝识别技术仍有巨大的发展空间。对基于机器视觉的焊缝识别技术的发展趋势的预测如下：

（1）在目前的技术中，焊缝定位以及焊缝跟踪多依赖于多空间坐标系之间的转换，而此类算法通常较为复杂，故新型传感器以及其相对应的新型算法具有很好的发展前景。如新推出的飞行时间测距法（Time of Flight），基于飞行时间测距法的传感器安装于摄像头上，能够以摄像头为原点建立空间坐标系。工业摄像头与焊缝之间的距离通过该传感器计算激光发射与反射之间的时间差或者相位差来确定，再和摄像头相结合，就能实现用不同的颜色代表不同的距离，将焊件焊缝的三维轮廓表示出来，进而通过飞行时间测距法传感器测算出焊缝位置。此种思路可避免多空间坐标系之间的转换，显著降低处理图像信息的难度，从而提高焊缝识别定位的效率。

（2）基于机器视觉的焊缝类型识别也是焊缝识别技术的一个发展方向。具体方法为引入新的模式识别算法，主要为建立卷积神经网络[61]。将各个类型的焊缝图像以及其标签输出向量作为神经网络训练集，将归一化和标准化后得到的训练集作为输入层输入，输入层与卷积层相连。并通过训练集训练卷积神经网络模型，经由输出层将焊缝抽象特征转换为向量组合，最后依据输出向量的值来判断焊缝图像的焊缝类型。采用该方法将大大提升焊缝类型识别系统的鲁棒性和精准度。

（3）针对焊后质量检测，焊后焊缝三维信息重构，可采用基于结构光的激光三角测量法。其原理是用线性光源投射在焊件表面，接着在每侧进行一维扫描。每次投射器将光投射到焊接件上时，带有光条纹的焊件就通过摄像头成像，投射器的光线与图像上的光线特征对应，落在焊件上光线的深度信息可通过三角测量原理来确定，从而得到焊后焊件的三维轮廓信息。此方法稳定性高、精准简易，由于使用的激光干涉性能较好，所以该方法通常不会被焊件表面沟纹反射，可应用于复杂环境下的焊件质量检测。

（4）基于机器视觉的焊缝识别技术大部分都缺乏灵活性和适应性，往往只能适用于某单一应用场景[62]，如强光、水下、暗道等。针对复杂环境，摄像头采集的焊缝图像往往存在多种干扰，因此开发能够适用于多种干扰因素的新型算法具有一定的研究价值。如强光环境下的焊接常伴有烟雾，所以摄像头采集的图像上同时存在强光和烟雾两种干扰因素，以往的图像识别算法只能解决一种干扰因素，存在很大局限性。亟需开发一类新型算法，可降低或消除同时存在的两种及以上干扰因素的影响，从而实现多因素并存复杂环境下的高精度焊缝识别。