强噪声下的激光视觉焊缝跟踪图像处理研究现状及展望

董金枋，汤大赟，吴 頔，，张培磊，于治水，许燕玲

1.上海工程技术大学 材料工程学院，上海 201620

2.上海市激光先进制造技术协同创新中心，上海 201620

3.江苏省特种设备安全监督检验研究院，江苏 南京 210036

4.上海交通大学 材料科学与工程学院，上海 200240

0 前言

机器人焊接是工业智能焊接制造的关键技术之一[1-2]。在工程机械[3]、轨道交通[4]、钢结构[5]、航空航天等[6]领域中，机器人焊接有焊接效率高、焊接区疲劳寿命高、焊接更均匀、焊接区域面积小、质量稳定性高等优点，已被广泛用于代替传统手工焊接[7]。但由于热变形、装配误差、加工误差的存在且不可消除，基于示教回放的焊接机器人无法适应工件偏移引起的焊接轨迹变化，导致焊接过程中出现焊偏、气孔、未熔合等焊接缺陷以及机器人撞枪等事故[8-12]。因此，在焊接过程中迫切需要通过焊缝跟踪来感知焊缝的变化，以便工业机器人可以针对焊缝变化实时做出反馈，调整焊枪位置保证焊缝对中，确保工件焊接质量[13-14]。

焊缝跟踪作为机器人焊接领域的一个关键技术，类似于给机器人装上眼睛，主要功能是在起始焊接点识别定位焊缝位置，焊接过程中根据焊缝的高低左右变化将偏差信息实时反馈给执行机构，保证焊枪时刻与焊缝对中，保证焊接质量。经过多年发展，目前主流的跟踪技术路线主要有：机械仿形跟踪[15]、电弧传感[16-17]、被动视觉[18-21]、主动视觉[22-24]、磁传感[25-26]。机械仿形和探针跟踪因为使用过程中存在磨损问题，同时容易受到飞溅和焊缝光洁度、划痕的影响，精度较低，并且需要焊缝有明显的物理特征才可工作，应用场景有限，通常用在厚板直缝、环缝一次焊接成形等对精度要求不高的场景。电弧跟踪虽然集成度高，但是在实际应用过程中受材料、焊接工艺、焊机品牌功率、制造环境的差异影响，无法精准地确定电弧长度与焊接电流、电弧电压之间的相关性数学模型，难以确保精度和稳定性；同时电弧跟踪在定位起始点时需缓慢靠近工件定位，耗时较长，效率较低。再者电弧跟踪因工作原理要求，仅针对角接、开坡口焊缝，且需要搭配摆焊工艺，效率和精度偏低，主要集中在开坡口的厚板电弧焊，局限性较大[27]。磁光检测在窄间隙焊缝中优势明显，无论多小间隙的焊缝，材料是否反光、吸光都能检测，但是目前磁光检测在焊缝跟踪中的应用还处于探索阶段，应用研究还不成熟。同时磁光焊缝检测系统组成复杂、集成度低、不可控环节过多，比如光路结构设计、磁光薄膜材料的均匀性、焊接平台的振动、工件膨胀系数等方面都还未形成统一的设计规范，系统稳定性不足，目前依然处于实验室阶段，预计将来可能在激光薄板对接焊接中有极高的应用价值[25]。被动视觉检测由于直接摄取了熔池图像，所以基本上不存在导前误差，在激光焊接中，其原理是利用金属熔滴流向焊缝间隙时的尖角特征进行定位，但是要求焊缝间隙大于1 mm，否则尖角特征不明显，检测困难。同时金属熔滴在焊缝间隙的熔滴尖角特征并不稳定，工件在焊接过程由于热胀冷缩会出现形变，导致熔滴尖角有时是椭圆，有时消失，所以此方法在原理上有缺陷，无法准确稳定地判断焊缝具体的位置信息，而且工业相机在飞溅、弧光干扰下，抗干扰能力有限，应用受到限制，故被动视觉跟踪主要应用于TIG焊等低飞溅场景[28-30]。

激光视觉焊缝跟踪的原理是基于相机接受激光条纹在工件表面的漫反射光条轮廓对焊缝进行定位，在焊缝坡口检测、焊缝余高、焊缝轮廓、熔池表面轮廓、焊枪姿态检测等领域应用广泛[31-32]。相较被动视觉检测和磁光成像检测，结构光焊缝检测技术更为成熟，主动光源具有单色性好、相干性好、信噪比高等优点，所以抗干扰能力强，易于提取图像信息，检测精度更高。目前随着工业机器人的应用推广，面临工况复杂、干扰因素多且杂、工装重复定位精度低等问题，迫切需要实现激光视觉在强噪声、窄间隙下的焊缝准确识别，实现柔性自动化焊接加工。焊接过程中能根据焊缝变化实时纠偏的焊接工作站通常由机械臂、控制柜、焊接电源、焊缝跟踪系统组成，可以实现焊缝图像采集、图像处理、实时纠偏功能[33-34]。在工业现场执行机构除了机器人，也有用电机加导轨气缸的焊接专机。控制器除了机器人控制柜，激光焊缝跟踪也有工控机或者FPGA、SDSP等嵌入式处理器[35-37]。除此之外不同的工件还需要匹配不同的夹具，整个工作流程是机器人示教编程，工件装夹、激光跟踪采集焊缝图像、图像处理定位焊缝位置，位置信息反馈到机械臂实时纠偏确保焊枪时刻与焊缝保持对中。

激光跟踪最关键的环节即为图像处理，焊缝图像采集包含很多干扰信息，需要先进行预处理，灰度二值化之后通过中值滤波筛去干扰信息，再提取ROI（Region of Interest）区域对光条边缘进行提取，然后通过灰度重心法等对光条进行细化提取中心点信息，再通过曲线拟合连接成线，最后通过斜率分析法等对光条中心进行特征点提取。特征点提取之后进行坐标转换，与标定的焊缝轨迹进行对比计算偏差值，然后把偏差值传输给到机械臂等执行机构，进行实时调整[32，38]。但是由于焊接过程中存在强烈的辐射、弧光、烟尘、飞溅等干扰，增加了图像处理的难度。比如，钢结构焊缝的打磨、划痕导致的光条强度不均匀，检测图像干扰大，导致焊缝特征提取困难[39]。Lu[40]等人通过脊线跟踪方法，仅从激光条纹附近的线提取中心线，排除背景噪声的干扰，图像处理面积小，采用斜率分析法和最小二乘法提取焊缝特征点，抗干扰能力强，能满足焊缝跟踪的高精度要求。Li[41]提出了一种序列重力法SGM（Semi Global Matching）来提取更平滑的焊缝中心线，可以减少干扰的影响，采用双阈值递归最小二乘法对SGM得到的曲线进行拟合，以提高系统的实时性和准确性。Zou[42]等人采用加权局部余弦相似度的目标跟踪算法检测接缝特征点，有效防止弧线和飞溅物的干扰。但是这些算法过于消耗计算机资源，实时性上有所欠缺，急需能够兼顾实时性和准确性的图像处理方法。

激光焊缝跟踪的图像处理环节主要由图像预处理、激光光条提取、特征点识别三部分组成，本文介绍了这三部分的传统图像处理算法，同时总结近年的一些特色算法应用及其处理效果，包括精度与延迟，并对激光焊缝跟踪的未来发展方向进行展望。

1 图像预处理

图像采集之后需要进行预处理滤波去除异常数据方可进入下一环节。如图1所示，由于在焊接加工过程中剧烈的弧光、飞溅、烟尘都会影响图像采集的信噪比和清晰度，同时工件材料本身的反光吸光特性、表面油污、打磨划痕都会对激光条纹的信号采集造成影响。除此之外，如采用工控机进行图像处理还涉及传输过程的高频电磁干扰。这些干扰都将直接影响后续激光条纹的提取以及焊缝特征点的提取，直接决定跟踪精度与焊接质量，所以在正式图像特征提取之前必须进行图像预处理，包括滤波、二值化、ROI选取等，以提高图像质量及信噪比。

图1 焊接飞溅、强弧光、烟尘干扰Fig.1 Welding spatters，strong arc light，smoke and dust interference

滤波之前需要了解图像处理主要的噪声类型和特征，以便有针对性地选择滤波算法。激光传感器采集图像的噪声主要来源于弧光、烟尘、飞溅等，主要噪声类型为斑点噪声和椒盐噪声[43-44]。因此图像预处理的核心就是滤除或减弱飞溅和弧光对焊缝图像的影响，即以不破坏原有数据为原则尽可能去除图像噪声，滤波降噪是预处理的重要一步，降噪效果会直接影响到后期图像分类识别的准确率。目前图像去噪方法主要有空域滤波和频域滤波两种[45]。频域滤波需要经过傅里叶变换与逆变换[46]，在视觉效果上会降低原有精度，并丢失重要的特征信息，在智能领域应用中频域滤波的稳定性和实时性都难以满足要求。空域滤波算法主要利用卷积模板和目标图像进行卷积运算来实现图像异常数据的清除降噪[47]，相较而言，该算法更加快速精确，适合对激光条纹轮廓图像进行滤波。在激光跟踪中常用的空域滤波算法有中值滤波、均值滤波、高斯滤波等[48]。均值滤波[49]和高斯滤波[50]的滤波效果取决于模板核的大小，一般来说，模板核的尺寸越大，滤波效果就越强，但同时计算耗时也越长。高斯滤波只有在噪声呈高斯分布时效果才显著。均值滤波和高斯滤波等线性滤波算法均能有效去除图像中强光噪点以及飞溅干扰等噪声，但同时也会模糊光条的边缘特征。对于激光焊缝跟踪的结构光图像，边缘信息的准确性非常重要，直接决定下一环节光条中心提取精度。因此为了提高焊缝图像处理精度，需要尽可能保留焊缝结构光图像的边缘信息。经过广泛的研究总结，一般利用中值滤波算法对激光光条图像进行滤波处理，以便得到清晰的光条轮廓图像[51]。中值滤波是一种非线性信号处理技术，其基本原理是通过选取数字图像序列中一点的值来代替一定邻域范围的像素值，使周围的值接近真实值来消除孤立的突变值，以此消除噪点，实现滤波。中值滤波能有效滤除常见的椒盐噪声、斑点噪声等，同时能够保留图像相对清晰的边缘细节信息。如图2所示，原始图像包含大量的焊接飞溅干扰，同时还有弧光噪点，经过滤波之后可以有效滤除噪点，保留较为清晰的焊缝光条轮廓，方便后续光条提取和特征点提取[52]。

图2 滤波前（左）与滤波后（右）Fig 2 Image filtering before（left）and after（right）

彭宏等[53]提出一种改进的均值滤波算法，利用图像像素点邻域灰度值的相似特征，在一定范围内选择用平均值代替噪点处灰度值，同时结合Canny算子对图像边缘进行检测，可以有效去除图像中的高密度脉冲噪声。Piao等[54]提出一种基于高斯滤波和双边滤波的混合图像去噪算法，首先利用高斯滤波器对噪声图像进行滤波得到参考图像，然后将参考图像和噪声图像作为双边滤波器的范围核函数的输入，该算法能够有效克服阶梯效应，滤波后的图像更加平滑，纹理特征也更加接近原始图像，能够取得更高的PSNR（峰值信噪比）值。袁新星[55]通过实验对比了不同密度椒盐噪声下中值滤波的处理效果，结果证明，中值滤波算法即使在强噪声情况下降噪效果也非常显著。申俊琦[56]使用自适应中值滤波法对采集的焊缝图像进行降噪处理，实验证明该算法针对不同性质及强度的噪声均表现出很强的降噪能力，同时还能很大程度上保持原有焊缝边缘的特征信息。张杰飞[57]采用高斯滤波器对含噪声的焊缝图像进行滤波降噪处理，并通过实验分别比较了高斯滤波、均值滤波法与中值滤波法对强噪声焊缝图像的处理效果，结果证明，中值滤波更适合用于强噪声图像处理过程。

本文归纳总结了常用的滤波算法并进行对比，如表1所示。

糖蜜酸化液：80 g糖蜜加120 mL蒸馏水搅拌均匀，用硫酸调节pH 4.0～4.3，90～95 ℃水浴并不断搅拌15 min，4000 r/min离心10 min，取上清。

表1 各类滤波降噪算法对比Table 1 Comparison of various filtering noise reduction algorithms

Wu等[61]通过实验测试了不同的滤波技术，以此确定图像处理过程中去除噪声的最佳滤波技术。采用高斯、维纳和中值三种滤波技术进行了比较，为了检验效率，使用了四种统计算法，即MSE（均方误差）、RMSE（均方根误差）、PSNR和信噪比。通过比较发现，中值滤波器的MSE和RMSE值最小，且PSNR和信噪比值最大，这说明在弧光环境下中值滤波器是最有效的去除噪声技术。

2 光条中心提取

由于激光器自身发射的激光条纹亮度的不均匀性，以及工件表面反光、划痕等因素导致的光条变形和亮度不均匀，光条大小粗细时刻都处于变化之中。同时光条的亮度是从中心线向外逐次递减，导致如果直接对结构光进行图像处理，需要处理的数据庞大且不稳定，会极大影响焊缝数据采集的准确性、鲁棒性。因此，为节省计算机资源，同时降低数据处理延时，一般先对光条边缘进行提取，再骨架细化提取光条中心线，减少后续焊缝特征提取数据处理量[62]。如图3所示，不同的光条提取方法提取的焊缝情况各不相同，需要根据具体的干扰噪声情况来选择合适的光条提取算法。

图3 不同算法的结构光光条提取情况[63]Fig.3 Extraction of structured light stripe by different algorithms

光条中心提取分为两步：首先进行光条边缘识别，锁定光条区域，然后进行中心线提取。边缘识别的原理根据图像像素点的灰度阶跃变化来确定，当灰度值导数较大或出现极值时，即定义为边缘。目前常用的基于一阶导数的边缘检测算子，包括Roberts算子、Sobel算子、Prewitt算子等；基于二阶导数的边缘检测算子主要是LOG（Laplacian of Gaussian）边缘检测算子[64]。激光结构光光条边缘提取算法的原理及优缺点如表2所示。

表2 激光结构光光条边缘提取算法Table 2 Edge extraction algorithm of laser structured light stripe

在成功获取图像的单像素边缘后，快速、稳定的激光中心线提取算法是保证整个图像处理系统稳定、实时和精确地获得特征点坐标值的关键。常用的激光中心线提取方法有极值法、阈值法、灰度重心法、形态学细化、方向模板法、霍夫变换、Steger法等[70]，各算法的原理及优缺点如表3所示。

表3 光条提取算法Table 3 Light stripe extraction algorithm

由表3可知，极值法、灰度重心法的实时性较好，但是抗干扰性能较差，极易受焊接过程噪声影响；阈值法容易导致光条信息缺失，影响焊缝轮廓提取定位；曲线拟合法、方向模板法虽然提取精度较高，但是实时性较差。Steger方法虽然精度较高、能达到亚像素级，但是算法复杂，运算量大，延时严重。形态学细化、霍夫变换算法简单、对硬件要求也低，实时性也能满足要求，但是精度上略有欠缺，还有较大改进空间。

上述图像处理算法仅在理想条件或激光条干扰弱的情况下进行提取识别工作，识别稳定性低，可靠性差。而在工程应用中，焊缝跟踪第一要务是稳定，然后才是精度，因此在实际焊接中强干扰噪声下的图像处理具有重要的工程应用价值。传统的激光中心线提取方法虽然具有普适性，但易受环境、设备等复杂因素干扰，因此在许多情况下很难满足实时性与精确性要求[79]。因此，鉴于传统算法在应用上的局限性，机器学习方法越来越受到研究者的关注，许多学者也陆续提出了一些更具特征性、稳定性、高精度的激光中心线提取方法，具体如表4所示。

表4 激光中心线提取算法Table 4 Algorithm of laser structured light stripe center extraction

由表4可知，在提取精确性方面，新的基于神经网络等提取算法的平均置信度值均高于传统算法，对强漫反射和强镜面反射光条图像的优势尤为明显，适合用于反光材料如铝合金、不锈钢等的焊缝光条提取，也适用于激光焊等强干扰条件下的焊缝光条提取。同时基于形态特征、遗传算法等算法在焊缝识别上有极大的自适应能力，能够在多变的强噪声环境下准确识别焊缝位置，且大部分为矩阵运算，计算效率高，将极大提升中心线提取的实时性和适应性。但是相对于传统算法，新兴算法在准确性上相对工业自动化要求的稳定性还有距离，同时新兴算法在数据处理能力、算法复杂程度上都过于消耗计算机资源，实时性上还有待工业现场考验。未来可考虑在硬件上升级以进一步提升运算效率，同时优化算法提高可靠性。

3 特征点提取

焊缝特征点是确定结构特性的点，如焊缝激光线的拐点，可以表征焊缝的宽度、深度和坡口边缘等位置信息，如图4所示。

图4 特征点提取示意[89]Fig.4 Feature point extraction diagram

针对不同坡口类型的焊缝，提取其关键位置信息的方法也不同。传统方法主要是基于图像处理的提取方法（例如分割、中心提取、斜率分析和直线相交等）来获取焊缝关键位置[30，90-92]，如表5所示。

表5 传统焊缝特征点提取算法Table 5 Traditional weld feature point extraction algorithm

传统的基于几何特征的接缝特征点采集方法存在灵活性和鲁棒性差的缺点。采用传统的形态学方法检测焊缝特征点时，特别是在具有强弧光和飞溅干扰的环境中，难以保证鲁棒性和准确性，只能解决特定条件下的图像特征识别问题，面对强干扰噪声环境，存在通用性差和抗干扰能力不足等缺陷。近些年来，深度学习、神经网络等技术已在很多领域得到了广泛应用，也逐渐被应用于焊接领域，如焊缝分类、焊缝缺陷检测和焊接过程控制等[98-100]。周卫林等[101]使用VGGNet（深层卷积神经网络）实现了焊接过程中焊缝特征点的跟踪。Xiao等[28]提出了一种自适应的特征点定位方法，使用Faster R-CNN经典的目标检测网络识别并定位焊缝，根据识别结果进一步选择相应的特征点提取方法，该方法能够识别特定的连续焊缝和非连续焊缝，具有一定的适应性，更多焊缝特征点提取的研究成果如表6所示。

表6 近年强干扰环境特征点提取相关算法优劣对比Table 6 Comparison of feature point extraction algorithms for strong interference environment in recent years

续表

目标跟踪算法正不断被应用到焊缝跟踪领域，按原理而可分为生成式模型与辨别式模型。生成式模型一般通过建立模型来描述光条特征，跟踪时通过图像识别找到与目标模型相似度最大的区域，模拟焊工经验识别，定位焊缝位置。这种方法存在两个问题：首先，准确的焊缝模型建立难度较大，因为工业生产中焊缝一致性较差，甚至有锯齿型焊缝特征，所以应用上对工况有一定要求；其次，该方法极其消耗计算资源，采用工控机进行运算时实时性不足，且当焊缝结构光线存在断点、分叉等情况识别很容易失效，稳定性有待提高。

辨别式模型则是先将样本图像采集分类训练算法，再通过工作过程对图像进行识别分类匹配，以提高焊缝识别精度，主要的算法包括TLD算法、深度学习类、核相关滤波算法等[118]。邹焱飚等人[119]采用高斯核相关算法检测焊缝，能在强弧光、大飞溅工况下精确获取焊缝位置，其最小前置距离能做到20 mm，极大地降低前置误差。然而此方法稳定性欠缺，一旦出现跟踪误差，误识别焊缝位置，很难再次自我纠正，考虑工业应用现场工况，不利于长期稳定应用。文献[111]利用来自各个卷积神经网络层的特征，通过多个特征层之间的相似性匹配来确定焊缝特征点。但是输入噪声图像会导致跟踪器积累干扰信息，从而使得模型漂移，导致检测精度不稳定。

除了以上应用人工智能算法的研究证明在强噪声（强弧光、大飞溅）下具有较好的抗干扰作用，同时也有学者进行传统算法结合深度学习强大的特征识别和自学习能力进行焊缝跟踪相关研究，通过深度卷积神经网络结构提取目标的高级深度抽象特征，克服了传统的像素级特征分析和单几何特征识别或统计决策方法的局限性，减少了特征的模糊性，免于光条提取这一步骤，直接进行特征识别提取。周跃龙[120]等人提出了一种基于无锚分类回归孪生网络的跟踪算法。通过焊前初始焊缝特征点确定目标区域，然后焊接过程中通过回归网络进行相似性计算精准预测焊缝位置。在弧光和烟雾等强干扰下，平均绝对跟踪误差为0.3 mm，相较于传统图像处理和ECO算法等跟踪精度和速度有所提高，有效提高了复杂薄板构件的焊接效率和质量。杜荣强[24]等人利用快速图像分割、卷积神经网络特征区域识别与特征搜索技术相融合的方法，准确地识别焊缝特征。针对焊前强噪声图像与焊接过程强噪声进行特征提取完成V形焊缝与T形焊缝跟踪实验，得到跟踪精度分别为0.50 mm、0.62 mm。徐宁[121]等人为提高效率，不使用特征点提取网络定位每帧焊缝图像中的特征点，而是融合核相关滤波（KCF）来跟踪特征点的位置。将特征点的定位转移到先验区域内，提高了定位精度，同时将焊缝特征点位置的定位与特征点存在的置信度结合起来，进一步抑制了焊接过程中的噪声，有效提升了网络的抗噪声干扰能力，提高了对多坡口类型焊缝的适应性。Zou[122]等人提出了多特征组合网络（MFCN），该网络综合利用多层特征承载的局部信息和全局信息进行焊缝检测，以准确检测连续超强噪声下的接缝，实现在连续的超强噪声下仍能保持极高的检测精度，平均检测误差小于6个像素，标称间距下的像素分辨率为0.08 mm。

上述特征点识别跟踪算法在强噪声环境下具有较高的特征识别精度，自适应能力也有一定提高，但算法复杂度较高，需要配备高性能工业计算机，综合成本较高，同时缺乏工业现场的实际应用案例，稳定性和实际准确性还有待验证。

4 总结与展望

综上所述，传统的图像处理虽然算法简单，但是极易受环境干扰，且随着激光焊缝跟踪设备的普及，越来越恶劣的工业环境对传感器以及图像处理算法提出了更高的要求。新兴的基于人工智能和深度学习的算法，可以通过图像中的焊缝特征总结，自动选择提取，自适应能力得到很大提高，可以实现复杂工况、强噪声、多种焊缝类型自主检测识别，且能达到较好的精度水平，满足工业要求。但是新兴的算法由于其复杂性和数据处理量的增加对计算机资源提出了更高的要求，也影响到激光焊缝跟踪的实时性。为了推进焊接制造的智能化、数字化，对激光焊缝跟踪技术进行了展望。

（1）随着“中国制造2025”的出台，我国焊接技术的高速发展对技术的自主性提出了更高的要求，为了减少对进口激光焊缝跟踪传感技术的依赖，迫切需要加大对高速、高精度、窄间隙、高反光材料工况下激光结构光检测技术的研发工作，解决高端重大国防、海工装备的智能化、数字化生产加工难题。

（2）伴随高速相机、嵌入式、激光器等技术的发展，为智能焊接技术的升级换代提供了新思路，可以结合焊接相关传感器零部件的最新技术发展，积极将最新的技术应用到智能焊接技术中，以实现在数据采集频率、数据采集质量、计算平台的更新迭代，推动焊接向更加智能化、先进的方向发展。

（3）在算法上传统的图像处理、特征提取算法稳定性欠缺，具体效果在很大程度上依赖于研究人员的模型经验。不同学者面对的工况不同，模型侧重点不同，不够灵活，一旦出现未曾预料的噪声非常容易出现不稳定的情况。随着人工智能技术的发展，如何把新兴的人工智能技术应用到智能焊缝跟踪技术图像处理中，简化图像处理步骤，使算法模型更灵活、更有效是未来的主要研究方向之一。

（4）在应用上基于国家针对复杂大型结构件的自动化焊接技术的发展要求，针对航空航天、军工船舶等行业相当一部分大型结构件，焊缝类型、坡口形式多变的问题，依然缺乏有效的基于多传感器的信息融合技术的智能焊缝跟踪技术，急需综合各类传感的优缺点，实现复杂工件的全位置，强干扰、各种槽类型（I型槽、V型槽、Y型槽、U型槽等）以及接头类型（对接接头、搭接接头、圆角接头等）的焊缝跟踪检测，在灵活性和多功能性上更进一步。