基于激光视觉检测的焊缝轨迹离线规划

王文楷，石玗，张刚，李春凯，朱明，徐睦忠，代锋先，许有伟

1.兰州理工大学 省部共建有色金属先进加工与再利用国家重点实验室，甘肃 兰州 730050

2.浙江巴顿焊接技术研究院，浙江 杭州 311200

0 引言

建筑钢结构节点球是一种大量用于大型桁架结构建筑的工件，在以该类工件为代表的大批量产品的生产过程中，因受上游加工工艺水平以及装夹精度的制约，不同工件的待焊接坡口很难保持在同一位置，为传统示教型机器人的自动焊接作业带来了挑战［1］。为解决以上焊缝跟踪技术难题，目前已经开发出接触式传感法［2］、弧压传感法［3］、电弧声传感法［4］、磁场传感法［5］、被动视觉法［6］、激光视觉法［7］等跟踪方法。其中，激光视觉法因其无接触、精度高、响应速度快等优点得到国内外学者的普遍关注和研究，并在部分工业场景下获得了成功应用［8］。

Muhammad等人［9］采用没有光学滤波片的CCD工业相机直接拍摄激光条纹彩色图片，并对彩色图像进行分割、直线拟合和特征点提取，该算法可以避免电弧、反光等白光对激光条纹的干扰，实现焊缝跟踪。孔萌等人［10］利用Hessian矩阵的Steger方法提取激光条纹图像线特征机器方向信息，并使用随机抽样一致算法进行形貌直线的拟合获取焊缝中心的特征点，实现了T形接头角焊缝的跟踪。王树强等人［11］采用形态学处理去除图像中除目标像素外的小连通区域，提取激光条带的中心线，最终对中心线进行Hough变换直线检测提取出特征点，实现焊缝的跟踪。随着深度学习的发展，很多研究人员开始使用深层神经网络对图像进行处理，以实现具备较强适应性和鲁棒性的焊缝跟踪。Xiao等人［12］训练出一种Fast R-CNN模型来识别焊缝类型，自动定位激光条纹ROI，实现了对角接接头、I形接头、V形接头等多种类型接头的识别和焊缝跟踪。

传统的坡口在线传感检测过程对电弧和飞溅的抗干扰能力较弱，为此，Zou等人［13］采用三线激光发生器，通过一种将卷积滤波器和深度强化学习相结合的两阶段特征点定位方法（CF-DRL），实现了强干扰环境下的焊缝跟踪。Xu等人［14］采用一种FT-GAN深度学习网络对噪声严重污染的图像进行修复，提取激光条纹特征点的位置来实现焊缝跟踪。然而在建筑钢结构节点球焊接过程中，采用的电流远大于常规焊接电流，弧光亮度进一步增强，且为保证足够的熔深，采用了飞溅率更大的CO2气体保护焊，这种情况下在线检测算法很难实现特征信息提取。与此同时，与焊接过程同步的检测方式无法对坡口焊接工况提前进行预测和规划，在工况发生突变的情况下应对能力不足。离线检测可以避免强电弧和飞溅的干扰，提前对焊接轨迹进行预感知与规划，但由于金属表面粗糙度不同引发的反射光线为条纹的特征信息提取引入了新的难度。目前业界常规的方法是采用偏振镜片来减弱工件表面反光的干扰，但偏振镜片本身对金属反光的滤除效果非常有限，且镜片的使用会降低激光条纹亮度，增加了特征信息的提取难度。

本文针对建筑钢结构节点球的焊缝尺寸和类型，采用离线激光视觉测量方法对坡口信息进行采集，将得到的图片进行形态学组合滤波和欧氏距离场变换处理，去除了随机反射噪声并提取出激光条纹轮廓信息，利用差分法对坡口位置进行定位，进而采用分组求平均法和插值法对得到的采样点数据进行处理，最后得到了完整的焊接轨迹数据用于工件的无示教自动焊接。

1 实验系统

实验平台如图1所示，激光发生器发出线型激光投射在坡口上，工业相机垂直对准激光入射平面，按照一定帧率采集坡口处的激光条纹图像，通过工业网线传输至数据采集卡，在工控机上对采集到的图片进行分析得到焊缝轨迹数据，通过TCP/IP协议传输至工业机器人，进而执行自动焊接。

图1 自动检测与焊接实验平台Fig.1 Automated detection and welding experimental platform

激光结构光发生器选用的功率为500 mW、波段为670±10 nm。相机选用MINDVISION公司的MV-GE501GM-T1-CL型CMOS工业相机，工作距离为300 mm，成像像素分辨率为2 448×2 048。为了避免外界光线对激光条纹的干扰，工业相机镜头前安装与激光同样中心波长的窄带滤光片。机器人选用ABB IRB1410机器人，电焊机选用Megmeet公司的Artsen Plus 500全数字IGBT逆变焊机，工控机选用NI公司的IC-3171控制器，其内嵌的算法及程序采用LabVIEW 2019编写。

2 坡口位置信息测量与提取

与在线检测激光条纹特征信息提取的难点不同，在线检测过程主要受到位置相对固定的电弧强光的干扰，而离线检测虽然没有电弧光和飞溅的干扰，但金属表面的反光成为了图像最大的污染源，且该反光可能会随机出现在图像的不同部位，降低了特征信息提取算法的稳定性。为此，本文针对离线采集的激光条纹图像及其处理流程如图2所示，主要包含以下算法：（1）图像预处理；（2）基于形态学组合滤波和距离场变换的图像分割；（3）基于差分法的图像特征提取。

2.1 图像预处理

首先对输入的原始图片（见图2a）进行中值滤波以消除椒盐噪声，得到图2b，滤波器核大小为27×27。

2.2 图像分割

采用基于Otsu法的全局阈值分割法对图像进行自适应二值化处理，得到图2c。可以看出，图片中还存在一些反光造成的杂光没有滤除，采用形态学组合滤波方法对这些杂光光斑进行滤除。首先对面积小于一定阈值的颗粒进行滤除，同时对最大Feret直径方向角小于一定阈值的颗粒进行滤除，最终得到无污染的图像（见图2d）。其中颗粒滤除的阈值可以通过实验统计获得，本实验中设定阈值为3 000像素；最大Feret直径方向角θ由式（1）计算得到，方向角阈值设定为1.3。

经过形态学组合滤波处理后，可以看出杂光光斑已经被滤除，然而要提取激光条纹特征信息，还需要对其进行细化处理。将激光条纹上的像素点进行欧氏距离变换，计算当前像素点与背景之间最小间隔像素距离，并将计算结果赋值为该像素的灰度值，最后得到激光条纹的距离场图像见图2e。

2.3 特征提取

对距离场图像沿激光条纹伸展方向（即x轴方向）逐列进行扫描，提取出每列具有最大灰度值像素点集的y轴坐标并求其坐标平均值，最后将所有列的计算结果顺序组合得到激光条纹轮廓的坐标函数f（x），见图2f。

直接对坐标函数f（x）进行差分会受到强烈的噪声干扰，在此之前还需要采用快速傅里叶变换（FFT）在频域对函数进行平滑滤波，然后利用快速傅里叶逆变换（IFFT）将其转换到空间域，得到激光条纹滤波后的函数f1（x），截止频率取100 Hz。

按式（2）采用差分法计算f1（x）的导函数f1′（x）：

计算得到的导函数f1′（x）见图2g，根据导数上提供的原函数变化率大小及其突变信息，采用不同的阈值对导函数f1′（x）进行分割可以定位出特征点的坐标，最终提取到的特征点采用LabVIEW中的Overlay函数显示，见图2h。

取a、b、e、f四个点坐标（ax，ay）、（bx，by）、（ex，ey）、（fx，fy）进行计算，得到打底焊和盖面焊的位置信息。

打底焊坡口横向位置CB为：

打底焊坡口垂直位置HB为：

盖面焊坡口横向位置CC为：

盖面焊坡口垂直位置HC为：

3 焊缝轨迹规划与工艺参数选取

通过环缝检测得到N个采样点处的坡口位置信息，需要将其转化为固定相位点处的位置信息，以便机器人焊接寻位。例如直径350 mm的节点球，可以将相位点定为16个，需要在数据集中取对应位置的16处坡口位置信息。由于提取到的数据存在正负偏差，借助于环缝坡口位置偏差的特殊形式，可以将采集到数据按顺序分为16组，每批次内数据求平均值，可以得到16个相位处的坡口位置信息。

在对数据进行分组之前，需要截取最后一组数据中的m个数据，将其补充到数据的最前端，以确保求取平均值后得到的各个点位是从0相位处开始计数，m计算方法见式（7）

由于采用多层单道焊接，因此按照式（8）、式（9），采用插值法对打底焊和盖面焊的位置数据进行处理可以得到填充焊接各相位点处的位置信息。

式中Cfk、Hfk分别为第k道次填充焊的横向和垂直位置；nf为该坡口填充焊接的总层数。例如14 mm板厚的工件需要1层填充焊接，则nf与k均为1。

表1 焊接工艺参数Table 1 Welding parameters

4 自动检测与焊接结果

对实物工件进行自动检测与焊接实验，自动检测结果如图3所示。由图3a可以看出该节点球存在明显的装夹误差，且球体并非正圆，焊接过程中需要对焊枪进行大幅度调整，以确保焊接过程可以正常进行。图3b中坡口的垂直位置偏差并不特别显著，在焊接过程中对焊枪高度进行微调即可。

图3 激光视觉检测结果Fig.3 Laser vision detection results

将以上焊接位置信息和预置的焊接工艺参数传输至下位机，打底焊、填充焊和盖面焊为不断弧连续焊接，焊接完成后成形焊缝如图4所示。可以看出焊缝平整光滑，无气孔、咬边缺陷，整体质量满足生产需求。从工件坡口的激光预扫描到自动焊接完成，整个过程耗时仅20 min，相比于传统人工焊接，生产效率得到大幅度提高。

图4 自动焊接成形焊缝Fig.4 Weld seam formed by automated welding

5 结论

（1）采用激光视觉离线检测的方式，避开了电弧光和飞溅的干扰，从而使后续焊接能够采用更大的电流和成本低廉的CO2气体保护焊接，生产效率得到大幅度提升。

（2）受两侧夹具刚性约束，在焊接过程中环形焊缝并未产生明显的变形收缩，离线规划路径未发生偏移。

（3）采用基于形态学组合滤波、欧氏距离场变换和差分法的图像处理方法可以对检测过程中产生的随机光线反射噪声进行滤除，实现建筑钢结构节点球环缝坡口横向和垂直位置信息的检测与提取。

（4）按照插值法得到的位置轨迹可以用于多层自动焊接路径规划，且成形焊缝未发现明显缺陷，产品质量满足生产需求。

（5）该方法有效解决了气体保护焊接环缝的路径轨迹规划问题，然而对于存在加工缺陷和装配误差等焊接工况更为复杂的坡口采取何种策略来实现免示教自适应焊接，仍有待于进一步研究。