基于图像处理的缝隙焊接识别研究

程晓钰

摘 要：针对光照变化导致的材料缝隙焊接识别与定位效果不理想的问题，提出一种基于图像处理的缝隙焊接识别方法，通过图像特征提取、改进BP的缝隙焊接与非缝隙焊接图像分类、缝隙焊接图像识别定位等步骤，实现了缝隙焊接的识别。MATLAB仿真结果表明，基于图像处理的缝隙焊接识别方法可在不同光照条件有效识别定位材料的缝隙焊接，且有重叠识别的检测率达到91.5%，虚警率为7.2%，无重叠识别的检测率为86.3%，虚警率为4.3%。相较于传统的Ostu识别，这方法检测率更高，性能更好。

关键词：图像识别;图像处理;BP神经网络;LM算法

中图分类号：TG40       文献标识码：A文章编号：1001-5922（2022）01-0099-07

Research on seam welding recognition based on image processing

CHENG Xiaoyu

（School of Mathematics and Computer Science，Yunnan University for Nationalities，Kunming 650500，China）

Abstract：Aiming at the problem that the recognition and location effect of seam welding is not ideal due to the change of light，a new method of seam welding recognition based on image processing is proposed.Through image feature extraction，gap welding and non seam welding image classification based on improved BP network，and seam welding image recognition and location，the seam welding recognition is realized.Finally，the validity of the identification method is verified by simulation in MATLAB software.The results show that the method of seam welding recognition based on image processing can effectively identify the location seam welding under different lighting conditions.The detection rate of overlap recognition is 91.5%，the false alarm rate is 7.2%，the detection rate of non overlapping recognition is 86.3%，and the false alarm rate is 4.3%.Compared with traditional recognition method Ostu recognition，the detection rate and performance of this method are better.

Key words：Image recognition;image processing;BP neural network;LM algorithm

精確的缝隙焊接识别是判断焊接质量与焊接可靠性的主要方法，是确保焊接结构完整性和安全性的主要手段。作为焊接质量管理的关键，缝隙焊接识别已成为焊接研究的重点课题。近年来，随着智能化技术与自动化技术在焊接技术中的应用，超声识别、结构光等缝隙焊接识别技术使缝隙焊接智能识别检测进入一个全新发展领域，如利用超声导波技术对损伤管道以及焊接弯管进行识别与定位，实现了对管段损伤及缝隙焊接的精确定位[1-2];基于结构光的激光视觉焊缝辨识方法，通过定义描述激光形态和激光条纹间距的5个变量，建立十字形、T字形焊缝交叉的统一辨识模型，可在各种工况下准确辨识焊缝接头，为后续的焊缝的识别与实时跟踪奠定基础[3-4]。但上述方法通常存在检测设备贵、检测成本较高的问题。为解决该问题，研究利用在图像识别领域应用广泛的图像处理技术，提出一种基于图像处理的缝隙焊接识别方法，并针对当前缝隙识别中因光照变化带来的识别难题，进行识别定位与仿真，验证了该方法的有效性。

1 基本算法

1.1 BP神经网络

BP神经网络是一种多层前馈神经网络，基本结构由输入层、隐含层、输出层组成。其训练思想是通过梯度下降和梯度搜索以使实际输出值和期望输出值的误差最小，包括正向计算和反向计算两个过程[5]。

定义网络输入向量为x，输出向量为y，训练样本为（x1，y1），（x2，y2），…，（xn，yn），其中n表示训练样本个数;l-1层、l层分别包括m和k个节点，则l层的第j个节点输出alj可用式（1）表示;l层的输出组成的向量al可用式（2）表示。

alj=f（zlj）=∑mi=1wljial-1i+blj

（1）

al=f（zl）=f（Wlal-1+bl）（2）

式中：Wlji，blj分别表示l-1层节点i到l层节点j的权重和偏倚;f（z）表示激活函数;Wl表示第l层的权重组成的k×m的矩阵;bl表示第l层偏倚输出组成的k×1的向量。

1.2 算法改进

通过上述分析可知，BP神经网络存在收敛速度缓慢的缺点。为解决该问题，研究采用LM算法对其进行改进。LM算法是一种结合梯度下降法和高斯-牛顿法的分线性优化方法，同时具备梯度下降法的全局性和高斯-牛顿法收敛速度快的特点。其数学描述如式（3）[6]：

xk+1=xk--1JT（xk）v（xk）（3）

当μ=0时，式（3）为高斯-牛顿法;当μ取值较大时，式（3）近似梯度下降法。

LM算法迭代的基本流程如下：

步骤1：初始化参数，包括训练性能指数ε，μ0和μ的变化参数θ（0<θ<1）;

步骤2：根据式（4）、式（5）计算网络输入和误差eq≈tq-aMq，根据式（6）计算输入均方误差和F（x）;

a0=p（4）

am+1=fm+1（wm+1am+bm+1）（5）

（m=0，1，…，M-1）

F（x）=∑Qq=1（tq-aq）T（tq-aq）=

∑Qq=1eqTeq

=∑Qq=1

∑SMj=1（ejq）2

（6）

式中：ej，q表示第q个输入/目标对的误差第j个元素。

步骤3：计算雅克比矩阵的个元素和Δx;

步骤4：采用xk+Δxk反复计算平方误差和，若该和小于ε，算法结束;若该和大于ε，且小于eq，则用μ乘θ，并设置xk+1=xk+Δxk，返回步骤2;若该和大于ε且大于eq，则除以θ，返回计算Δxk迭代，直到平方误差和小于ε。

2 基于图像处理的材料缝隙焊接识别

基于图像处理的缝隙焊接识别包括图像特征提取、图像分类训练、图像缝隙焊接识别定位3个步骤。

（1）图像特征提取。图像特征提取包括训练图像特征提取和测试图像特征提取。其中，训练图像的特征提取主要用于基于改进BP神经网络的训练，测试图像的特征提取主要用于图像的缝隙焊接识别与定位。针对训练图像特征提取，主要是将缝隙焊接区域和非缝隙焊接区域按照有重叠和无重叠的提取模式获取训练矩阵，然后通过PCA降维训练矩阵[7]。针对测试图像特征提取，主要是将测试图像根据有重叠和无重叠的提取模式获取训练矩阵，并利用第一部分获取的变换矩阵进行数据降维，得到特征矩阵;

（2）基于改进BP算法的图像分类。首先，根据缝隙焊接特征的目标值t=1和非缝隙焊接特征目标值t=0确定训练目标值[8];然后采用改进BP算法对提取的训练图像特征进行训练，即可实现缝隙焊接图像和非缝隙焊接图像的分类;

（3）缝隙焊接识别与定位。将改进BP算法分类图像按照特征提取的逆过程进行重构，然后进行阈值分割，再通过横向灰度值平均g即可确定缝隙焊接位置。通过反复实验，研究将阈值f设置为0.5，将f<0.5的非缝隙焊接区域赋予灰度值为0，将f≥0.5的缝隙焊接区域赋予灰度值为255[9];将g=90设置为长距离模式，g=160设置为短距离模式[10]。

通过上述分析，基于图像识别的缝隙焊接识别流程可用如图1所示示意如下。

3 仿真实验

3.1 实验环境

本实验在MATLAB软件中进行仿真，选用实验室提供的CCD圖像传感器采集图像，选用鞍山焊管厂提供的焊管作为实验样品。

3.2 数据集来源及预处理

本实验选用CCD图像传感器在白天和黑夜采集的焊管缝隙焊接与非缝隙焊接灰度图像作为实验图像样本。采集图像传感器镜头光圈分别为F1.4、F4、F8、F16，采集图像距离d分别为200、400和600 mm。采集过程中，为探究光照变化对采集图像的影响，实验加入1～8级强弱的蓝色LED光照作为光源，每采集一幅图像旋转30°。通过上述操作，研究共采集到的2 304幅图像样本，并通过去除弱光、光圈小等导致的无效图像后，研究共采集到的765幅有效图像样本。其中，缝隙焊接图像66幅，非缝隙焊接图像699幅;从缝隙焊接图像中选取25幅作为训练样本，剩余41幅作为测试样本，并编号为1～41。部分样本图像如图2所示。

3.3 参数设置

本实验通过多次实验，将改进BP网络算法参数设置为：图像特征5维、隐含层数4层、隐含层和输出层传输函数为双曲对数S型tansig，μ=0.001，θ=0.1，最小性能梯度为1× 10-7，个层权值和偏置值：

w1=1.003 43.782 63.397 60.540 6-0.076 337

1.990 12.486 8-5.092 11.956 61.506 2

-1.914-1.550 50.209 21-0.319 89-0.882 51

0.176 390.156 810.767 46-0.611 70.622 57

;

b1=-1.372 7

-0.935 94

0.143 44

2.891 4

（7）

w2=（2.855 5 2.190 1 4.741 6 1.155 1）;b2=1.072（8）

3.4 识别结果

基于图像处理的缝隙焊接识别中，由于识别方式存在短距离和长距离识别，且图像块的提取方式存在无重叠和有重叠两种方式。因此，通过排列组合，可将缝隙焊接识别模式分为短距离有重叠、短距离无重叠、长距离有重叠、长距离无重叠4种。研究通过分别对上述4种模式进行识别，得到如下识别结果。

3.4.1 短距离有重叠识别结果

图3依次为缝隙焊接样本原图、分类重构、阈值分割、焊缝标定、横向灰度值的统计识别效果图。其中，前5幅为缝隙焊接距离d=400 mm的图像，第6幅为分析焊接距离d=200 mm的图像。由图3可知，通过神经网络重构的图像缝隙焊接位置正确且纹理清晰，非焊接区域对识别不存在明显干扰。随着缝隙焊接区域宽度增大，识别图像的亮度明显提高，且图像局部开始出现反光;而通过神经网络重构图像后，可减弱这种反光。

3.4.2 短距离无重叠识别结果

图4依次为缝隙焊接样本原图、分类重构、阈值分割、焊缝标定、横向灰度值的统计识别效果图。其中，前5幅为缝隙焊接距离d=400 mm的图像，第6幅为分析焊接距离d=200 mm的图像。由图4可知，缝隙焊接区域和非缝隙焊接区域明显，本研究识别方法可一对一识别缝隙焊接区域。

3.4.3 长距离有重叠识别结果

图5为缝隙焊接样本长距离有重叠识别结果。由图5可知，缝隙焊接的特征不明显，但经过神经网络训练后，缝隙焊接特征与非缝隙特征的区分度逐渐加大，可清晰定位长距离有重叠缝隙焊接。

3.4.4 长距离无重叠识别结果

图6为缝隙焊接样本长距离无重叠识别结果。由图6可知，本研究识别方法可正确识别定位缝隙焊接区域，但经过阈值分类后，一定程度上弱化了缝隙焊接区域的识别。相较于长距离有重叠识别，长距离无重叠识别区域明显弱化。分析其原因，一方面是图像样本本身特征不明显;另一方面是有重叠识别的识别单位较多，而无重叠识别的识别单位较少。整体来看，长距离无重叠识别仍可正确识别定位缝隙焊接区域。

3.4.5 识别特例分析

通过对图像库中所有缝隙焊接图像识别，研究发现存在长距离无法识别，而短距离时有重叠与无重叠时识别结果不同的情况，具体见图7、图8。

由图7可知，本研究方法只能识别该图像缝隙焊接处纹理趋势，并通过横向灰度值平均处理后确定其为非缝隙焊接。针对该问题，研究通过比对图库发现，该图像是在无光源且光圈较小的条件下进行采集的，若采集时增大光圈即可解决该问题。由此说明，该特例对本研究算法有效性的分析影响不大。图8为缝隙焊接距离d=200 mm时的识别图。

由图8可知，无重叠和有重叠识别结果不同，有重叠识别时虽然缝隙焊接宽度和横向灰度值平均g达到标准，但其横向灰度值平均出现了多个波峰，即被判定为无缝隙。而无重叠识别时，横向灰度值平均在波峰处波动较小，可有效对其进行识别。由此说明在缝隙焊接识别定位时，无重叠比有重叠更具优势。

3.5 性能评估

为验证本研究基于图像处理的缝隙焊接识别方法的性能，研究从识别率方面对算法进行了验证，并对比了Ostu识别方法，验证结果如表1所示。由表1可知，有重叠识别的检测率最高，达到91.5%;其次为无重叠识别，Ostu识别率最低，为63.4%。分析其原因，可能是有重叠识别的图像区域更大，获取的特征信息更丰富;而无重叠识别仅反映了单一区域的特征信息，故其检测率低于有重叠识别。Ostu识别由于其抗干扰能力较差，因此其整体检测率较低。

4 结语

综上所述，本研究提出的基于图像处理的缝隙焊接识别方法，通过图像特征提取可有效提取有重叠图像特征和无重叠图像特征，然后通过LM改进的BP网络，可有效对缝隙焊接图像和非缝隙焊接图像进行分类;最后通过横向灰度值平均判断方法，可对不同光照条件的缝隙焊接进行有效识别定位，且有重叠识别的检测率达到91.5%，无重叠检测率达到86.3%，相较于Ostu识别，本研究识别方法性能更好。但本研究在缝隙焊接识别中仍存在一些不足，如本研究的缝隙焊接样品均选自同一厂家提供的焊管，没有对其他样品进行实验。这导致本研究算法虽在理论上具有一定的适用性，但无法证明其广泛的适用性，因此下一步将从这一方面进行深入研究。

【参考文献】

[1] 周琛，何建，胡暮平，等.基于L（0，2）超声导波的管段结构损伤定位研究[J].仪器仪表学报，2020，41（12）：181-191.

[2] 支泽林，姜洪权，杨得焱，等.图谱数据深度学习融合模型及焊缝缺陷识别方法[J].西安交通大学学报，2021，55（5）：73-82.

[3] 胡韵松，王軍民，付嘉玮，等.基于线结构光的亚像素精度焊缝提取方法研究[J].计算机测量与控制，2020，28（7）：162-166.

[4] 刘东来，崔亚飞，罗辉，等.基于机器视觉的弧焊机器人焊缝识别及路径生成研究[J].制造技术与机床，2021（12）：26-32.

[5] 杨国威，周楠，杨敏，等.融合卷积神经网络和相关滤波的焊缝自动跟踪[J]中国激光，2021，48（22）：111-121.

[6] 蒋宝，徐冬至，黄瑞生，等.基于视觉传感的焊接机器人焊缝识别跟踪技术研究现状[J].金属加工（热加工），2022（1）：10-17.

[7] 廉杰，吕学勤，顾冬霞，等.基于焊缝图像信息的光条纹中心线提取[J].上海电力大学学报，2021，37（2）：195-199.

[8] 成慧翔，马艳娥，李新卫.基于改进神经网络的激光焊接偏差智能识别研究[J].激光杂志，2021，42（12）：165-169.

[9] 段万政，郭波，曾瑄，等.基于改进Edlines算法的坡口边缘识别研究[J].南昌工程学院学报，2021，40（1）：77-82.

[10] 何煊，李冰，翟永杰.基于视觉传感的薄板焊缝识别方法研究[J].现代电子技术，2021，44（12）：16-20.