深度学习在焊接领域的应用研究现状

(国家知识产权局 专利局专利审查协作江苏中心,江苏 苏州 215163)

0 前言

深度学习是机器学习的一种方法，该方法大量借鉴了人脑、统计学和应用数学的知识[1-2]。近年来，随着以深度神经网络为代表的深度学习模型取得突破性快速发展，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习在智能制造领域取得了大量应用[3-4]。

在焊接领域，由于深度学习高效的特征识别特点，国内外学者将AutoEncoder,Deep Belief Networks和Convolutional Neural Networks等深度学习模型应用到了焊接过程控制、焊接缺陷检测等方面，取得了初步的研究成果。对深度学习技术在焊接过程控制、焊缝缺陷检测等方面的研究进展进行概述。

1 深度学习在焊接过程控制中的应用

深度学习的概念源于人工神经网络的研究，主要通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习在焊接研究中获得了大量应用，主要包括：高能束焊熔透预测、熔池图像识别、3D增材制造质量监测等。

山东大学刘新峰[5]基于熔池特征形貌，建立了5层卷积及3层全连接的卷积神经网络模型，并对等离子焊穿孔及熔透状态进行了预测。结果表明，利用等离子弧焊接正面熔池和穿孔图像目标训练集以及反向传播对其进行继续训练。训练后的模型可以自动获取到良好的特征，从而进行正确的分类识别。测试结果表明，穿孔/熔透状态的识别准确率达90%以上。

Günther等人[6-7]设计了卷积神经网络模型(CNN)，该模型可从激光焊接过程中高速摄像系统采集的高维相机图像中提取低维特征，如图1所示。随后结合机器学习及控制策略，该类低维特征被用于构成焊接过程的闭环循环。

覃科等人[8]提出了一种利用卷积神经网络CNN-M对形态复杂的CO2焊接熔池形态进行识别的方法。研究结果表明，CNN-M在网络的训练过程和检测过程中的识别率均要优于BP神经网络(图2)，在样本集稀少的情况下仍能够达到较高识别率和较快识别速度。

Kim等人[9]利用深度学习开发了GMA焊接接头背部焊道监测算法。研究结果表明，采用焊接电压与电流信号获得的接头背部熔池形貌经卷积神经网络训练后可很好的预测背部焊道的产生情况，准确度达到96.91%。

Tang等人[10]研究了深度学习在增材制造过程中缺陷监测方面的应用。建立的卷积神经网络模型包含7层特征映射层，且提取了3个特征参数。训练结果表明，识别准确度达到95.29%。

Shevchik S.A. 等人[11]结合声发射传感器及机器学习，研究了声发射信号在增材制造过程中质量监测方面的应用。根据气孔率的不同(1.42%±0.85%, 0.3%±0.18%和0.07%±0.02%)定义了3种质量等级，基于谱卷积神经网络模型(SCNN)对增材制造过程中获得的气孔率进行了训练。试验结果表明，不同等级的气孔识别率可达到83%～89%，说明该方法可适用于增材制造过程中的质量监测。

图2 熔池形貌识别率

可以看出，近5年来深度学习技术在焊接以及基于焊接的增材制造方法的过程控制中均取得应用，相对于传统的BP神经网络，深度学习大幅提升了特征提取的准确度和过程控制的响应速度。

2 深度学习在焊接缺陷检测中的应用

深度学习在图像特征提取、目标识别等领域均取得大量应用，因此其在焊接特征缺陷提取与分类方面的应用同样具有优势。当前深度学习已经应用于焊缝气孔、未焊透和裂纹等特征缺陷提取与分析中。

电子科技大学的张明星[12]以工业生产所拍摄的钢管焊缝为试验对象，首先提出了基于尺度乘积的X射线焊缝区域的提取算法，该算法首先对图像按行取样来获得行灰度曲线，然后利用最小二乘直线拟合的方法将不同尺度下拟合直线的斜率乘积代替梯度算子，并进行非极大值抑制得到边缘点。对图像每一行进行同样的操作，得到整个焊缝的边缘，从而提取出焊缝区域。当焊缝区域被提取出来后，利用深度神经网络强大的分类和识别能力，提出了一对互补的稀疏自编码深度神经网络进行缺陷识别，即使用4个稀疏自编码网络对焊缝图像中不同大小不同位置的图像子块进行检测，然后再使1个稀疏自编码网络对整个缺陷图像进行检测。采用该方法提取的焊缝区域，如图3所示。由表1可以看出，与缺陷检测常用的SVM分类算法，ANN分类算法以及更复杂的ANFIS算法相比，所提出的算法的正确率要高得多，且计算速度更快。

图3 算法缺陷提取图像

表1 不同算法的检测结果对比

南昌航空大学的郑志远[13]以Q235碳素钢板对接焊缝为试验对象，将一种基于深度学习的目标自动定位识别方法——Faster R-CNN框架应用到超声TOFD-D成像缺陷自动识别中，实现了缺陷的自动识别与分类。首先采用自主研发的超声TOFD自动扫查系统获取了231张含焊缝典型缺陷的超声TOFD-D扫成像数据，并将其划分为训练集、验证集和测试集，然后对样本集进行了训练，训练时采用了对同一试块进行多检测参数下的超声TOFD-D扫描，采用相向的扫描方向进行D扫描成像的数据扩充方法扩充训练集，以避免欠拟合、增强识别系统的抗噪声能力和鲁棒性。对目标建议框进行了设定，结果显示，该算法对未熔合和气孔的识别率达0.97，对裂纹和夹渣的识别率也可达0.9，未焊透的识别率最低只有0.8。

华中科技大学的邓星[14]开发了一套金属电弧熔积过程表面缺陷检测分类系统，包括使用工业CMOS相机获取熔积层表面图像、采用深度学习中的卷积神经网络进行缺陷图像特征的自动学习以及提取、将卷积神经网络提取到的特征向量作为支持向量机(SVM)的输入对其进行训练，进而对缺陷进行分类识别。在CNN的训练过程中使用了多种加速以及提高训练精度的策略。通过人为变形处理的方式来增加训练样本的多样性，提高CNN的泛化能力，同时为了加快收敛速度并减小收敛均方差，在训练过程中采用了随机化序列，二阶导数变学习率以及特征图谱组合连接等方法，通过对CNN的一系列优化，缺陷的识别率达到了95.29%。利用SVM对CNN提取的特征向量测试准确率可以达到166/170，对于不同的表面状态都有很高的查全率以及查准率。

S.Ye等人[15]开发了一个基于神经网络的视觉检测系统，用于识别电子元器件中电阻点焊缺陷。首先采用彩色CCD相机获得了焊点图像，然后将所有的图像分为两组，分别为训练样本和测试样本，每组有两类图像，分别为缺陷图像和非缺陷图像。为提高缺陷识别的准确性，对图像进行位置修正和图像增强预处理，经过增强的图像如图4所示。采用训练的神经网络从焊接图像中提取15个特征，估计焊接质量。采用神经网络分类器检测缺陷的精确度达到了95.82%，而采用常规的图像处理方法检测缺陷的精确度只有91.15%。

W.Hou等人[16]以GDXray公共数据库提供的焊接图像为对象，提出了一种基于深度神经网络的自动分类模型。这个模型使用几个稀疏自动编码器(SAE)以及额外的特征选择来实现对内在特征表示的无监督学习，然后使用具有监督学习的SoftMax来微调深度网络，并且通过X射线图像补丁训练和测试所提出的模型，最后基于滑动窗口方法利用训练好的模型检查整个图像并找到缺陷区域。该模型的最大分类准确率为91.84%，并且能够有效识别气孔、孔隙、未焊透和裂纹等不同类型的缺陷。

图4 图像增强过程

Liu Bin等人[17]提出了一种基于VGG16的完全卷积结构对焊接缺陷图像进行分类，通过相对较小的深度学习对数据实现了高精度分类的方法。焊缝缺陷X射线图像来自GDXray的数据库，将数据库中的63个图像进行剪裁、旋转和翻转，得到15 000个焊接图像补丁，再将其分为训练组、验证组和测试组，对气孔和裂纹两类主要缺陷进行分类。采用神经网络对数据集进行了训练，图5为训练组和验证组的精度曲线，在45 000步(10个时期)之后，训练组的准确度趋于100%以及验证集准确度。同时，通过基于VGG16的神经网络在两个主要缺陷上获得了97.6%的测试精度和0.012 s的测试时间，优于其它缺陷检测方法。

图5 训练过程中训练集和验证集的准确性

Agus Khumaidi等人[18]使用卷积神经网络和高斯代数的方法对焊缝的气孔和咬边缺陷进行了识别和分类。试验数据为包含30个良好图像、30个过渡图像、30个孔隙图像以及30个咬边图像在内的120幅图像，这些原始图像不经过射线照相过程，直接从网络摄像头捕获，使用卷积过程和梯度下降神经网络进行图像分类的特征提取，卷积由几个不同的文件管理器组成，每个文件执行自己的卷积，然后将它们堆叠在一起，创建一个三维特征图，其深度由过滤器数量决定。图6为该试验迭代次数与准确度间的关系。当迭代次数超过10时，训练性能稳定且准确。梯度下降算法能够训练数据，训练数据的准确度值接近100%，测试(验证)准确度在95%～100%之间。测试精度的平均值为0.958 3，这意味着梯度下降算法可以将95.83%的未知焊接图像数据进行准确分类。

图6 迭代次数与准确度的关系

Nana Yang等人[19]提出了基于改进卷积神经网络的X射线焊缝图像分类。该方法中的CNN-Xray由7层组成，其中层1，3和5是卷积层，2和4是下采样层，试验数据集的图像规模为60×60，为了不压缩数据，输入层设计为60×60。在1，3，5卷积层的激活函数之前添加批量归一化，这加速了网络的收敛并且增强了模型的容量。在批量归一化操作之后，结果由函数LReLU+Softplus处理，从而将非线性因子添加到网络中以增加网络的表达能力。在第5层之后，添加卷积核的大小为1×1的卷积层，这一方面增加了网络的深度，另一方面减少了特征图的尺寸并避免了过多的参数。通过完全链接连接到最后一层，使用SoftMax函数和正则化项作为成本函数。通过这些改进，缺陷分类的准确性得到提高，表2为CNN-Xray与其他检测方法准确度的对比，可知基于CNN-Xray的方法比LeNet-5，ANN和SVM更准确，准确度为99.5%。

表2 不同算法的检测结果对比

综上可以看出，基于卷积神经网络等深度学习方法的焊接缺陷提取准确度显著提高，可达到90%甚至95%以上，同时可识别裂纹的种类也得到扩展。

3 结论

(1) 深度学习在特征识别方面的优势明显，适合于焊接过程控制与焊接缺陷检测中图片识别相关的应用，当前已有的研究证明了深度学习方法的优势。

(2) 深度学习在高能束焊熔透预测、熔池图像识别、3D增材制造质量监测等焊接过程控制中的研究表明该技术可显著提高熔池特征的识别精度。

(3) 深度学习在焊接缺陷识别领域的研究结果表明，该技术可以拓展缺陷识别的种类，同时可以将缺陷识别率提高到90%甚至95%以上。