深度学习在焊缝缺陷检测的应用研究综述

王靖然　王桂棠　杨波　王志刚　符秦沈　杨圳

摘要：焊缝缺陷的检测在石油化工等领域是极其关键的环节，焊接质量的好坏直接影响到结构的使用性能。对于X射线焊缝图像评定，目前采用的人工评片受到多种主观因素的影响，导致漏检或错检情况相对较高。近年来，随着工业智能检测技术的发展，深度学习在图像特征学习中的独特优势使其在缺陷自动检测中具备重要的实用价值。综述了以神经网络技术为代表的深度学习模型在焊缝缺陷检测方面的研究进展，详细分析了基于卷积神经网络和Faster R-CNN网络的工业设备焊缝缺陷自动检测的理论模型及其优缺点，并对焊缝缺陷自动检测技术的发展进行了展望。

关键词：焊缝缺陷;卷积神经网络;Faster R-CNN网络;自动检测

中图分类号：TG409 文献标志码：A

文章编号：1009—9492（2021）03—0065—04

0引言

随着我国工业化程度的不断提高，焊接技术已广泛应用到承压容器、冶金工业、石油化工等各个领域，工业设备焊接质量的好坏直接影响焊接结构的使用性能和寿命。由于生产工艺和焊接环境等因素影响，工业设备焊缝位置在制造和使用过程中容易产生各类焊接缺陷，依照焊缝位置的不同可分为内部缺陷（裂纹、圆形缺陷、未熔合、未焊透等）和表面缺陷（咬边、烧穿等）。对于表面缺陷可以通过视觉检测方法直接识别焊缝缺陷类型和损伤程度，而焊缝内部缺陷则需要借助其他无损检测技术进行缺陷识别和研判，如脉冲超声检测技术（UT）X射线检测技术（RT）和涡流检测技术（ET）等。其中RT由于可以准确识别缺陷的位置和长度，在焊缝缺陷检测中应用最为广泛。目前RT的缺陷定性、定量主要还是依赖人工的评定法，包括人工评片和机器视觉等。人工评片受评片人员的专业水平和身体状况等主观因素影响，容易造成缺陷漏检或误判等情况;机器视觉广泛应用于焊缝图像的缺陷分割，主要是针对人工选取的特征进行提取和分析，这不仅依赖于人工选定，且对某些缺陷难选出优质的特征，当所提取的特征质量不佳时，就得不到较高的识别准确率。

为了降低依赖人工评定法的主观性、差异性，研究焊缝缺陷自动检测系统成为重要的研究方向。近年来，将深度学习的图像特征自动学习应用于工业设备焊缝缺陷检测成为主流研究方向。目前主要包含卷积神经网络（Convolutional Neural Networks，CNN）和Faster R-CNN两种网络模型，通过利用算法模型自动学习的特点，自动提取焊缝缺陷，实现焊缝缺陷的自动检测。一方面，其方法避免了传统算法中人工提取特征的局限性和复杂性;另一方面，深度学习在自然语言处理、图像分类和物体检测等领域获得了广泛应用，为深度学习在焊缝缺陷检测中的应用奠定基础。

本文针对目前主流的基于深度学习技术的焊缝缺陷检测模型进行了归纳总结。先后对基于深度学习技术的焊缝缺陷检测的相关模型进行详细论述，随后对基于深度學习的焊缝缺陷自动检测模型进行了总结和展望。

1焊缝缺陷检测模型

目前深度学习技术的很多模型都被应用在焊缝缺陷图像中，其中应用比较广泛的包括卷积神经网络（Convolutional Neural Networks，CNN）和Faster R-CNN两种网络模型。

1.1卷积神经网络

CNN最早由Yann于1998年提出，可以自动提取图像的颜色、边缘和纹理等特征，避免了传统算法中复杂的特征提取过程，并且在扭曲不变性应用上具有良好的鲁棒性。在CNN中，主要包括3种网络层：卷积层（Convolutions）、下采样层（Subsampling）和全连接层（Fully Connection）。

卷积神经网络的关键部分在于感受野、权值共享和下采样层。神经元只需要感知图像局部特征即可，然后综合不同的局部神经元得到全局信息，减少了神经元连接的数目，降低模型复杂度。权值共享就是对图像用同样的卷积核进行卷积操作，因此可以检测到不同位置的同一类型特征，既有较好的平移不变性，同时也减少了训练参数量，提高了模型的运算速率。下采样层可以降低特征维度同时保留有用信息，防止过拟合。

1.2 Faster R-CNN网络

Faster R-CNN网络在2016年被Ren s等提出，其网络结构如图1所示，整体检测框架为：

（1）原始图像先经过CNN层进行特征提取，得到特征图;

（2）特征图分为两部分，一部分特征图进入RPN层产生区域建议框;

（3）将区域建议框映射到另一部分特征图上，输入到RoI pooling层，输出RoI特征图;

（4）对RoI特征图进行分类和边框回归。

Faaer R-CNN网络实现了区域推荐网络（RPN）和Fast R-CNN检测网络共享同一特征图，解决了R-CNN对region进行特征提取时的重复计算和Fast R-CNN找出所有候选框的耗时计算问题。Faster R-CNN将区域建议和Fast R-CNN融入到一个网络模型中，实现了端到端的目标检测，大幅提升了检测精度和效率。

2焊缝缺陷检测方法

2.1基于卷积神经网络

Li等在AlexNet模型的基础上根据焊缝的缺陷特征进行了微调，通过对比了其他经典卷积神经网络，其中AlexNet的分类准确率最高达到97%。

Liu等提出了一种基于VGGl6的全卷积结构对焊缝缺陷图像进行分类，以较小的数据集就能实现了气孔和裂纹两类缺陷的高精度识别，其训练集和验证集的准确度在45 000步（10个epoch）后趋于100%，测试集的精度也达到了97.6%。

Li等设计了一个6级10层的卷积神经网络，通过分割定义出一个疑似缺陷区域（SuspectedDefectRegion，SDR）图像，将SDR图像作为CNN的输入可使缺陷的平均识别率提高到98.8%。

Hou等提出了深度卷积神经网络（DCNN）模型，该模型使用Sofimax算子进行微调，并且比较了3种重采样方法解决缺陷样本不平衡问题的效果。实验结果表明该模型学到的DCNN特征比传统手工特征和堆叠稀疏自动编码器（SSAE）特征具有更好的分类能力，SMOTE重采样方法能够更好地解决分类不平衡的问题，缺陷分类准确率达到97.2%。

Liu等提出了一种结合卷积神经网络（CNNs）和长短期记忆网络（LSTM）的CNN-LSTM算法，如图2所示。首先CNN提取熔池图像特征，转化为特征矩阵后送入到LSTM网络进行特征融合分类。实验结果表明，焊接熔池缺陷检测精度达94%，单幅图像处理时间为0.067ms，完全满足基于熔池图像的实时监测要求。

Fan等在CNN模型中使用ELU激活函数使模型训练时有更好的鲁棒性，同时利用超像素分割（SLIC）算法对图像像素进行像素块处理，增大了焊缝图像中感兴趣区域的占比，提高模型的特征提取能力。实验表明该方法对4种类型的焊缝缺陷图像整体识别准确率达到97.8%。

Gu等提出一种多尺度压缩激励网络模型（SINet），将卷积模块与Inception模块、压缩激励模块（SEblock）相结合进行多尺度融合和特征重标定提高缺陷识别准确率，并且采用深度卷积对抗生成网络（DCGAN）扩充数据集，最终在测试集上准确率达到96.77%。

Jiang等提出将随机森林与CNN相结合，强化了特征提取能力，同时根据焊缝缺陷特征提出了一种综合考虑池化域与所在特征图分布的池化模型，使得池化模型具有一定的动态自适应性。实验表明比传统CNN方法有更高的识别率。

Agus Khumaidi等使用卷积神经网络和高斯核的方法对4种不同类型的焊缝缺陷进行识别，准确率达到了95.83%。

Daniel Bacioiu等使用能够抵消强大弧光的HDR摄像机组成的视觉系统捕获焊缝图像，并构建了基于CNN和FCN的分类模型，分别采用6种缺陷、4种缺陷和2种缺陷数据集对模型进行训练，其最高识别精度分别为71%、89%和95%。

Huang等使用生成对抗网络扩充数据集，并且对轻量卷积神经网络进行Dropblock和全局平均池化优化，有效提高了焊缝缺陷识别的准确率和泛化能力。

Seungmin Shin等提出了一种基于深度神经网络（DNN）的无损检测方法，基于焊接电压信号实时检测和预测气孔缺陷。经实验对比，基于DNN框架比人工神经网络（ANN）模型的性能高15%。

基于卷积神经网络的方法主要是增加卷积神经网络的层数以及与其他模型进行融合，从而克服原来网络结构简单、特区特征类别单一的缺点，增强网络对焊缝缺陷特征的提取能力，使模型达到更高的识别准确率。但是也增加了模型的参数量，导致模型训练时间增加。

2.2基于Faster R-CNN网络

Du等采用特征金字塔网络（Feature Pyramid Network，FPN）代替Faster R-CNN原来的特征融合方式，mAP值提高了40.7%;RoIAlign代替原来的RoI pooling方式，消除了量化误差，准确率提高了23.6%，同时对图像使用了旋转、裁剪等数据增强算法，提高了模型的检测精度。

Max Ferguson等提出了一种基于掩模区域CNN（Mask R-CNN）的铸造缺陷识别系统，在Faster R-CNN基础上多出分割分支，如图3所示。该缺陷检测系统同时对输入图像进行缺陷检测和分割，适用于多种缺陷检测任务。结果表明，训练网络同时进行缺陷检测和缺陷实例分割，比单纯训练缺陷检测具有更高的缺陷检测精度，同时利用迁移学习减少对训练数据的需求，提高训练模型的预测精度。

Chang等采用FasterR-CNN，通过GT包围盒的长宽比重新选定anchor大小以及对训练集进行图像增强，获得工业CT缺陷检测模型。实验结果表明该模型可以快速准确地标出裂纹、夹渣和气泡的位置，检测准确率高达96%，平均每张图片的总检测时间为166 ms。

Guo等对数据集进行了预处理，经过实验对比发现采用自适应直方图均衡化（AHE）增强图像和双中值模糊（DMB）降噪可以使基于Resnetm]提取图像特征的Faster R-CNN模型的mAP达到58.6%。

Zhong等使用Unet网络和Resnet网络作为特征提取器使得Faster R-CNN模型具有更深的神经网络，图像的特征提取能力增强。如表1所示，改進后的模型对裂痕识别率达到98%，对气孔识别率达到了97.1%。

Qu等针对小尺度目标检测不准确的问题对Faster R-CNN进行优化，再使用Resnet代替VGGNet进行特征提取，均值平均准确率（mAP）达到62.4%。基于Faster R-CNN的方法主要是进行了模型融合，单一的网络模型往往不能提取所有的有用特征信息，采用多个模型进行融合的方式可以充分利用各个模型的优势提取多维特征，增加了更多细节信息，从而提高了模型的识别率。但是也存在模型设计困难和达不到预期性能等问题。

3结束语

本文对近年来提出的基于深度学习的焊缝缺陷自动检测方法进行了归纳和总结。

（1）传统的人工提取焊缝缺陷特征识别算法的鲁棒性不强、泛化能力差，并且检验人员的主观因素可能会降低识别准确率。深度学习与传统方法相比优势明显，深度网络可以自动从数据中学习并更新网络参数，使其具有强大的特征学习能力。目前在深度学习模型自动识别焊缝缺陷方面大多采用改进的卷积神经网络和改进的Faster R-CNN网络这两种模型，缺陷识别准确率高。

（2）基于卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但并没有在焊缝图像中定位出缺陷的位置。而基于Faster R-CNN的方法虽然框出了缺陷的位置，但只对某类缺陷识别率高，整体的识别准确率不高。

（3）基于深度学习的焊缝缺陷智能检测算法目前只能对焊缝缺陷进行定性分析，而实际检测过程中要依据国家标准对焊缝缺陷进行定性分析，所以离工业应用还有一定的差距，目前可以作为辅助人工检测的技术手段。

深度学习技术在焊缝缺陷检测领域未来的研究工作可以从以下几个方面展开。

（1）引入无监督学习来进行焊缝缺陷的自动识别。目前大多数深度学习模型，如卷积神经网络，都需要有标签的数据来进行监督学习，而大量的缺陷图像标记是一个难题。

（2）将生成式对抗网络（GAN）引入焊缝缺陷图像，扩大数据集，进一步提高缺陷的准确识别率。目前公开的焊缝缺陷数据集只有GDXray，且其焊缝缺陷数据量少。未来解决图像数据缺乏的问题，不仅可以使用图像增强、迁移学习等技术，还可以使用生成式对抗网络生成焊缝缺陷图像，进一步提高焊缝缺陷自动识别的精确度和准确度。

（3）用深度学习进行定性分析后，可以采用传统图像处理算法对缺陷进行提取进一步做定量分析。