焊缝缺陷超声图谱的卷积神经网络分类研究

兰孝文，张学强，王少锋，徐 光

（1.内蒙古科技大学信息工程学院，内蒙古 包头 014010；2内蒙古科技大学机械工程学院，内蒙古 包头 014010；3.包头市特种设备检验所，内蒙古 包头 014030）

1 引言

在一些火炮炮塔零件生产中，由于焊接工艺参数偏差、装夹条件、材料表面状况、操作人员等因素的影响。工件焊缝内部可能出现肉眼无法发现的缺陷。导致火炮在实弹射击时发生故障。从而造成人员的伤亡。传统的工件焊缝检测方法多为使用超生探伤仪生成缺陷图谱，然后通过一些资历老的工人来观测，从而对缺陷类别来进行分析。这样得到的结果不仅耗时，而且失误率较高，无法提出合适的预警信号。此时，就需要一种快速高效的分类方法。

随着计算机互联网技术的快速发展，人工智能领域的相关技术逐渐被研究人员所重视起来。深度学习作为人工智能领域的一个重要分支学科，一种能够模拟人脑学习方式的学习算法，是目前最接近人类大脑的智能学习方法。使用神经网络对图像进行分类是深度学习网络中的一个重要的应用。图像智能分类技术源于上世纪40年代，由于当时技术不先进以及硬件设施不发达，图像识别技术未得到快速发展。

直到上世纪90年代，人工神经网络与svm相结合，促进了图像智能分类技术的发展，图像智能分类技术得以广泛应用，例如在人脸识别、车牌识别、物体目标检测等方面。针对超声图像图谱分类，文献［1］提出了基于遗传算法优化支持向量机的分类方法，对金属工件中的夹渣、裂纹、孔洞缺陷进行了分类。文献［2］针对管道焊缝检测中的超声无损检测信号，提出利用多层感知器神经网络来分类小波分析得到的紧凑的有限元向量，结果表明，频率不变性处理技术和小波变换分析方法用于特征提取可以大大提高神经网络分类精度。文献［3］提出了在红外热成像中使用神经网络对飞机蜂窝结构中空气、油和水等可降低材料性能的缺陷进行分类，利用原始数据和热成像信号重建系数对两个多层、前馈NN模型进行训练和测试，实验结果表明，使用系数作为特征的模型比使用原始数据的模型执行得更好。文献［4］提出了将自动编码器与卷积神经网络相结合用于超声波焊缝缺陷分类，有效地去除超声波焊缝缺陷信号中的噪声，从而提高了人工智能深度学习分类器的缺陷分类精度。

卷积神经网络（CNN）是机器学习中的热点，在图像识别研究领域被广泛的运用。2012年，AlexNet［5］网络在ImageNet图像分类竞赛中获得冠军，标志着深度学习的崛起.随后几年，GoogleNet［6］，VGGNet［7］，ResNet［8］等算法的迅速发展提升了图像分类的精度，并成功应用于车辆检测、人脸识别、医学图像处理等多个领域。文献［9］提出了使用深度卷积神经网络解决道路目标识别问题，与传统算法相比，省去了手工特征提取的过程，提高了网络模型的泛化能力。有效地解决了道路目标识别问题。文献［10］提出一种基于卷积神经网络的垃圾图像分类模型（Garbage Classification Network，GCNet），有效地提高垃圾识别精度。文献［11］提出了将卷积神经网络（CNN）应用于含噪声的超声波信号分类，以提高焊缝缺陷的分类性能和适用性。

结果表明，CNN是健壮的，不需要特定的特征提取方法，即使对于噪声信号，也具有相当高的缺陷分类率。相较于医学领域，工业生产领域对于CNN的应用相对较少，还远远不够成熟，不够完善。因此，我们在研究使用卷积神经网络对于超声相控阵图谱智能分类时，可以借鉴一些医学上较为先进的方法。文献［12］研究了深度学习卷积神经网络（CNNs）在甲状腺结节超声图像良恶性分类问题中的可行性，结果表明：深度学习CNNs可辅助诊断甲状腺结节在超声图像上的良恶性，且效果良好。文献［13］引入脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）算法，实现了胆囊结石超声图像全自动分割。在胆囊结石图像全自动分割算法体系的建构上，提出的改进的图像预处理Otsu 算法，能够自动确定预处理所需的图像阈值。

针对不同类型膝关节疾病超声图像特征差异小的问题，文献［14］提出了一种基于Resnet 粗糙分类和二次训练与图形嵌入的混合算法。最后，实验表明，所提出的图像分段框架比普通分段网络的精度提高了10%。阿里达摩院AI团队［15］基于5000多新冠病毒肺炎病例的CT影像样本数据，使用CNN卷积神经网络训练CT影像的识别网络，学习训练样本的病灶纹理。该技术可以在20s内准确地对新冠疑似案例CT影像做出判读，分析结果准确率达到96%，大幅提升诊断效率。

在上述背景下，这里主要针对工件焊缝内部的气孔、夹杂、未焊透等缺陷，结合超声相控阵探伤仪扫描得到的检测图谱，提出使用基于迁移学习的卷积神经网络来对超声相控阵图谱进行智能分类。

2 数据集的采集与处理

2.1 原始数据集构建

实验原始数据是使用法国M2M台式相控阵探伤仪对缺陷标准试块中的气孔、夹杂、未焊透等缺陷进行聚焦扫查所生成的缺陷超声图像。原始图像为彩色三通道图像。超声相控阵探伤仪以及缺陷试块实物图，如图1所示。

图1 超声相控阵探伤仪及焊缝试块Fig.1 Ultrasonic Phased Array Detector and Weld Test Block

2.2 数据增强

本次实验使用颜色随机增强、随机旋转、随机裁剪和随机水平翻转对原始数据集进行了数据增强处理。原始数据集包括3类不同的缺陷，共为1257张，如图2所示。

图2 各类缺陷图片Fig.2 Pictures of Various Defects

将原始数据集进行数据增强处理后扩充到原来的三倍，共有1257×3=3771张。避免了过拟合现象的出现。其中每类缺陷的具体数量，如表1所示。

表1 缺陷种类及数量Tab.1 Types and Quantity of Defects

2.3 数据预处理

为了使原始图像转化为卷积神经网络模型和算法所使用的形式，对原始图像进行了裁剪、归一化等操作。截取的原始图像数据中选择包含完整缺陷区域且较为清晰的图像，删除原始数据中由杂波产生的超声图像。

3 实验平台的搭建

3.1 实验平台

本次实验在windows10系统下进行，编程环境为python3.7，基于pytorch深度学习框架完成。硬件环境为CPU inter（R）Core（TM）i7 8700。内存32GB，64位操作系统。

3.2 深度学习模型

这里使用的神经网络模型为Resnet-34网络模型、MobileNetv2网络模型以及Alexnet网络模型。

3.2.1 Resnet-34网络模型

Resnet-34是一种残差网络，在2015年ImageNet比赛classification任务上获得第一名，相比于传统的深度学习网络来说，残差网络更容易优化，可以减轻网络训练的难度。

由图5可看出A2、A4的增加能使开发商建设普通房的概率的曲线斜率绝对值变大，即缩短被动房的推广过程。同样条件下增加A4比增加同比例的A2能更快地加速降低无效概率的趋势。减少A4会使得开发商建设普通房的概率下降的速率减缓，将会阻碍被动房的推广。开发商会根据政府激励政策力度来决定开发被动房的速度，政府对开发商的优惠越大则开发商建设被动房的意愿越高，加速了推广的程度。

在检测，分割，识别等领域里得到广泛的应用。它使用了一种叫作shortcut connection 的连接方式。ResNet 的网络结构，如图3所示。

图3 ResNet网络结构图Fig.3 Network Structure of Resnet

它对每层的输入做一个reference（X），无需学习上层网络的整个输出，而是学习上一个网络输出的残差。这种残差函数更容易优化，能使网络层数大大加深。上图的resnet网络残差块中含有两层的网络层数，如下表达式：（其中σ代表非线性函数ReLU）：

F=W2σ(W1x)

然后通过一个shortcut，和第二个ReLU，获得输出y。

y=F(x，{Wi}) +x

当需要对输入和输出维数进行变化时，或改变通道数目时，可以在shortcut时对x做一个线性变换Ws，如下式：

y=F(x，{Wi}+Wsx)

3.2.2 MobileNet-v2网络模型

图4 MobileNet-v2网络结构图Fig.4 Network Structure of Mobilenet-v2

MobileNet-v2 网络使用shortcut 将输入输出相加，这点与Resnet-34网络一致。但是它提取特征的形式与Resnet-34网络的标准卷积方式不同，它始终使用DW卷积提取特征。

3.2.3 Alexnet网络模型

Alexnet 网络模型Hinton 和他的学生Alex Krizhevsky 提出，是2012年ImageNet竞赛冠军获得者，它首次在卷积神经网络中成功使用了ReLU、Dropout等函数。

3.3 迁移学习

虽然经过数据增强之后的缺陷图谱数据已经达到3771张，但是对于神经网络来说是远远不够的，考虑到缺陷图谱数量较少的问题，这里使用了迁移学习的方法，将从Imagenet图像数据集中学习到的模型迁移到焊缝缺陷分类的模型中。迁移学习方法不仅能有效地解决缺陷图谱样本数据量不足的问题，而且还能减少网络的训练时间，从而降低了训练网络模型的难度。迁移学习示意图，如图5所示。Imagenet图像数据集是世界上图像识别领域公开的最大数据集，目前ImageNet中总共有14197122幅图像，共包含27个大类，21841个小类。

图5 迁移学习示意图Fig.5 Schematic Diagram of Transfer Learning

所使用的迁移学习模型为三种神经网络官方的预训练模型，三种预训练模型全部是使用Image net数据集训练而来。然后使用所采集的数据集逐层对预训练网络模型中的每一个节点的权重进行微调。从而大大的降低了训练网络模型的时间。

4 实验测试和实验结果分析

4.1 实验测试

在数据集随机抽取了其中90%的数据作为训练集，10%的数据为测试集。分别使用Resnet-34网络模型、MobileNet-v2网络模型以及Alexnet网络模型对数据进行了六组实验，如表2所示。

表2 实验分组及各组配置信息Tab.2 Experimental Grouping and Configuration Information of Each Group

Resnet-34网络在卷积层与全连接层所使用的激活函数为目前运用比较广泛、性能比较优秀的ReLU函数，使得模型在低精度计算下具有更强的鲁棒性；分类层使用的是softmax激活函数来对各类缺陷进行分类；Batch_size（批尺寸）设置为16；dropout函数值设置为0.2；使用的优化函数为Adam优化函数；初始学习率设置为0.0001。第一组、第二组实验过程中的损失值及准确率变化曲线，如图6～图7所示。

图6 第一组模型训练损失值及准确率变化曲线Fig.6 Variation Curve of Training Loss and Accuracy of the First Group of Models

图7 第二组模型训练损失值及准确率变化曲线Fig.7 Change Curve of Training Loss and Accuracy of the Second Group of Models

MobileNet-v2 网络所使用的激活函数与Resnet-34 网络相同，Batch_size（批尺寸）设置为16；dropout函数值设置为0.2。初始学习率设置为0.0001。第三组、第四组实验过程中的损失值及准确率变化曲线，如图8～图9所示。

图8 第三组模型训练损失值及准确率变化曲线Fig.8 Change Curve of Training Loss and Accuracy of the Third Group of Models

图9 第四组模型训练损失值及准确率变化曲线Fig.9 Change Curve of Training Loss and Accuracy of the Fourth Group of Models

Alexnet网络所采用的激活函数同样与上述两种网络相同，Batch_size（批尺寸）设置为4；动量系数设置0.9；学习率初始化为0.001，每隔5个epoch周期衰减0.1倍。第五组、第六组实验过程中的损失值及准确率变化曲线，如图10～图11所示。

图10 第五组模型训练损失值及准确率变化曲线Fig.10 Variation Curve of Training Loss and Accuracy of the Fifth Group Model

图11 第六组模型训练损失值及准确率变化曲线Fig.11 Variation Curve of Training Loss and Accuracy of the Sixth Group of Models

4.2 实验结果分析

通过绘制训练过程的损失函数和准确率变化曲线可以得到以下信息：随着迭代次数的增加，测试集的准确率在训练时上下动荡，但是总体呈上升趋势。而训练损失值在不断的下降。各组的所达到的最高准确率与最低损失值，如表3所示。

表3 各组最高准确率及最低损失值Tab.3 Maximum Accuracy and Minimum Loss of Each Group

从表3中的数据可以看出，在加入迁移学习模型后，模型的收敛速度明显增加，模型变得更加稳定而且测试准确率也比未加入迁移学习模型之前更高。

5 结语

针对工件焊缝缺陷图谱智能分类的问题，提出使用基于迁移学习方法的卷积神经网络实现了对焊缝缺陷图谱的分类。对图像经过预处理及数据增强处理后，采用三种网络模型进行训练学习，其中Resnet-34 网络模型的最高准确率可以达到98.6%。MobileNet-v2网络模型的最高准确率达到84.5%。Alexnet网络模型的最高准确率达到96.5%。

由实验结果可得知，该方法有效的实现了对各类工件焊缝缺陷图谱的分类，分类的速度也远比人工分类的速度要快。有效的解决了传统工件焊缝缺陷分类方法准确率低、速度慢的问题，但是从长远来看，还是有很多不足之处，比如缺陷图谱样本少、网络的泛化能力还不够强。未来可以通过采集更多的焊缝缺陷图谱或者进一步优化网络模型来使分类模型更加的稳定、高效。