基于机器学习的不锈钢薄板MIG焊焊穿缺陷识别

王杰，张志芬，秦锐，温广瑞

西安交通大学 高端装备研究院，陕西 西安 710100

0 引言

利用视觉传感技术获取熔池图像信息是实现焊接过程缺陷检测的重要方法之一，且在碳钢、不锈钢等材料焊接过程监测中已获得广泛应用［1-2］。对熔池图像进行处理的目的是检测熔池的边缘从而获取熔池周长、面积、轮廓等几何信息［3-4］，其中传统的熔池处理方法如边缘检测、阈值处理等方法在熔池图像的处理过程中均有所应用［5］，但是这些方法均存在一定的局限性。例如：边缘检测的方法存在边界不准确或者不连续的问题；而阈值处理法则易受到噪声的干扰［6］。因此，基于传统的单一熔池处理法获得的熔池图像特征难以满足焊穿缺陷在线检测的需求。为此亟须引入熔池图像的多层次特征提取技术［7］，以便更好地挖掘图像中存在的细节信息，从而增强正常和焊穿状态下的熔池图像差异性对比，进而实现更高准确度的焊穿缺陷识别。

近年来随着人工智能技术的兴起，机器学习作为该领域中的一个重要分支也获得了长足的发展，并且在焊接领域中的焊缝缺陷分类、焊缝跟踪等方面均有所应用［8-10］。本研究提出了一种薄板MIG焊焊穿缺陷的熔池图像特征提取新方法，在此基础上构建了3种不同的机器学习方法进行焊穿缺陷的分类识别建模。

1 试验系统

搭建的薄板MIG焊接熔池视觉传感系统主要包括焊接电源、工控机、机械臂、混合保护气体（80% Ar+20% CO2）、焊枪、图像采集系统等。其中图像采集系统中的成像装置采用了大恒公司生产的水星系列MER-200-14GM工业相机，滤光片选取620 nm、640 nm、660 nm三种不同型号，中性减光片选取0.1%、1%、10%、20%、40%、50%五种不同规格，通过光谱分析并结合实验熔池图像效果最终选取规格为620±20 nm的滤光片、10%+0.1%中性减光片置于相机镜头的前端，并使用特制的夹具将图像采集单元固定于焊枪上，避免图像采集单元受焊接过程中高温及飞溅等因素的干扰［11］。材料为Q235低碳钢板，具体尺寸为300 mm×50 mm×1.8 mm，采用两片钢板进行搭接焊，搭接量为3.5～5 mm。整个焊接试验熔池图像采集系统如图1所示，焊接工艺参数如表1所示。

表1 焊接工艺参数Table 1 Welding experiment parameters

图1 MIG焊熔池图像采集系统Fig.1 Image acquisition system of MIG welding pool

2 正交试验设计

为探寻发生焊穿缺陷的条件，从实际工厂作业过程中可能导致焊穿缺陷产生的因素出发，选取了干伸长度、焊件倾斜度、焊偏及焊接电流四个变量，利用这四个变量设计正交试验［12］。由于通过控制其他参数来获得正常和焊穿比较困难，因此主要通过控制焊接电流的方法来实现，在焊接过程中设置焊接电流为170 A、290 A以获得正常和焊穿两种情况下的熔池图像。具体的正交试验参数如表2所示，焊接实验过程的各自变量变化情况如图2所示。正交试验的设计有利于捕获不同情况下薄板焊穿的熔池图像，为后续的机器学习提供了多工况下的焊穿熔池图像样本，也为后续实现基于视觉在线焊穿缺陷检测系统提供了支持。

表2 正交试验参数表Table 2 Table of orthogonal test parameters

图2 正交参数示意Fig.2 Image of orthogonal parameters

3 熔池图像多维特征提取

3.1 几何特征

熔池图像的几何特征提取了周长（L）、面积（S）、形状参数（F=4ΠS/L2）及长轴（b）这四个参数。由于MIG焊接过程存在强烈的背景噪声，且Q235钢板外表光亮，焊接时易反射全波段的可见光，严重影响熔池几何特征的提取精度，因此需对采集到的熔池图像数据进行ROI截取、灰度阈值选择、二值化处理、边缘检测等［13-14］预处理操作。同时为避免二值化处理过程中会出现间隙、孔洞等，采取填充和清除操作来获得完整的熔池图像信息［15］，最终实现熔池几何特征的提取，结果如图3所示。

图3 图像处理结果Fig.3 Image processing results

3.2 灰度共生矩阵

空间位置上各量级像素值的反复叠加导致纹理的生成，在此基础上，衍生出诸多探究图像空间中相隔某距离像素之间关联关系的探究方法。灰度共生矩阵是一种通过研究图像灰度的空间分布相关特性来描述纹理的常用方法，表示了灰度为i的像素周围某个灰度值出现的概率。一幅图像的灰度共生矩阵能反映出图像和灰度关于方向、相邻间隔的变化幅度的综合信息，是分析图像的局部模式及其排列规则的基础。最终提取了基于灰度共生矩阵计算出来的两个统计量，分别是能量和对比度。

（1）能量。计算公式如下：

能量变换反映了图像灰度分布均匀程度和纹理粗细度。若灰度共生矩阵的元素值相近，则能量较小，表示纹理细致；若其中一些值大，而其他值小，则能量值较大。

（2）对比度。计算公式如下：

灰度共生矩阵中的对比度用以度量矩阵的值是如何分布的以及图像中局部变化的大小情况。

3.3 灰度差分统计特征

设（x，y）为图像中的一点，与点（x+Δx，y+Δy）的灰度值差gΔ（x，y）可以表示为：

gΔ（x，y）为灰度差分，设灰度差分的所有可能取值等级为m级，令点（x，y）在全图像内移动，累计gΔ（x，y）取不同值的次数，便可作出gΔ（x，y）的直方图。当直方图较为平坦时说明纹理较细致；直方图较为陡峭时则说明纹理较为粗糙。最终采用的灰度差分统计特征为平均值、对比度和信息熵。

（1）平均值。其计算公式为：

平均值反映了图像的总体灰度值概况，若图像的明亮区域越多，则平均值越高；反之，若区域的整体亮度偏低，则平均值较小。

（2）对比度。其计算公式为：

对比度反映了图像的清晰度和纹理沟纹深浅的程度：纹理的沟纹深，其对比度大，效果清晰；反之对比度小，则沟纹浅，效果模糊。

（3）信息熵。其计算公式为：

熵是图像包含信息量的度量，是一个随机性的度量。当灰度差分直方图分散分布时，其熵较大；反之则熵小。熵表示了图像中纹理的非均匀程度或复杂程度。

3.4 颜色矩特征

矩是非常重要的统计量，用于表征数据分布的特点。在统计中，一阶矩表示数据分布的均值，二阶矩表示数据分布的方差，三阶矩表示数据分布的偏移度［7］。对于一般图像而言，这3种统计特征已经足以表达数字图像的颜色分布。相对于颜色直方图特征提取，颜色矩特征提取的优点是无须对颜色特征进行提前量化，降低了颜色特征的计算维度。对于灰度图像而言其一阶矩在数值上与灰度差分统计特征中的平均值相同，故在此只取其一，最终提取熔池图像的二阶矩和三阶矩。

（1）二阶矩。其计算公式为：

二阶矩反映待测区域颜色方差，即不均匀性。对于灰度图像而言二阶矩表示像素点之间灰度值分布的不均匀性。

（2）三阶矩。其计算公式为：

三阶矩反映颜色通道数据分布的偏移度，对于灰度图像而言三阶矩表示像素点之间灰度值分布的偏移度。

4 熔池图像散点数据分布分析

经过正交试验获得了正常和焊穿两种情况下的熔池图像数据，在将数据输入到分类器之前，必须正确获得每一张图像的样本标签。对于焊穿过程而言由于在初始阶段的热积累效应不足，会导致采集到一些正常状态的熔池图像，同时在焊穿的过程中还会因为出现熄弧而得到一些无效图像。因此，如何从焊穿数据中找出这些无效图像数据以及将焊穿文件夹中的正常状态图像进行正确的分类成为至关重要的一步，若对采集到的每一张熔池图像进行人工排查则效率低下，因此先大致地将焊穿数据库中的无效图像剔除，并将正常状态的熔池图像归类，然后基于上述的特征提取，提取初步处理过后熔池图像的灰度差分矩阵中的三个特征值。在对三张数据分布图像进行分析之后发现，在conent维度上的两大类散点数据的分布既不会在中间部分存在严重混叠，在整体上也不会过于集中，因此选取如图4所示的con-ent维度进行分析将会获得更多的细节。

图4 不同维度下数据分布情况Fig.4 Data distribution in different dimensions

通过对con-ent维度的初步分析可将偏离两大类数据中心的异常数据点分为6个区域（见图4），继而反向搜索这些区域对应数据点的坐标得到原始熔池图像。在区域1处发现两个焊穿异常数据点，它们是存在于焊穿熔池图像中的熄弧状况，因此作为无效数据进行剔除；而区域2中散落的焊穿数据点，是存在于焊穿数据中的正常熔池图像数据，属于前期预处理归类时疏忽掉的数据，需要将这些数据点进行正确归类；区域3对应两大类数据样本的边界处，大都为即将要焊穿或正在焊穿的过渡状态熔池图像，即使人为区分也很难辨别，故仍保留为焊穿数据；区域6处数据点大多为单边焊穿的情形，明显偏离主要的焊穿数据点中心，并且图像高亮部分是所有熔池图像中占比最大的，因此导致其在对比度维度上更大，从而偏离了主要的焊穿数据点中心，在分类上仍然归为焊穿一类。

在正常数据散点分布图中发现存在两个异常分支，它们分别是区域4和区域5。对区域4进行分析发现此处的正常熔池图像与大多数熔池图像（外形呈现类似椭圆形）相比，其外形更接近于三角形，但所对应的焊缝仍为正常良好的焊缝。对区域5的反向搜索则发现这些数据点来自于焊缝14（见表2），是在焊偏的情况下产生的。由于在实际的工厂作业过程中，不能保证薄板搭接处是一条绝对的直线，并且由于焊枪没有反馈纠偏功能，因此就会产生焊丝偏离搭接中心线的情形，进而产生了焊偏。根据焊缝14的试验参数可知该焊缝形成的条件为-2 mm焊偏及55°的焊件倾斜度，在此条件下焊丝靠向右V口，在熔池液滴下落的过程中由于右V口的角度较小导致了液滴流动速度降低与右V口接触时间变长，当液滴接近V口最低点时由于遇到了坡度更大的左V口，导致液滴的上升阻力变大，与此同时由于温度的降低使其流动性下降，因此导致了绝大部分的熔池液滴在右V口上方聚集凝固，具体表现为熔池液滴无法在V形焊缝中心左右两侧均匀分布，也就导致焊偏焊缝的形成，如图5所示。

图5 焊偏Fig.5 Welding partial situation

虽然在此次的分类中单边焊缝的情形仍然归为正常，但是在实际的工程应用中这类焊缝的形成往往会导致焊缝处的强度不够，故在实时应用过程中是不可取的。因此通过对这部分的数据分析，为后续的多层次焊缝质量评估奠定了基础。

5 焊穿缺陷预测模型

在经过上述的一系列操作之后，获取了处理过后正交试验中的正常和焊穿两类熔池图像样本共7 778张，其中正常状态下的熔池图像4 205张，焊穿状态下的熔池图像3 573张。提取所有熔池图像的四个种类的十维数据，其中大部分的特征对于两种不同状态熔池图像的区分度较好，但是形状参数和二阶矩特征对于两种不同状态的区分效果不明显。为了探究这两种特征是否会对最终分类的结果产生不利影响以及在单一类别特征情况下分类器的准确度，分别将所有的十维特征、除了形状参数及二阶矩以外的八维特征以及单一种类特征灰度差分统计中的三维特征分别输入到KNN、SVM、RF三种分类器中观察结果，得到不同情况下数据在测试集上的分类准确度如表3所示。

表3 在三种分类器上的准确度对比（%）Table 3 Comparison of accuracy in three classifiers （%）

从最终在不同分类器测试集上获得的准确度来看：以RF分类器为主，当设置训练集与测试集的比例划分为7/3，设置树的数量为5时，RF分类器在十维数据输入的情形下获得了最高的准确度，并且其在所有三种不同维度情形的输入下均获得了很高的分类准确度。造成这种现象的原因是：对于RF分类器来说它是在决策树的基础上发展而来的，其本质是许多决策树的集合，这种集成学习的思想解决了单个模型或者某一组参数模型下的固有缺陷，从而整合了更多的模型，取长补短，避免了局限性，提高了分类精度。

提取RF分类器中每个参数对分类器的贡献度，分析之后发现在所有特征输入情况下，其中的平均值、能量、面积、周长四个参数对分类器的贡献程度达到了95%左右，如图6所示。对于RF分类器而言如果某个特征的重要性很小，是因为另外一个特征中也包含了同样的信息。即使提取了不同特征维度下的数据，这些数据之间仍存在较大冗余，从而导致大量的无效数据，进一步限制了模型的准确度。这也为后续的特征提取带来了新挑战，即要想提高分类器的准确程度所选择的不同维度特征最好是冗余性比较小的、正交性比较强的数据。

图6 各参数对于RF分类器的重要性Fig.6 The importance of each parameter to RF classifier

但是在探究不同维度对于分类准确度的影响情况这一问题上，并未得到共性的结论。例如在SVM分类器上最少维度的输入反而获得了最高的分类准确度；而在KNN分类器上分类的准确度随着维度的增加在提高。

对于KNN分类器而言：其内部将会计算测试集中的某个点与所有的训练集数据点的欧式距离：

若输入的数据维度越少就越可能会因其中在某一维度上由于区分度较小而导致（xn-yn）过小，从而使得公式中的某一项会处于绝对占优的情况；当输入的维度适当增加时，这种由于某一维或者几维数据占优的情况将会被分散，从而在分类的过程中会变得更加客观，导致在测试集上的分类准确度增加。当然依靠提升维度来提升KNN分类器的准确度只在有限的区域内有效，过高的维度输入也会带来新的问题。

对于SVM分类器来说：如果是在二维平面内，那么SVM将会寻找出一条直线，使得两类样本之间的距离最大；若是在三维空间内，那么其任务便是寻找出一个平面以最大化地区分这两类样本；如果数据样本在低维度不可分，那么SVM会将其映射到高维空间从而进行区分，因此从某种意义上来说在一定的范围内，对于SVM分类器而言其分类的准确度应随着维度的增加而提高。造成上述现象的原因可能是因为处于过渡状态的熔池样本数据，造成了两大类数据在边界位置上有混叠，这种边界位置上相互交叉的数据点会造成分类器的准确度降低。因此综上所述，由于分类器本身的原理不同，因此造成了每种分类器对于不同的参数敏感度不一样。

后续的研究内容是实现MIG焊视觉在线检测系统的开发，并在此基础上实现更多类型的缺陷识别，例如焊偏、焊缝宽度不一等。目前的研究内容还存在焊穿缺陷过于单一、提取的熔池图像数据特征维度过多、数据之间存在较大冗余等不足，后续可以通过研究更为合适的熔池特征来实现在低维度数据下的高准确度分类，或者结合主成分分析法（PCA）进行线性降维来进一步提高分类器的准确度。

6 结论

（1）基于图像形态学处理方法对MIG焊熔池图像进行了有效区域截取、二值化处理、边缘提取等操作，获得了良好的熔池轮廓信息，为提取熔池的几何特征参数奠定了基础。

（2）通过设计正交试验，综合考虑实际焊接过程中可能引起焊穿缺陷发生的四种变量，获得不同工况下的正常与焊穿熔池图像，扩大了数据样本。

（3）通过反向搜索发现了熔池数据样本在维度con-ent上分布的情况，同时发现部分焊偏数据在对比度维度上偏离主要数据中心点的分布情形。

（4）建立了基于三种不同分类器的薄板MIG焊穿缺陷识别模型，在实验室条件下最终在RF分类器上获得了最高的准确度达到99.79%，为基于视觉传感的在线缺陷检测系统开发提供了技术依据。