基于KNN Matting算法的冷金属过渡焊接熔滴尺寸检测

管森，邢彦锋，曹菊勇，杨夫勇，张小兵

（201620 上海市 上海工程技术大学 机械与汽车工程学院）

0 引言

熔滴过渡是焊接传热和传质的重要环节，作为焊丝熔化形成部分，对熔池形貌和焊缝成形有着重大影响。根据焊接工艺不同，熔滴过渡主要分为短路过渡、滴状过渡和喷射过渡3 种形式[1]。本文以短路过渡为主的冷金属过渡焊接（CMT）作为研究对象。CMT是传统GMAW（Gas-Metal-Arc-Welding）的改进技术，由于飞溅小，热输入低，焊接稳定，获得越来越广泛的应用[2]。分析研究冷金属过渡焊接过程中熔滴形貌变化规律，有助于把握熔滴尺寸，有效改善焊接性能[3]。

国内外学者对熔滴检测行为进行了大量研究。杨倩[4]等人使用基于小波变换和改进的Prewitt 算子检测了GMAW 短路过程的熔滴过渡图像，能较准确地表示出熔滴的轮廓，但是对于光亮和高噪声情况存在拟合精度不高、细节不够的情况，熔滴作为焊丝熔化所产生的金属液滴，其大小形状、过渡方式与焊接电流存在直接关系；朱志明[5]等人分析了短路过渡CO2焊接过程采集的焊接电流信号，采用最小二乘法计算出波形控制短路过渡焊接规律模型，可预判熔滴尺寸的大小与燃弧脉冲时间的宽度关系，但是无法确定轮廓变化，不能预测熔滴过渡趋势。针对熔滴过渡趋势研究，Xing[6]等人基于VOF 方法，建立了熔滴与电弧耦合的三维数值分析模型，模拟了水下湿式药芯电弧焊中的熔滴过渡和电弧等离子体流动过程，确立了此焊接过程中的熔滴过渡情况和受力情况，但是对轮廓变化情况研究不够。

KNN Matting 算法[7]相比于熔滴形貌检测，对轮廓细节的分类能力较强，作为在图像编辑和电影制作中的一项关键技术，具有较高的鲁棒性。适用于人工绘制的三区标志图（Trimap）或草图（scribble）作为输入，基于KNN 的拉普拉斯矩阵计算方法，通过KNN 构建邻接矩阵，进而得到拉普拉斯矩阵，由此求得封闭形式解来分离用户所需前景，故在此用以熔滴过渡轮廓的拟合。

本文在建立高速摄像机的熔滴图像拍摄和基于OpenCV 平台的基础上，使用KNN Matting 算法描绘了冷金属过渡开始与过渡过程中熔滴轮廓的变化。

1 实验材料与设备

本试验采用Fronius 公司的TRS4000CMT 焊机，同时搭载KUKA 公司的六轴机器人进行运动控制。选用直径为1.2 mm 的ER4043 铝硅焊丝。摄像设备采用Optronis 公司的CP80-3-M 型高速摄像机，曝光时间设定为50 μs，帧速率设置为4 000 帧/s。焊接平台示意图如图1 所示。

图1 焊接平台Fig.1 Welding platform

2 熔滴图像处理流程

本文就冷金属过渡焊的熔滴过渡开始和过渡过程中图像进行处理，算法具体流程如图2 所示。

图2 熔滴图像预处理及算法流程图Fig.2 Droplet image preprocessing and algorithm flow chart

2.1 图像预处理

受拍摄设备、自然环境因素的影响，熔滴图像的拍摄会出现高光亮、噪点较多等情况，故算法实行前要进行预处理操作。由于高速摄像机拍摄熔滴过渡图像的色彩空间较为简单，拍摄图像为灰度图，不含丰富的色彩信息，但是受色彩的明亮程度影响较大，故将BGR 空间转换到HSV 空间，且KNN Matting算法是基于HSV空间进行聚类分析的。为了不影响原图的细节表征，可采用中值滤波进行噪声过滤，中值滤波不采用加权求均值处理，可在几乎不影响原图情况下去除全部噪声。图3 为中值滤波处理后的图像。

图3 中值滤波Fig.3 Median filtering

3 KNN Matting 算法处理

KNN Matting 算法是将用户生成的Alpha Matte添加到原图的透明度通道中，根据透明度的设定，提取用户所需保留前景，为后续图像操作打下基础。KNN Matting 算法核心组成为

其中：Ii——原始图像的像素；αi——透明度；Fi——前景像素；Bi——背景像素。

熔池拍摄图像的前景背景构成一般是复杂的，不具备明显的边界分离，α的取值一般不取完全前景的1 值或者完全背景的0 值，是0～1 之间的线性组成值。所以，此方程α、F和B均为未知变量，无法求解。为解决方程不可求解问题，Levin[8]等人提出针对在单个核空间内保证平滑度的情况下，B和F可作为定值，应用最小二乘法求得对应的透明度α；Chen[9]等人在此基础上提出Trimap 图设定作为边界条件，其中Trimap 根据透明度不同，分为3 种颜色：将完全前景设为白色（α=1），不确定过渡区域设为灰色（α=0.5），完全背景设为黑色（α=0），为生成最终的Alpha Matte 提供了快速迭代条件。

3.1 Trimap 绘制

传统Trimap 依赖手工标注生成，但是不仅不够智能化，处理图片过多会对人工产生不小的负担，后来改进了产生许多自动生成显著图的算法，用作Trimap 的生成雏形图。其中，Xiao[10]等人提到了一种IG 算法，是通过一个DoG 带通滤波过程，其中的一端被设置为图像的直流分量，可初步生成显著图，作为无监督学习，可以节省很大的人为工作量。其显著图的计算公式为

式中：Iμ——图像的直流分量，即对应每个颜色通道的均值；Iωhc（x，y）——高斯滤波后的图像；||·||——1 范数，即2 个向量的绝对值之和。

由于显著图属于初步形成的草图，边界位置存在某些像素不适配，或存在丢失行为。之后需将显著图二值化后进行先膨胀后腐蚀的闭运算，相差部分作为灰度未知区域。图4 为Trimap 生成过程，图5 为最终生成的Trimap。

图4 三区标志图生成过程Fig.4 Generation process of Trimap

图5 三区标志图Fig.5 Trimap

3.2 KNN Matting 提取熔滴前景

KNN Matting 通过使用K个最近邻像素来匹配非局部区域，并且提供了一个简单快速的算法来产生更高质量的图像择取结果，进一步利用共轭梯度法求解封闭形式解，生成最终的Alpha Matting。它假定像素的α值可以通过具有相似外观的非局部像素的α值的加权和来描述。本文通过选用不同的K值进行迭代，在K取31 时前景拟合精度可达到98%，且相对于K取更大时的计算时长相对更短，满足所需要求。然而，由于非局部像素之间的比较，其计算量相对其他前景提取算法较大，本文考虑到此因素，设定IG 算法提取后的Trimap 作为约束条件放入KNN Matting 中，减少其自动生成Trimap 的过程，可很快使得迭代收敛，求得封闭形式解。

对于Trimap 中像素，生成的特征向量为：

式中：h，s，v——HSV 颜色空间的3 个值；（x，y）——像素i的坐标值。

将特征向量放入内核函数中计算，其内核函数为

式中：C——权值调节系数，为保证k（i，j）∈[0，1]；||·||——1 范数，即2 个向量的绝对值之和。

对生成的内核函数求取拉普拉斯矩阵，公式为：

式中，相似矩阵Aij=k（i，j）；对角矩阵Dij=∑Aij。

将得到的拉普拉斯矩阵求取封闭形式解，其中封闭形式解的方程为

式中：λ——约束系数；m——Trimap 中灰度未知标定位置。

求得封闭形式解即为所需的Alpha Matte。

图6 为Alpha Matte，图7 为提取的熔滴前景。

图6 前景蒙版Fig.6 Alpha Matte

图7 提取的熔滴前景Fig.7 Extraction of droplet foreground

3.3 轮廓提取与描绘

3.3.1 闭运算

对图7 中一些高亮像素会造成图像形成黑点的情况，采用先膨胀后腐蚀的闭运算，可以消除图像中的黑点。图8 为闭运算后的熔滴前景。

图8 闭运算Fig.8 Close operation

3.3.2 轮廓提取

本文利用OpenCV 内部自带的Contours 函数寻找目标轮廓并做提取，然后将提取的轮廓图像与原图进行加权平均。图9 为轮廓提取后的冷金属过渡熔滴图像。

图9 轮廓提取Fig.9 Contours extraction

由上述实验步骤可看出，KNN Matting 算法对于熔滴轮廓的检测具有较好的拟合程度，对于细节方面的处理较为细腻，可以很好地反映出熔滴过渡过程中传质的变化行为，而且可以较好地提取出熔滴的实际形貌特征，为对应不同焊接参数下的焊接过程中熔滴在图像序列中的动态行为跟踪和反映熔滴实时的大小变化情况打下了良好的基础。

4 结论

本文提出了利用KNN Matting 算法实现冷金属过渡焊接熔滴过渡开始和过渡状态下的轮廓检测。实验表明，此方法拟合熔滴轮廓较为准确，对于熔滴的过渡行为具有一定的表示作用。但Trimap 生成所使用的IG 算法在实验中被表明适用在小样本数据集中，且作为无监督学习，对于大样本、拍摄图像清晰度不够等情况下，训练时长较长，拟合生成的显著图不够理想。投入实际应用中时，应配合深度学习深化算法灵敏度，提高对实际拍摄中大样本图像边界敏感程度和实时处理的能力。