基于改进U-Net模型的焊缝特征提取

夏 攀,马 飞,王中任

(1.湖北文理学院机械工程学院,湖北 襄阳 441053；2.湖北文理学院汽车与交通工程学院,湖北 襄阳 441053；3.智能制造与机器视觉襄阳市重点实验室,湖北 襄阳 441053)

1 引 言

随着我国社会经济的快速发展,石油天然气等资源的大量使用,运输管道和大型储罐的需求量日益攀升,传统的人工焊效率低、难度大、成本高,难以满足大型管道焊接的工艺要求,因此,基于激光视觉的管道自动焊接成为目前的研究热点[1]。实现激光视觉焊缝跟踪的难点在于实时获取焊缝的位置信息,然而,在焊接过程中强弧光,飞溅等噪声的干扰会严重污染采集的图像,难以确定焊缝的位置,影响焊接质量[2]。

焊缝特征提取的方法很多,比较传统的是使用改进的中值滤波算法去除图像中的椒盐噪声,并通过Otsu阈值分割获得激光条纹图像[3],以及采用二值化和降噪滤波对焊缝特征进行识别[4]。张斌等采用了基于遗传算法的骨架提取法提取激光线[5]。杜健准等使用改进的跟踪-学习-检测(TLD)算法实时跟踪焊缝特征点[6]。张天一等利用Canny算子的边缘提取和基于迭代腐蚀的骨架细化算法,分别实现了图像中激光线交点和焊接坡口上激光线弯折点的提取[7]。

随着AI技术的发展,基于深度学习的目标提取的方法开始应用于焊缝跟踪。张永帅等将深度学习的特征学习应用在提取焊缝信息上,通过改进FCN神经网络补充焊缝特征信息,该方法与传统图像分割方法相比准确率高、稳定性好[8]。Yanbiao Zou等提出了一种基于条件生成对抗网络(CGAN)的焊接图像修复方法,构建了一个焊接图像修复网络该网络学习到从有噪声焊接图像到相应无噪声焊接图像的端到端映射,该方法能准确修复受到强弧光干扰的焊缝图像[9]Ronneberger等提出U-Net网络,该网络在小数据上也有很好的分割效果,U-Net对于一般场景的适应度很高,具有轻量化,计算快,应用性强的特点[10]。U-Net在医学领域的图像分割中已经取得了很多成果[11],在遥感图像分割中也有很好的效果[12]。针对焊缝特征提取精度低的问题,本文提出一种基于改进的U-Net网络模型进行图像分割,通过相机实时采集管道焊接时的焊缝图像作为训练样本,通过改进的U-Net网络训练出能分割焊缝信息的模型,用模型预测出图像中焊缝信息,从而实现在强弧光干扰严重的图像中准确提取焊缝位置信息的要求。

2 数据采集与预处理

2.1 数据采集

图像分割需要根据灰度、彩色、空间纹理、几何形状将焊缝特征信息从背景中分离出来,由于弧光干扰和激光线的像素具有相似性,需要大量的训练样本进行监督学习,数据集的获取是网络训练的前提。本研究的数据采集实验平台为自动管道焊接移动机器人,针对圆形管道坡口进行焊接,焊接工艺为MAG焊,数据采集平台如图1所示。焊缝宽度为28 mm,深度为20 mm,视觉传感激光器与焊枪距离为56 mm,在实验用的激光视觉传感器中,激光器波长为650 nm,相机型号为MV-13MG,图像分辨率为1280像素×1024像素。采集了360幅图像,部分样本集如图2所示。

图1 数据采集平台

图2 部分数据集

2.2 数据增强

在图像数据处理任务中,由于数据不足和网络模型参数较多,会导致网络的泛化性和鲁棒性不佳,为了提升模型精度,图像数据增强是常用的正则化方法,在不改变图像精度的前提下,通过Cutout[13]的方法对图像裁剪增广,Cutout可以模拟焊接过程中焊缝特征被遮挡的场景,充分利用场景中其他内容,防止网络只关注特征明显区域,发生过拟合。AutoAugment[14]不同于普通的人工设计图像增强方式,AutoAugment是在一系列图像增广的子策略的搜索空间中,通过搜索算法找到合适焊缝图像的增广方案,对焊缝图像进行随机的旋转、镜像、平移。采用以上数据增广的方法,将数据集由360张扩充到1100张,如图3所示,展示部分数据集增强结果。

图3 数据增强

2.3 数据集标注

数据集采集增广结束后,随机选取1100幅数据集中的850幅作为训练集,200幅作为测试集,50幅为验证集,数据集本身没有标签,将数据集进行监督学习训练,首先要对样本图进行人工标注,使用Labelme对焊缝特征的轮廓进行逐点标注,形成分割图像并生成VOC格式的数据,将数据中的json文件转化后得到焊缝特征标注图,黄色标签为焊缝特征,背景为黑色,如图4所示为三幅样本图像和对应的标注图。

图4 原图和标注图

3 网络模型结构设计

3.1 改进型U-Net

本实验使用的经过改进后的U-Net神经网络结构如图5所示,网络结构主要包含用于调整输入图像尺寸的Resizer Module,U-Net网络中Encode模块中的卷积层(Conv1～Conv8)、池化层(Pool1～Pool4)以及Decode模块中的反卷积层(Deconv1～Deconv4)、卷积层(Conv11～Conv18),并且每一层卷积后均穿插批归一化层BN,为了避免Relu激活函数在网络学习率设置过大的情况下导致的神经元死亡的问题,BN层采用改进后的Relu-Leaky Relu作为激活函数。Leaky Relu通过给出一个很小的负数梯度值,让其中部分的负梯度信息不会完全丢失,从而实现了单侧抑制。在原U-Net网络的结构基础上,在每一次上采样或下采样前添加了概率不同的Dropout层,以及在编-解码层间的跳连接中加入了特征增强模块,防止了网络在数据集单一时发生过拟合。

图5 改进型U-Net网络结构图

深度学习任务中图片尺寸大小调整通常是使用固定的方法进行,例如双线性插值、最近邻插值、双三次插值等[15]。这些方法是在深度学习技术成为主流之前就发展起来的,不能进行自我学习,因为有效卷积会降低焊缝特征的分辨率,为了给本实验寻找最佳的分辨率,本实验在特征提取结构中使用了可学习调整器。其结构如图6所示。

图6 可学习调整器的结构图

可学习调整器使用4个卷积层,以及N个残差块(本文中只使用1个)对图像进行特征提取,其中双线性调整器(Bilinear Resizer)能够向后面的网络模型中合并以原始分辨率计算得到的焊缝特征,调整器结构中使用的几个跳连接(skip connection)能使得可学习调整器融合更多图像特征从而更容易进行学习。本文在U-Net网络头端接入了可学习调整器,提取输入图像的焊缝特征,然后将经过调整器后的图像数据输入网络,同时向U-Net中合并其学习到的特征。

在U-Net的编码-解码模块之间,本文采用了特征增强模块对经过下采样的图像进行特征加强,不同于U-Net原始网络直接采用在通道维度进行简单拼接的方法,我们分别将四层将要进行融合的焊缝特征图进行限制对比度自适应直方图均衡(CLAHE)处理,CLAHE通过计算经过下采样后的焊缝灰度图像每一个区域的直方图,来重新分布焊缝特征图的亮度值。在重新分布焊缝特征图亮度信息的过程中,CLAHE还通过预先设定的阈值来裁剪直方图以达到限制增强幅度的目的。在本文中,其阈值设定为3,经过处理后的焊缝图像像素灰度值分布更加均衡,有利于增强焊缝特征图的边缘信息,利于焊缝分割任务的进行。图7、8分别为特征加强前后的焊缝特征图以及灰度图像像素稳定对比。

图7 特征加强前后的焊缝特征图

图8 灰度图像像素稳定对比图

3.2 模型训练

本研究基于改进U-Net模型的焊缝特征提取的硬件环境为CPU i5 9300H 2.34GHz,24GB内存、NVIDIA GeForce GTX1660Ti显卡,操作系统为Windows 10 专业版,编程语言为Python 3.6,深度学习框架为 Tensorlow 1.13.2和Keras 2.1.5。

网络训练采用随机梯度下降(SGD)作为优化器,U-Net以及Resizer Model联合使用交叉熵损失(Cross Entropy Loss)进行训练,训练轮次数为10000次,学习率(Learning Rate)采用多项式衰减策略,使用衰减策略可以避免梯度无法收敛至全局最低点。初始及结束时学习率分别设置为0.0025、0。每一轮新学习率计算公式:

epoch=min(epoch,Decay Steps)

(1)

(2)

其中,DecaySteps为学习率衰减步长,本文中设置为20,power设置为1。

网络结构主要包含Encode模块中的卷积层(Conv1～Conv8)、池化层(Pool1～Pool4)以及Decode模块中的反卷积层(Deconv1～Deconv4)、卷积层(Conv11～Conv18),并且层与层之间均穿插批归一化层BN,其中每层卷积核的大小(Kernel)、卷积核的移动步长(Stride)、补零填充的层数(Padding)的详细参数如表1所示,由于各层之间卷积核参数具有共性,将其进行合并展示。

表1 改进后的U-Net网络模型详细参数表

4 实验结果分析

4.1 不同算法分割对比

本文选择传统图像阈值分割法,经典的全卷积网络FCN算法、U-Net算法、PSPNet算法、改进的U-Net算法对焊缝特征图像进行分割实验。为了比较不同算法的精确度和鲁棒性,随机选择数据集中三个样本进行预测分割,如图9所示,为不同算法的分割结果,从上到下依次是:(a)原图；(b)传统阈值分割结果；(c)FCN算法分割结果；(d)U-Net算法分割结果；(e)PSPNet算法分割结果；(f)本文改进的U-Net算法分割结果。

由图9可知,由于受到强弧光以及弧光飞溅干扰,对于传统的阈值分割法,焊缝特征提取结果存在以下问题:弧光像素和激光线像素相似,阈值设定困难,容易将焊接时飞溅的弧光误判为激光条纹。对于FCN算法,分割效果与阈值分割法相比有明显提升,能排除弧光干扰,但激光条纹在拐点或弧光干扰的区域容易出现断点。对于U-Net和PSPNet算法,对在直线区域的激光条纹提取的准确率提高,但对拐点和强光区域的激光条纹容易产生断点,不能完整的分割出激光条纹。本文提出的改进型U-Net算法在特征提取结构中融入可学习调整器,在编解码块中增加图像增强模块,增强特征信息,抑制弧光干扰,减少误判,分割结果显示改进型U-Net算法能完整的分割出连续的激光条纹,鲁棒性和准确性更好。

图9 不同算法分割结果

4.2 评价指标

对焊缝特征提取结果的精度判断需要一个评价指标,本文引入准确率(Accuracy,acc),平均交并比(Mean Intersection over Union,mIou),平均像素精确度(Mean Pixel Accuracy,mpa)三个指标对焊缝特征提取进行分析。准确率(acc)是指分割正确焊缝特征图像占整个图像的比例,准确率越高代表模型质量越好。mIou是计算真实值和预测值两个集合的交集和并集之比,将每一类IOU计算后累加平均,是基于全局评价。mpa是指每个类内被正确分类的像素数的比例,acc、mIou和mpa的计算公式:

(3)

(4)

(5)

其中,TP(True Positive)为分割正确的焊缝特征像素；TN(True Negative)为分割正确的焊缝背景像素； FP(False Positive)为分割错误的焊缝背景像素；FN(False Negative)为分割错误的焊缝特征像素。

4.3 实验分析

将本文引用的acc、mIou、mpa三个评价指标与其他算法进行对比,分别计算阈值分割法,FCN算法、U-Net算法、PSPNet算法、改进型U-Net算法的指标值,如表2所示,阈值分割法、FCN算法、U-Net算法、PSPNet算法、本文改进型U-Net算法的acc值分别是50.59 %、96.53 %、98.32 %、98.64 %、99.34 %,mIou值分别为48.42 %、86.53 %、87.62 %、88.44 %、89.36 %,mpa值分别为78.36 %、92.30 %、93.54 %、94.86 %、95.62 %,与其他方法相比,本文改进型U-Net的焊缝特征提取效果准确度更高,具有良好的抗噪声能力,在基于激光视觉自动焊接的工业应用中将发挥重要的作用。

5 结 论

针对目前基于激光视觉的自动焊接焊缝特征容易受到弧光干扰,出现焊接偏移,焊接效果不稳定等问题,本文提出一种改进的U-Net网络模型,首先在特征提取前加入可学习的调整器,使网络能融合更多特征信息,然后在编解码之间加入特征加强模块,增强焊缝特征信息,抑制弧光干扰。将深度学习技术应用在焊缝特征提取的过程中,解决了复杂噪声干扰环境下焊缝特征提取精度低的问题。

表2 不同算法指标值

本文改进的U-Net算法的三个分割精度指标acc值为99.34 %,mIou值为89.36 %,mpa值为95.62 %,三个指标均高于本文对比的分割算法,从最终分割结果看,本实验能从弧光干扰严重的环境中准确提取焊缝特征,提取精度比较高,在未来的研究工作中将进一步优化数据集和网络结构,实现焊缝特征点定位,提升特征提取效果。