基于双目视觉的待涂装焊缝的识别

杨斌 李艳艳 李洪英

摘  要：在工件涂装的过程中会遇到焊缝差异不易区分和识别的问题，基于此问题文章提出一种基于LeNet-5的待涂装焊缝识别系统。该系统先将数据增强后的图像进行图像去噪预处理，对LeNet-5卷积神经网络进行模型训练;然后将双目系统实时拍摄的焊缝图像运用训练好的模型实现焊缝类型快速识别;最后根据得出的分类信息引导焊缝涂装机器人进行精准的焊缝喷涂。实验结果表明，该系统可以快速提取焊缝图像更全面的特征，大大提高了焊缝识别准确率。

关键词：焊缝识别;图像去噪;深度学习;LeNet-5

中图分类号：TP242       文献标识码：A 文章编号：2096-4706（2020）17-0149-04

Abstract：In the process of the workpiece coating，the welding seam difference is difficult to be distinguished and identified. Based on this problem，this paper proposes a LeNet-5-based welding seam identification system to be coated. The system first carries out image denoising preprocessing after data enhancement，conducts model training for LeNet-5 convolutional neural network，and then applies the trained model to realize rapid recognition of weld types for weld images taken in real time by the binocular system. Finally，according to the obtained classification information，the welding seam coating robot is guided to carry out accurate welding seam spraying. The experimental results show that the system can quickly extract more comprehensive features of weld images and greatly improve the accuracy of weld recognition.

Keywords：welding seam identification;image denoising;deep learning;LeNet-5

0  引  言

我国是制造大国，在零器件加工和制造行业中焊缝涂装是其零部件生产或者组装过程中不可缺少的重要流程之一。近年来传感技术和智能机器人技术快速发展，伴随着制造业对涂装效率和涂装质量的要求提升以及对更舒适健康的工作环境的需要，工业机器人焊缝涂装将慢慢取代人力手工涂装，其中基于传感器检测的智能焊缝识别是焊缝涂装领域的研究热点[1]。本文主要针对中国石油集团海洋工程有限公司海上升压站建造过程中（协鑫如东H13#海上风电项目、协鑫如东H15#海上风电项目）存在的钢结构人工喷涂自动化程度低，油漆挥发的有机溶剂对于人身体健康损害较大，人工喷涂厚度控制难度大等问题进行研究，利用涂装机器人有效避免这些问题。焊缝信息检测在机器人焊缝喷涂过程中及其重要，现有的大部分自动焊缝喷涂主要通过超声波传感器获取焊缝信息，然而超声波传感器容易受到焊缝表面粗糙以及结构的各向异性导致的超声声束的散射和超声声束的畸变影响[2]。本文运用的双目视觉传感器具有速度快、传输信息量大、精度高并且以非接触形式实现等优势，能较好地解决以上问题[3]。基于双目视觉涂装的主要原理：在自然光条件下，运用工业摄像机拍摄焊缝图像，将该图像传输到上位机进行图像预处理和图像识别后，获得焊缝种类、位置等信息，然后利用该信息对涂装机器人的喷枪运动正确引导[4]。由于工作地点不固定，可能会受到环境光照的影响，此时工业摄像机不能有效拍摄到工件焊缝信息，采用常规的焊缝图像处理的方法[5]并不能准确识别焊缝。而深度学习[6]广泛应用于人工智能的各个领域并且取得了一定成果，例如利用深度学习技术对人脸进行识别[7]，或者使用卷积神经网络（CNN）对物品进行分类[8]。目前，在焊缝识别领域大多使用BP神经网络，CNN尚未得到应用。本文提出了一种基于LeNet-5双目视觉图像分类的焊缝识别系统，首先将焊缝图像预处理，然后利用CNN的强大优势提高了焊缝识别的准确率。

1  研究原理

1.1  图像去噪

在相机获取、传输图像信息的过程中，会存在外界光照、内部元件准确度等自身和外部的干扰，这些干扰都是图像噪声的来源，会对图像质量造成一定的影响，图像变模糊导致图像特征变得相对难以提取，增加了对后续图像识别的难度。为了抑制噪声，改善图像质量，便于后续识别操作，对图像去噪预处理至关重要。加性噪声和乘性噪声是图像噪声最主要的類型，加性噪声与图像信号无关，是否有信号对噪声没有任何影响，然而乘性噪声与信号两者会共同出现[9]。对这些噪音的去除也可以分为两类：一种为空间域的平滑，基于噪声种类的不同，利用不同的平滑模板对噪声源图像进行卷积运算;另一种为频率域的滤波，运用傅里叶变换将图像从空间域变换到频率域[10]。不同情况下会出现不同的噪声，不能确定得出的哪种方法更优，要根据实际情况，可以将多种方法对比实验，选择表现更好的方法进行去噪处理。

1.2  焊缝识别

在模式识别领域，首先提出的是人工神经网络的概念，之后提出BP神经网络算法[11]，由于该算法为早期算法，计算过程较为单一且效果在现在看来并不突出，该算法主要是通过对误差的反馈修正、调整神经网络中的参数，从而令下次误差小于给定允许误差，其结构如图1所示，从结构上可以把层分为三类：输入层、隐含层和输出层。

虽然相比于之前提出的网络，BP网络有一定的改进效果，但是也存在不足之处。BP网络是全连接的，一层提取特征的效果并不是很好，会使得权值数量急剧增加。想要训练这么多的权值，样本必须足够，但是计算量也会随之急剧增加，而且还有梯度消失的情况，因此需要改进连接的方式，正是因为结构性的硬性原因出现了卷积神经网络的局部连接和权值共享。时间延迟网络和LeNet-5是最早出现的卷积神经网络[12]，本文采用的LeNet-5结构如图2所示。

焊缝识别的LeNet-5框架描述为：

首先输入预处理图像是28×28大小的灰度焊缝图像。

卷积层1（Conv1）：该层运用尺寸为5×5的卷积核，滑动步长为1，卷积核数目为20，经过该层后图像尺寸变为24，输出20层24×24的矩阵。

池化层1（Pool1）：该层卷积核的尺寸为2×2，步长2，池化操作后，图像尺寸减半起到降维的作用，防止过拟合提高模型泛化能力，输出20层12×12的矩阵。

卷积层2（Conv2）：该层的卷积核尺寸为5×5，步长1，卷积核数目为50，输出50层8×8的矩阵。

池化层2（Pool2）：该层核尺寸为2×2，步长2，输出50层4×4的矩阵。

全连接层（Fc1）：连接在pool2后，神经元数目为500，运用ReLU[13]激活函数。

全连接层（Fc2）：该层包括3个神经元，用于3种焊缝的分类训练，然后送入softmax识别，最后将得到识别结果的概率输出。三种焊缝类型如图3所示。

2  焊缝涂装系统

在雙目视觉系统采集图像后，相机采集的图像经由USB在上位机上实时计算，将计算好的数据信息传输到控制柜，控制柜控制机械手的运动。流程图如图4所示，其中PC代表上位机，PLC是可编程逻辑控制器，用来驱动机械手。

2.1  图像预处理

通过实验平台可以获取项目中出现的典型焊缝，分别用双目视觉系统采集多张自然光下的焊缝图片。为在不降低识别效果的前提下减少获取图片的工作量，本文对采集到的图片进行数据增强处理，具体操作包括裁剪、旋转、亮度调节、对比度增强等，这样极大地增加了数据量，且为后续的模型训练增加了鲁棒性;并且，只需要对一个相机采集到的图片进行处理即可。

在进行平滑处理之前，要先对图像进行灰度转换来满足平滑处理条件，灰度转换公式：

Gray=R×0.299+G×0.587+B×0.114

本文将中值滤波后和高斯滤波后的图像进行对比，发现中值滤波后整体图像亮度变大且焊缝线条处明暗对比减小，所以本文选用中值滤波对焊缝图像进行预处理，处理结果如图5所示。

2.2  基于LeNet-5的焊缝识别

训练一个较好的卷积神经网络模型需要大量的数据。本文将采集的自然光下的图片进行数据增强后灰度化，输入网络中的图像为大小为28×28的灰度图像，根据焊缝的不同形态将焊缝分为3种类型。首先对网络中的参数进行初始化，LeNet-5卷积神经网络的初始设置包括初始化卷积层网络结构、输出层数量、卷积核权重以及偏置等。卷积核权重和偏置运用的是随机初始化的方法。实验按照图4流程图所示流程构建系统，对3种类型的焊缝进行分类。将数据增强后的图片随机划分为训练集和测试集，训练样本和测试样本数量分别为900张和100张。训练一共迭代200次，学习率设为0.01，在迭代120次后，网络模型已基本收敛，最后训练集准确率可达到99.7%，测试集准确率为95.2%，完全满足喷涂需要。此外为了突出LeNet-5网络的明显优势，本文在相同的数据集、相同的设置下，在BP神经网络上做了对比试验，结果如表1所示。从表中可以看出LeNet-5网络测试集准确率比BP神经网络高6.3%且收敛更快，并且其快速性可以支持实时焊缝类型识别，不会影响涂装进度。

3  结  论

本文针对工件涂装过程中会遇到的焊缝较小、焊缝差异不易区分和识别等问题，提出了一种基于卷积神经网络LeNet-5的待涂装焊缝识别系统。该系统首先运用采集数据集经图像增强后进行线下训练，然后使用训练好的模型识别摄像机采集到的焊缝图像，实时判断焊缝类型，及时引导机械臂做出合适的涂装策略。实验表明，该系统有效改进了现有焊缝识别易受干扰、准确率低等问题，有利于焊缝涂装机器人更加准确高效地运作。

参考文献：

[1] 凤迎迎.基于双目视觉的机器人焊缝轨迹检测的研究 [D].杭州：浙江大学，2017.

[2] 薛拥军，张礼典，赖德海.大厚度异种钢奥氏体焊缝超声波检测 [J].无损检测，2008（11）：816-819.

[3] 郭志鹏，于治水，张培磊，等.基于视觉传感的焊缝跟踪系统研究现状 [J].轻工机械，2016，34（5）：95-100.

[4] 李慨，张庭.基于视觉传感器的移动焊接机器人测控系统 [J].中南大学学报（自然科学版），2011，42（4）：1050-1055.

[5] 王滦平.图像处理技术在机器人焊接中的应用 [J].电子科学技术，2016，3（5）：570-573.

[7] 万士宁.基于卷积神经网络的人脸识别研究与实现 [D].成都：电子科技大学，2016.

[8] 黄斌，卢金金，王建华，等.基于深度卷积神经网络的物体识别算法 [J].计算机应用，2016，36（12）：3333-3340+3346.

[9] BUADES A，COLL B，MOREL J M. A Review of Image Denoising Algorithms，with a New One [J]. Multiscale Modeling & Simulation，2005，4（2）：490-530.

[10] ZHANG Y Q，LIU J Y，LI M D，et al. Joint image denoising using adaptive principal component analysis and self-similarity [J]. Information Sciences，2014，259：128-141.

[11] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning Internal Representations by Error Propagation [J]. Parallel Distributed Processing：Explorations in the Microstructure of Cognition：Foundations，1986：318-362.

[12] 赵志宏，杨绍普，马增强.基于卷积神经网络LeNet-5的车牌字符识别研究 [J].系统仿真学报，2010，22（3）：638-641.

作者简介：杨斌（1985.09—），男，汉族，山东文登人，工程师，本科，研究方向：钢结构防腐涂装。