多特征提取与BT-SVM的焊缝表面缺陷检测

胡曦,余震,刘海生

(1.武汉科技大学 机械自动化学院,武汉 430081; 2.湖北文理学院 机械工程学院,湖北襄阳 441053)

在自动化焊接生产中,焊缝缺陷自动检测分类是智能焊接中的重要组成部分,焊缝质量检测是保证焊接质量的重要手段[1]。缺陷图像的特征提取是实现缺陷检测的基础,其速度和精确性将直接影响到缺陷提取的实时性与后续分类的准确性[2-3]。目前基于机器视觉的焊缝缺陷特征提取主要有主动视觉和被动视觉两种方法,基于被动视觉的焊缝缺陷特征提取方法是通过工业相机直接采集焊缝表面图像[4],然后经过图像处理,根据焊缝表面的缺陷几何形状特点和灰度分布特性获取焊缝表面质量信息。该方法适用于焊缝缺陷面积较大的缺陷类型,如焊穿、焊瘤、焊缝成型不良等,采用被动视觉能更加准确地获得焊缝外观缺陷信息[5]。但由于焊接管道全位置光照强度存在差异,而被动视觉方法受光照影响较大,导致焊缝缺陷分类精度较低,并且相机轴线垂直于管道,采集到的图像只具有二维特征,而对于一些二维特征不明显,需用到三维特征的缺陷类型,如咬边及类似缺陷则不容易被检测出来。基于主动视觉的焊缝缺陷特征提取方法,与被动视觉相比,具有精度高、抗干扰能力较强、受光照变化影响小等优点[6]。它通过线激光器发射一条垂直于焊缝的激光线,然后提取激光条纹图像进行特征提取,从而获得焊缝表面三维信息。针对不同类型的焊缝外观缺陷,其线激光轮廓特征不同,因此可通过提取线激光轮廓特征来判定缺陷类型。然而由于焊缝表面成形复杂,仅通过单一线激光特征进行缺陷识别不太准确,随机性较大。本文在综合考虑以上各方面后,拟结合主动视觉和被动视觉两种方法下获得的焊缝图像特点,分别提取多种有代表性的焊缝特征,训练支持向量机(Support vector machine,SVM)分类器,去提高焊缝缺陷检测准确率。

SVM是早期由Vapnik等提出的一种统计监督学习分类器[7-8],它基于结构风险最小化(SRM)构造最优超平面,最大限度地减小泛化误差的上限,故SVM具有良好的分类能力[9],并且现已广泛应用于故障诊断、缺陷识别、语音验证、文本检测等模式识别问题中。文献[10]为实现对单向阀的故障诊断,从单向阀的时域振动信号入手,选取峭度、近似熵及裕度因子3种时域指标作为特征参数,训练SVM分类器,并用测试样本进行故障诊断实验,准确率达到98%。文献[11]针对油管内外表面的缺陷识别,提出一种将漏磁信号特征量和支持向量机相结合的方法,从时域和频域两个角度提取漏磁信号波形的峰谷高,峰谷长,面积、信息熵特征量、小波分解特征量5个参数作为输入特征量,通过样本数据训练构建油管内外表面缺陷识别SVM模型,实现对油管内外表面缺陷的识别。文献[12]提取缺陷特征,利用支持向量机识别X射线底片焊缝缺陷。文献[13]提出将拉普拉斯特征映射(Laplacian eigenmaps,LE)算法与支持向量机算法相结合应用于焊管焊缝缺陷检测。支持向量机在解决小样本、非线性识别问题中具有较好的性能,其中,一对其余支持向量机是应用广泛的一种多类分类算法,但该算法存在不可分区域,及样本不平衡问题等缺点。二叉树支持向量机(BT-SVM)作为多类分类算法[14],克服了一对其余支持向量机存在不可分区域的缺憾,提高了训练速度。因此,针对管道焊缝缺陷检测问题,提出采用多方法特征提取,结合被动视觉传感和激光视觉传感两种方法的优点,定义10个焊缝图像特征值,4个线激光条纹特征值,并构建BT-SVM分类器,提取样本图像的14个特征参数输入分类器训练,从而对焊缝表面缺陷进行分类识别。

1 焊缝图像采集装置及缺陷类型

在焊缝表面缺陷检测中,如何在焊接车间的复杂环境下获取清晰图像样本,是硬件设计的关键。焊缝图像采集系统主要由镜头、相机、光源、图像采集卡构成,安装在全自动焊接机器人上组成一套光、电、机一体的缺陷检测装置。管道焊缝图像采集系统的设备原理图如图1所示。

图1 管道焊缝表面缺陷检测分类系统

通过结合实际生产情况,对焊缝缺陷进行了较为完全统计和归类,主要分为正常焊缝、焊瘤、焊穿、气孔、成型不良与咬边,如图2所示,且各类缺陷特点如表1中所示。

图2 焊缝类型

表1 常见焊缝缺陷图像特点

2 被动视觉焊缝图像特征提取

对于焊缝表面中面积较大、二维特征清晰的缺陷,采用被动视觉传感技术能准确地获得焊缝表面缺陷信息。

2.1 焊缝图像预处理过程

在复杂焊接环境中所获取焊缝图像中存在较多噪声,对焊缝缺陷检测与分类造成干扰,所以首先要对目标图像进行预处理以突出焊缝表面特征,减少图像中的噪声。通过图像预处理得到焊缝缺陷ROI特征区域,选用3×3中值滤波模板,通过开运算与闭运算对焊缝图像进行处理,使目标特征更加明显,提高缺陷的识别率。处理后焊缝效果图如图3所示。

2.2 焊缝缺陷几何形状特征提取

由于焊接环境复杂,产生的焊缝缺陷类型随机多变,仅凭单一特征值难以区分特征类别。针对焊接实践中出现的焊缝缺陷的图像特点,定义8类几何形状特征参数如下:

1)缺陷的面积:标记为同一缺陷所形成的连通域区域大小,缺陷面积与缺陷的灰度值完全无关,只与缺陷像素点的个数相关,则

(1)

式中:x为像素点的横坐标;y为像素点的纵坐标;Rd为缺陷区域内所有像素点形成的集合。

2)缺陷区域周长:缺陷区域轮廓线上的像素间的距离之和,是一个整体特征参数,可以用来区分简单或者复杂形状的缺陷。周长计算方法是将缺陷区域边界上的像素点的总数作为周长,即

(2)

式中Rb为缺陷区域的边界点所组成的集合。

3)圆形度:是在面积与周长的基础上,计算缺陷边界复杂程度的特征量,判断目标形状和圆的接近程度。

4)矩形度:指的是缺陷的面积与缺陷对应的最小外接矩形面积的比值。

5)缺陷区域的长短径比[15]:缺陷区域长轴和短轴的比值,是一种常用的形状特征,它可实现对缺陷形状的长短的一种计量,可以从一定程度上描述缺陷的形状。

Lb=LA/SA

(3)

(4)

式中:LA为长径;SA为短径,方向与长径的方向垂直。

6)缺陷区域的欧拉数:欧拉数是一种拓扑特性,为图像中连通分量的个数减去孔洞的个数。欧拉数可以用来识别单孔特征和多孔特征,对于气孔和焊穿识别效果较好。

E(A)=M-H

(5)

式中:A为缺陷区域;M为缺陷区域中连通分量的个数;H为缺陷区域的孔洞数。

7)填充度:表示缺陷的面积与焊缝总面积之比,可有效区分正常焊缝和缺陷焊缝。

8)区域紧度的形状因子:若L为轮廓长度,F为区域面积,则形状因子C定义为:

C=max(1,C1)

(6)

(7)

圆的形状因子C=1,如果缺陷区域轮廓复杂或者有洞,C>1。

2.3 缺陷区域面积波形图极差特征提取

通过观察成型不良、焊瘤、焊穿3种缺陷形状和位置特点发现,采用面积、形状等特征难以区分这3种类别。因此,本文采用ROI波形分析法提取易于区分3种缺陷的特征,其ROI区域如图4所示。

图4 3种缺陷ROI图

波形分析法主要步骤是:ROI区域列向面积求和、波形图绘制及曲线平滑、1阶差分求取极差特征。

2.3.1 ROI区域列向面积求和

设焊缝缺陷特征图像的大小为m×n,其对应矩阵为T。

(8)

对矩阵T的每一列进行面积求和,Sj为每一列像素点面积累加值,ROI缺陷区域像素点面积xi,j置为1,其余区域xi,j置为0。

(9)

向量S,即为该缺陷特征图对应的波形序列:

S=[S1…Sj…Sn]

(10)

2.3.2 波形图绘制及曲线平滑

建立ROI区域面积横纵坐标波形图,为了提高1阶差分后波形的总体趋势的准确性,使用均值滤波器对波形进行平滑处理,以消除波形中的噪声,得到波形图如图5所示。

图5 列向面积累加波形图

成型不良的波形相较与焊瘤、焊穿的波形上升和下降幅度更大。

对于横向缺陷像素进行相同处理,可得到横向波形面积累加波形图,如图6所示。

图6 横向面积累加波形图

焊瘤的波形相较与成型不良、焊穿的波形上升和下降幅度更大。

2.3.3 波形极差特征参数提取

在离散函数中,1阶差分可以反应波形上升下降幅度的差,离散函数的1阶差分定义为

Y(k)=X(k+1)-X(k)

(11)

改进的一阶差分方法,则

dj=Sj+w-Sjj∈[1,n-w]

(12)

式中:w为进行差分的两个元素之间的横坐标像素距离;w的值太小,无法反映焊接缺陷的特征。如果该值太大,则可能超过大多数缺陷区域的长度。经过多次对比实验,取w值为30。

由此得到焊缝缺陷的1阶差分序列为

D=[d1…dj…dn]

(13)

取差分序列的极差R作为输入特征来区分两种焊缝缺陷类型

R=max(dj)-min(di),di,dj∈D

(14)

3 焊缝激光条纹图像特征提取

3.1 激光条纹图像采集

辅助线激光特征提取的焊缝表面质量检测方法属于主动视觉技术,主要根据激光条纹在焊缝表面的变形来获得焊缝缺陷信息,具有精度高、抗干扰能力较强等优点。本文对于二维特征不清晰,具有三维特征的缺陷类型,如咬边及类似不易被检测的缺陷,采用激光视觉传感来提取管道焊缝三维特征。

激光条纹图像采集实验装置示意图如图7所示,相机光轴与激光方向夹角为45°,采集到的正常焊缝线激光条纹图如图8所示。

图7 焊缝激光条纹表征提取实验平台

图8 正常焊缝

对于咬边、气孔、焊瘤、焊穿这4种具有三维形貌特征的缺陷,其线激光条纹图像有明显的差异,可根据各自条纹特征进行分类,采集缺陷样本线激光条纹图如图9所示。

图9 线激光缺陷图

3.2 激光条纹特征分析

分析大量咬边、气孔、焊瘤、焊穿(如图10所示)线激光条纹特点,设定O点为焊缝中心点,线激光条纹相较O点最大偏移点为P(l,h)。

图10 线激光条纹图

由于咬边缺陷一般出现在焊缝两侧,所以咬边缺陷相较于气孔、焊瘤、焊穿3种缺陷l值更大,而h值明显较小,因而提取最大偏移点P可有效区分咬边缺陷。

气孔、焊瘤、焊穿3种缺陷出现位置随机,而线激光条纹变化都较大,仅靠特征点P难以区分。

气孔缺陷在激光条纹轮廓中一般表现为断点,设定N为激光条纹连通域数量,气孔N>1,而其余类型激光条纹为一条连续的线,则N=1。

焊瘤激光条纹与焊穿激光条纹轮廓特征类似,详细比较二者差异,可以把激光条纹看作函数曲线,分别求取其2阶导数,判断斜率k变化,反应条纹的形状变化,从而来对两者进行区分。

峰度系数Kurt反映焊缝线激光条纹曲线的陡峭程度,其表达式为:

(15)

(16)

4 焊缝缺陷二叉树支持向量机分类器

支持向量机[8]是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,其原理是求解能够正确划分训练数据集并且使几何间隔最大的分离超平面。

常用的核函数有线性、多项式、径向基(RBF)和Sigmoid 4种。由于径向基核函数能有效减少计算复杂性,具有较好的分类效果,因此选用径向基函数作为分类器核函数,其公式为

(17)

4.1 管道焊缝外观缺陷分类模型

本文采用二叉树支持向量机进行缺陷分类,系统流程图如图11所示。

图11 焊缝缺陷分类系统流程图

4.2 二叉树支持向量机结构设计

分类树的不同节点位置和结构将使测试结果有很大不同。随着节点的分类加深,可能导致错误累积,所以生成合适的二叉树结构非常重要,一般包括两种方法:第一种是基于样本点在类中的分布,将优先级分配给具有较大分布区域的类;第二种是基于类之间的距离乘积,体积越大,类的分布区域越大。本文根据多类分类二叉树生成思路,在研究各类焊缝缺陷的特征区分度,综合考虑分类的准确性和分类的效率,并经多次试验对比后,采用二叉树支持向量机分类器结构如图12所示。

图12 二叉树支持向量机结构

采用被动视觉传感技术焊缝图像特征提取和线激光条纹焊缝图像特征提取两种方法所得到的各个特征参数作为支持向量机的特征输入参数,特征参数如表2所示。

表2 BT-SVM特征输入参数表

各个支持向量机的特征参数输入对应关系为

SVM1⟸P1,P2,P7

(18)

C1C4C6置为1,C2C3C5置为-1。

SVM2⟸P4,P5,P6,P11

(19)

C4置为1,C1C6置为-1。

SVM3⟸P3,P8,P9

(20)

C5置为1,C2C3置为-1。

SVM4⟸P11,P12,P13,P14

(21)

C1置为1,C6置为-1。

SVM5⟸P10,P12,P14

(22)

C2置为1,C3置为-1。

5 测试与分析

5.1 测试数据

管道焊缝缺陷图像数据来源于中国化学工程第六建设有限公司的焊接管道,样本原始数据集一共由270张单类标准管道焊缝缺陷图片构成,数据分为6类,其中正常焊缝60张,焊瘤缺陷50张,焊穿缺陷42张,气孔缺陷46张,成型不良缺陷35张,咬边缺陷37张。考虑到每个两类问题中正类样本数目可能与负类样本数目差距过大,从而导致训练样本不平衡问题,所以经过数据增强处理,使得每种样本达到60张,共计360张训练样本。部分焊缝缺陷样本如图13所示。

图13 部分焊缝缺陷样本

5.2 测试环境

硬件环境:相机型号acA1300-60gm-Basler,激光器选用LC650-16-3-F型,具有高亮度和光线细的特征,其实验测试平台如图14所示。

图14 管道焊缝表面缺陷检测分类平台

软件环境:软件系统采用Intel(R)Core(TM)i5-4460,64位Windows 7操作系统,开发环境基于VS2013,特征参数的计算和分类器的训练及测试都采用Open CV库函数来实现。

5.3 结果与分析

测试过程:首先对焊缝采集系统采集到的焊缝样本图像进行预处理,将其分割为焊缝图像和激光条纹图像,再分别提取基于被动视觉传感技术和激光视觉传感技术两种方法的特征参数,将参数输入二叉树支持向量机进行训练。最后输入焊缝图像进行分类检测,其部分检测结果如图15所示。

图15 部分焊缝缺陷分类检测结果

焊接管道直径400 mm,小车速度10 mm/s,相机每秒拍摄一帧图像,对一个焊缝缺陷较多的管道进行全位置焊缝检测识别。此次试验相机一共采集了1 100张焊缝图片,且实时分类统计得到最终测试数据如表3所示。

表3 焊缝缺陷分类检测测试数据表

从表3可以看出,本文方法分类识别率可以达到96.94%,准确率较高。基于二叉树支持向量机的缺陷分类算法能够有效检测出缺陷,其中对正常焊缝、焊瘤的分类效果最好,对气孔的分类效果较差,因为气孔有可能出现单气孔和多气孔状况,并且有些气孔过于细微,图像难以识别,导致漏检或误检为正常焊缝。

6 结论

1)针对不同类型的焊缝表面缺陷图像特点,提出一种被动视觉传感和激光视觉传感两种手段相结合的方法对焊缝图像进行多特征提取。

2)建立了合理的BT-SVM分类器,定义并提取出14个焊缝特征作为分类器的输入参数,设定输出分别为气孔、咬边、成型不良、焊穿、焊瘤以及无缺陷6种类型。对一个焊缝缺陷较多的管道进行全位置焊缝检测识别,验证本文方法可有效识别焊缝表面缺陷及其类型,准确率达到96.94%。