苗璐,景文博,蔡立娟,山显响
(1.长春理工大学 电子信息工程学院,长春 130022;2.长春理工大学 光电工程学院,长春 130022)
在社会飞速发展进步的今天,人们的生产生活也由原始的手工制造转向为机械化。而在机械制造的过程中,金属焊接是及其重要的一个环节[1],其中焊缝的大小形状会影响产品的外观,而焊缝质量差则会导致产品不合格,因此焊缝的检测对企业的生产效率有着非凡的意义,焊缝的宽度是检测焊缝质量的一个重要指标。
在已有的焊缝宽度检测方法中常用的传统方法为人工目测法[2]。利用测量工具焊缝检验尺和人眼进行检测,这种依靠人力经验的检测技术会因工作时长致使的疲劳和检测水平的问题造成误测漏测,且效率低下。而常用的自动化焊缝检测技术有超声波和X射线探伤等[3],这些方法实时性差,且会受到检测目标材质的限制影响,造价昂贵,对操作人的健康也会产生一些影响。因此针对上述技术的缺陷,提出基于机器视觉的方法,用高速相机采集焊缝图像,代替人工目测计算焊缝的宽度,以实现焊缝宽度检测的自动化。
本文采用机器视觉技术对焊缝的宽度进行全自动高精度处理,实现了焊缝宽度的有效测量,大大减小了人工处理过程所带来的误差,提高了效率。文中将改进的图像算法应用到实际背景中提取目标轮廓,并通过实验验证了该方法的准确性与高精度,具有十分重要的实用价值和参考意义。
该系统的主要组成部分有:光源、控制系统、图像输入设备和计算机及图像处理与数据分析软件,系统结构如图1所示[4]。
图1 系统结构图
在对焊缝宽度的实时测量过程中,将CCD相机固定在待测焊缝的正面位置,通过控制指令完成对相机及光源的控制,保证图像质量。在CCD相机采集到图像后,计算机对图像进行预处理,提取焊缝特征点、计算获得焊缝宽度值。在实际生产中,虽然背景模型不同,但是焊缝图像在大部分情况下成像特征基本一致,且明显。当相机在待检焊缝区域进行拍摄后,图像采集卡缓冲区便保存了所得的数据,将数据保存为BMP文件。获得图像后,依次进行图像预处理,轮廓提取和宽度计算,检测流程如图2所示。
图2 焊缝检测流程图
在获取焊缝图像的过程中,由于电子设备及环境的影响,不可避免地会引入一些噪声。由这些噪声引起的图像失真、变形即使有些不被人眼看见,但在图像处理中还是会影响到细节部分。而且由于焊缝材料的特殊性,会使焊缝的轮廓特征受其背景的影响,从而影响焊缝宽度测量的精度。采用图像增强算法[5]就是为了使目标轮廓呈现一个理想状态,最大清晰化视觉效果。本文所采用的方法是改进的直方图均衡算法[6]。
灰度级范围为[0,L-1]的数字图像直方图是离散函数h(rk)=nk,其中rk是第k级灰度值,nk是图像中灰度为rk的像素个数。归一化的直方图由给出,其中k=0,1,2,…,L-1,MN是图像中像素的总数。图像的灰度等级可看成是区间[0,L-1]内的随机变量,随机变量的基本描绘是其概率密度函数(PDF)。令pr(r)和ps(s)分别表示随机变量r和s的概率密度函数。输出灰度变量s的PDF可由下式得到。
可以看出灰度变量s由输入灰度的变换函数决定,则变换(映射)后的变量s的PDF变换函数有如下形式:
把dr/ds的这个结果代入式(1),并记住概率密度值为正,得到:
这是一个均匀概率密度函数。将式(2)中变换的离散形式为:
在这个公式中,变换T(rk)称为直方图均衡或直方图线性变换[7]。直方图均衡作为自适应对比度的强大工具,对图像有着很好的视觉效果,但由于是对整幅图像进行全局处理,会导致细节丢失和局部增强不足或过增强现象,而且还有着放大图像中的噪声的缺点。
针对于上述算法存在的不足,采用直方图均衡化和对图像进行线性操作相结合的方法对其进行改进。由于焊缝的图像特点是特征明显的近似于矩形的轮廓,因此采用分段线性变换的方法对图像进行处理[8],既保留图像原有的信息,同时还能够突出感兴趣的区域,抑制滤掉不需要的图像背景。分段线性变换的关键是分段点的选取,此处采用自适应阈值的方法来确定分段点[9]。
图像设备的动态范围为[0,a],图像的灰度范围为[min,max]。则具体变换公式为:
式中,k0为目标区域拉伸系数,;k1表示过渡区保持系数,;而k2为背景区抑制系统,。本文中对背景的灰度级进行压缩,对(1-6)式中的系数设置约束条件k0>1,k1=1,k2<1,则可推出(1-6)式中的系数,求解出k0的范围
图像阈值分割[10]是一种被广泛使用的图像分割技术,它利用了图像中要提取的目标与背景在灰度特性上的差异,把图像视为具有不同灰度级的两类区域目标和背景的组合,选取一个合适的阈值,以确定图像中的每一个像素点应该属于目标区域还是背景区域,从而进行相应的二值图像阈值分割。根据焊缝图像的特点,本文选择基于最大阈值Ostu的图像分割算法[11],它的灰度值给出最好的类间分离的阈值,是以在一副图像的直方图上执行计算为基础的,这样做不仅可以大量压缩数据减少存储容量,而且能大大简化其后的分析和处理步骤。
但是图像中还存在着影响计算的其他细小杂质,不利于提取焊缝的骨架信息。还需进行形态学运算。由于焊缝图像的特点,为了避免焊缝图像细节信息丢失,用大小为2×3且元素都是1的矩形结构先进行垂直方向上的腐蚀操作去除图像中的杂点。然后进行闭运算,弥合图像中的焊缝的间断和沟壑,填补轮廓线的断裂。
由于焊缝边缘特征明显,焊缝的边缘是两条直线,所以两条直线之间的距离即为焊缝宽度,本文利用霍夫变换进行直线检测[12]。
图3 霍夫变换原理图
霍夫检测直线常用的方法是[13],将平面中的一条直线l用极坐标系的方式表示:
其中,ρ表示直角坐标系中原点到直线的距离,θ表示x轴与ρ的夹角。这样图像平面中的像素点就对应到平面ρ-θ上的一条曲线上。如果对位于同一直线上的点进行变换,原图像中每点在参数空间对应得到有n条正弦曲线,并且这些曲线相交于一点。
两条直线分别为l1:ρ1=xcosθ1+ysinθ1和l2:ρ2=xcosθ2+ysinθ2。当,两条直线平行时,则焊缝的宽度为:
图4 宽度计算原理图
图5 图像增强效果对比图
图5(a)为采集到的未经处理的焊缝图像,图5(b)为经过直方图增强后的图像,可以看出经直方图均衡化后焊缝图像轮廓明显,但是背景引入了大量的噪声,有很多的杂质。此时采用中值滤波的方法平滑掉一些噪声,效果如图5(c)。噪声被有效抑制,但是仍需进一步增强,图5(d)是使用改进的增强算法处理的图像。可以看出图像增强效果明显,焊缝图像经分段线性变换后焊缝的轮廓与背景能够很好的分离,能够有效的抑制边缘噪声,且保留目标区域的图像特征。
在经过直方图均衡化与分段线性变换相结合的算法对图像增强后,进行轮廓提取。此处采用基于最大阈值Ostu的方法进行图像分割如图6(a),可以看出经过处理后的图像轮廓分割明显,焊缝边缘与背景能够分离开来,仅保留些背景中的细小噪声。接下来进行形态学运算,提取骨架信息如图6(b),图像中仅剩焊缝轮廓被保留。
图6 轮廓提取效果图
本系统采用的相机分辨率R为2048×1536,像元尺寸S为3.45×3.45μm,焦距f为30mm。拍摄距离D为20cm~30cm,因此像素代表的实际尺寸d大小为0.023mm~0.035mm。此处由于拍摄距离不定,可以利用控制系统对移动距离进行实时控制。
为了验证本文方法较其他方法有效,精度有所提高。采集了不同类型的焊缝图像,引入了射线检测图像边缘的算法[14]和基于多视觉特征的激光拼焊算法[15]及本文算法与人工用千分尺测量的结果作对比。测量的结果分别在表1中列出,本次实验采集了十组图像,以下是数据对比。
表1 十组图像的测量数据
表2 不同工作方式的测量时间
表1记录了不同算法对十种样品测量结果的数据,横坐标为组号,纵坐标表示测量的焊缝宽度,Algorithm1 Width、Algorithm2 Width、Algorithm3 Width分别表示由射线检测图像边缘的算法[14]和基于多视觉特征的激光拼焊算法[15及本文算法测量的结果,Physical Width为人工测量的作为参照基准的物理尺寸,表2记录了这几种不同工作方式测量所需的时间。本文引入标准差来对焊缝的测量精度进行评价,由公式(2-4)计算不同算法的测量精度,由表3可以看出本文算法的测量精度最高,δ为0.01mm。
表3 不同工作方式的测量精度
图7显示了这几种不同测量方式的测量结果的对比。由图7可以看出Algorithm3 Width和Physical Width两条曲线几乎重合,说明本文的方法更为准确。图8显示了不同测量方式测量所需时间的对比,纵坐标表示测量的时间,Manual Time为人工测量结果,Algorithm3 Time为本文算法测量结果。可以看出本文算法的检测时间更短,比人工检测的时间低于一个数量级,说明该算法的效率更高。
图7 测量结果对比图
图8 测量时间对比图
经过多次实验采取不同的样品进行测量,结果表明测量系统的测量精度可达0.01mm,可有效检测出焊缝的宽度,且效率更高。基于机器视觉的焊缝宽度检测系统的测量方法在精度、准确性上比人工测量方法有着较大的提升,为其他自动检测模式提供了参考价值,在生产生活中使用更为高效、便捷,对促进其他工业发展有着重要的意义。
[1]陈莉,赵海丽,张瑜,等.图像法在管道焊接裂缝检测中的应用[J].长春理工大学学报:自然科学版,2017,40(2):115-117.
[2]王慧玲.基于机器视觉的焊缝缺陷检测技术的研究[D].哈尔滨:哈尔滨理工大学,2008.
[3]邓辉,谢俊,孟广月,等.基于机器视觉的重复定位精度测量技术[J].电子测量技术,2014,37(12):45-48.
[4]张杨.基于双目立体视觉的CCD测距系统设计[D].长春:长春理工大学,2010.
[5]方明,李洪娜,雷立宏,等.低照度视频图像增强算法综述[J].长春理工大学学报:自然科学版,2016,39(3):56-64.
[6]Sim KS,Tso CP,Tan YY.Recursive sub-image histogram equalization applied to gray scale images[J].Pattern Recognit.Letters,2007,28(10):1209-1221.
[7]Bhatnagar G,Jonathan Wu QM,Liu Z.Directive contrast based multimodal medical image fusion in NSCT domain[J].IEEE Transactions on Multimedia,2013,15(5):1014-1024
[8]Rani S,Kumar M.Contrast enhancement using improved adaptivegammacorrection with weighting distribution technique[J].InternationalJournalof Computer Applications,2014,101(11):47-53.
[9]路建方,王新赛,肖志洋,等.基于FPGA的红外图像自适应分段线性增强算法[J].红外技术,2013,35(2):102-106.
[10]Barnich O,Van Droogenbroeck M.ViBe.A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.
[11]秦雪,王欢,严晔,等.基于图像边缘检测的图像识别算法[J].长春理工大学学报:自然科学版,2015,38(4):127-131.
[12]闫怀仁,杨慕升.基于改进的Hough变换的直线提取算法[J].红外技术,2015,37(11):970-975.
[13]杨顺辽.基Hough变换提取直线的改进方法研究[J].电脑与信息技术,2006,14(5):29-31.
[14]乔晓鹏,梁淑艳,丁克勤,等.用于微焊缝宽度测量的射线检测图像边缘处理方法[J].无损检测,2009,31(7):560-562.
[15]邹媛媛,甘洪岩,张琦.基于多视觉特征的激光拼焊焊缝宽度检测[J].焊接技术,2017,46(01):64-69.