郭 奥 景会成② 葛 超 邸志刚
(①华北理工大学电气工程学院,河北 唐山 063210;②唐山四维智能科技有限公司,河北 唐山 063210)
焊接技术是能够连接金属材料的加工技术之一,在现代机械制造领域发挥着重要作用,广泛应用于车辆制造、建筑工程和航天工程[1-4]。当今制造业飞速发展,伴随着被焊接产品的数量剧增和产品结构复杂程度的不断提高,对于检测焊接质量提出了更加严格的要求,仅仅靠工人来检测焊缝质量已不能适应现代焊接技术发展的需要,因此研究如何更准确地提取焊后焊缝可以促进焊缝质量的智能化检测技术发展。
目前主流的焊缝提取方式都是通过传感器采集声、光、磁信号获取信息来提取焊缝,而视觉技术由于其非接触、适应性强等优点逐渐被人们采纳并愈发完善。以机器视觉为基础的焊缝提取技术可根据外部辅助光源的有无,分为主动光视觉与被动光视觉[5]。
主动光视觉技术是将外部辅助光源投向工件形成不同形状的结构光,然后用相机获取图像[6]。Kiddee P 等[7]提出了一种基于十字标记结构光的焊缝识别方法,配合自创建模板和修改模板匹配两种技术,提高了检测过程中的匹配精度。胡丹等[8]基于线结构光提出了边界限定的灰度重心法来提取激光条纹中心线识别焊缝轮廓,提高了算法稳定性。Zhang K 等[9]提出了一种三线激光结构光视觉传感方法,并采用Freeman 链码方法对骨架进行标记,可以在室外提取焊缝,使室外焊缝定位精度大大提高。由此可见,基于激光与结构光的主动光视觉技术较为常用,然而这种方法需要多次采集图片才能获取完整的焊缝信息,且结构复杂,效率比较低。
被动光视觉技术直接用相机拍摄自然光或灯光投射到工件获取焊缝图像[10-12]。莫玲等[13]提出了基于小波分析的图像增强算法,突出焊缝过渡带边缘特征,实现焊缝位置的提取。刘东来等[14]提出了一种焊缝轨迹识别算法,设计提取焊缝的中心线结合自适应多项式焊缝曲线拟合生成了焊缝轨迹,但是被动光视觉技术受环境影响较严重,鲁棒性差。
综上所述,目前主要研究结构光提取和识别焊后焊缝,但焊缝图像存在噪声多、对比度不高、图像边缘模糊等缺点,从而影响到焊缝的提取。本文综合考虑了各种因素对焊缝提取的影响,提出一种DBSCAN 聚类与主成分分析算法融合的焊缝提取算法,利用主成分分析算法对边缘检测后的图像像素进行向量映射并根据位置信息进行统计,提取出了焊缝的准确位置。通过实验验证,本文算法可以有效提取图像中的焊缝位置信息,从而为未来更精确地检测焊缝的缺陷简化了工作难度。
本文实验的硬件为松下焊接机器人,待焊工件的焊接方式采用钨极氩弧焊对接焊接,如图1 所示。
图1 焊接设备
为了模拟焊缝提取的真实情况,考虑不同影响因素,需要设置不同图像分辨率、焊缝焊接方向、不同光照情况等因素的对比实验。室内光照强度一般在100~550 lux,本实验分别采集了50 组环形光源下三种光照的三种分辨率、两种焊接方式的多种角度的焊缝图片,样本图像如图2 所示。
图2 样本图片
图像的特征可以用来描述图像的基本属性,通过对不同的信息加以分析可以对图像进行区分。焊缝与母材的区别主要是焊缝一般为细长型,因此后续的研究都可以利用这个特点来进行。
原焊缝目标焊缝位置如图2 所示,由于环境光线干扰,采集的图像中包含大量的颜色噪声,而且焊接工件的表面除了焊缝,一般会存在凹凸不平的现象,造成图像信息存在大量的噪声信息。为了降低图像噪声的干扰,对原焊缝图像进行预处理,通过图像滤波可以去除一定的噪声干扰,并保留焊缝的边缘信息,使图像提取更稳定。传统的滤波方式如均值滤波、低通滤波,难以保存焊缝这种纹理信息复杂图像的有效信息,而自适应中值滤波算法在去除噪声时可以最大程度上保留边缘信息,便于后续边缘检测时获得更多图像信息,因此在去除噪声的情境中有着广泛的应用空间。预处理流程如图3所示。
图3 预处理流程图
针对经过Canny 边缘检测处理的焊缝图像消除噪声的同时会丢失部分边缘信息,使得检测结果中出现边缘模糊等情况,为了降低计算机运算量,本文采用DBSCAN 聚类算法去除噪声点。DBSCAN进行密度聚类主要是依靠邻域和样本最小数量两个参数(ε,MinPts),其中 ε表示核心点的邻域阈值,MinPts表示核心点距离 ε范围内样本点数量的最小值。
假设输入样本集 D=(x1,x2,···,xm),邻域参数(ε,MinPts),样本距离度量方式为对于j=1,2,···,m,通过距离度量的方式,找到样本xj的 ε-邻域子样本集 Nε(xj)。如果子样本集的样本个数满足:
将核心对象样本加入样本集合:
式中:Ω为样本集合。
如果两个核心对象的邻域相互包含,则称两个核心对象密度相连,合并为一类,在本研究中区域中的点在整张图片中的点比例超过30%,保留比例超过30%的聚类,这样就可以除去比例较小的噪声分类。聚类框架如图4 所示。
图4 聚类框架
由图4d 可以看出,聚类后图像可以确定焊缝的大致形状,但是焊缝的边缘仍不清晰,还存在一些噪声影响焊缝的提取质量,因此再使用改进的PCA 算法寻找焊缝的主成分,并对焊缝边缘进一步优化剔除焊缝边缘的噪声。
主成分分析是对高维数据进行降维,并且去除噪声,但这样容易产生边缘信息的损失,降低焊缝提取的准确度,导致算法在一定程度上失去准确性。本文算法的核心思想是借助图像像素点坐标的协方差矩阵的两个特征值和特征向量,通过计算图像各像素点坐标的协方差矩阵[15],对数据点进行某一向量映射,从而得到数据点的特征,如图5 所示。
图5 PCA 示意图
设图像坐标信息为m组2 维数据,按列将数据组成2 行m列矩阵,中心化所有样本。
式中:xi为中心化样本;xj为所有样本。计算样本的协方差矩阵:
式中:C为样本的协方差矩阵;X为中心化后的样本矩阵。根据公式解出焊缝图像协方差矩阵的特征值和特征向量,并将特征向量按特征值大小从大到小排列组成矩阵,通过分别向两个向量、映射可以大致拟合出焊缝的形状,这样可以将焊缝从原有坐标系转化到以焊缝中心点为原点、两个垂直向量为横纵坐标的新坐标系,因此可以提取任意方向的直型焊缝。
焊缝分析平台如图6 所示,提取焊缝的设备主要有:计算机、海康威视工业相机、镜头、环形光源以及相机固定支架等。开发环境为Windows 11 ×64,基于Visual Studio2022 开发软件,配备OpenCV 4.5.5图像处理开源库和Eigen 3.4.0 矩阵向量运算库,实验材料使用Q275 钢板。
图6 焊缝分析平台
对图2a 灰度化后计算图像直方图如图7 所示,由灰度直方图只有一个峰值可知,焊缝的灰度值集中于图像的某一区域,因此后续可以依此完成焊缝的提取。
图7 焊缝灰度直方图
图8 图2a 在方向映射计数
图9 图2b 在方向映射计数
图10 图2 c 在方向映射计数
图11 分配阈值
图12 焊缝边界图
图13 焊缝完整形状图
本研究采集了环形光源下三种光照的三种分辨率、两种焊接方式的多种角度的焊缝图像各50 组,从中随机选取了不同图像分辨率的不同角度的焊缝图像,提取效果如图14 所示。
图14 不同分辨率的提取效果图
为了更加详细地展示此算法的效果,以本文算法为基础进行实验分析,不同焊缝提取方法对比效果如图15 所示,不同分辨率的比较见表1,不同焊接方式的比较见表2。针对传统的焊缝提取方法与本文算法进行定量对比分析,根据不同算法对焊缝提取的精度进行了计算和比较,对照文献[16-17]中的焊缝识别方法来验证其精确性,结果见表3。
表1 不同分辨率对比
表2 不同焊接方式对比
表3 不同方法对比
图15 焊缝提取方法对比
由上述表格可知,本文算法在160~239 lux 光照强度下,对1 280×720 分辨率的钨极氩弧焊采集图像提取正确率最高,为96.08%。随着分辨率的升高,边缘检测保留像素点个数会增加,边缘信息愈发清晰,更有利于后续焊缝的提取。通过钨极氩弧焊与CO2保护手工焊对比实验发现,CO2保护手工焊受环境和工人身体状况影响,影响焊缝的质量。根据光照强度对比可知,光照太强会损失边缘特征,光照太弱则会降低图像质量,在环形光源下,160~239 lux 光强比较适宜焊缝的提取。本文算法专注于焊缝各边界的提取,因此相较于其他提取方法适应性更强,更能确定焊缝的位置。
为了研究不同分辨率、焊接方式和光照强度对本算法精度的影响,以及了解本算法更适合什么类型的焊缝,基于实验平台和分析平台设计了三组对比实验,得出如下结论:
(1)通过DBSCAN 聚类和主成分分析算法,映射统计直线型焊缝,获取了焊缝的四个边界,提取出焊缝的具体位置,取得了良好的效果。
(2)通过实验发现1 280×720 分辨率的图像提取正确率最高,为96.08%。
(3)通过钨极氩弧焊与二氧化碳保护手工焊对比实验发现,本文算法对钨极氩弧焊的识别率要高于二氧化碳保护手工焊,说明手工焊受工人的焊接技术、身体状态等影响较严重,因此需要提出更加完善的焊缝提取算法。
(4)本文算法相较于其他方法更注重焊缝边界的提取,因此能更好地确定焊缝位置,提高了算法的适应性与稳定性。
视觉焊缝提取算法具有独到的优势,凭借这些优点可以在自动化焊接行业占据越来越重要的地位,通过视觉算法和机器人技术相结合,可以实现焊缝的全自动化识别。