基于双色光源视觉的标准焊接工件搜寻与焊缝定位

（北京工业大学机械工程及应用电子技术学院，北京100124）

0 前言

近年来，计算机技术、机器人技术、电子技术的不断发展为焊接自动化奠定了坚实基础，因而焊接实现全自动化成为必然趋势[1]。其关键技术是焊缝路径的识别。

目前，焊接机器人的焊缝识别方法主要有示教编程、离线编程和自主编程3种形式[2-3]。

相比其他两种方式，自主编程技术提高了焊接机器人的智能化水平，已经成为现代焊接技术的发展趋势，主要的一个方向就是利用机器视觉传感器和相关处理算法规划焊接路径。通过视觉传感方式定位焊缝，无需与传感器发生接触或者相对运动，与其他传感方式相比具有定位快、精度高、抗干扰能力强等优势，对于实现智能化机器人焊接适用性最强[4-5]。

在英国、德国、加拿大、日本等发达国家已经有较为成熟的视觉传感产品广泛应用于焊接领域[6]。国内对基于视觉的焊接机器人研究虽然取得了一些成果，也出现了产品化的系统，但在系统集成度、柔性化、自主性等方面与国外先进技术还有一定差距，产品应用有待完善[6]。

本研究针对上述需求，基于视觉技术研究了焊接工件的识别及焊缝的定位。

1 标准化工件定位特点与视觉系统设计

1.1 标准化工件定位特点

根据不同的工业需求，现代焊接会出现不同的标准化工件焊接，具有尺寸标准、形状特征明显、焊接数量大等特点。

在研究标准化工件的自动焊接中，根据其特有的形状特征，基于机器视觉工件的特征元素，改变传统图像信息的表达方式，保留图像重要特征的同时，研究焊接工件识别和焊缝路径获取的方法。

1.2 视觉系统设计

针对标准化工件自动化焊接问题，设计了一套视觉定位系统，包括双色复合光源、视觉传感器、运动控制器、图像处理器等。视觉传感系统框图如图1所示。

图1 视觉传感系统框图Fig.1 Visual sensing system block diagram

光源是机器视觉系统中重要的组件之一，合适的光源是机器视觉系统正常运行的必备条件。因此，机器视觉光源的选择非常重要。使用光源的目的是区分目标物体与背景，获得高品质、高对比度的图像。LED光源是目前应用最多的机器视觉光源，具有效率高、寿命长、防潮防震、节能环保等特点，适用于焊接环境。由于本研究的目标工件具有明显的角度，所以在实验处理过程中选用双色LED光源以不同角度照射待焊接区域，获取明显的特征信息。

焊缝路径的获取是完成基于主动双色光源扫描信息的视觉标定方法研究的关键，其提取的精度直接影响视觉标定的准确性。本研究中CCD相机采集的焊接工件信息原始图是彩色图像，其信息量相对较大且存在大量的随机噪声，因此，优先对采集的彩色图像进行图像预处理，提取出焊接工件的特征轮廓信息，利用图像特点，采用分步算法获取焊缝路径。

2 标准化工件的视觉宏观定位

2.1 图像处理流程

原始图像采用双色单目视觉图像采集，通过固定相机与目标的距离，调节相机的焦距可以使图像达到最清晰的要求，双色光源可以适应不同的操作环境，减少环境对图像信息的影响。本研究以大型锅炉管道连接件的焊接为对象来验证视觉系统，CCD相机拍摄的原始图像如图2所示，该工件上下为管道，中间U型工件为连接件，U型工件的下边缘为焊缝，焊缝上已有一个点焊点，最终的焊缝应覆盖该点焊点。

图2 实验原始图像Fig.2 Experiment original drawing

具体图像处理流程主要步骤为：颜色模型转换→空间阈值分割→连通域求取→目标识别→焊缝路径获取。

2.2 颜色模型转换

对于图像信息而言，颜色差异和边界是工件与背景图像最直接的区别，因此通过颜色分量的提取可以简化目标物的识别以及从复杂场景中提取目标。将原始图像从RGB颜色空间转换到HSV颜色空间，使目标识别排除光照引起的噪声和干扰以达到最理想效果。

每一种颜色都是以色调（Hue，简H）、饱和度（Saturation，简 S）和明度（Value，简 V）来表示的。

颜色从RGB到HSV转换为非线性变换，其转换关系为[7]

对原彩色图像颜色模型转换后各分量结果如图3所示。

HSV颜色模型中，H分量工件轮廓与背景具有明显梯度，S分量工件左侧轮廓与背景几乎融为一体，V分量焊缝特征明显。综上分析，本研究选用H分量和V分量。

2.3 HSV空间阈值分割

图像阈值化分割是一种最常用、最简单的图像分割方法，其基本原理是：设定一个阈值，循环图像中的每一个像素点的值和阈值进行比较，当像素点灰度值或彩色值大于阈值时则置为1，小于阈值时则置于0。在实际应用中，图像分割后的效果取决于阈值的选择，有关阈值的设定与选取目前有固定阈值分割法、Otsu分割法、迭代阈值法、灰度直方图熵法。由于本研究采用双色光源获得原始图像，转换到HSV空间后颜色特征已知，所以采用固定阈值分割法。对转换到HSV空间图像的H分量和V分量进行空间阈值分割，分割后效果如图4所示。

由经过阈值分割后的图像可知，二值化后的图像已经明显得到目标区域（U形）且特征十分明显。但要准确识别出目标，还需去除杂点以及非目标区域。

2.4 连通区域及分析

图3 HSV颜色空间图像Fig.3 HSV color space image

图4 阈值分割结果Fig.4 Threshold segmentation results

连通区域（Connected Component）一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域（Region，Blob）。从视觉上看，彼此连通的点形成一个区域，而不连通的点形成不同的区域。这样一个所有的彼此连通的点构成的集合称为一个连通区域。连通区域分析（Connected Component-Analysis，Connected Component Labeling）是指找出并标记图像中的各个连通区域。由于需要将目标提取出来以便后续处理，所以要对阈值分割后的图像进行连通域求取。形态学处理可剔除图像中感兴趣区域外的冗余形态结构，从而达到简化图像数据、保持图像基本形态特征等优点，主要用于解决噪声滤除、边缘检测、特征提取、图像分割以及图像恢复与重建等图像处理问题。

防止因噪声影响导致不同连通域出现连接等问题，可以利用开运算对图像进行处理。连通域求取结果如图5所示。

图5 求取连通域Fig.5 Find the connected domain

由图5可知，标准化目标所在连通区域面积较大，通过标准计算，可获得目标连通区域的面积范围，通过所有连通区域与所求面积范围的对比，筛选出在此面积范围内的连通区域，筛选结果如图6所示，白色区域为连通区域。

图6 面积筛选后连通域Fig.6 Area after the filter to connect the domain

由图6可知，筛选结果较为理想，干扰连通区域形状不规则，而目标区域形状特征明显。

2.5 目标识别

基于标准化工件特点，利用形状特征作为目标识别的信息，击中击不中变换是形态学中用来检测形状的一个基本工具，本研究利用其内外匹配的思想，将所求连通域与自构二值化模板进行“与”操作，计算匹配程度。为防止干扰连通域面积较大，导致目标匹配错误，将连通域与模板进行取“反”操作，将背景作为匹配目标，计算匹配度，以此类推，记录所有连通区域的匹配结果，选择其中“与”操作和取“反”操作后，找出匹配度最大的连通区域并标记，则此连通区域为目标工件，识别结果如图7所示。

由图7可知，目标定位准确，符合识别要求。因此，在目标位置确定后，可进一步进行焊缝路径识别与定位。

图7 目标识别Fig.7 Target Recognition

3 焊缝的精确定位

在工件识别且定位的基础上去识别焊缝的路径与起始点可降低工作量，提高速度。将工件左、下边界线的交点作为焊缝起始点，右、下边界线的交点作为结束点，在起始点、结束点求取前必须拟合出工件的边界线。由于工件为标准工件，则过起始点与结束点的直线路径为焊缝路径。边界线的拟合要求准确提取出工件的边缘。利用Canny算子检测工件边缘，Hough变换将边缘拟合成边界线。

3.1 Canny算子检测边缘

（1）Canny边缘检测基本原理。

图像边缘检测必须满足两个条件：一是能有效地抑制噪声；二是必须尽量精确确定边缘位置。根据对信噪比与定位乘积进行测度，得到最优化逼近算子，即Canny边缘检测算子。

（2）Canny边缘检测算法。

首先用高斯滤波器平滑图像；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；最后用双阈值算法检测和连接边缘。

对H分量使用Canny算子后效果如图8所示，检测到边界特征点。

图8 Canny算子检测边缘Fig.8 Canny operator detects edges

3.2 分区Hough变换检测直线

通过Canny算子检测边缘，为减小误差，选择数量最多的边界特征像素拟合成的直线作为工件的边界。

Hough变换是图像处理中的一种特征提取技术，经典Hough变换用来检测直线。其原理是运用两个坐标空间之间的变换在一个空间中具有相同形状的直线映射到另一个坐标空间的一个点上形成峰值，从而将检测直线转化为统计峰值问题。

在图像xy坐标空间中，经过点（xi，yi）的直线表示为

式中a为斜率；b为截距。通过点（xi，yi）的直线有无数条，且对应不同的斜率和截距。如果将xi和yi视为常数，而将原本的参数看作变量，则式（1）可表示为

这样就变换到了参数平面a-b，该变换就是直角坐标系中对于点（xi，yi）的Hough变换。该直线是图像坐标空间中的点（xi，yi）在参数空间的唯一方程。考虑到图像坐标空间中的直线如果接近竖直方向，则会因a值接近无穷大而增大计算量，因此使用直线的极坐标方程来表示直线，其方程为

反之，在参数空间相交于同一点的所有直线，在图像坐标空间都有共线的点与之对应。根据此特性，基于焊接工件宏观定位的基础上，对边缘检测后的图像进行分区Hough变换，具体方法为：在目标识别（见图7）标记的左下角范围内对边缘检测后的图像进行Hough直线拟合；同理，在右下角进行同样拟合；在标记的下边界范围内进行Hough变换直线拟合，进而确定焊缝路径的精确位置。

为便于观察，将焊缝路径经Hough变换后边界拟合用加粗线表示在HSV颜色空间的H分量图像上，效果如图9所示。

图9 Hough变换效果Fig.9 Hough transform renderings

图9中粗线部分为找到的边界线，左侧两相交直线的方程联立可求得交点的坐标作为焊接路径的起点，同理可获得右侧交点位置作为焊接路径的结束位置。

本研究未对焊缝的深度方向位置进行定位，可借助于图像的放缩比例得到，更精确的深度方向位置定位可以采用激光结构光视觉的方法获得，该方法不在此论述。

4 结论

针对焊接工件与背景特征不明显，基于机器视觉获取原始图像，并对其进行图像处理算法研究。

（1）为增加焊接工件在复杂背景信息中的边界特征信息，设计采用双色主动光源，提高了目标工件和背景以及焊缝的识别度。

（2）针对双色光源工件图像，将图像转换至HSV空间，在色调域和明度域进行进行阈值分割，提高阈值分割的可靠性。

（3）针对标准化焊接工件的特征，参考击中击不中运算的算法思想，设计基于二值化图像的目标匹配算法，通过目标与背景的双重形状匹配，可以准确地提取出工件对象。

（4）通过Canny边缘检测算子，可以准确地提取出工件的边缘，采用分区Hough变换准确地找到了焊缝的位置，同时找到了工件的左右边界，然后通过求边界交点的方法，准确找到了焊缝的起始位置和终止位置。采用工件宏观识别，然后在局部分区进行Hough变换的方法减少了对直线识别的步骤，提高了算法的可靠性。

[1]柳倩，桂建军，杨小薇，等.工业机器人传感控制技术研究现状及发展态势——基于专利文献计量分析视角[J].机器人，2016，38（5）：612-620.

[2]陈善本，林涛.智能化焊接机器人技术[M].北京：机械工业出版社，2006.

[3]董晓雨.机器人焊接工装的即插即用控制技术的研究[D].上海：上海交通大学，2008：6.

[4]Qian B F，Ma X P.Automatic control of the electric cross sliding welding based on VC++[J].Applied Mechanics&Materials，2014（666）：179-183.

[5]Ambroza P，Bockus S，Kavaliauskiene L.Formation of build-up layers microstructure by arc automatic overlay welding using secondary raw material powders[J].Archives of Metallurgy and Materials，2013，58（2）：549-553.

[6]阳军军.基于激光视觉的焊缝定位系统开发[D].深圳：深圳大学，2016：22-34.

[7]吴佳艺.基于机器视觉的农林环境导航路径生成算法研究[D].杭州：浙江工业大学，2009.