基于激光视觉传感器的波纹薄板焊缝识别方法*

韩晴清，蒋 毅，杨书娟，张秋菊

（江南大学机械工程学院江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122）

0 引 言

薄膜型液货舱主屏壁层由厚1.2 mm的304L不锈钢板波纹板焊接而成，对焊接质量要求十分严格，出现裂纹、气孔和烧穿等缺陷需整板报废返工，因此对手工焊技术要求很高。此外，由于焊缝长度大且形状复杂，熟练的焊工一天只能焊接80 m焊缝，效率较低，因此对薄膜舱波纹薄板自动化焊接的研究具有重要意义与应用价值。

目前，学者们在基于视觉的机器人自动焊接领域展开了较多的研究，如上海交通大学的倪伟峰提出了一种用于机器人初始焊位导引的视觉标定方法，实现了±2.5 mm的定位精度［1］；华南理工大学的李学瑞利用双目视觉算法实现了波纹板焊缝1 mm 精度的三维重构［2］；哈尔滨工业大学的王世伟使用霍夫直线检测法实现激光条纹小于1 mm的识别精度［3］，但算法较为复杂；国外学者Banafian N等人基于三维结构光技术开发了一种复杂焊缝机器人轨迹的综合提取方法［4］；东南大学的许海涛针对平面复杂曲线进行了焊缝识别算法的研发［5］。目前大多数焊缝识别算法是对平面的V型、拼接焊缝进行识别，焊缝识别精度相对较低，对于精度要求不高的场合完全可行，但无法满足波纹薄板的精度和搭接焊的工艺要求。本文根据波纹薄板焊缝图像激光条纹的特点，对图像进行滤波和阈值分割得到二值化图像；针对此焊缝开发了单骨架的中心线提取方法，并基于最小二乘拟合对焊缝进行建模和特征点提取，准确获得焊缝的像素坐标；根据相机的小孔成像原理和空间坐标变换理论对特征点进行三维重构，获取焊点在机器人基坐标空间中的坐标信息，算法简便、效率高，识别精度满足波纹薄板焊接的工艺要求。

1 焊缝识别与检测系统及其原理

1.1 系统组成

如图1 所示，系统由线激光传感器、电荷耦合器件（charge coupled device，CCD）图像传感器和窄带滤光片构成，采用基于线激光的主动光源式传感方案，根据对线激光发射线宽和强度的要求，选用输出波长为650 nm的坤扬KYL650N150-26110型一字激光传感器，并选择与其波段匹配的滤光片，只允许该波段的光进入图像传感器成像；通过预估工作距离选用大恒图像的MER-500-7UC型CCD图像传感器，其分辨率为2 592（H）×1 944（V），有效像素达到500万；根据高斯成像公式选用KOWA 焦距为12 mm 的镜头，确保获得合适的焊缝图像；搭建硬件时使线激光平面和图像传感器呈15°～20°的夹角，确保图像中激光条纹尽量在视野中央。

图1 焊缝识别与检测系统构成

1.2 焊缝识别与检测原理

如图2所示，系统工作时，CCD 图像传感器采集包含线激光条纹的焊缝图像并通过Socket通信传递给计算机，利用图像传感器的内参矩阵［6］和图像处理算法求得焊缝特征点在图像坐标系中的二维像素坐标；再利用线激光传感器的平面方程［7］求得特征点在图像传感器中的三维空间坐标；通过手眼标定［8］的结果和图像采集时机械臂的位姿求得特征点在机器人基坐标系下的三维坐标［9］，从而实现焊缝的三维重构；最后，将求出的一系列点通过Socket通信传递给机器人实现波纹薄板的自动焊接。

图2 焊缝识别传感器工作原理流程

2 图像处理与三维重构

如图3（a）所示，待测焊缝由2 块波纹薄板搭接而成，线激光投射到工件表面后，激光条纹因2 个工件高度不同而产生错位，形成具有特定形状的焊缝图像，如图3（b）所示。为减少其他光线的干扰，在图像传感器的镜头前端加装窄带滤光片，并将镜头的光圈调至足够小，增强激光条纹与环境光的对比度。

图3 焊缝识别传感器工作原理流程

针对此类型焊缝开发的图像识别算法主要包括图像矫正、图像滤波、阈值分割感兴趣区域（region of interest，ROI）提取、激光条纹中心线提取、曲线拟合和焊缝特征点提取，以下算法针对图3（b）进行研究。

2.1 焊缝图像预处理

2.1.1 图像畸变校正

由于成像系统不能使图像与实际景物在全视场范围内严格满足针孔成像模型，因此中心投影射线会发生弯曲产生图像畸变［10］，如图4所示，其中，dr为径向畸变，dt为切向畸变，由相机标定可以得到相机的径向畸变系数k1，k2，k3和切向畸变系数p1，p2。

图4 图像几何畸变示意

径向畸变数学模型为

切向畸变数学模型为

根据相机标定得到的内参矩阵和畸变系数，利用OpenCV视觉开源库中的undistort 函数对采集的焊缝图像进行畸变校正。

2.1.2 图像滤波

由于波纹薄板表面经过抛光处理，激光投射在工件表面会产生反光，而工件上的划痕也会产生激光亮斑，本文采用中值滤波算法消除这些干扰。中值滤波能够抑制噪声、消除孤点并且能够很好的保护激光条纹的边缘，在滤波时像素点灰度值由该像素点邻域灰度值的中值所确定，不同模板的中值滤波效果如图5 所示。可以看出，随着中值滤波窗口的增大，激光条纹逐渐变得平滑，四周的孤立噪点也被滤除，并且图像的对比度增加，使激光条纹提取的鲁棒性提高；但随着模板的增大，边界会变得模糊并导致图像处理速度变低，影响整个系统的效率。综合考虑，选用9 ×9 的模板进行中值滤波。

图5 不同模板图像滤波结果

2.1.3 图像阈值分割

阈值分割是将焊缝照片中的激光条纹和背景环境分离开。f（u，v）为原始图像的灰度值，通过将像素点的灰度值与给定的阈值Td进行比较，如果大于该值则将该点的灰度值G（u，v）修改为255（白色），反之则修改为0（黑色）。遍历图像的所有像素点之后，图像即被处理成只有黑色和白色的二值化图像。

由图6（a）可以看出，焊缝图像的灰度直方图没有明显的双峰，故选用最大类间方差法（OTSU）算法［11］对焊缝图像进行阈值分割，阈值分割的结果如图6（b）所示，可以看出从背景中提取的激光条纹较清晰和完整，能够用来提取焊缝的特征点。

图6 焊缝图像直方图及二值化结果

2.2 焊缝特征点识别

2.2.1 激光条纹中心线提取

采用改进的几何中心法，算法的执行步骤如下：

1）提取ROI：激光条纹在图像中宽度约为50 个像素，查找首次出现灰度值为255的行数Ru作为ROI的上边界，该行数加上50后的行数Rd作为ROI的下边界。

2）提取激光条纹的上、下边界：依次遍历焊缝图像的所有列，记下该列第一次和最后一次出现灰度值为255 的行数记为R1和R2，将每列提取的上下边界值保存在数组中。

3）计算条纹中心线：根据几何中心法求取上、下边界的算数平均值RM，作为条纹中心线的行数。

图7 焊缝图像中心线提取结果

2.2.2 焊缝图像特征点计算

焊缝特征点的识别计算即根据波纹板激光条纹的特点选择适当的像素点作为焊接的焊点。投射到待焊工件表面的激光条纹会因为工件的搭接而产生错位，在焊缝两侧分别形成2条激光条纹，并在焊缝处产生连接这2 条激光条纹的过渡条纹，根据该特点进行模型简化，建立焊缝特征点的求解模型如图8所示。

图8 焊缝特征点求解模型

将上、下2条激光条纹简化为直线l1和l2，过渡激光条纹简化为直线l3。对于图7 的激光条纹中心线提取结果，使用最小二乘法［12］分别拟合求解3 条直线的方程，结果如下

式中u为特征点所在像素列数，v为特征点所在像素行数。

分别联立l1，l3和l2，l3的方程求解点A和B的坐标为A（（b3-b2）／（a2-a3），（a2b3-b2a3）／（a2-a3）），B（（b3-b1）／（a1-a3），（a1b3-b1a3）／（a1-a3）），将线段AB的中点C作为焊缝的特征点，求出C在图像坐标系中的坐标为C（（b3-b1）／2（a1-a3）＋（b3-b2）／2（a2-a3），（a2b3-b2a3）／2（a2-a3）＋（a1b3-b1a3）／2（a1-a3））。

2.3 焊缝特征点的三维重构

三维重构的计算过程如图9所示。

图9 三维重构计算流程

三维重构时，根据图像传感器的成像原理［13］，利用焊缝特征点既处于焊缝上，同时又处在线激光传感器投射的激光平面上的特性建立求解坐标系：以图像的左上角为原点建立图像素坐标系，以图像的中心为原点建立图像坐标系，在图像传感器镜头的光心建立相机坐标系，在焊枪末端建立工具坐标系，机器人基坐标系由机器人系统确定。建立焊缝识别系统坐标系如图10 所示，其中，u-o-v为像素坐标系，x-O-y为图像坐标系，OC-XCYCZC为相机坐标系，OBXBYBZB为机器人基坐标系，焊缝特征点P为线激光平面和焊缝交点，经过图像传感器成像为点p（u，v），在图像坐标系坐标为（x，y），在相机坐标系坐标为（XC，YC，ZC），在机器人基坐标系坐标为（XB，YB，ZB）。

3.原分类所得税制下，对劳务报酬所得等按次计征的所得项目，由于增加计税次数会带来费用扣除的多次享受，故纳税人常采用收入分拆、多次计税的方式以减轻税负。在综合所得合并征税的制度下，对纳税人取得的收入按纳税年度合并计算个人所得税。综合所得按年计征，使得纳税人分拆收入以降低税负的行为成为“无用功”，纳税人的税负不再因计税次数的不同而产生差异。

图10 焊缝识别系统坐标系建立

u0和v0可从相机标定所得的内参矩阵获取，f为图像传感器镜头的焦距，激光平面在相机坐标系中的方程由系统标定所得，如式（4）所示。根据坐标系建立规则，p在像素坐标系中的坐标（u，v）与在图像坐标系中的坐标（x，y）的映射关系如下

利用空间三角形相似原理和式（4）激光平面的方程，求得焊缝特征点在相机坐标系中的坐标P（XC，YC，ZC）如下

根据空间坐标变换原理，将相机坐标系中的焊点P（XC，YC，ZC）变换到机器人坐标系中，求出焊缝特征点在机器人基坐标系下的坐标（XB，YB，ZB），用于引导机器人焊接，如下

3 实验结果与分析

搭建了焊缝识别与检测系统。如图11所示，线激光传感器和图像传感器以固定的角度安装在传感器的外壳中，整体通过夹具安装在焊枪的前端。

图11 波纹薄板焊缝识别系统实物

在图像采集过程中保持图像传感器距离工件150 mm，移动机械臂对波纹板焊缝进行图像采集，运动至波纹位置时根据波纹面形状调整机械臂位姿，使图像传感器与工件待焊面保持垂直。实验中随机采集了32幅焊缝图像，利用上述算法求解焊点在机器人基坐标系中的三维坐标，单次计算平均耗时40 ms，实时性较高，计算值与焊点实际坐标值的对比结果如图12所示。由图可知，算法计算出的焊缝特征点的X，Y，Z三个方向的误差均在0.5 mm之内。

图12 波纹薄板焊缝识别实验结果分析

4 结 论

本文根据液化天然气船用薄膜舱波纹板焊接的自动化要求，使用由CCD图像传感器和线激光构成的激光视觉传感器对焊缝图像进行采集，基于OpenCV 视觉开源库进行算法开发，建立焊缝特征点的三维求解模型，能够快速求解出焊缝特征点在机器人基坐标系中的坐标，且识别误差控制在0.5 mm之内，满足波纹薄板自动化焊接的要求。该方法能够有效提高薄膜舱波纹板焊接质量和效率。