基于双目视觉的焊缝跟踪系统研究

冯进良，曹晨鸣，孙铭，王浩浩，李世涛

（1.长春理工大学 光电工程学院，长春 130022；2.吉林省高速公路管理局梅河管理分局，梅河口 135000）

高效、智能、高可靠性是工业机器人迅速发展的三个重要方向，而机器视觉技术的应用提高了机器人对周围环境的感知能力及智能化程度。经过数十年的发展，机器视觉引导和定位技术已经成为工业机器人获得环境信息的主要手段，有效增加了工业机器人在焊接中的灵活性。工业焊接的自动化水平在不断提高，焊接自动化、机器人化、柔性化、智能化的发展已经成为必然趋势[1]。本文在一套自动焊接系统上加装双目视觉系统，通过图像处理以及STM32单片机系统实现闭环控制，实时对焊缝跟踪并最终实现检测和调整焊缝焊点位置。

1 焊缝跟踪系统

图1为发酵罐生产中对罐体规定部位进行自动焊接，以提高焊接表面质量和罐体耐压能力。加装了双目视觉系统后，能够实现焊接自动化。整套系统包括焊枪运动机械手、双目摄像头、滤光片、角度传感器、控制系统、图像采集及处理系统等。双目摄像机与焊件固定设备距离可调，方便调整到最佳距离。考虑到焊接的光谱范围，滤光片选取一个允许通过650nm附近波长光线的窄带滤光片[2]。在已知双目传感系统标定参数的条件下，可以通过实时实验数据采集，修正焊枪坐标参数，减小无视觉传感自动焊接系统的焊接误差，用于进行焊缝跟踪。

图1 双目视觉焊缝跟踪伺服控制系统

2 双目视觉相机标定

摄像机每幅数字图像在计算机或软件内为M×N数组，M行N列的图像像素是图像点的灰度。其中，表示以像素为单位的图像坐标系的坐标，（X，Y）表示以mm为单位的图像坐标系坐标。定义原点O1为摄像机光轴与成像平面交点，该点理论上位于成像平面中心处，实际会有些偏离，O1在（u，v）坐标系中坐标为（u0，v0），像素在X轴与Y轴方向物理尺寸为dX，dY，该图像（X，Y）坐标系与（u，v）坐标系之间转换关系如式（1）：

摄像机成像几何关系如图2所示。其中O点称为摄像机光学中心，x轴和y轴与图像X轴与Y轴平行，z轴为摄像机光轴，z轴与图像平面交点是图像坐标系的原点，摄像机坐标系是由点O与x，y，z轴组成的笛卡尔坐标系。OO1为摄像机焦距。

图2 摄像机坐标系与世界坐标系

该摄像机基准坐标系是由XwYwZw轴组成世界坐标系。空间点P在世界坐标系与摄像机坐标系下的齐次坐标分别是Pw=(Xw,Yw,Zw,1)T与Px=（x，y，z，1）T，于是存在如下关系：

旋转矩阵R为3×3正交单位矩阵；平移向量T=(tx,ty,tz)T为三维平移向量；0=（0，0，0）T；M1为4×4矩阵。空间任意一点P在图像中的投影p，是OP与图像平面交点，P与p成像关系满足针孔模型，有如下关系式：

（X，Y）为p点图像坐标；（x，y，z）为点P在摄像机坐标系下的坐标。用齐次坐标和矩阵表示上述关系为：

在公式（4）中，s是比例因子，P是透视投影矩阵。将式（1）和（4）代入式（2），得到P坐标与其投影坐标p的坐标（u，v）的关系：

世界坐标系下空间任意点P的坐标是（Xw，Yw，Zw），经过式（2）计算得到点P在摄像机坐标系下的坐标是（xc，yc，zc）。点P在图像上实际投影位置Pd(xd,yd)，它在图像坐标系下的坐标是（u，v），考虑到针孔模型的一阶径向畸变，另设点P在图像上理想投影位置Pu(xu,yu)，并在计算过程中修更正点P的投影位置。世界坐标系到计算机图像坐标系的变换首先要标定出主点坐标以及水平方向、垂直方向像素直径；然后利用Tsai的两步法分别求出双目摄像机的11个内外参数[3]。具体标定步骤如下：

（1）采用文献[4]中提出的主点（光轴与图像平面的交点）标定方法，即标定板在沿光轴方向的导轨移动，视场有比例的扩缩变换，但图像主点坐标不发生变化。选用标定板上特征点q，沿导轨同一方向平移两次相同距离，得到特征点q在3幅图像上不同投影的像，如图3中框内点所示。点q为标板上所选特征点；把标定板沿光轴同一方向移动两次△z的距离，点q投影点的计算机图像坐标如图4所示分别为（u2，v2）、（u1，v1）、（u3，v3）。

图3 特征点p经平移后的成像位置

图像主点坐标（u0，v0）由径向平行约束关系可得：

图4 主点标定投影模型

（2）求解旋转矩阵R和平移分量tx、ty，并使用HALCON标准标定模板，校准板上圆点特征点中心的世界坐标。特征圆点中心点的亚像素坐标通过标定板设计尺寸以及SURF算法求解[5]。根据式（6）求出图像主点坐标，以及水平方向、垂直方向像素直径和特征点的像素坐标，求解图像实际坐标：

根据张氏标定法定义标定板上全部特征点Zw=0[6]。根据图4所示径向平行约束[7]：

整理得到如下矩阵形式的线性方程：

式（9）是超定方程，运用最小二乘法求解，并根据R的单位正交性求解R、tx和ty。

（3）焦距f、平移分量tz和一阶径向畸变系数k1关系如式（10）所示，同样可利用最小二乘法求解。

3 图像处理

红色和紫红色复合滤光系统用于滤除部分电弧光，减小焊接时强烈的弧光对焊缝图像的清晰度的影响。因为滤光片中，大红色滤光片波段允许值大于610nm，紫红色滤光片波段允许值在630～750nm之间（波段380～430nm不考虑）。该复合滤光系统获得的焊缝图像比较清晰，如图5所示。

图5 加滤光措施后拍摄图

图5中（a）、（b）这两幅图是焊丝焊接时实时拍摄的图像，图中白色区是焊接电弧，中间直线部分是待焊焊缝。该图像中存在噪声需要对（a）、（b）图像进行滤波去除噪声。该焊接焊缝图像噪声为椒盐噪声，故采用Matlab中9×9方形窗口的中值滤波，对滤光后的两图像进行滤波处理。滤波结果如图6所示，图像中椒盐噪声基本被去除，焊缝边缘基本未受到去噪影响。采用文献[8]中改进的模糊增强及边缘检测算法，对焊缝图像特点进行模糊增强，以提高图像的对比度然后对图像进行边缘检测处理，利用OTSU法来确定阈值参数，定义新的隶属函数，加快边缘检测，获得更好的图像效果。

图6 焊点边缘提取图

一般的，焊点在拍摄图像上能量强度是服从正态分布的。可以利用灰度重心法提取焊点初始中心，右目图像焊点中心计算方法如下[9]：

式中，Sright为图6（d）右目图像分割后的目标区域（图中白色部分），xpi和ypi分别为pi对应像素点的x和y坐标f(pi)为图5（b）中像素点pi所对应的灰度值。左目图像焊点中心(uleft,vleft)计算方法同上。

4 焊缝三维空间信息计算

三维重建方法一般需要提取双目图像的特征点和匹配，这项工作是非常耗时的，难以满足自动焊接机器人对实时性的需求。所以在完成左右目图像焊点中心的计算后，以焊点中心快速完成左右摄像机图像匹配，并根据左右摄像机的标定矩阵计算出匹配点的三维空间信息。设左右摄像头焊缝匹配点的图像坐标分别为p(uleft,vleft)和p'(uright,vright)其焊缝匹配点的世界坐标为Pw=(Xw,Yw,Zw)，经标定所得左右两个摄像机的投影矩阵分别为M和M′，M和M′为3×4的矩阵，其元素矩阵定义为：

并且由式（5）可得：

进一步推导可得：

利用最小二乘法求解（14）中方程组可得：

式中A和b分别为：

5 实验验证

搭建一套自动焊接系统及摄像机实验平台，验证在自动焊接系统上加装双目视觉传感的可靠性。该实验平台中摄像机使用2560×720像素、型号为HNY-CV-001的莱娜机器视觉科技有限公司的相机。在该实验中，使用了Matlab作为图像处理的主要工具以及STM32单片机作为自动焊接系统的控制器。首先完成摄像机内部标定，使用角点间距为4mm，角点数为9×11的棋盘格标定板，摄像机与标定板距离300mm。此位置可以拍得标定板的清晰图像，摄像机的视场范围约100mm×60mm。拍摄5组图片，每组3张，得到相机内部参数u0，v0，f/dx，f/dy。在相机和自动焊接系统机构固定相对位置后，拍摄多幅双目图像，计算相机外参。分别测量双目视觉反馈系统加装前后焊缝的直线误差，6组实验数据如图7所示，加装双目视觉反馈系统后焊缝的直线误差为0.68mm，满足焊缝跟踪要求。

图7 焊点坐标直线误差

6 结论

本文实现了在自动焊接系统机构基础上，经过加装双目视觉反馈系统，以及实验对加装双目视觉反馈系统前后的焊接焊缝精度测量。该焊缝精度测量实验结果表明，加装双目视觉反馈之后的自动焊接系统明显减少焊接失误并且提高焊缝精度。今后将进一步优化该双目反馈系统，更加迅速地实现焊缝实时跟踪。