基于视觉的焊枪空间位姿实时检测技术

郭吉昌，朱志明，孙博文

（清华大学机械工程系先进成形制造教育部重点实验室，北京100084）

0 前言

对于空间位置的金属结构件焊接，除了由焊接电流和电弧电压决定的线能量外，焊枪相对于待焊点的空间位置和姿态（简称位姿）对焊缝成形质量具有重要影响。前者决定了被焊母材的熔化量和焊丝的熔敷量，后者决定了电弧力对熔池液态金属的作用方向，与重力共同决定了熔池液态金属的流动行为，进而影响焊缝成形。因此，根据焊接坡口（焊缝）的空间位置和走向，合理设置和控制焊枪相对于待焊点的空间位姿，对保证焊缝成形质量至关重要。对于复杂多变的空间轨迹焊接，或者被焊母材焊接坡口存在加工和安装误差以及在焊接过程中因焊接热输入而产生局部变形时，需要实时检测和识别焊枪的空间位姿，进而实现在线调整和控制的研究十分必要，具有重要的工业应用价值。如何实现焊接过程的焊枪空间位姿实时检测和识别，并实现基于检测数据和识别结果的焊枪空间位姿闭环控制，是焊接从业者一直以来的努力方向。

视觉传感是焊接领域检测和传感技术的研究前沿以及未来的发展方向。其中，基于激光的扫描式和结构光式视觉传感器因具有良好的精度和抗干扰能力而得到广泛应用。扫描式激光视觉传感器视场深度大，但检测精度较低；受扫描速度影响，实时性也相对较差；在高精度控制或需要高频调整的高速跟踪场合以激光结构光式视觉传感器的应用为主。根据视觉单元数量的不同，视觉传感器可分为单目、双目和多目视觉。根据传感器光路结构的不同，又可以分为直射-斜接收、斜射-直接收、斜射-斜接收3种结构类型[1]。不同视觉单元数量和光路结构的视觉传感器各有优缺点，应根据具体应用场合综合考虑和选择。

本文简要介绍了视觉传感在焊接领域的典型研究和应用，对目前焊枪空间位姿的检测和控制方法进行了归纳和深入分析，并介绍了提出的基于激光结构光视觉传感的焊枪空间位姿检测的最新研究成果和进展，展望了可能应用于焊接领域的视觉传感器的潜在发展方向。梳理相关技术，以期为焊接过程的焊枪位姿实时检测和识别研究提供参考和借鉴，为焊缝成形质量控制提供有效方法和依据。

1 视觉传感在焊接领域的应用

根据是否人为施加主动光源，视觉传感技术可分为主动视觉和被动视觉两类。主动视觉因所施加光源具有可控性，在图像处理上相对更加简单和便捷，成为视觉传感器研究和发展的主流。根据使用工况和检测目标的不同，主动视觉所使用的激光结构光有多种类型，如点阵、双线、多线、圆形、网格和编码结构光等。视觉传感器在焊接领域的研究和应用主要集中在3个方面：焊接坡口检测与焊缝跟踪、熔池形貌检测与焊缝熔透控制、在多层多道焊中用于辅助焊接轨迹规划。

以视觉传感器为基础实现焊接坡口检测和焊缝跟踪在焊接领域的研究和应用最多，其技术关键在于快速稳定的图像处理算法和高精度、智能化的控制方法。刘习文[2]将VC++与MATLAB相结合，给出了一种高精度且抗干扰性较强的用于焊接坡口识别的图像处理算法，整个过程耗时约0.23 s。MDinham等[3]采用基于eye-in-hand的双目立体被动视觉，实现了窄间隙电弧焊中曲线焊缝的自动识别与定位，并给出了基于霍夫变换的图像处理算法，其定位精度小于±1 mm。W Shao等[4]使用3个一字线激光器组合而成的平行结构光方案（由2个红光和1个绿光组成，绿光用于定位，红光用于检测和跟踪），实现了空间曲面窄间隙激光焊接中的接头检测和焊缝跟踪，接头宽度的检测误差不大于0.1mm，焊接工件法线方向的角度误差小于3°。Y Xu等[5-6]设计了一种新型的基于单目视觉的被动视觉传感器，通过对检测图像进行分区域处理，可稳定且高速地分别获得焊丝位置、熔池中心、焊缝中心线等参数，其在GTAW和GMAW中的焊缝跟踪精度分别达到±0.17 mm和±0.3 mm。

基于视觉的熔池表面三维形貌检测技术主要有结构光三维视觉法、阴影恢复形状法以及双目立体视觉法等[7]。Z Wang等[8]以GTAW为研究对象，将激光结构光点阵投射到熔池表面，拍摄获得熔池表面反射的结构光形成的图像，通过分析图像变化，实现熔池表面三维形貌的重塑。该方法的图像处理较复杂，目前处于研究阶段。MLuo等[9]提出了一种基于灰度局部最大梯度的边界检测算法，实现了基于绿色激光束视觉传感的熔池边界提取和宽度测量。

厚板多层多道焊的焊接轨迹规划是自动化焊接的关键技术之一。利用视觉传感器辅助进行多层多道焊的焊接轨迹规划，进而实现伺服控制，是焊接领域研究的前沿与热点。目前，计算机视觉应用于多层多道焊的研究主要侧重于图像处理，特别是针对多层多道焊图像的特征点识别及设计快速、有效的图像处理算法。黎咸西[10]在基于激光结构光视觉传感的基础上，设计了比例控制和模糊控制相结合的Fuzzy-P控制器，并进行了针对V型坡口的多层多道焊试验，跟踪精度达±0.3 mm。He Y等[11]基于单线结构光的单目视觉传感器，提出了一种微分多项式拟合的焊缝轮廓特征点提取方法，并给出了基于显著性的视觉关注模型，能够检测出多层多道焊的关键位置信息，从而辅助焊枪定位。

2 焊枪空间位姿检测和控制方法

如前文所述，焊接坡口或焊缝为空间位置时，为了保证焊缝成形质量，焊枪相对于工件待焊点的空间位置和姿态需要进行设置和控制，传统方法多是在进行焊接轨迹规划的同时实现焊枪的空间位姿设置和控制。如文献[12-13]分别提出了适用于现场焊接机器人的综合轨迹规划法和基于递推算法的轨迹规划方法，解决了箱型钢结构环缝焊接时存在直角转角和关节耦合的焊枪姿态调整难题。翟敬梅[14]基于弗莱纳－雪列矢量理论，提出了一种双机器人协同焊接的轨迹优化方法，得到了最优初始焊接点和对应的最优焊接轨迹。然而，在实际焊接过程中，由于存在工件（包括焊接坡口）加工和装卡误差、焊接过程的热变形等导致的焊接坡口或焊缝尺寸变化，使得预设的焊枪空间位姿在很多情况下并不能完全适应实际焊接工况，从而造成生产效率降低、焊缝成形和焊接接头质量无法全面保证等问题。因此，在焊接生产中，实现焊枪空间位姿的实时检测和识别，并据此形成闭环控制十分重要。

目前，针对焊接过程中焊枪的空间位姿实时检测技术研究和应用相对较少，主要集中在3个方向，分别是基于角度传感器、基于旋转电弧传感器和基于多传感器信息融合。

2.1 角度传感器

在焊枪上固定或内置角度传感器（三轴陀螺仪），根据传感器和焊枪之间固定的相对位置关系，可以获得焊枪的空间姿态，然后通过空间位姿矩阵变换获取焊枪相对于熔池的相对位姿。张刚等[15]设计构建了基于MPU6050三轴陀螺仪的焊枪实时姿态传感系统，建立了惯性测量单元－万向节－熔池三者间的坐标转换数学模型，并针对GTAW焊的钨极空间位置和姿态进行测试。试验结果显示，其相对于焊枪自身x、y坐标轴的夹角α和β的测量误差小于1.2°，与z轴的夹角γ的最大测量误差为1.05°。W.J.Zhang等[16]通过在焊枪上固定安装WIMU（无线惯性测量模块，包含三轴加速度计和三轴陀螺仪）来获得GTAW焊的焊枪空间姿态，由于其姿态的空间角度通过对陀螺仪角加速度的积分获得，因此，其零漂移误差相对较大。

2.2 旋转电弧传感器

基于旋转电弧传感器的焊枪空间位姿检测研究和应用相对较多。文献[17-18]使用旋转电弧传感器，在分析传感器信号与焊枪姿态和弧长之间关系的基础上，总结出相应的数学模型。Jian Le等[19]将旋转电弧传感器应用于船厂矩形角接焊缝的现场机器人焊接，建立了旋转电弧传感器和焊枪空间姿态之间的数学关系模型，能够较好地实现焊缝跟踪和单一方向的焊枪角度控制。王涛[20]通过优化旋转电弧的线性周期扫描路径和原始特征信号的提取区域，提出了一种基于限幅、多周期均值及动态贝叶斯变换和IVT（增量主成分算法）组合的数据降维滤波处理方法，提高了焊枪空间姿态的识别效率和精度。

旋转电弧传感器需要对焊枪进行改造，在有限的空间内集成电机、轴承、齿轮等，机械结构复杂，加工和应用成本较高。使用中，需要通过大量试验建立传感信号与焊枪姿态的对应关系，因此，精确的数学模型较难建立。在焊缝跟踪及焊枪高度检测中，旋转电弧传感器的应用较为成熟，精确度较高；针对焊枪空间位姿检测，目前仅能实现焊枪单向前后摆动的角度检测，当焊枪存在空间任意姿态摆动时，仅能实现焊枪姿态的识别而不能具体检测出各方向的摆角。

2.3 多传感器信息融合

多传感器信息融合技术主要是在角度传感器的基础上融合其他传感技术，相对于旋转电弧传感器复杂的机械结构，该方法仅需对焊枪进行简单改造。陈仲盛等[21]同时应用三轴陀螺仪、三轴加速度传感器、光纤传感器和感应线圈等4种传感器来获取焊枪相对于工件的空间姿态（见图1），其中，感应线圈用于获取焊丝和工件的交点，即待焊点坐标；光纤传感器用于检测焊枪和工件间的距离；焊枪内嵌的三轴陀螺仪和加速度传感器用于检测焊枪空间位姿。该方法目前已应用在焊接模拟训练的焊枪空间姿态检测中。

张刚等[22-23]综合使用5线激光结构光和无线姿态传感器来检测熔池流态变化特征和焊枪空间姿态的关系（见图2），以衡量焊工的焊接经验和水平。结果表明，依据焊枪姿态数据结合熔池流态来衡量或推测焊工技能和经验是可行的。

图1 基于多传感器信息融合的焊枪定位系统

图2 基于激光结构光视觉和角度传感器融合的检测系统

3 基于视觉传感的焊枪位姿检测

采用多传感器信息融合技术获取焊枪相对于待焊点的空间位姿不仅系统复杂，而且要对焊枪进行改造。对旋转电弧传感器的检测信号进行规律分析进而建立其与焊枪空间姿态之间的数学模型，本质上是一种基于大量试验的规律总结，其无限逼近的原理决定了无法获得绝对准确的数学模型。与上述各种焊枪空间姿态检测方法相比，基于视觉的焊枪空间姿态检测和识别技术具有更多优势，如不需要破坏焊枪本体结构，易于实现焊接坡口尺寸检测、焊缝跟踪、焊枪空间位姿检测等多种功能的集成。

3.1 基于视觉的姿态检测和识别

与二维平面中的目标位置和形状识别相比，目标的空间姿态识别更加困难。双目视觉和多目视觉在空间深度信息上的识别优势也较多地应用于空间目标的姿态检测。目前，基于视觉的空间姿态识别多集中于图像处理过程的目标特征提取方法和立体视觉的匹配问题研究。Gao M等[24]将圆弧插补法用于提取单目视觉的目标特征，解决了6自由度机械手的空间定位问题。高春甫等[25]提出了一种区域边缘线段立体匹配算法并应用于双目立体视觉，实现了在复杂背景下机械手姿态的识别，识别精度高，相对误差达到1.7%。

相对于主动视觉法，采用被动视觉进行基于单目视觉的目标特征提取或基于双目（多目）视觉的立体视觉匹配算法，图像处理过程相对更加复杂且实时性较差。主动视觉法所采用光源的固有特征可以给图像处理过程的特征提取带来便利，使视觉检测过程更加简便且实时性较好。激光具有方向性、单色性和相干性好等优点，常被用作主动视觉的外部光源。杜雨馨等[26]以十字激光器与激光标靶为信息源，构建了一套巷道掘进机的机身位姿实时检测系统；通过分析标靶上十字光线成像特征，建立了掘进机机身位姿空间解算模型；该模型利用机身与十字激光面的空间关系，通过空间矩阵变换得到机身相对于巷道的三轴倾角以及在巷道断面上的偏离位移，实现了掘进机机身位姿的自动实时检测。

3.2 基于激光结构光的焊枪空间位姿检测

目前，利用激光结构光进行目标的空间姿态和形状检测多是基于扫描方式。陶威等[27]设计了一种采用单线激光结构光扫描的机器人3D视觉传感系统，基于激光三角测量原理和MeshLab几何处理系统，实现了被检测物的3D形貌实时成像。扫描式视觉传感器的精度受激光斑点尺寸制约，同时，受扫描速度和图像处理时间影响，实时性难以满足实际焊接生产应用要求，多用于焊接接头和坡口的空间位置及形状检测，尚无用于焊枪空间位姿实时检测的报道。

在针对焊枪空间位姿的检测中，获取焊枪相对于待焊点坐标的空间姿态信息更有实际工程应用价值，才能实现对焊接成形质量的有效控制。为此提出了一种新型的基于复合激光结构光的多功能视觉传感器[28]，其基本结构如图3所示，采用斜射-直接收式光路结构。

图3 基于复合激光结构光的新型多功能视觉传感器

图3所示的视觉传感器系统主要由工业CCD相机及广角镜头、微型摄像机、减光和滤光片、十字线激光器、一字线激光器及机械结构件等元器件组成。激光器投射至工件表面的激光线受焊接坡口形状的影响形成相应的畸变特征，CCD相机获取包含畸变特征的图像，通过图像处理提取特征点的坐标，然后利用传感器的内部结构参数和组合结构光之间的空间几何关系。该传感器能够实现焊接过程中的焊接坡口截面尺寸检测、焊缝跟踪、焊枪高度检测、焊枪空间位姿检测、焊接过程监控等多种功能。其检测算法基于激光结构光在工件表面的形变特征和传感器的结构设计参数，简化了使用前和使用中的传感器标定问题，通过单目视觉和对单幅图像的处理实现了目标（焊接坡口和焊枪空间位姿）的空间信息检测，有效解决了单目视觉传感器在使用过程中存在深度方向信息丢失的问题，同时避免了为弥补深度信息而进行的复杂操作（如激光扫描，被测物移动）或基于多幅图像的信息比对分析（多目视觉或单目视觉多角度成像），进而有效提高工程应用的实时性。

基于十字线激光器和一字线激光器组合的视觉传感器实现焊枪空间位姿检测的前提条件是：焊枪3个空间位姿参数中（焊枪高度h1，前后摆动角度α和左右摆动角度β，如图4所示），1个参数为确定值，即在1个参数确定的前提下实现对另外2个位姿参数的检测。为解决此问题，进一步提出了一种基于4条一字线激光组合的视觉传感器[29]，能够实现焊枪相对于工件待焊点的空间任意三维位姿参数的检测，系统结构示意如图5所示。

图4 焊枪空间位姿的三自由度分解

图5 焊枪全空间位姿检测视觉传感器

图5所示的视觉传感器系统由CCD相机、工业广角镜头、4个一字线激光器、减光及滤光片和相关结构装配件组成。其中，一字线激光器2-1、2-2和2-3所投射的激光平面相互平行，与工件平面相交分别形成激光线条4、10和9。一字线激光器2-4所投射的激光平面与另外3个激光平面垂直相交，从而在工件坡口内形成激光线11。一字线激光器2-1可提供焊枪空间位姿求解所需的待焊点坐标（由图像处理获得的激光线4与激光线11的交点即为待焊点坐标），避免了通过电弧图像处理提取电弧中心点坐标的问题，优化了图像处理算法，从而给传感器引入新的固有参数。基于焊接坡口对激光线条形成的畸变特征，通过图像处理提取出相关特征点，利用传感器的内部结构参数和组合结构光之间的空间几何关系并结合待焊点空间坐标，可实现焊枪相对于待焊点的任意空间3个自由度位姿参数的检测。

视觉传感器和机器人控制系统结合（见图4、图5），可以实现焊接过程的视觉伺服控制。

4 焊枪空间位姿检测技术展望

Vcsel（垂直腔面发射激光器）是一种新型的半导体激光器，相对于传统的边射型半导体激光器，易于实现高密度二维面阵的集成，即在很小的面积内集成数万个Vcsel阵列，已成功商用于手机的人脸识别功能。其基本原理是由Vcsel芯片投射出数万个覆盖人脸的激光点阵（Dot projector），然后由红外摄像机（Infrared amera）和距离传感器（Proximity sensor）获取由物体表面凹凸特征引起的ToF（光飞行时间）改变或结构光畸变的特征，进而由相应的处理算法进行被测物的三维重构。这是一个由Vcsel光源芯片、红外相机、处理器芯片、3D模型重构算法等技术组成的系统集成模组，所涉及的技术环节和工艺流程较为复杂，目前相关技术被国外垄断。

基于Vcsel的3D视觉传感器是目前视觉传感器研究的前沿[30-32]，其阵列特征、功耗和精度的优势是未来机器人3D视觉的主要解决方案，也是工业视觉最有潜力的发展和应用方向。相对于以双目视觉或多目视觉为基础的多图像立体特征匹配的图像处理算法，基于Vcsel的3D视觉传感具有更高的检测精度和更好的实时性。因此，随着计算机视觉的发展，将基于Vcsel的3D视觉传感器应用于焊接过程的传感和控制，将会是焊接过程视觉传感技术具有重要价值的研究和应用方向，可以从根本上改观目前的视觉传感器存在的功能不够全面、体积相对较大、实时性不能保证等状况。

5 结论

在焊接坡口或焊缝为空间位置和轨迹时，焊枪相对于待焊点的空间位置和姿态的检测、识别和控制，对于实际焊接生产制造的焊接成形质量控制具有重要意义。目前，在对焊枪空间位姿检测和识别的方法中，基于旋转电弧传感器的检测方法仅能够实现单一自由度的焊枪位姿检测，基于角度传感器的检测方法功能比较单一，而基于多传感器融合的检测方法往往需要对焊枪或待焊工件进行特殊改造，其工程通用性较差。

基于激光结构光的视觉传感器具有综合优势，能够实现焊接坡口检测、焊缝跟踪、焊枪空间位姿检测、焊接过程监控等多种功能的集成，同时工程适用性很好。基于Vcsel的视觉传感器在检测算法和精度上的优势，在焊接视觉传感中会有很好的发展和应用前景。