基于视觉与重力传感的焊缝空间姿态检测技术研究与发展

张天一 朱志明 郭吉昌 孙博文

摘要：对于空间位置的金属结构件焊接，焊枪相对于工件（焊接坡口）的位置和姿态直接影响焊缝成形质量。焊枪的最优相对位姿由焊缝（接头）所在平面的绝对空间姿态、焊接坡口的特征尺寸参数确定。简要分析了视觉传感在焊接领域的研究与应用，总结了焊枪空间姿态检测常用方法。在此基础上，介绍了提出的基于视觉与重力传感信息融合的组合式检测系统，该系统可实现对焊缝（接头）所在平面的绝对空间姿态、焊枪相对于该平面的相对位置和姿态以及焊接坡口特征尺寸参数的检测，进而实现未知姿态平面内的复杂空间焊缝（接头）的检测与跟踪及焊枪姿态控制。最后展望了基于视觉与重力传感信息融合的组合式检测系统在曲面工件复杂空间焊缝（接头）焊接中的研究和发展应用前景。

关键词：视觉传感;重力传感;空间姿态;焊接坡口;特征尺寸;检测与控制

中图分类号：TG409 文献标志码：A 文章编号：1001-2303（2020）11-0001-06

DOI：10.7512/j.issn.1001-2303.2020.11.01

0 前言

实施自动化和智能化焊接的机器人，按照机器人操作和实施焊接的模式可分为三大类。其一为“示教-再现”型：根据工作台上所装夹被焊工件的焊接坡口类型及所在位置和姿态，操作者首先对机器人进行在线编程和人工示教，然后机器人复现规划的焊槍运动轨迹与姿态，按预设的工艺参数完成焊接任务;其二为“离线编程”型：机器人通常搭载有数控和编程系统，根据被焊工件的设计参数（包括焊接接头所在位置和坡口类型）及预期的装夹位置和姿态，操作者预先离线编写对应的机器人运动和焊枪姿态控制程序，并设定对应的焊接工艺参数，然后，机器人自动控制焊枪完成固定轨迹和姿态的运动，按设定的焊接工艺参数完成预设的焊接任务;其三为“智能”型：机器人搭载多种传感器（系统），在对焊接作业环境、焊接接头位置和坡口类型等进行在线检测后，根据作业环境与工艺需要，对焊枪的运动轨迹和姿态、焊接工艺参数等进行自动设定、实时反馈调整和控制，进而完成焊接任务，具有较高的适应性[1]。

目前，全球大量应用的焊接机器人绝大部分属于“示教-再现”或“离线编程”型。在初次设定焊接工艺参数或编写程序后，它们能够高效地完成批量性焊接作业任务。然而，对于小规模、甚至单件焊接生产制造，繁复的编程需求使得这2种类型的机器人焊接完全失去效率上的优势;并且，当被焊工件及其坡口存在加工或装配误差、在焊接过程中产生热变形时，对焊缝成形质量、焊接工艺过程及电弧燃烧稳定性等会产生不利（甚至严重）影响，因此，他们在焊接领域的应用存在一定的局限性。

“智能”型焊接机器人通常具备对焊接坡口的类型、空间位置和姿态的在线检测和跟踪能力，以及对焊枪的空间位置和姿态的实时检测和控制功能，与“示教-再现”或“离线编程”配合，既可以满足批量生产的高效率要求，又能有效保证焊接工艺过程和电弧燃烧的稳定性，确保焊缝成形质量。进一步的发展方向为：摒弃“示教-再现”或“离线编程”，仅依靠各类传感器（系统）对焊接作业环境的全面在线检测，即可实现对焊枪运动轨迹和姿态的调整和控制，并据此自动确定相应的焊接工艺参数，从而满足单件（包括存在各类误差的批量工件）焊接的质量要求。因此，智能型焊接机器人逐渐成为研究与应用主流。

对于复杂金属结构件的空间（全）位置焊接，除了焊接电流（送丝速度）与电弧电压外，焊枪相对于工件（焊接坡口）的空间位置与姿态（位姿）对焊缝的成形质量也有重要影响[2]。焊接实施过程中的焊枪前后倾角与左右摆角大小的选择和确定，通常由焊接接头的绝对空间姿态决定。例如，在平焊、立焊与横焊等工况下，所需的焊枪相对于焊接接头或坡口的倾斜情况是不同的。因此，为了实现实时调整和控制焊枪相对于工件（焊接坡口）的空间位置与姿态（位姿），对焊接接头绝对空间姿态的在线检测至关重要。另外，对于复杂的空间轨迹焊缝的焊接，工件或坡口可能存在加工与安装误差，以及焊接过程中可能出现热变形，导致需要对焊接坡口的特征参数进行在线实时检测，并对焊枪相对于工件（焊接坡口）的空间位姿进行实时反馈控制。这些都是前2种类型的焊接机器人无法实现的，而传感器的应用使得“智能”型焊接机器人具备更多的研究价值与发展应用前景。

在“智能”型焊接机器人搭载的多种传感器中，视觉传感器占主导地位。根据光源的不同，视觉传感器可分为被动视觉与主动视觉2大类。被动视觉的光源来自于周围环境，虽然具有系统构成相对简单的优势，但弧光、飞溅等会产生严重干扰，影响其检测精度和可靠性;而主动视觉通常采用激光结构光作为光源，由于激光单色性好，配合相应的滤光片，可使主动视觉具有良好的检测稳定性和可靠性。根据用于获取目标信息的相机的数量，视觉传感器可分为单目视觉与多目视觉。多目视觉由于需要对多幅图像进行处理，实时性受到较大影响，且视觉传感器体积较大;与之相对，单目视觉的图像处理量少，具有良好的实时性，但存在检测信息不完整的问题。为此，引入激光结构光技术，既可以保持良好的传感实时性，又可以保证关键待测信息不丢失。

文中简要介绍了视觉传感在焊接领域的研究和应用现状，对目前的焊枪和工件空间姿态检测方法进行深入分析，指出其不足和发展空间;介绍了基于视觉与重力传感器的焊枪和被焊工件（焊接坡口）空间姿态检测的最新研究进展;展望了视觉传感器在复杂结构件空间焊接的潜在应用和发展方向。

1 焊接领域的视觉传感研究与应用

以视觉传感为基础，针对已知平面内的简单直线或规则曲线焊缝的焊接坡口检测与焊缝跟踪系统的研究和应用最为成熟，其技术关键在于检测算法、图像处理及控制策略的精度与效率。

Shen H[3]设计了一种无需“示教-再现”的焊接实时跟踪系统，利用视觉传感装置和双层滤波系统，通过采集不同焊接电流水平下清晰的焊接图像，结合焊接图像的投影处理算法，进而实现精确的直线和曲线焊缝跟踪，直线焊缝跟踪的最大误差为±0.3 mm，曲线焊缝的跟踪误差在±0.5 mm范围内。Kim J S[4]采用2种不同的视觉处理算法，对焊接接头的轮廓数据进行提取，一种算法用于焊接开始前的接头建模，另一种算法用于焊接过程中的接头特征参数检测，耗时约0.3 s，实现了对接、搭接、圆角和V形4种不同类型焊缝的检测与自动焊接。Luo H[5]以建立正确的焊接坡口（焊缝）轮廓为基础，研制出具有焊接起始点自动定位、焊接接头位置和坡口尺寸自动标定和检测以及跟踪控制等功能的自动化焊接系统，跟踪精度高，误差小于0.4 mm。王作山等[6]搭建了一种基于单线激光结构光视觉引导的焊缝跟踪系统试验平台（见图1），引入线结构光视觉测量模型与Eye-in-hand式手眼系统模型，并通过设定弓高误差，进而控制过渡圆弧相对于焊缝的跟踪精度，保证了平面曲线焊缝轨迹的跟踪精度，其跟踪精度可达0.05 mm。

对空间（全）位置焊接接头实施高品质焊接的技术关鍵，在于对焊缝（焊接接头）空间姿态的检测与相应的工艺控制策略。刘永[7]提出了焊缝特征坐标系的概念，并将空间焊缝的姿态分解为所定义的“横坡焊”和“立坡焊”2种位置的组合，实现了马鞍型焊缝的自主规划与焊接。戚玉涵[8]针对空间焊缝，提出了一种定距插值算法，在通过结构光视觉传感获取焊缝插补点位置坐标后，以更高的精度求取了机器人基坐标系下焊缝路径点的三维坐标，进而规划出焊接机器人的空间运动轨迹，实现全位置焊接。然而，该研究并未结合地球参考系，因此未实现对焊缝绝对空间姿态的检测，焊接工艺仍存在优化空间。

2 焊接领域的空间姿态检测传感器

在线获取焊枪与焊接接头（坡口）的空间姿态信息，有助于控制焊枪以更合理的倾角完成焊接任务，提升焊接工艺效果和焊缝成形质量。目前，焊接领域有关空间姿态检测的研究较少，除前文已介绍的视觉传感器外，常用的方法还有旋转电弧传感器、倾角传感器以及多种不同传感器相结合的方法。

2.1 旋转电弧传感器

旋转电弧传感器的相关研究较为成熟，在空间姿态检测的应用相对较多。文献[9-11]研究了焊枪倾角和偏差与电弧长度变化的关系，并建立了相关数学模型。Le J[12]将旋转电弧传感器应用于船厂矩形角焊缝的跟踪，并建立了焊枪空间姿态的数学模型，较好地实现了焊枪单一角度的检测与控制。汪鎏[13]采用电弧传感器实时采集电流数据，并通过已构建的数学模型获取焊枪的相对位姿以及空间焊缝下一个控制点的位置信息，实现了空间全位置焊的自动检测与焊缝跟踪。

旋转电弧传感器通过提前构建的数学模型，实时获取焊枪相对于焊缝（焊接坡口）的位置与姿态信息，进而保证焊缝跟踪过程的准确性，实现空间全位置焊接的准确定位与跟踪。然而，相关检测结果仅包含焊枪与焊缝（焊接坡口）间的相对位姿关系，并未结合地球参考系给出焊缝（焊接坡口）的绝对空间姿态，因此，焊缝跟踪过程中的焊枪倾角并未得到优化，焊缝的成形质量仍有进一步提升空间。

2.2 倾角传感器

在焊枪上固连倾角传感器，可实时获取焊枪相对于重力加速度方向的倾角，这种传感方式也称为重力传感。如果已知焊缝（焊接坡口）所在平面的姿态，例如焊缝（焊接坡口）所在平面为水平放置，则可采用倾角（重力）传感器获取焊枪与焊缝（焊接坡口）间的相对姿态。张刚[15]提出了使用重力加速度及各轴分量测量焊枪空间姿态的方案，建立了基于倾角传感器的焊枪空间姿态数学转换模型，并给出GTAW焊的验证结果，精度可达0.1°，最大误差不超过1.2°，满足GTAW焊的工艺需求。石玗[16]采用动态倾角传感器来实时传感焊枪三维姿态，将其分解为横滚角、俯仰角与航向角（见图3），用于研究3种角度的控制与焊工经验之间的关系。

2.3 多传感器信息融合

单一传感器往往不足以获取所需的所有待测数据，因此，衍生出多种传感器相结合的方法。Xu Y[17]开发了基于视觉与电弧传感相结合的焊缝跟踪系统，利用被动视觉传感来检测焊缝左右偏差，依靠电弧传感来检测电弧弧长，进而实现空间复杂曲线焊缝的自动化焊接，其图像处理精度在±0.169 mm以内。然而，因其采用被动视觉，难以应用在弧光强烈的电弧焊接;另外，该研究并未实现对焊缝空间姿态的检测，仅能控制电弧的长度而不能检测并控制焊枪相对于焊缝的姿态，因此仍有较大研究空间。

陈仲盛[18]设计了基于光纤传感、惯性导航与电磁感应的焊枪定位系统（见图4）。电磁感应线圈获取焊丝与工件的交点（待焊点）位置;光纤传感器实时检测焊枪与工件间的距离;倾角传感器实时检测焊枪的绝对空间姿态。

3 视觉与重力融合的多功能传感器

如前文所述，当焊缝为空间复杂焊缝时，为了获得良好的焊接工艺效果和较高的焊缝成形质量，需要对焊缝的绝对空间姿态进行检测，进而根据经验指导焊接工艺的制定和规划，控制焊枪以预期的相对于焊缝的位姿完成焊接任务。传统方法如文献[7-8，17]是在轨迹规划的同时，预先设置与控制焊枪的姿态。这种方法并未结合焊缝的绝对空间姿态，因此，焊缝的成形质量仍有进一步提升的空间。为此，文中提出了一种基于视觉与重力传感相结合的焊接接头空间姿态检测方法，通过重力传感器实时获取焊枪相对于地球参考系的姿态，通过视觉传感器获取焊枪相对于焊接接头的位姿，再将两者结合，解算出焊接接头所在平面法线与重力加速度的夹角，即获取焊接接头所在平面的绝对空间姿态。

3.1 基于激光结构光的视觉传感器

所设计的视觉传感器主要由工业CCD相机、一字线激光器、滤光片等构成，如图5所示。CCD相机的光学中轴线、焊枪的中轴线以及3个一字线激光器的中轴线共面安装（简称为平面A），且CCD相机的光学中轴线与焊枪的中轴线平行，与一字线激光器的中轴线成固定夹角（安装固定后需标定）。视觉传感器与焊枪固连，并位于焊枪的前进（焊接）方向。3个一字线激光器之一的激光投射平面位于平面A内，在工件表面产生沿焊接方向的纵向激光线，另外2个与平面A垂直，在工件表面产生2条横向激光线，它们在工件表面形成2个十字交叉。

激光投射在焊接坡口处会发生变形（图5为V型坡口示例），CCD相机采集焊接坡口处的图像信息并经过图像处理后，可获取激光线方程与特征点坐标，据此可计算出焊接坡口的尺寸参数，包括坡口深度、宽度、角度以及安装误差。对焊缝坡口尺寸参数进行检测，是焊接领域视觉传感器的基本功能。在文中构建的系统中，视觉传感更进一步的作用是获取焊枪相对于焊接接头所在平面的位置与角度信息，包括焊枪高度、前后倾角α与左右摆角β，如图6所示。

在焊枪左右摆动β角时，固连在焊枪上的视觉传感器的平面A将整体倾斜β角，不会影响投射在工件表面的纵向激光线的整体成像。然而，纵向激光线与2条横向激光线的2个十字交点之间的距离及其物距与焊枪高度和前后倾角α有关，进而影响2个交点在CCD像平面上所成像之间的距离，据此，基于三角成像原理，可首先解算出焊枪高度与前后倾角α的值;左右摆角β使投射在工件表面的2条横向激光线上各点物距不同，像平面上的成像将产生一定角度，将前述解算出的焊枪高度与前后倾角α作为已知量，可进一步计算出焊枪左右摆角β的值。

3.2 基于重力感知的双轴倾角传感器

在实施平焊、立焊、横焊及仰焊时，对焊枪的前后倾角和左右摆角的要求不同。在采用机器人进行自动化焊接时，如果能够检测出待焊接头的绝对空间姿态，就能根据重力作用下的熔池动态行为特征，使焊枪以更合适的相对于被焊工件的倾角或摆角完成焊接任务，保证焊缝的成形质量。然而，视觉传感器仅能检测出自身（包括焊枪）与焊接接头所在平面间的相对位姿，并不能与地球参考系产生关联，无法检测出焊接接头所在平面在地球参考系下的绝对姿态。

针对上述问题，引入了双轴倾角传感器，也将其固连在焊枪上，如图7所示。

双轴倾角传感器的型号为LIS326H-180，是一种运用惯性原理的加速度传感器，当其用于测量与重力加速度方向的夹角时，自身必须处于静态或准静态。考虑到焊接过程的焊枪运动速度足够慢，轨迹变换时产生的加速度也较小，可视为准静态，测量误差可控制在±1°以内，测量结果及焊枪调控不会对焊缝成形质量产生负面影响。

双轴倾角传感器采集重力加速度在传感器敏感轴上的分量大小，通过控制单元对芯片的输出信号进行处理，可计算出倾角大小，再经过通讯单元输出到网络总线接口或显示屏上。若以焊枪竖直向下为标准姿态，则双轴倾角传感器可分别测得焊枪绕X轴及绕Y轴所偏转角度。如果测得X、Y两方向偏角均为0°，则表明焊枪当前姿态为竖直向下;如果测得两偏角中的任一个为90°，则代表焊枪为水平姿态，分别对应立焊或横焊，如表1所示。

3.3 焊接接頭绝对空间姿态检测

根据视觉传感器获取的焊枪与接头所在平面的相对姿态，以及双轴倾角传感器获取的焊枪绝对空间姿态，可求得焊接接头所在平面的绝对空间姿态，再结合焊接坡口检测所获取的坡口尺寸信息及焊缝走向，即可判断出焊缝所需要的焊接工艺。例如，在T型接头平焊工艺中，焊枪需前倾10°～25°，左右摆角需根据两侧板厚比进行调节;在横焊工艺中，焊枪需前倾10°～15°，左右摆角需朝向重力方向摆动10°～15°。这一切都建立在焊缝的绝对空间姿态可检测的基础上。当“智能型”焊接机器人能够获取焊接接头所在平面的绝对空间姿态时，自动化焊接工艺将更加智能化，进一步提高焊缝成形质量。

在实际焊接生产中，不仅存在未知空间姿态的平面内接头的自动化焊接，也存在曲面工件复杂空间接头需要自动化焊接，此时，焊接工艺变化更加复杂，在沿接头持续运动的过程中，焊枪的绝对空间姿态需要实时调整，以适应接头的绝对空间姿态变化，保证焊缝成形质量，这对视觉传感器的检测功能及实时性提出了更高要求。

事实上，位于曲面中的空间焊缝（接头）的绝对空间姿态也可以分为两部分：一是检测焊枪的绝对空间姿态，可由倾角传感器完成，正如文中所提出的检测方法;二是检测焊枪相对于曲面的相对空间姿态，可由视觉传感器完成。

文中所提出的视觉检测方法目前仅适用于平面类未知空间焊缝（接头），对于曲面内未知的复杂空间焊缝（接头）的检测，还需进一步优化视觉检测系统及其算法，以实现其全位置检测、控制与焊接过程的自动化。

4 结论

在焊缝或接头处于三维空间的姿态未知平面内时，该平面相对于地球参考系的姿态及其实时检测，对于焊接过程的焊枪姿态设置、在线调整和控制以及焊缝成形质量有着重要影响。目前，针对空间位置或全位置焊的相关研究，仅实现了对焊缝（接头）轨迹的检测与跟踪，难以获知和控制焊接过程的焊枪前后倾角与左右摆角，因此焊缝的成形质量仍有进一步提升的空间。

基于视觉与重力传感信息融合的复合检测方法，可以将检测和控制系统与地球参考系有效关联，进而实现对焊缝（接头）所在平面绝对空间姿态的检测，结合对焊枪相对于工件表面（焊接坡口）相对位姿的检测与控制，可以高质量地完成平面内空间接头（焊缝）的自动化焊接工作。

展望未来，空间（全）位置智能化焊接的研究关键在于曲面内复杂空间焊缝（接头）的绝对姿态检测，难点在于检测的高精度及高实时性。

参考文献：

[1] 张华，熊震宇，贾剑平，等. 基于旋转电弧传感的示教再现弧焊机器人智能化研究[J]. 机械工程学报，2002，38（z1）：113-116.

[2] 郭吉昌，朱志明，孙博文. 基于视觉的焊枪空间位姿实时检测技术[J]. 电焊机，2018，48（9）：1-7.

[3] Shen H，Lin T，Chen S，et al. Real-Time Seam Tracking Technology of Welding Robot with Visual Sensing[J]. Jou-rnal of Intelligent and Robotic Systems，2010，59（3-4）：83-298.

[4] Kim J S，Son Y T，Cho H S，et al. A robust visual seamtracking system for robotic arc welding[J]. Mechatronics，1996，6（2）：141-163.

[5] Luo H，Chen X. Laser visual sensing for seam tracking in robotic arc welding of titanium alloys[J]. International Jou-rnal of Advanced Manufacturing Technology，2005，26（9-10）：1012-1017.

[6] 王作山. 基于激光结构光视觉引导的焊缝跟踪技术研究[D]. 山东：山东大学， 2019.

[7] 刘永，王克鸿，杜姗姗. 弧焊机器人空间焊缝焊接参数与姿态规划研究[J]. 南京理工大学学报（自然科学版），2003（2）：36-39.

[8] 戚玉涵. 空间焊缝视觉测量与跟踪控制[D]. 北京：中国科学院自动化研究所，2013.

[9] 李湘文，洪波，尹力，等. 基于摆动旋转电弧的焊枪空间姿态识别[J]. 焊接学报，2013，34（4）：35-37，52，114-115.

[10] 高延峰，张华，肖建华. 旋转电弧传感器焊枪空间姿态识别[J]. 焊接学报，2009，30（3）：81-84，117.

[11] 李月华. 旋转电弧传感器焊枪位姿识别方法研究[D]. 南昌：南昌大学，2007.

[12] Le J，Zhang H，Chen X Q，et al. Rectangular fillet weld tracking by robots based on rotating arc sensors in gas metal arc welding[J]. International Journal of Advanced Manufa-cturing Technology，2017，93（4）：1-14.

[13] 汪鎏，张华，马国红. 基于旋转电弧传感方式的焊接机器人路径生成方法[J]. 上海交通大学学报，2008（S1）：46-49.

[14] 陈伟荣，张华，郑敏，等. 旋转电弧传感器的结构优化及散热分析[J]. 热加工工艺，2018，47（17）：233-235，240.

[15] 張刚，樊丁，石玗，等. 钨极惰性气体保护焊焊枪运动姿态的传感与验证[J]. 上海交通大学学报，2016，50（10）：1559-1563.

[16] 石玗，王雪宙，周海，等. 焊工焊枪运动特征的三维传感与分析[R]. 兰州：中国机械工程学会第二十次全国焊接学术会议，2015.

[17] Xu Y，Lv N，Fang G，et al. Sensing technology for intellig-entized robotic welding in arc welding processes[C]. RWIA 2004：Robotic Welding Intelligence and Automation：411-423.

[18] 陈仲盛，周强，谢本凯. 基于多传感器的焊枪定位系统的设计[J]. 焊接学报，2015，36（8）：105-108，118.