基于变分立体匹配算法的GMAW熔池形貌三维重建

梁志敏，高旭，任政，武子琴，王立伟，汪殿龙

(1.河北科技大学,材料科学与工程学院,石家庄,050000；2.河北省材料近净成形技术重点实验室,石家庄,050000)

0 序言

GMAW生产效率高、成本低、易于实现自动化，可实现高效高质精密的焊接加工.焊接过程具有动态、多因素交互干扰等特性，尤其是高温、高压等特殊条件下服役的焊接结构，需要对焊接过程实施有效的监测和控制.建立更加全面的熔池三维几何特征与焊接成形及焊接质量关系的模型，是实现焊接过程精确监测和控制的重要途径[1].同时熔池表面三维几何信息的监测和控制也是新型智能焊接系统的重要功能[2].

焊工观察熔池顶部表面的几何形来态判断和控制焊接质量.熔透状态监测和控制是自动化焊接中具有挑战性的课题[1-2].工件背面虽然可以最直观的反映焊缝的熔透状态，但是既难以直接观察又难以加装传感设备.利用熔池顶部传感是焊缝熔透监测的常规方法.

Jiao等人[3]和Nomura等人[4]通过对熔池顶部表面的同轴传感获取熔池图像，利用CNN模型实现熔透状态分类和焊漏预测；该视觉传感方法仅利用了熔池图像的二维信息，却没有利用与熔透状态相关性更强的三维信息.为实现熔池表面信息的三维传感，Song等人[5-6]开发了主动式结构激光机器视觉系统，采用点阵激光投射至GTAW熔池表面，捕获反射至成像板的激光图案实现了GTAW熔池表面的三维重建.Huang等人[7]建立了点阵结构激光入射、反射成像屏幕和熔池表面相关联的数学模型，提取并分析了熔池表面三维数据.相对GTAW而言，GMAW过程中更严重的高温、飞溅及电弧干扰，提高了GMAW熔池表面的精确三维测量的难度.Mnich等人[8]利用立体视觉系统捕获了基值电流GMAW熔池图像实现了立体匹配，该系统包括2台高速摄像机.Neil等人[9]对熔池立体匹配算法进行了评估.为简化结构、降低成本可利用平面镜反射和双棱镜折射效应，使用单台摄像机实现了熔池表面的三维重建[10-12].Gu等人[13]和Liang等人[14]采用基于角点检测的立体匹配算法获得了熔池表面稀疏的视差.

然而目前，并未提出可靠的立体匹配算法，来实现完整熔池表面及其弱纹理区域准确有效的匹配.为此，该研究引入了全局优化的变分立体匹配算法，通过将空间连续性约束引入能量方程，弥补了熔池图像纹理不足造成的立体匹配困难的缺陷，实现了完整熔池表面的立体匹配.

1 试验方法

1.1 双棱镜单摄像机立体视觉系统设计

单摄像机双棱镜立体视觉系统原理图如图1所示.试验装置和双棱镜如图2所示，双棱镜置于中心波长为850 nm的窄带滤光片前端.采用焦距为50 mm的镜头，相机以60帧/秒的采集频率从熔池背面采集图像，分辨率为1 024 × 512.通过Matrox图像采集卡进行数据的传输和保存.采用专业的相机校准工具包计算立体匹视觉系统内外参数矩阵.

图1 试验系统原理图Fig.1 Schematic diagram of experimental system

图2 双棱镜单摄像机立体视觉系统Fig.2 Biprism single camera stere vision system.(a)vision system;(b) biprism

1.2 试验方案

工件被固定在1个由步进电机控制的单轴移动工作平台上.母材为Q235低碳钢板，尺寸为250 mm × 100 mm × 6 mm.采用直径1.2 mm的H08Mn2Si焊丝，焊枪垂直于工件，保护气为80%Ar+20%CO2，保护气流量为15 L/min.焊接过程中焊枪和相机保持静止，工件在运动平台上以预置的焊接速度移动.采用CMT工艺进行单道堆焊，采用GMAW-P工艺对间隙和钝边分别为1.2 mm和1 mm的60°的V形坡口母材进行对接.如图1所示，采集了平板堆焊和3种不同熔透状态下V形坡口接头的熔池立体图像对.平板堆焊和3种熔透状态下接头结构示意图如图3所示.焊接参数如表1所示.

表1 焊接工艺参数Table 1 Welding parameters

图3 接头结构示意图Fig.3 Joint structure diagram.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d) over penetration

1.3 变分立体匹配算法

基于双棱镜的单摄像机立体视觉系统的三维重建算法是通过对摄像机的标定求解左右虚拟相机的内外参数及位置关系.利用其“自校正”的特性，使左右对应像素点位于相同的水平线上，加速了立体匹配的进程.采用立体匹配算法求取采集立体图像对的视差，最后基于三角测量法计算空间三维坐标.

1.3.1 基于变分原理的立体匹配

立体匹配是建立相同空间点在左右图像中像素的对应关系，是立体视觉中最关键最困难的步骤.立体匹配问题可描述为，对于左右两幅图像I1和I2，估计左图中每个像素在右图中的位置.定义(x,y)为左图中的像素坐标，u(x,y)为视差，则(x+u(x,y),y)为在右图中的对应匹配像素的坐标.依照代价函数的约束范围差别，立体匹配算法可分为局部立体匹配算法、半全局立体匹配算法和全局立体匹配算法.全局立体匹配算法通过对全局能量函数的最小化，在遮挡、弱纹理等不可靠区域可以获得良好的匹配效果.全局优化的变分立体匹配方法能量方程[15]为

式中：Data_item(x,y,u(x,y)) 为数据项；Smooth_item(∇d) 为平滑项；α为平滑因子.

数据项中的d为描述视差的函数，平滑项作为场景中的先验假设通过惩罚较大的视差梯度来施加平滑性限制.进而在适当的约束下通过求解全局能量函数的最小值求取最优视差.变分立体匹配算法即通过求解能量方程E(u(x,y))的欧拉—拉格朗日方程(Euler-Lagrange)获得能量最小化条件下的解u(x,y).由于只有当式(1)是严格的凸函数时，才能获得唯一的满足其欧拉—拉格朗日方程能量最小化的解.现令式(1)中数据项与平滑项之和为

通过变分原理获得能量方程E(u(x,y))的欧拉—拉格朗日方程为

式中：Sd表示能量方程关于视差函数E(u(x,y))的导数；dx表示视差函数关于x的导数；dy视差函数关于y的导数；Sdx表 示能量方程关于函数dx的导数；Sdy表示能量方程关于函数dy的导数.

对式(2)进行离散化处理后即可得到1个线性方程组，通过对方程组的求解计算即可获得视差函数的解.在该研究中为解决焊接熔池表面纹理缺乏造成的匹配困难的问题，在平滑项中添加空间连续性约束项，在不丢失准确视差特征的前提下获得平滑连续准确的熔池视差，采用变分的方法对能量函数的欧拉—拉格朗日方程进行极小值的求解获取全局最优的视差值.

1.3.2 变分立体匹配算法能量方程构造

根据1.3.1小节可知，能量方程由数据项和平滑项构成，数据项与平滑项分别具有不同的内容.数据项的构造是基于图像属性特征的位移不变性，平滑项的构成基于真实世界的平滑曲面.在立体匹配任务中，基于变分原理的数据项的设定是根据图像像素—灰度这个数据进行恒定假设，可以表示为

在焊接任务中，采集的熔池图像由于液态熔池的流动造成熔池表面反射光强度不一致，且存在有大量弱纹理区域，这就易造成数据项求解错误的极值.为解决这个问题，通过构建数据项的规范互相关泛函来增强数据项的鲁棒性.已知规范互相关泛函的极大值点为数据项的解，取负规范互相关函数作为数据项并引入到变分框架之中，此时数据项即可表示为

式中：τud=d(x-n(x,y)-u(x,y),y)；n(x,y)表示视差；表示以x0点为中心的内积；表示x0点为中心的范数.

在真实的世界中，除了不连续区域以外，空间位置相邻的区域在多数情况下对应的视差应是相近的.因此，平滑项可以起到重新分配视差以及消除视差局部错误的作用.在焊接过程中，对于熔池表面高亮及无纹理区域造成的视差计算不可靠的问题，平滑项可以根据相邻域的视差值填充不可靠区域，以提升整体熔池表面视差计算的精度.平滑项可以分为图像驱动的平滑性及视差驱动的平滑项.两类平滑项可以分别起到抑制图像边界视差场，提升边界拟合的效果，以及提高视差邻域传播的可靠性，减少过分割问题的发生，变分立体匹配算法构建的复合平滑项为

式中：Θ为平衡参数；g为正定的递减函数；Ψ 为可微的递增函数.Θ设置为1个二值函数可以由下式表示为

构造的复合平滑项可以根据目标纹理的强弱实现自适应的平滑项选择，在强纹理区域选择视差驱动平滑项，在弱纹理区域选择图像驱动平滑项.

1.3.3 误差估计

为评估试验系统重建误差，通常采用几何形状和尺寸已知的物体进行验证.通过比较重建尺寸与实际尺寸误差来检测立体匹配算法精度.为最大程度模拟焊接熔池结构，采用非标准的凹面，在凹面表面粘贴黑白棋盘格，采用双棱镜立体视觉系统获取凹面立体图像对，如图4所示.

Fig.4 Three-dimensional reconstruction.(a) graph taken by camera;(b) surface three-dimensional topography

基于三维重建算法计算凹面表面三维点云并三角化进行曲面拟合.凹面表面三维形貌宽度和深度最大值和实际测量值如表2所示，宽度和深度相对误差分别为3.16%和4.82%.

表2 重建结果与实际测量值Table 2 Reconstruction results and actual measurements

2 结果与讨论

2.1 变分立体匹配算法结果分析

试验中图像从熔池正后方采集，熔池尾部距离相机较近，熔池前端距离相机较远.图5分别为平板堆焊熔池及其对应视差图.

图5 平板堆焊熔池及其视差图Fig.5 Bead on plate welding pool and the disparity map

焊接过程中熔滴和电弧作用造成液态熔池表面的凹陷，熔池尾部相邻的已经凝固的焊道.根据双目相机深度与视差关系，距离摄像机成像面越近视差越大，距离越远视差值越小.在右侧视差图中熔池前部像素灰度较小，熔池尾部像素灰度较大，视差图中像素值分布与熔池实际几何规律一致.视差图中还可以观察到焊丝，以及焊接过程中产生的飞溅等细节信息.

2.2 GMAW熔池形貌三维重建

2.2.1 立体图像对和视差图

平板堆焊和不同熔透的熔池立体图像对及其对应的稠密的视差图如图6所示.可以看出熔池的边界和表面区域均得到了有效的匹配，未出现因熔池表面纹理缺乏造成的匹配困难，实现了包含丰富细节信息的完整熔池表面全局立体匹配.对于图6(b)到图6(d)中GMAW-P的3种不同熔透状态的熔池表面视差图结果进行分析，发现伴随焊接熔深的增加视差图中熔池表面前部区域灰度减小，根据视差与深度成反比的关系，说明凹陷程度增加.因此，可以通过连续稠密的视差图获取焊接过程中熔池表面三维形态变化的信息.其不足之处在于，对于弧光干扰造成的高亮区仍存在一定的误匹配问题.

图6 熔池图像对和视差图Fig.6 Weld pool image pair and disparity map.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d) over penetration

2.2.2 立体匹配算法结果对比

为评估全局优化变分立体匹配算法相较于其他经典立体匹配算法对于熔池数据立体匹配的输出结果.采用局部立体匹配算法和半全局立体匹配算法对图6(a)中堆焊熔池视差图进行了计算，结果如图7所示.局部立体匹配算法通过构造类似卷积核的局部窗口在图像上滑动，寻找设定最大视差范围内代价最小的窗口，进而确定最佳匹配像素块计算视差.图7(a)中可以看到该算法具有很好的保边特性，能够显示出熔池和焊丝的轮廓，但视差不连续且存在大量孔洞需要后处理插值填充.半全局立体匹配算法采用多路径约束聚合的方法，通过能量函数最小化对视差进行约束.图7(b)相较于图7(a)熔池中孔洞缺失减少，但是存在大量误匹配点，熔池轮廓不清晰且观察不到熔池内部纹理细节，结果均不理想.基于全局优化的变分立体匹配算法，既具有很好的保边特性又能显示熔池内部纹理细节，熔池无纹理区域也得到了有效匹配，但是存在计算成本较高的问题，伴随该算法优化以及等高性能处理器CUDA的使用，这个问题可以得到很好的解决.

图7 其他匹配算法的视差图结果Fig.7 Disparity map results of other matching algorithm.(a) local stereo matching algorithm;(b)semi-global stereo matching algorithm

2.2.3 三维重建结果

利用双棱镜立体视觉系统标定后的参数，采用三角测量法计算空间点的三维坐标生成点云，通过将点云中每3个彼此最邻近的点进行连接，采用三角剖分的方法拟合得到曲面如图8所示.

图8 熔池表面形貌三维重建Fig.8 Three-dimensional reconstruction of weld pool surface morphology.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d)over penetration

如图8(a)所示，对于CMT平板堆焊，焊丝下方液态熔池表面下凹，尾部凝固焊道隆起，熔池重建几何形貌与实际成形规律一致，计算了采集的图6(a)凝固焊道宽度及高度，分别为9.59 mm和4.10 mm.在GMAW-P对接试验中，图8(b)到图8(d)伴随熔透状态从未熔透向熔透、过熔透状态转变，液态金属向母材背面流动，熔池表面凹陷程度增加，熔池底部曲率半径减小.对选取的图6(a)，图6(b)和图6(c)的3种典熔透状态的图像的计算中，当熔透状态从未熔透变为全熔透时，熔池的表面变长变宽，熔池宽度由10.83 mm增加至11.98 mm，熔池深度由2.89 mm增加至4.07 mm.过熔透发生时，焊枪下方偏后位置熔池深度增加显著达到5.03 mm，熔池宽度为12.69 mm.不同熔透状态的熔池表面三维重建结果与不同熔透状态发生时熔池表面几何形状演变规律一致.

3 结论

(1) 设计并搭建了基于双棱镜的单摄像机被动立体视觉系统，减少了传感器的数量和尺寸，简化了传感系统的结构；利用双棱镜系统的自校正功能，使得左右图像对中对应的像素自动位于同一基线上，加速了立体匹配的进程.

(2) 变分立体匹配算法实现了对熔池表面欠纹理区域的有效匹配，但在高亮区域仍存在误匹配.重建的非标准凹面宽度误差为3.16%，深度误差为4.82%；该算法相较于局部立体匹配算法SAD和半全局立体匹配算法SGM具有较好的保边特性，并且可以实现对熔池内部细节纹理的视差计算，但计算过程的时间成本较大.

(3) 对于GMAW堆焊和不同熔透状态下的V形坡口对焊熔池表面，采用变分立体匹配算法可获得稠密精确的熔池视差图，可分析熔池表面三维重建结果，提取焊道及熔池几何尺寸.不同熔透状态下熔池表面尺寸，形状及凹陷程度等典型特征均可以有效地通过重建的熔池表面显示.