基于双棱镜单摄像机立体视觉的P-GMAW熔池表面重建

张梅梅，梁志敏, 张亚东

(河北科技大学材料科学与工程学院，河北石家庄 050018)

随着焊接的机械化和自动化，实时地获取焊接过程的状态信息已成为焊接过程质量控制的先决条件。熔池表面三维形貌所承载的丰富信息能够反映焊接过程的稳定性、焊接熔透状态等情况,相比于2D传感获得的熔池长度、宽度等信息，熔池3D传感技术能够获得的高度信息与熔透状态的关系更直接。

熔池3D传感技术研究中用到的视觉测量方法主要有阴影恢复形状法[1-2]、结构光三维视觉测量法[3-7]和双目立体视觉测量法[8-11]。哈尔滨工业大学的赵冬斌等首次引入并改进阴影恢复形状技术，利用复合滤光技术获得了填丝脉冲GTAW 脉冲焊基值期间熔池图像，并由单幅熔池图像计算出了熔池的表面高度[1-2]。但是由于这一方法假设条件过多，模型不成熟，因此计算结果可靠性差。有部分学者，特别是KOVACEVIC等在激光频闪系统的基础上进行了改进，组成了新的“结构光三维视觉”熔池检测系统[3-6]。南昌大学的汪岩峰等则采用小功率的激光器和特制的光栅也获取了熔池表面的多条纹变形激光[7]。SONG针对上述方法对熔深较大(>0.5 mm)的部位失效的问题，提出了增加成像屏，虽解决了这一问题，却增加了熔池重建算法的复杂性。MNICH等采用2个高速摄像机构成的立体视觉系统，同时拍摄熔池的图像，对图像进行校正，应用立体匹配算法进行熔池的三维重建，给出了熄弧瞬间熔池的三维重建结果。由于使用2个摄像机导致系统昂贵，拍摄时必须保证同步，因此该方法并不适合工业应用[8]。ZHAO等则采用基于平面镜的单目立体视觉技术来拍摄立体图像对，实现了通过单摄像机获得熔池的2个物像，降低了系统成本，并实现了少数特征点三维运动轨迹，也就是流动状态的测量[9]。由此可见，基于单摄像机的立体视觉技术降低了成本，避免了双摄像机的同步问题[10-11]，只要对2个物像完成立体匹配，就能获得物体的三维信息，可以说它是熔池三维传感中最具发展潜力的方法之一。

本文分析了基于双棱镜单摄像机的立体视觉系统的成像原理[12]，采用一个双棱镜和一个CCD摄像机结合作为成像系统，搭建了一套单摄像机立体视觉传感系统，采用此系统拍摄P-GMAW焊熔池图像，完成了脉冲熔化极气体保护焊基值期间熔池表面形貌的三维重建，并和实际焊缝的熔宽和余高作对比，分析了重建结果精度。

1 双棱镜立体视觉系统原理

图1 a)反映了双棱镜立体视觉系统原理[12]，将CCD摄像机假设为理想的针孔摄像机模型，从世界坐标到图像平面属于透视投影，(O，X，Y，Z)和(Op，Xp，Yp，Zp)分别是摄像机坐标系和双棱镜坐标系，摄像机坐标系的X轴和Y轴与双棱镜坐标系的Xp轴和Yp轴分别平行，Z轴和Zp轴与摄像机的光轴重合。

双棱镜的斜面∏l和∏r与基准面∏的夹角都是α,三维空间中物体上任一点发出的光线入射到双棱镜，发生2次折射，从斜面折射出的光线与入射光线相比偏转角为δ，再经过透镜折射，最终在像平面上相交形成2个虚拟点ml，mr，虚拟点的反向延长线交点为Xr，Xl，这样就实现了单摄像机双目立体视觉传感，同时实现了相关点ml，mr在同一扫描线上的约束。此外由图1 b)可知δ大小由角α和双棱镜折射率n决定，它们之间满足如公式(1)的关系。

(1)

图1 双棱镜立体视觉系统原理Fig.1 Principle of biprism-stereo system

2 试验系统

2.1 试验系统构成

为了获取清楚的熔池图像，建立了图2所示的试验系统，选用福尼斯公司的TPS 2700型焊机在工件上方固定焊枪位置进行P-GMAW平板堆焊试验，工件固定在自行研制的电机驱动载物行走平台上，通过研华610H型工控机控制着行走平台的运动来实现工件相对焊枪匀速运动；选用德国Basler的CCD摄像机，35 mm焦距、百万像素级Computar镜头以及加拿大Matrix Solios的图像采集卡作为图像采集系统，滤光片置于镜头前，双棱镜与摄像机固定在同一导轨上，间距可调，由工控机驱动两轴控制器实现拍摄位置和角度的调节。

图2 试验系统框图Fig.2 Block graph of experiment system

2.2 试验方案

采用P-GMAW焊接方法在厚度为5 mm的低碳钢Q235上进行堆焊试验，焊丝选用直径为1.2 mm的H08Mn2SiA，峰值电流为400 A，峰值电压为31 V，基值电流为50 A，基值电压为19 V，电流脉冲频率为50 Hz，保护气为体积分数80%Ar和体积分数20%CO2,气流量为15 L/min,焊接速度为0.25 m/min。在堆焊试验过程中，设置摄像机的曝光时间为150 μs，拍摄图像速度为167 帧/s。配合中心波长为849 nm的窄带干涉滤光片和峰值透射率为35%的减光片滤光系统从熔池侧后方进行图像的采集。摄像机标定选用黑白棋盘格模板，每个黑白格尺寸为2 mm×2 mm。

2.3 熔池图像

本文利用上述试验系统实时拍摄了P-GMAW焊接整个过程中的图像对，主要分为基值期间和峰值期间2个阶段，峰值期间的电压和电流较大，弧光强烈、所覆盖熔池区域较大，不利于后期图像匹配，基值期间的电压和电流较小，弧光相对较弱，拍摄到的熔池图像对如图3所示，可以看出只有电弧光较弱，且覆盖区域较小，熔池边界清晰，表面细节丰富，同时可看出熔渣以及液态金属的流动。

图3 基值期间的熔池图像对Fig.3 Pool images during the base period of welding

3 熔池表面重建

3.1 重建过程

3.1.1 图像对预处理

在P-GMAW焊基值期间中，弧光较弱，熔池本身辐射强度很高，使得熔池周边的母材区域的灰度值受到干扰不为0，同时存在细小飞溅的干扰会造成图像个别灰度突变点，拍摄的图像对不能直接匹配，否则会造成高误匹配影响后期三维重建，需在匹配前进行中值滤波[13]和阈值处理[14]，消除这些冲击噪声。

3.1.2 图像对匹配

立体匹配问题就是对于左图像上一点如何在右图像上寻找对应点的过程。它的主要任务就是计算代表左右两幅图像之间对应关系的视差图像，然后由三角测量原理就可以求得景物的深度。本文对预处理后的图像对采用区域立体匹配SSD算法(如图4所示，设左图像Il为参考图像，右图像Ir为待匹配图像；浅灰色矩形框为匹配窗口，大小为(2n+1)(2n+1)；白色矩形1代表窗口中心点Il(x，y)；白色矩形2代表1的匹配点Ir(x+d，y)；d代表视差；l代表视差搜索长度；深灰色区域代表搜索区域)[15]，按照图4所示原理在右图同一扫描线上根据公式(2)计算左右窗口内对应点的灰度差平方的总和SSD值，并以此作为相关性评价代价，代价越小，相关性越高，获得最小SSD值时对应的视差值d就是所求最优视差值，为提高计算速度可适当缩小搜索窗口尺寸和设定视差搜索长度l。

图4 SSD匹配算法的原理Fig.4 Principle of SSD matching algorithm

(2)

3.1.3 左右一致性检验

在立体匹配中，熔池图像存在左右视场遮挡区域的不同以及熔池缺少纹理等特征信息问题，使得SSD匹配算法得到视差图中存在的误匹配的特征点，需要把这些误匹配的点剔除。本文中用左右视差一致性检验的方法来剔除误匹配点。首先是用上述SSD匹配算法分别得到以左图为参考图和以右图为参考图的左右视差图dl，dr。若左视差图中一个特征点A像素坐标为(x,y)，则右图上相应匹配点B像素坐标为(x+d,y)，如果A，B两点是相对应的匹配点即没有误匹配，则应该满足左右一致性检验dl(x,y)-dr(x+dl(x,y),y)=0，否则为误匹配点。

3.1.4 亚像素级视差求取

用上述SSD匹配算法得到的视差图是像素级的，很多小区域获得视差值为同一个值，这样可预知后期重建出的三维图会呈现多个台阶，连续性不好，而实际熔池表面是一个连续的整体。为此，本课题组对得到的视差图进行了亚像素级的求解。亚像素视差求解算法是对某特征处的离散视差所对应的 SSD值进行二次曲线拟合[16-17]，找出二次曲线的最小值处所对应的视差值。假设进行SSD立体匹配后某特征点像素级的视差值为d0，所对应的SSD值为S(d0)，则视差d0-1所对应的SSD值为S(d0-1)，视差d0+1所对应的SSD值为S(d0+1)。由上述3个点(d0-1,S(d0-1))，(d0,S(d0))，(d0+1,S(d0+1))依照表达式(3)进行二次曲线拟合求出SSD最小值处对应的视差值dopt，这样就获得了某特征的亚像素级视差。

(3)

通过上述原理对像素级视差图进行二次曲线拟合，得到亚像素视差图，这样提高了匹配算法的精度，为后续的熔池表面的重建提供了更精确的数据，总体提高了熔池表面形貌三维重建的精度。

3.2 重建结果

根据标定结果及三角形原理，由亚像素级视差图计算出三维点云，并给每个点附上参考图的灰度值，建立网格，拟合成三维曲面，即为熔池表面形貌重建结果。图5是接近熄弧时刻熔池的重建结果，其中仍存在着很小的不连续的区域，但基本不影响整体分析。图6是焊缝尾部的实际表面形貌。可以看出图6中箭头所指向的部分为凹陷区，这部分与图5箭头所指区域相吻合，并且从肉眼角度看出两图的整体形貌和部分主要特征信息相吻合，从定性角度证实了重建结果的可靠性。

图5 熔池表面重建的结果Fig.5 Reconstruction result of pool surface

图6 焊缝尾部的实际表面形貌Fig.6 Real surface topography of weld tail

4 重建结果精度分析

试验连续均匀地拍摄了从进入稳定焊接状态到熄弧整个过程中的熔池图像对，总计850帧。由文中第2部分可知P-GMAW焊的脉冲频率为50 Hz，焊接速度为0.25 m/min，拍摄的帧频为167帧/s，可以大致将熔池图像对与焊缝位置一一对应上，选取几个焊缝位置找出对应的基值期间的图像对，进行熔池表面的三维形貌重建，将测定的熔宽和余高与实际焊缝位置的熔宽和余高作对比，获得重建结果的精度。

为了便于测量重建结果的熔宽和余高，首先将熔池的边界部分用区域拟合的方法拟合成工件表面，然后对空间坐标系重新进行了定义，将工件表面确定为X轴和Y轴组成的平面坐标系，Z轴垂直于工件表面。这样熔宽就是XY平面上熔池轮廓的边界两点之间的距离，余高就是Z轴坐标的最大值。

用卡尺以5 mm为间隔测量焊缝的实际熔宽及余高，得到5组采样数据，找出对应的5组熔池图像对分别进行重建，和对应时刻图像重建的三维熔池的熔宽、余高作对比来计算重建的精度，对比结果见表1。

重建结果的熔宽和实际位置的熔宽二者的对比数据显示，最大的误差为0.48 mm，最大的相对误差为4.1%。误差相对比较小，重建的精度高，能够真实地反映焊缝某位置处的实际熔宽。重建结果的余高和实际位置的余高二者的对比数据显示，最大的误差为-0.15 mm，最大的相对误差为-4.3%，误差较小。

表1 重建结果与实测值对比Tab.1 Contrast of reconstruction result and measured value

通过重建的结果跟焊缝常用的特征参数熔宽和余高的比较，获得的熔宽和余高的最大误差分别为0.48 mm和-0.15 mm，误差较小。可见本文所采用的算法用于熔池表面形貌的三维重建的精度较高，所采用的技术路线合理。重建的结果能够真实地反映焊接过程中熔池的动态变化，为分析熔池的特征提供了理论数据。

5 结 论

1)根据双棱镜立体视觉原理搭建了一套双棱镜单摄像机立体视觉传感系统。和双目立体视觉传感系统相比，结构简单且体积小，只需一个摄像机加一个双棱镜取代原有的双摄像机，不仅降低了成本，而且解决了两摄像机参数不一致的问题，便于图像采集和摄像机参数标定。

2)选取了P-GMAW平板堆焊基值期间的熔池图像对，运用区域匹配SSD算法进行匹配，得到了熔池表面的三维形貌；并对重建结果与实际焊缝的熔宽和余高进行了5组比对，熔宽和余高的相对误差分别为4.1%和-4.3%，误差较小，符合工业要求，证明了重建的结果能够真实地反映焊接过程的熔池的动态变化。但所用的匹配算法比较简单，获得的效果不是很好，有部分缺失，进一步提高匹配算法是将来的工作重点。

参考文献/References：

[1] 赵冬斌,陈善本,吴 林. 由单目图像获得表面高度算法的分析和实现[J]. 计算机学报, 2000, 23(2): 147-152.

ZHAO Dongbin, CHEN Shanben, WU Lin. Analysis and realization of the calculus of height from a single image[J]. Chinese Journal of Computers, 2000, 23(2): 147-152.

[2] ZHAO D B, YI J Q, CHEN S B. Extraction of three-dimensional parameters for weld pool surface in pulsed GTAW with wire filler[J]. Journal of Manufacturing Science and Engineering，2003, 125(3): 493-503.

[3] MA Xiaoji, ZHANG Yuming. Reflection of illumination laser from gas metal arc weld pool surface[J]. Measurement Science and Technology，2009，20(11)：105-115.

[4] 王志江, 张广军, 张裕明, 等. 非熔化极气体保护焊接熔池表面形貌三维传感及其装置设计[J]. 机械工程学报, 2008, 44(10): 30-33.

WANG Zhijiang, ZHANG Guangjun, ZHANG Yuming, et al. 3D sensing of gas tungsten arc weld pool surface and sensing device design[J]. Chinese Journal of Mechanical Engineering, 2008, 44(10): 30-33.

[5] 陈希章, 陈善本. 焊缝三维信息计算精度分析及试验方法[J].焊接学报,2009,30(3): 45-48.

CHEN Xizhang, CHEN Shanben. Accuracy analysis and experimental method on three-dimensional information computing of weld seam[J]. Transactions of the China Welding Institution,2009,30(3): 45-48.

[6] KOVACEVIC R, ZHANG Y M. Vision sensing of 3D weld pool surface[A]. Proceedings of the 4th International Conference on Trends in Welding Research[C]. Gatlinburg: The 4th International Conference，1995.5-8.

[7] 汪岩峰, 刘南生, 林浩亮, 等. 基于结构光投影的焊接熔池图像获取与处理[J].焊接学报, 2008, 29(10): 81-84.

WANG Yanfeng, LIU Nansheng, LIN Haoliang, et al. Image taking and processing of welding pool based on structured light projection[J]. Transactions of the China Welding Institution, 2008, 29(10): 81-84.

[8] MNICH C, DEBRUNNER C. Vision-based sensing of the welding process: A survey[J]. International Journal of Modelling, Identification and Control, 2006, 1(2): 84-93.

[9] ZHAO C X, RICHARDSON I M. A stereo vision method for tracking particle flow on the weld pool surface[J]. Journal of Applied Physics, 2009, 105: 123-104.

[10] 林维诗. 基于主动轮廓模型和水平集方法的图像分割[D]. 西安: 西安电子科技大学, 2010.

LIN Weishi. Image Segmentation Based on Active Contour Model and Level Set Method[D]. Xi′an: Xidian University, 2010.

[11] 杨金峰. 大视场单摄像机立体视觉测量技术研究[D]. 天津: 天津大学, 2007.

YANG Jinfeng. Study on Technology of Single Camera Stereo Vision Measuring with Large-field[D]. Tianjin: Tianjin University, 2007.

[12] LEE D H, KWEON I S. A novel stereo camera system by a biprism[J]. IEEE Transactions on Robotics and Automation, 2000, 16(6):528-541.

[13] 杨龙光, 周激流, 何 坤. 混合噪声的图像复原算法[J]. 四川大学学报, 2008, 45(5):1120-1124.

YANG Longguang, ZHOU Jiliu, HE Kun. An improved algorithm for de-noising mixed noise in image[J]. Journal of Sichuan University, 2008, 45(5): 1120-1124.

[14] 章毓晋. 图像分割[M] 北京: 科学出版社,2001.

ZHANG Yujin. Image Segmentation[M]. Beijing: Science Press, 2001.

[15] 顾 征,苏显渝.采用色彩相似性约束的立体匹配[J].光电工程, 2007, 34(1):95-99.

GU Zheng, SU Xianyu. Stereo matching algorithm using constraint of color similarity[J]. Opto-Electronic Engineering, 2007, 34(1):95-99.

[16] SHIMIZU M, OKUTOMI M. An analysis of sub-pixel estimation error on area-based image matching[A]. Proceedings of the 14th International Conference on Digital Signal Processing [C].Ottawa: The 14th International Conference, 2002.1239-1242.

[17] SHIMIZU M, OKUTOMI M. Precise sub-pixel estimation on area-based matching[A]. Proceedings of the 8th IEEE International Conference on Computer Vision[C].Ottawa:The 8th IEEE International Conference, 2001.90-97.