船舶小组立焊接工位特征提取和检测*

赵超奇，习俊通

(上海交通大学智能制造与信息工程研究所，上海 200240)

0 引言

《中国制造2025》将高技术船舶领域作为重点突破的十大领域之一，明确将船舶智能制造列为主攻方向。我国船舶制造企业经历了一段时间的快速发展，也取得了初步的成绩，建设了切割流水线、中小组立焊接流水线等较为先进的硬件设施，但相比于欧美和日韩等国家的造船企业，人工施工的比例仍较高，自动化程度较低，生产效率远无法适配现代造船的要求。随着人力成本的逐渐上升和对船舶生产效率要求的提高，智能化流水线的造船方式是船舶制造的必然趋势。

船舶零部件具有种类多、批量小的特点，而小组立结构简单，是船舶建造中最重要的中间产品之一，不同小组立之间的相似性较强，易于实现智能化流水线生产。小组立工件的焊接质量直接影响后续工位的安装，因焊接误差或变形等不稳定因素易引起现场作业和制造的困难，而现有的小组立焊接流水线自动化程度不高，人工施工比例大，易引入人为误差，焊接作业时需要人工干预决策，并且缺乏对焊接质量的检测手段，这些都导致目前小组立流水线生产效率低，稳定性不够高现状的原因[1]。

随着机器视觉技术的发展，其在测量和检测领域也得到了广泛的应用，在船舶智能制造领域有非常大的潜力。本文基于建立智能化的小组立焊接流水线的需求，介绍基于机器视觉的小组立表面特征点提取、定位以及焊接质量检测方法，并通过实验验证方案和算法的可行性[2]。

1 问题描述

1.1 测量需求

如图1所示为小组立建造的基本流程，分别设置有上料工位、装配工位、焊接工位、修补工位、背烧工位和下料工位6个工位。基本流程是，通过门吊将物料运输到上料工位，人工在装配工位进行点焊定位，之后在焊接工位通过机器人进行焊接，焊接完成后对小组立工件进行人工检测，判断小组立工件是否符合要求，对存在缺陷的小组立进行手工修补，合格后进入到背烧工位，背烧工位用于消除小组立工件焊接后产生的变形和应力集中现象，完成上述步骤后移送到下料工位，由门吊移动到后续工序[3-4]。

图1 小组立流水线建造流程

其中机器人焊接系统是小组立焊接流水线的核心组成部分，是智能化焊接的起点。国内部分船厂虽然已经有了小组立焊接生产线，但自动化程度不高，许多仍采用示教形式的机器人进行焊接，每次焊接前需要人工引导机器人焊枪定位，对齐小组立工件的多个特征点，并在已建立的焊接工艺库中选择对应的焊接工艺，才能开始焊接。该方式人工操作耗时严重，对齐特征点时存在人为误差，且焊接后缺乏对焊接效果的检测手段，严重影响了小组立焊接的效率和焊接质量。因此针对上述不足，本文提供一种在无先验信息和人工干预下，获取引导焊接机器人的小组立工件特征点信息，实现工件定位，计算相应尺寸，并对焊接效果进行评估的机器视觉方法。

1.2 测量方案和原理

本文的研究基于图2所示小组立焊工位，设定机床全局坐标系以龙门架轨道为x轴，机器人底座轨道为y轴。小组立工件如图所示，均为单个平直底板和一个或多个加强筋组成。底板尺寸约为3000 mm×6000 mm，加强筋垂直于底板，其最大高度小于700 mm，厚度约13 mm。

图2 整机测量方案示意图

采用的整机测量方案为线激光测量，测量设备固连在龙门架上的机器人底座上，且激光线与机床x轴呈45°，可以随机器人底座沿y轴运动，同时龙门架可以沿x轴方向位移，组合形成二维运动，通过控制机床沿固定路线运动，保证激光线可以扫略小组立工件的所有表面，通过同时采集机床坐标和相机图像，得到工件的全局点云。在焊接前和焊接后分别扫略两次，从而比较焊接前后加强筋位置变化。

系统的测量原理如图3所示，首先通过标定线激光相机和光平面参数，可以将光刀图像转换为相机坐标系下的三维点云数据，安装在机床后，对相机坐标系和机床坐标系之间的变换关系进行在机标定，通过获取机床位置信息便可将相机坐标系下的三维点云数据转换为机床坐标系下的全局点云数据，从而得到小组立工件的整体点云。在此基础上通过三维点云处理算法提取小组立的特征，计算相应特征点在机床全局坐标系下的位置，并对小组立焊接质量进行检测后反馈给机床。

图3 系统测量原理

2 特征点提取和焊接质量评估

针对测量所得小组立整体三维点云，需要得到小组立底板角点坐标，并对焊接后加强筋的位置变化做出评定。整体三维点云由多个线条点云组合而成，其成分包括地面、底板和加强筋上表面。为了保证精度，减少线条点云之间的距离，线激光相机使用最高频率采集，最终小组立工件全局点云数量在3×106以上，因此为了保证测量系统的响应速度，对算法复杂度要求非常高。本文将针对海量点云，设计高效提取特征点和计算相应参数的点云处理算法。算法的主要处理流程包括点云预处理、底板与加强筋分离、底板角点提取和加强筋聚类分割。

2.1 点云预处理

点云数据量为百万级，多种算法如离群点移除、聚类分割等都需要查找邻近点，若查找每个点的邻近点，其算法的时间复杂度为0(n2)，现代常见高性能处理器每秒约可以计算109次，针对百万级点云，此种算法复杂度下运算时间将高达103s，这对于现场测量是不可接受的。因此为了降低处理时间，需要减少点云数量并改善算法。

针对最近邻查找，可以采用k-d树优化最近邻查找，将查找所有点的最近邻的时间复杂度优化到O(n*log(n))，从而将算法运行时间控制在秒级[5]。

针对减少点云数量，采用体素栅格滤波的方法对点云进行精简。体素栅格滤波将空间划分为多个体素栅格，体素的大小根据精度要求和精简效果综合选取，通过遍历点云，判断每个点所处的体素，随后再对每个体素栅格进行检测，保留最靠近栅格中心的点。

2.2 底板提取和分割

点云中主要包含部分扫描到的地面点云、底板点云和加强筋上表面点云。为识别底板角点和评估焊接质量，需要将地面、底板和加强筋三者分离。测量系统扫描策略使得底板为点云中主要特征，因此设计分离算法流程为：

(1)提取底板平面；

(2)旋转点云，将底板法向量与全局坐标系中z轴对齐；

(3)基于z值剔除地面点云，并分离底板和加强筋。

本文采用RANSAC(Random Sample Consensus)随机采样一致算法提取底板平面，基本原理是随机选取一组种子点，求解平面模型参数，计算距平面距离符合要求的点个数，经过多次迭代，得到最优的平面方程。RANSAC是一种不确定的算法，且每次迭代时需要遍历所有点，因此为了保证结果的准确性和控制算法运行时间，需要设置合理的迭代次数。

平面方程为：Ax+By+Cz+D=0，为了确定平面参数，忽略三点共线的小概率情况，需要选取3个种子点，设底板点云占整体点云的比例为p，算法迭代次数为n，则一次采样中3个种子点都是底板上的点的概率为：p3，3个点中至少有一个非底板点(采样失败)的概率为1-p3，n次采样全部失败的概率为(1-p3)n，则至少成功一次的概率z=1-(1-p3)n，则：

(1)

因此在p约为0.6，算法成功率保证在99%以上的情况下，同时使得拟合的模型尽量最佳，可将迭代次数设置为100次。

通过底板平面方程，可以得到底板平面的法向量[6]，根据法向量和z轴，可以将点云坐标进行旋转，设v是在三维空间中的坐标点，k是z轴的单位向量，θ是法向量和转轴之间的夹角，则根据罗德里格旋转公式可得旋转后点的坐标为：

vrot=vcosθ+(k×v)sinθ+k(k·v)(1-cosθ)

(2)

其中，v=(x,y,z),k=(0,0,1)。

由此得到旋转后的点云，并求解旋转后底板点云的平均z坐标值，去掉z值低于平均值的点即地面等杂质点。为了防止因相邻加强筋的底部相接触，而导致分割时被识别为同一个加强筋的情况，标记z值高于底板平均z值加上一定阈值的点，并保存其相应旋转前的点作为加强筋点云，由此便剔除了地面杂质点并分离了加强筋和底板。

底板分离效果如图4所示，图4a为分割前含有底板、底板下的杂质点和加强筋的点云，图4b为分割后的底板点云，可以看到底板得到了较好的提取效果，同时去除了杂质点。

(a) 分割前点云 (b) 分割后底板点云图4 底板分离效果

2.3 多边形底板的角点提取和尺寸计算

针对小组立中三角形或四边形底板，需要提取其角点坐标。本文针对多边形底板点云，设计扫描线结合RANSAC的算法，角点提取算法的流程如图5所示。首先，将点云沿z轴旋转45°，并求解点云中坐标极值；其次，从极小值开始设置扫描线，求解在扫描线附近点的最大坐标值和最小坐标值，保留其作为边界点，扫描完成后将点云旋转-45°，即可得到底板的边界点云。

对边界点云进行角点提取运算，判断当前点云数是否满足设定阈值，如果不满足则说明此时都是噪点，已经不存在边界，则跳出循环。如果满足，则使用RANSAC拟合直线，并剔除在直线上的点，记录边界的个数，再判断点云数是否满足设定值。求解k条边的直线方程后，通过在二维域中求解多个交点，然后选取最近邻距离最小的k个点作为角点，计算相应边界尺寸。

图5 角点提取算法流程

针对四边形底板，采用角点提取算法的过程如图6所示。通过扫描算法处理底板点云得到了底板边界，然后通过多次RANSAC直线拟合，并保留余下的点云，最终得到4条边的直线方程。通过求交点并取邻近点距离最下的4个点，从而得到了底板的角点坐标和边界尺寸。

图6 角点提取过程

2.4 基于聚类的物体分割

分离加强筋和底板点云后，针对多个加强筋组合成的点云，采用欧式聚类算法分割，欧式聚类分割算法流程如下：

(1)建立大小为n的标记数组，将初始值均设为0，其中n为点云数量，将当前标记数值id设为1；

(2)生成随机下标index，标记其下标对应的标记数组的值为id，建立队列，将index添加到队列中;

(3)取队列首部数值，将其邻近点中距离小于聚类分割阈值limit且对应标记数组的数值为0的点的下标添加到队列中，并将其下标对应的标记数组的值设为id；

(4)判断队列是否为空，如果非空，则返回步骤(3)，如果为空，则下一步；

(5)标记数值id=id+1，迭代次数iter=iter-1;

(6)判断iter是否大于0，若是，则返回到(2)，若否，则进行下一步；

(7)遍历标记数组，按照标记数组中的数值将对应编号的点云进行归类，从而得到分离后的加强筋聚类。

2.5 基于线条点云数量阈值的噪点去除

由于部分线激光扫射到加强筋侧面，分割后的加强筋仍然带有噪声数据，因此需要对加强筋点云进行去噪。加强筋宽度10 mm左右，因此点云数量较少，单个加强筋上表面的点云数量低于104，因此为保证精度，支持使用复杂度较高的算法。

传统的点云去噪多采用基于离群点等方法[7-8]，容易导致孤立小聚类的产生，对于测量结果影响较大，并且没有利用线激光的点云特点，因此本文提出针对线激光点云的自动阈值的基于线条聚类的去噪方法。算法流程如下：

(1)选取使得迭代后所有点都能得到选取的迭代次数iter，选取介于线条中点分布距离和不同线条之间最近距离的聚类分割阈值limit；

(2)对单个加强筋的点云进行欧式聚类分割算法，得到多个聚类点；

(3)记录聚类中最大的点云个数N，建立大小为N的数组C，记录不同点云数的聚类的个数；

(4)利用数组C求解阈值t；

(5)剔除聚类点云数小于阈值t的聚类。

随着点云个数增长，聚类个数变化的最大突变值k为：

k=max(Ci+1-Ci)

(3)

其中，i∈[start,n-2]，start可自行调整，去除初始段不稳定的部分，则阈值t为k对应的下标i/3。

如图7所示，图7a为分割前的4个加强筋，由于扫描策略导致同一加强筋并不连续，但通过分割底板时适当切除加强筋较低处点云，可设置较大的距离阈值，分割后的结果如图7b所示，4个不同的加强筋分别被分割到不同的点云聚类。图7c为去噪后的加强筋，图7d为被剔除的噪点，可以看到噪点得到了有效的剔除，并保留了加强筋的特征。本文所提出的针对线激光点云的自动阈值的线条聚类去噪方法不容易产生孤立聚类，可以最大化保留加强筋点云，且可以通过聚类分割阈值直接控制精度。

(a) 原始加强筋点云

(b) 欧式聚类分割后的加强筋点云

(c) 去噪后的加强筋点云

(d) 加强筋上被去除的噪点图7 加强筋聚类分割效果

2.6 加强筋焊接质量评估

得到加强筋点云后，可以对焊接效果进行评估。焊接过程中由于温度场分布不均，导致工件不同位置的热膨胀和冷却收缩存在变形量差值，产生残余应力导致工件变形[9]。对于焊接变形，常用手段是通过安装多个传感器测量多个变形部位的偏差进行检测，而现有措施难以测量并记录多个小组立加强筋的多个位置的焊接变形，缺乏快速有效的检测手段，因此本文提出基于点云域中配准误差的焊接质量评估方法。

加强筋底部通过两个焊枪同时焊接，易出现由焊接引起的倾斜，导致加强筋上表面会出现位置变动，但形状大小不变，因此可以使用配准来对其位置变动进行评估，点云配准通过求两个点云之间的旋转平移变换矩阵，将源点云变换到目标点云相同的坐标下，最常用的配准方法是迭代最邻近点算法(Iterative Closest Point, ICP)[10]，该算法通过求取最近点作为对应点对，然后不断迭代，优化目标函数，从而得到最优的变换矩阵，其中优化目标函数为：

(4)

其中，qi、pi分别为目标点云和源点云中的一对最邻近点，R、T分别为旋转矩阵和平移矩阵，本文仅需评估焊接变形，并非进行配准，因此假设源点云已经得到初次变换，则可设整体焊接变形为：

(5)

因此本文将使用焊接后每个点到焊接前的邻近点距离作为焊接评估参数。

3 实验验证

图8 现场测量验证

针对本文所提出的小组立焊接工位角点提取和加强筋焊接质量评估方法，在某船厂小组立焊接工位进行方案验证。图8所示为小组立焊接工位现场，以图2所示方法采用线激光相机对小组立工件进行测量。

为了验证角点提取与尺寸计算算法，扫略200 mm×200 mm的船板，用算法计算得到相应尺寸，与真值进行比较，得到的误差如图9所示。其中A、B、C、D定义为四边形底板的俯视图中从左上角开始，逆时针方向的4个角点。可以看到，本角点提取并计算边长的算法误差在1.5 mm范围内，且较为稳定，始终可以满足船舶制造的现场需求。

图9 多次测量的误差

如前文所述，使用本文算法可以分离出独立的加强筋，通过人工设置使焊接前后产生不同的偏角，模拟焊接变形，根据本文提出的焊接变形评估方程求解焊接变形参数值。如图10所示，横坐标为邻近点距离，纵坐标为符合邻近点距离在对应距离范围内的点云数，可以看到，单次偏差产生的邻近点距离呈正态分布，并且随着偏角的增大，其对应的最小邻近距离整体也逐渐增大，说明了采用本文提出的基于配准的焊接变形评估的可行性，本文提出的焊接评价标准对焊接变形敏感，并呈单调性，实际生产作业中可以根据实际需要设置相应的阈值，当焊接质量评估标准超过该阈值后，焊接检测系统将提示不合格的焊接加强筋。

图10 不同偏角的焊接变形对应的焊接变形参数

4 结论

本文提出了针对船舶小组立工件的整机测量方案和点云处理算法，其中底板和加强筋分离算法可在小组立智能生产线允许的时间范围内有效地分离海量点云中的底板和加强筋，多边形底板的角点提取和尺寸计算方法的误差不超过1.5 mm，且较为稳定，聚类分割算法可有效分割各个加强筋，并可以通过本文提出的自动阈值的加强筋噪点去除方法有效的保留加强筋特征，然后利用焊接质量评估方法对焊接前后的加强筋进行质量评估。通过实验验证了本文的测量方案和算法的有效性，后续可为实现小组立工件的智能焊接提供技术基础。