成捆圆钢端面点云处理与标牌焊接点定位方法研究

2024-02-13 00:00:00李文忠王者涵张付祥王春梅黄风山
河北工业科技 2024年6期
关键词:点云

摘 要:为了实现标牌焊接机器人作业准确定位,提出了一种成捆圆钢端面点云处理及焊接点定位方法。首先,在搜索规则、参数调整等方面对传统点云数据滤波方法进行了改进;其次,提出了融合欧式聚类、AABB(axis-aligned bounding box)算法和RKNN(reverse K-nearest neighbor)搜索算法的点云分割算法;再次,考虑焊牌要求制定了焊接点位选取策略,通过法向量估计进行点云姿态校正,采用RANSAC算法对选定圆钢端面点云进行拟合,得到焊接中心点位;最后,进行了焊牌实验。结果表明:该方法有效去除了无关点云的影响,缩短了滤波时间,大大减少了点云数量,有效地对粘连点云进行分割,得到了每根圆钢端面点云,确定了满足焊牌条件的圆钢,并准确得到了焊接点的坐标;焊牌实验表明,相对定位误差小于8%,满足实际生产需求。所提方法有利于提高焊牌机器人系统的焊牌定位准确度和工作效率,可为类似工业机器人系统定位提供参考。

关键词:计算机图象处理;点云;改进滤波方法;RKNN算法;成捆圆钢;焊牌

中图分类号:TP391.4" 文献标识码:A" "文章编号:1008-1534(2024)06-0470-11

Research on point cloud processing of end surface of bundled round steels and positioning method of welding tag point

LI Wenzhong1, WANG Zhehan1, ZHANG Fuxiang1, WANG Chunmei2, HUANG Fengshan1

(1.School of Mechanical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China; 2.School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China)

Abstract:

In order to achieve accurate positioning of welding tag by robot system, a processing method of point cloud of the end surface of bundled round steels and welding point positioning was proposed. Firstly, the traditional filtering methods of point cloud were improved in terms of search rules and parameter. Secondly, combining Euclidean clustering, axis-aligned bounding box(AABB) and reverse K-nearest neighbor(RKNN) search, a point cloud segmentation algorithm was proposed. Then, a welding point selection strategy was formulated based on welding tag requirements. The point cloud position was corrected through normal vectors estimation. The random sample consensus (RANSAC) algorithm was used to fit the seleted point cloud of the end surface of bundled round steels to obtain the welding point position. Finally, a welding tag experiment was conducted. The results show that this method effectively removes the influence of irrelevant point clouds, shortens the filtering time, greatly reduces the number of point cloud, effectively segments the point cloud adhesion,obtains the point cloud for each round steel end face, determines the round steel that meets the welding tag requirements, and accurately obtains the coordinates of the welding points. The welding plate experiment shows that the relative positioning error is less than 8%, which meets the actual production needs. The proposed method is conducive to improve the accuracy and efficiency of welding tag positioning in the welding tag robot system, and can also provide reference for the positioning of similar industrial robot systems.

Keywords:

computer image processing; point cloud; improved filtering method; RKNN algorithm; bundled round steels; welding tag

随着“中国制造2025”战略的提出,中国的工业技术体系正在迅速向智能化、自动化发展。目前智能制造整体处于起步阶段,智能制造的标准、软件等基础薄弱,实现智能制造转型升级的目标任重而道远。同时钢铁企业作为工业的基础,钢铁生产流程的多样性致使部分生产环节的智能化变革面临巨大挑战[1]。为实现钢材生产信息的全流程可追溯,需要将钢材的规格、炉号等生产信息标记在产品外部[2]。目前,国内钢铁生产企业通常采用人工作业的方式进行标记,常用的方式有:将不干胶标签贴在圆钢端面[3];将铝制标牌通过焊钉焊接到圆钢的端面[4];将生产信息代码喷涂在钢材表面[5]。人工作业时工人在高温、高噪声、高强度下重复性工作,容易疲劳,从而出现错标、漏标等问题,从而影响产品信息的跟踪与追溯。为避免上述不良影响,针对成捆圆钢端面标牌焊接问题,迫切需要研发一套标牌智能焊接机器人系统,代替人工作业。而该系统在焊标牌时需要先通过机器视觉识别被焊目标圆钢端面的中心位置,确定焊牌点位,引导机器人进行焊接。目前,机器视觉技术和机器人技术融合应用的策略已经在诸多工业场景中发挥作用[6]。但是,由于成捆圆钢的各圆钢端面并不平齐,根据实际标牌焊接要求结合生产现场复杂的工业环境,传统的二维视觉引导方法已不再适用。因此,需要开发一种以立体相机获取成捆圆钢端面三维点云数据为基础的焊牌位置定位方法,引导工业机器人进行焊牌。

近年来,随着三维点云技术研究的开展及其在工业领域的广泛应用,点云预处理和点云分割技术作为点云识别核心技术已被国内外学者广泛关注。李茂月等[7]通过将点云数据空间集合特征与滤波器功能结合提出了一套点云预处理方法流程,在保证最优精简效果的同时完成了噪声去除使曲面平滑。SU等[8]在Delaunay三角剖分方法的基础上,提出了一种具有准线性时间复杂度的自适应希尔伯特曲线插入算法,与经典方法对比,该方法显著提高点云数据网格化简化效率。李韦童等[9]针对预拼装钢构件的三维数据提出了一种点云自动分割算法,在柱面点云分割时采用降维投影预分区与空间拟合的方法完成分割,在平面点云分割时引入了基于密度的空间聚类方法以及抽样点距离约束的概念,该算法能够自动、准确地分割出构件的圆柱与平面点云数据。以上介绍的点云处理方法均基于实际工业生产或实验研究中所遇到的问题,以各自场景的点云特征信息为基础展开研究。本文研究的成捆圆钢端面点云处理过程情况比较复杂,以上方法处理效果不好、效率较低,应充分考虑成捆圆钢端面点云信息的综合特征,有针对性地解决问题。

本文通过立体视觉技术获取成捆圆钢端面三维点云数据,采用点云预处理、点云分割及焊接点位定位方法,最终确定焊牌的圆钢端面位置。其中点云预处理环节需要对传统滤波方法进行改进,以提升滤波效率;点云分割环节解决由于点云粘连现象出现的错分割问题;焊接点位定位环节解决成捆圆钢在机器人工作空间内轴向倾斜对定位产生的干扰问题。

1 成捆圆钢端面图像点云数据处理及焊点定位方法

在成捆圆钢端面标牌自动化焊接过程中:首先,由立体视觉系统获取成捆圆钢端面的三维点云信息;其次,进行识别处理,获得被焊接圆钢端面的空间位姿信息,确定焊接位置;最后,由机器人进行焊牌。为此本文提出了一种以成捆圆钢端面三维点云信息为基础的完整算法流程,总体分为点云预处理、点云分割和焊接点位选取3个部分,具体流程如图1所示。点云预处理环节依次采用直通滤波、近邻搜索改进体素滤波、最小点数约束改进半径滤波,实现了点云去噪与降采样的效果。点云分割环节应用欧式聚类分割完成初次分割,然后引入包围盒检测方法对分割结果进行二次分类。对于分割不完全的点云结果,提出了一种近邻搜索(reverse K-nearestneighbor,RKNN)算法进行点云分割,实现了单根圆钢端面点云的分离。焊接点位选取环节,应用主成分分析法(principal component analysis,PCA)获取目标端面点云群的法向量信息,然后结合焊接端面选取规则确定目标端面,并基于随机样本一致性(random sample consensus,RANSAC)算法、包围盒碰撞分析,获取最终的焊接点位信息。

2 点云预处理

光学测量获取目标物体表面数据时,由于受工业现场复杂环境、光照条件、传感器性能等因素的影响,获取的扫描数据中不可避免地存在噪声污染以及冗余数据[10]。这些无关数据将会为后续的点云处理操作带来阻碍,[HJ2.1mm]所以需要根据目标环境制定合适的预处理方案。点云滤波操作是进行点云预处理的主要方法,其目的是在保持目标点云模型的显著空间几何特征的前提下,消除点云噪声产生的绝大部分影响,从而为后续处理阶段提供高精度、高质量的点云数据[11]

预处理流程:首先,应用直通滤波算法完成原始点云中的大部分无关点云的去除;其次,使用改进体素滤波完成点云数据的降采样处理;最后,应用改进半径滤波完成噪声点云及柱面点云的去除,最终将成捆圆钢端面点云提取出来,完成点云的预处理。图2所示为点云预处理效果图。

2.1 直通滤波

直通滤波是应对工业测量中被测物体周边杂乱环境产生的大量无关点云常用的滤波方法。直通滤波是一种基于范围滤波的延伸算法:首先,指定一个维度,通过设置阈值参数确定一个值域;其次,遍历输入点云中的每一个点,判断其是否符合维度和值域条件,将不符合条件的点滤除掉,遍历结束将剩余点云作为输出点云。由于在实际获取点云数据的过程中,立体视觉相机与圆钢生产线相对位置固定,因此容易采用直通滤波实现在X,Y,Z 3个维度上的点云裁剪去除。在实验室场景下根据桌面与相机距离,最终设定阈值为(-1 370,0),测量场景点云直通滤波效果图如图2 b)所示。直通滤波前后的点云数量分别为114 225和10 694,从处理效果图及点云数量上可直观得出,采用直通滤波方法根据生产场景设定合理的维度与范围参数,可以有效去除目标点云以外与背景无关点云,达到预期的处理目的。

2.2 体素滤波

为便于后续实现点云的快速分割,需对原始点云进行降采样处理。传统体素滤波是在测量中被广泛应用的常规点云精简手段之一,其工作原理是将输入点云空间按照边长为L划分为若干三维网格体素,去除其中没有点云数据的无效体素单元,并在其余的体素单元中选取重心点来代替立方体内所有的点云数据,所有有效体素单元中的重心点组成滤波后的输出点云[12]。本文在体素点提取规则上进行了稍加改进,即在计算出重心点后对其进行近邻搜索选取距其最近的点提取为体素点,在保留输入点云空间特征的同时完成了降采样操作。

体素滤波中直接决定处理效果的参数即为体素方格边长d的数值,根据测量目标尺寸以及目标点云空间密度设置合适的数值是体素滤波处理的关键步骤。边长d选择过小,单个体素内点云数量过少,滤波前后的点云数量相近甚至相同,那便失去了滤波的处理目的。而当边长d选择过大,大面积地进行降采样会造成点云部分重要空间几何特征丢失,导致体素滤波后的点云不再具有后续处理意义。图2 c)为1.5 mm体素宽度滤波效果图,滤波后的点云数量为7 695个,与直通滤波后的点云数量10 694个相比,减少了约28%。可见,改进后的体素滤波减少了点云数量,进而提高了处理速度。

2.3 半径滤波

采集的点云数据里含有噪声点云及柱面点云,为此采用改进半径滤波算法对点云数据进行处理加以去除。传统半径滤波算法过程中,对每个查询点进行近邻搜索会对指定半径内所有点进行遍历,遍历完成后再统计搜索点的数量与设定的阈值进行比对,判断该查询点是否为噪声点[13]。这样的计算过程从时间、空间复杂度上来讲都是巨大的,为提高算法效率,在遍历规则上进行了改进:设定最大遍历数量为n,其数值与半径滤波设置阈值k相等,当对某个查询点进行近邻搜索时,无需对搜索半径内的所有的点全部遍历。

为验证上述添加最小约束的改进半径滤波方法的有效性,在相同硬件环境和开发平台下进行了对比实验,在输入点云和参数一致的条件下,改进前后滤波处理效果如表1所示。从表中数据可以看出,相对于传统的半径滤波,最小点数约束的改进算法在保证相同的滤波效果的同时大大缩短了运行时间,对焊牌系统实现快速定位更具有实际意义。

3 点云分割

原始点云数据经过预处理之后,得到了相对理想的点云信息,但其仍然是一块完整的空间点云群。根据焊牌工序要求,需定位成捆圆钢的最靠外侧的单根圆钢端面圆心位置作为焊接位置。因此基于以上预处理结果,还需要对目标点云信息做出相应的分割处理,分离出单根圆钢端面的点云。

但是,由于成捆圆钢端面点云数据中相邻圆钢端面点云之间存在大量粘连点云(如图3所示),使相邻端面点云族之间的空间特征区别变得模糊,导致绝大部分常用的分割算法不能保证分割的准确性。

因此,针对识别对象的特殊情况,综合欧式聚类分割算法、包围盒(axis-aligned bounding box,AABB)算法、RKNN算法等,设计了一套点云分割算法,有效提高了分割结果的准确度和完整度,其技术流程如图4所示。

3.1 欧式聚类粗分割

欧式聚类分割是基于相邻点间欧式距离的聚类分割算法,欧氏距离即欧几里得度量,指在n维空间中2个点间的真实距离[14]。假设现有点云集合S0={p1,p2,…,pn},其中任意2个点pi和pj的欧氏距离d表示为式(1)。

d(pi,pj)=x1-y12+…+xn-yn2=∑ni=1xi-yi2。(1)

通过K-D树近邻搜索找到k个离pi最近的点,将距离小于阈值d0的点聚类到一起,重复这个过程直到聚类中的点数不再增加,整个聚类过程结束,欧式聚类分割算法流程如图5所示。

经过对欧式聚类分割原理步骤进行分析,结合实际算法集成开发过程,发现欧式聚类分割作为一种传统的分割算法能够处理绝大部分简单的分割任务,但其初始设置阈值对分割效果影响非常大。因此,根据输入点云的空间特征信息,确定合适的阈值d0以及聚类包含点数量的上、下限阈值Smax,Smin尤为重要。

图6为对预处理后的欧式聚类算法点云粗分割结果示意图。其中图6 b)输出点云中不同颜色的部分分别代表不同的分割结果。经过粗分割步骤,部分单根圆钢端面点云作为分割结果成功从总体点云集合中分离出来。但是对于点云粘连情况较为严重的端面点云难以分割,仍然作为一个整体存在,还需要进行进一步的分割处理。

3.2 包围盒算法阈值估计

为实现对欧式聚类分割结果的进一步分类,引入了AABB算法对分割结果进行边长估计。AABB算法的基本思想是在物体存在的n维空间中使用简单的几何图形来替代此物体,用简单的边线特征粗略描述物体复杂的边缘特征[15]。在三维点云空间中AABB算法作为一种常见的求解离散点集最优包围空间的方法,2个三维物体包围盒相交是本体相交的必要不充分条件,因此该算法被广泛应用于碰撞检测领域。AABB算法通过把物体包裹在一个轴对齐的矩形框中,来检测2个物体是否相交或碰撞。由于分割完全的点云只包括一个圆钢端面,而点云粘连的圆钢端面包括多个未分割的端面,因此未分割完全的分类结果包围盒边长较分割完全的结果更大,并且包围盒的长、宽、高3个边长中至少有1个远大于圆钢的直径信息,如图7所示。由图7可知,存在粘连的点云的包围盒边长区别明显,可以直观地根据包围盒边长判断分割结果是否还需要进行下一步分割。

3.3 RKNN搜索细分割

经过对上一步骤中使用AABB算法边长估计得到的未分割完全的点云集合空间几何特征的分析,发现其中存在大面积的粘连点云,或几乎位于同一空间平面,如图8所示。为完成对上述情况下多根圆钢端面点云的有效分割,提出了一种基于K-D树数据索引结构空间下的RKNN搜索算法的点云分割方法。

RKNN搜索算法是经典监督学习方法KNN算法(K-nearest neighbor)较为常见的一个变种,从一定角度上来看,RKNN搜索算法可以视作KNN搜索算法与RNN算法的结合[16]。因此在此算法解决的问题中同时引入了近邻搜索点数k与空间点之间的欧式距离r作为搜索约束条件。三维空间内的数学定义:假设有一大量空间点对象p组成的集合S和查询对象q,在集合S内对q点进行阈值条件为k和r的遍历搜索,找出满足式(2)的点。

RKNNp(q)=p∈S,dist(p,q)≤dist(p,p′),(2)

式中:dist表示2个对象之间的欧氏距离;p′是S中距离p第k远的对象。

为实现点云空间下的RKNN搜索算法,以Visual Studio2019为开发平台基于PCL(point cloud library)库进行了算法开发,最终的算法实现步骤如下。

1)确定算法的输入量、输出量及相关设置参数,算法输入为原始点云、搜索距离半径阈值、搜索访问最大点数阈值、停止遍历分割的剩余点云数量阈值;算法输出为分割完成的点云子集合。

2)初始化子函数作用域下数组及容器。

3)调用PCL库函数K-D树类中的RKNN搜索算法循环遍历分割,将每个遍历过的点云集合数量保存至对应数组中。

4)比较搜索点的近邻点云集合数量,选取数量最大的集合。并将此点云集合基于索引值将其从原始点云中剔除,并作为新的输入点云跳入下一个循环,同时将此点云集合作为第1个分割结果。

5)重复步骤3)与步骤4),直至剩余点云数量小于阈值跳出循环。

本算法实现是基于KNN搜索算法,此方法的基本思想是计算任一点到其余各点的欧氏距离,然后升序排序,前面的k个点即为此点的k邻域点。

这种方法简单直观,易于实现,但其时间复杂度较高,在点云规模较小时,此算法能取得较好的结果。RKNN搜索算法能够完整地将多个端面点云分割开,分割效果如图9所示,其中图9 a)表示输入点云分割效果,图9 b)表示输出点云(输出点云中不同颜色代表不同点云子集合)。

4 焊接点位选取

4.1 焊接点位选取规则

点云信息在经过预处理和分割处理后,已经将多个单根圆钢端面点云作为结果从原始点云中分离出来,但本文研究的目的是在成捆圆钢端面点云中寻找一点作为理想点供给机器人焊接标牌,因此如何确定该点的位置是点云识别定位的关键步骤之一。

在本文涉及的成捆圆钢端面焊牌机器人系统焊接执行过程中,焊接点位的选取需要综合考量钢企对焊牌工序的现有要求以及产品用户的需求。标牌的主要功能是实现后期圆钢产品出库运输及后续过程中的信息可追溯,因此标牌焊接的牢固度相关指标是焊牌机器人系统功能实现的重要技术参数之一。据上述分析对焊牌点位选取提出了以下要求。

1)标牌焊接目标圆钢轴向位置相对凸出

为方便焊牌机器人进行焊接操作,需要尽量选取靠近外侧的圆钢端面进行焊接,此要求也是沿用人工焊牌工序要求。由于成捆圆钢端面中不同圆钢之间轴向存在一定的参差度,而焊牌系统中的焊接执行子系统的机械手末端操作器空间体积较大,为防止焊接过程中与临近圆钢发生碰撞,造成焊接不成功或设备损坏等情况的发生,在位置选取时尽量避免将局部区域内深度值较小的圆钢端面作为焊接目标,如图10所示。

2)标牌焊接位置靠近圆钢端面中心位置

由于本文的焊接目标主要是直径范围在13~60 mm的圆钢产品,焊钉在焊接过程中需要一定的熔池平面空间,因此在与圆钢端面接触时应保证该接触点附近有足够的区域供给熔池形成。理论上只要焊接动作执行过程中避免与端面边缘接触即可,但是当圆钢直径较小时,端面可焊接区域就变得更小了,对焊接准确度要求也随之提高了。除此之外,为了保证焊接工艺实现效果的工业美观以及体现焊牌系统的高自动化程度(高智能水平),标牌焊接应当靠近目标端面的中心位置。

3)标牌焊接后的标牌边缘不超过圆钢捆边界

由于成捆圆钢在运输过程中可能会滚动,这意味着如果标签焊接在可焊区域之外,标签边界必须超过成捆圆钢的端面。标牌焊接的极限位置如图10 b)所示,如果焊接位置选择不合理,会导致标牌下缘超过圆钢捆边界,很可能会对标牌造成损坏甚至发生标牌掉落的情况。

根据上述分析确定的3条焊接点确定要求,本文分别采用相应的算法实现:为有效去除相机坐标系xy平面与圆钢端面所在平面的不平行度影响,对预处理后的点云进行空间法向量估计,并依次选取较凸出的几根圆钢端面点云;对其分别进行空间拟合,求取圆心位置及所在平面法向量信息;根据实际标牌焊接点钢材表面的尺寸信息创建空间包围盒,通过比对包围盒与成捆圆钢端面的相对空间位置,分别判断上述焊接点位是否满足焊牌点位选取要求3)。

4.2 基于PCA的法向量估计

在人工焊牌的过程中,工人在焊接之前首先观察当前成捆圆钢,确定一个合适的端面,这个判断过程基于人体复杂的生理系统结构实现,但当使用机器人来实现这一过程就要充分考虑多种因素,并对获取的数据进行分析,进而完成目标端面的定位。

由于成捆圆钢输送辊道由多根平行链条组成,在辊道运输过程中圆钢产品受力不均匀,造成其产生一定的空间偏移量,使得圆钢与运输线不再处于完全垂直的空间位置关系。上述情况会对焊牌机器人系统理想焊接位置的定位产生影响,因此,为解决运输过程中圆钢偏移量对点云识别定位算法的干扰,引入了空间点云法向量估计方法对点云信息进行姿态校正。

法向量是散乱点云模型中一个重要属性,可用来描述模型特征信息。本文主要采用了基于PCA的法向量估计方法对点云进行校正评估,PCA作为一种重要的数据分析方法,本质上是一个正交线性变换,该变换将现有数据转换到新的正交基下[17]。其在点云空间的法向量估计应用实现过程如下。

1)假设现有1个点云集合,以其中的pi点为种子点进行KNN搜索,根据上述k个近邻点进行最小二乘空间平面拟合获取的平面P为

P(n,d)=argmin(n,d)∑ki=1(n,pi-d)2,(3)

式中:n表示平面P的法向量;d表示P与原点之间的距离。

2)在高维数据中,协方差被用来对数据分散程度进行约束,并且可以表示2个变量之间的相关性,将这些方差写成矩阵就是协方差矩阵。已知pi经过k个邻域点的质心p0,且法向量n满足‖n‖=1,协方差矩阵M的计算公式为

M=1k∑ki=1(pi-p0)(pi-p0)T。(4)

对M特征值分解,最小特征值对应的特征向量就是法向量,该平面的法向量即为点p的法向量。

在本文法向量估计过程中,以预处理过后的全部点云为输入点云对其全部进行估计,获得一个法向量结果。以此为数据基础对原始点云进行一个空间旋转平移变换,使得法向量方向与双目相机的Zcam轴平行。完成空间校正之后,选取较靠外侧,即z值较大的n根圆钢端面作为备选焊接端面(n作为参数由人工设置),如图11所示。其中图11 a)为校正后的点云平面信息,图11 b)为拟选取的点云平面信息。

4.3 基于RANSAC算法的点云拟合

为满足标牌焊接位置靠近圆钢端面中心位置的焊接要求,采用了基于RANSAC算法对目标端面点云进行空间点云圆拟合[18],得到了圆中心,完成了中心位置的估算并输出。

采用RANSAC算法拟合提取点云中的空间圆点云,具体步骤如下:

1)在边缘点点集Qedge中随机抽取3个点,计算3点确定圆的圆心O、半径r;

2)计算各边缘点到圆心O的距离d,若d-r≤ε,ε为设定的距离阈值,将该点计入内点,否则视为外点;

3)统计该圆上的内点个数m,若m大于阈值mmin,则估计成功;

4)使用最小二乘法计算内点组成的圆模型参数;

5)重复以上步骤,当迭代次数k超过设定的最大迭代次数kmax时,迭代结束,输出圆参数。

在设计识别方法流程阶段,使用RANSAC算法对采集的圆钢端面点云信息进行的空间拟合,最终圆钢端面3D点云圆拟合结果如图12所示。基于PCL库对此算法进行了集成,能够在确定拟合圆心的空间位置的同时确定端面所在空间平面的法向量信息,为后续机器人系统执行焊牌动作需要的点位信息与姿态信息提供数据支持。

4.4 包围盒空间碰撞检测

通过以上法向量估算校正和RANSAC空间拟合方法,结合本文点云分割方法获得的分割结果,可以获得几个满足要求的焊接点位,而要考虑该位置是否符合焊牌点位的选取要求3),则需要分别构建空间包围盒,推断焊接后的标牌下缘是否超过了成捆圆钢端面下缘。

5 实验验证

为验证本文提出的成捆圆钢端面点云识别与定位方法的性能,通过实验对成捆圆钢端面点云定位方法和实际焊牌效果的准确性、快速性和稳定性进行了对比分析。

5.1 实验平台配置

本识别与定位算法在Window10专业版64位的操作系统下,在Visual Studio2019平台上基于PCL库完成开发。整体定位焊接系统硬件方面采用河南埃尔森智能科技有限公司提供的AT-S1000-01A-S3型工业双目立体相机作为视觉传感器进行点云数据采集,该相机采用光轴平行的模型,左、右2个镜头参数完全一致,便于搭建模型以及后期深度值计算。此相机的测量精度为±0.2 ~±2.0 mm,工作距离为1 050~3 250 mm,视野范围为1 144 mm×802 mm(距离为1 050 mm时)~3 136 mm×2 464 mm(距离为3 250 mm时),扫描时间为1.0~2.5 s,可以满足焊牌系统的工艺需求[19]。采用埃夫特智能装备股份有限公司提供的ER7L-C10型工业机器人进行圆钢端面实际中心位置验证,该机器人有效载荷7 kg,重复定位精度为±0.02 mm,最大臂展为713 mm[20]。以上参数满足标牌焊接的实际需求。通过双目立体视觉相机采集成捆圆钢端面点云,应用本文提出的算法进行处理,确定被焊牌圆钢端面的中心坐标,机器人根据该中心坐标,将末端操作器夹持的标牌焊接到圆钢端面上,如图13所示。图14为标牌焊接效果图。

5.2 工业现场验证实验

为了验证本文所提方法的可行性,将该方法对应的算法程序集成到焊牌机器人系统,对直径为30 mm的成捆圆钢进行了焊牌操作。

1)焊接精度

为检验最终的焊接精度,经过8次焊接实验,将每一次的焊接实际点与焊接理论点对比进行误差分析。其中焊接实际点即为每次焊接实验机器人所接收到的焊接点位空间坐标值;焊接理论点为焊接实验机器人对目标焊接圆钢端面进行5次机器人示教画圆法拟合取均值获得的空间坐标值。实验数据如表2所示。

在8组测量数据中,焊接位置的绝对误差不超过3 mm,相比于圆钢直径的相对误差不超过8%,由于实验中机械结构加工误差、零部件安装误差、手眼标定误差、视觉测量误差等误差累计,造成最终实验结果与实际目标位置有所偏差。通过对此次实验数据的分析可得,此次工业现场试验焊接点位识别位置更靠近圆钢端面中心。

2)焊接周期

首先进行焊牌系统的预调试,然后按照实验步骤开始进行焊牌测试,系统保持相同参数设置进行连续单步运行并记录单步运行的时间,焊接周期耗时实验记录如表3所示。

经分析,本实验系统单次运行时间的平均值为18.94 s,系统单次运行时间≤20 s。实验验证了本系统的高效性,完全满足实际生产要求。

6 结 语

本文为满足对成捆圆钢端面标牌焊接机器人系统焊接目标定位准确、快速的要求,基于双目立体视觉相机采集的三维点云信息,对点云滤波方法、点云分割算法进行了改进,结合焊牌需求提出了焊点定位方法。

1)采用在搜索规则、参数等方面经过改进的滤波方法,能够在保留原始点云空间几何特征的同时,去除目标点以外无关的背景点云数据,有效消除点云噪声,并大大减少了点云数量,缩短了处理时间,提高了点云滤波效率。

2)融合欧式聚类、AABB算法和RKNN搜索算法的点云分割算法,能够有效地解决由于圆钢端面点云粘连出现的错分割问题,得到每根圆钢端面的点云,有效完成多根圆钢端面点云的分离。

3)提出的焊牌点位确定方法,有效规避了圆钢端面倾斜对定位产生的干扰,可以确定满足焊牌条件的圆钢端面,并对圆钢端面点云拟合成圆,准确得到圆心坐标作为焊牌位置。

4)经过工业现场试验,焊接点位定位绝对误差lt;3 mm,相对于圆钢直径的相对误差不超过8%,单次焊接时间≤20 s,说明该方法在处理速度、定位精度等方面满足实际生产需求。

该方法有利于提高焊牌机器人系统的焊牌定位准确度和工作效率,考虑到工业现场环境复杂光照条件及遮挡等情况的影响,需要进一步引入基于三维点云的深度学习技术对成捆圆钢端面点云信息进行识别,以提高定位的准确度。

参考文献/References:

[1]刘璐新,申钊.落实智能制造发展规划推动钢铁工业转型升级[J].冶金设备,2017(2):48-51.

LIU Luxin,SHEN Zhao.Implementing intelligent manufacturing development plan and promoting the transformation and upgrading of the iron and steel industry[J].Metallurgical Equipment,2017(2):48-51.

[2] 张付祥,郭旺,黄永建,等.成捆特钢棒材端面字符识别算法研究[J].河北科技大学学报,2021,42(5):470-480.

ZHANG Fuxiang,GUO Wang,HUANG Yongjian,et al.Study on character recognition algorithm for end face of bundled special steel bars[J].Journal of Hebei University of Science and Technology,2021,42(5):470-480.

[3] 张付祥,蔡立强,李伟峰,等.成捆圆钢端面自动贴标系统设计[J].河北科技大学学报,2016,37(6):601-608.

ZHANG Fuxiang,CAI Liqiang,LI Weifeng,et al.Design of automatic labeling system on the end surfaces of bundles of round steels[J].Journal of Hebei University of Science and Technology,2016,37(6):601-608.

[4] 张瑾,邢建厂,李振刚.机器人自动焊接标牌系统设计与应用[J].工业控制计算机,2019,32(10):159-160.

ZHANG Jin,XING Jianchang,LI Zhengang.Design and application of automatic welding sign system for robot[J].Industrial Control Computer,2019,32(10):159-160.

[5] 张付祥,赵阳,黄永建,等.特钢棒材标记方案设计与信息码识别[J].中国冶金,2020,30(3):28-34.

ZHANG Fuxiang,ZHAO Yang,HUANG Yongjian,et al.Marking scheme design and information code recognition of special steel bars[J].China Metallurgy,2020,30(3):28-34.

[6] FAHIMIPIREHGALIN M,TRUNZER E,ODENWELLER M,et al.Automatic visual leakage detection and localization from pipelines in chemical process plants using machine vision techniques[J].Engineering,2021, 7(6):758-776.

[7] 李茂月,马康盛,王飞,等.基于结构光在机测量的叶片点云预处理方法研究[J].仪器仪表学报,2020,41(8):55-66.

LI Maoyue,MA Kangsheng,WANG Fei,et al.Research on the preprocessing method of blade point cloud based on structured light on-machine measurement[J].Chinese Journal of Scientific Instrument,2020,41(8):55-66.

[8] SU Tianyun,WANG Wen,LYU Zhihan,et al.Rapid delaunay triangulation for randomly distributed point cloud data using adaptive hilbert curve[J].Computers amp; Graphics,2016,54:65-74.

[9] 李韦童,邓念武.一种预拼装钢构件的点云自动分割算法[J].武汉大学学报(工学版),2022,55(3):247-252.

LI Weitong,DENG Nianwu.An automatic point cloud data segmentation algorithm for pre-assembled steel structures[J].Engineering Journal of Wuhan University,2022,55(3):247-252.

[10]XIE Yuxing,TIAN Jiaojiao,ZHU Xiaoxiang.Linking points with labels in 3D: A review of point cloud semantic segmentation[J].IEEE Geoscience and Remote Sensing Magazine,2020,8(4):38-59.

[11]HAN Xianfeng,JIN J,WANG Mingjie,et al.A review of algorithms for filtering the 3D point cloud[J]. Signal Processing:Image Communication,2017,57(9):103-112.

[12]蒋通,邹进贵.基于区域生长的体素滤波点云去噪算法[J].测绘地理信息,2021,46(2):63-66.

JIANG Tong,ZOU Jingui.Point cloud denoising algorithm of voxel filtering based on region growing[J]. Journal of Geomatics,2021,46(2):63-66.

[13]毕松,王宇豪.基于自适应半径滤波的农业导航激光点云去噪方法研究[J].农业机械学报,2021, 52(11):234-243.

BI Song,WANG Yuhao.LiDAR point cloud denoising method based on adaptive radius filter[J].Transactions of the Chinese Society for Agricultural Machinery,2021,52(11):234-243.

[14]杨诚轩,梁庆华,罗磊,等.一种面向分拣的改进欧式聚类分割算法[J].机械设计与研究,2022,38(2):174-178.

YANG Chengxuan,LIANG Qinghua,LUO Lei,et al.An improved European clustering segmentation algorithm for sorting[J].Machine Design amp; Research,2022,38(2):174-178.

[15]张宇,张得礼,张文奇,等.基于混合层次包围盒的水下训练机械臂碰撞检测方法研究[J].载人航天,2022,28(5):627-636.

ZHANG Yu,ZHANG Deli,ZHANG Wenqi,et al.Research on collision detection method of underwater training manipulator based on hybrid hierarchical bounding box[J].Manned Spaceflight,2022,28(5):627-636.

[16]许景科,孙焕良,刘天波,等.基于RKNN的选址算法及其应用研究[J].计算机应用研究,2014,31(3):789-791.

XU Jingke,SUN Huanliang,LIU Tianbo,et al.Location algorithm based on RKNN and its applications[J]. Application Research of Computers,2014,31(3):789-791.

[17]朱滨,程小龙,刘绍龙,等.基于PCA法矢估计的建筑点云立面边界提取[J].测绘与空间地理信息,2021,44(6):38-40.

ZHU Bin,CHENG Xiaolong,LIU Shaolong,et al.Building point cloud elevation boundary extraction based on PCA normal vector estimation[J].Geomatics amp; Spatial Information Technology,2021,44(6):38-40.

[18]孙帅.基于RANSAC算法的移动机器人路径监测方法[J].制造业自动化,2022,44(4):196-199.

SUN Shuai.Mobile robot path monitoring method based on RANSAC algorithm[J].Manufacturing Automation,2022,44(4):196-199.

[19]李文忠,张超,张付祥,等.成捆圆钢端面标牌自动焊接系统的研究[J].机床与液压,2023,51(3):120-124.

LI Wenzhong,ZHANG Chao,ZHANG Fuxiang,et al.Study of automatic tag welding system for the end surface of bundled round steel[J].Machine Tool amp; Hydraulics,2023,51(3):120-124.

[20]张付祥,郑雨,李俊慧,等.ER7L-C10工业机器人运动学及奇异性分析[J].中国科技论文,2022,17(10):1167-1172.

ZHANG Fuxiang,ZHENG Yu,LI Junhui,et al.Kinematics and singularity analysis of ER7L-C10 industrial robot[J].China Sciencepaper,2022,17(10):1167-1172.

责任编辑:王淑霞

基金项目:中央引导地方科技发展资金项目(246Z1808G);石家庄市驻冀高校重大科技专项(241080507A)

第一作者简介:李文忠(1976-),男,河北蠡县人,正高级实验师,博士,主要从事工业机器人应用及先进机构设计方面的研究。

通信作者:王春梅教授。E-mail: wcm0311@163.com

李文忠,王者涵,张付祥,等.成捆圆钢端面点云处理与标牌焊接点定位方法研究[J].河北工业科技,2024,41(6):470-480.

LI Wenzhong,WANG Zhehan,ZHANG Fuxiang,et al.Research on point cloud processing of end surface of bundled round steels and positioning method of welding tag point[J]. Hebei Journal of Industrial Science and Technology,2024,41(6):470-480.

猜你喜欢
点云
基于激光雷达的大型电力变压器吊装定位方法
河南科技(2025年1期)2025-02-24 00:00:00
基于三角形相似性的点云配准算法
软件工程(2024年7期)2024-12-31 00:00:00
基于DNSS与点到平面的ICP结合的点云配准算法
计测技术(2020年6期)2020-06-09 03:27:12
基于法向量特征的点云配准方法
基于Geomagic的汽车内门把手逆向设计
LIDAR技术在数据处理中的应用
软件导刊(2016年8期)2017-03-31 18:42:14
机载三维激光扫描仪软件系统构建
软件导刊(2016年12期)2017-01-21 15:27:30
基于KD树的点云索引技术研究
科技视界(2015年30期)2015-10-22 11:47:10
利用LiDAR点云快速进行等高线制作
科技资讯(2015年20期)2015-10-15 19:23:03
基于实测数据的果树三维数字模型构建