基于Kinect V2图像传感设备的智能喷漆系统*

林 森, 李文涛, 丁乃达, 唐延东

(1.中国科学院沈阳自动化研究所 机器人学国家重点实验室,辽宁 沈阳 110016；2.中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110016；3.辽宁工程技术大学 电子与信息工程学院,辽宁 葫芦岛 125105)

0 引 言

随着汽车维修业的快速发展,车漆表面维护及修理逐渐成为常见的汽车车身维修种类。漆面修复过程中需要多次喷漆,工作量繁重,因此具有图像传感设备的智能喷漆机器人系统研发工作显得极其重要。

近年来,国内外研究者致力于研发喷漆机器人轨迹优化方法。Chen H等人[1]在CAD模型基础上首次提出基于网络的喷漆轨迹规划方法,但对于复杂曲面,网络化的CAD模型很难识别数据特征。之后Chen H等人[2]再次利用CAD模型对工件表面网络化的喷枪平面进行分片处理,提出并验证片与片之间的有效连接算法。Andulkar M V等人[3]在离线喷漆轨迹规划的基础上提出增量式算法,对喷漆速度进行优化。张鹏等人[4]利用分片造型技术对大曲率曲面进行喷漆轨迹规划,并分析轨迹优化组合中存在的问题,奠定自动化喷漆系统的基础。虽然对不同表面特征的喷漆轨迹规划问题研究取得了一定成果,但喷漆系统仍存在目标区域点云数据不够准确,轨迹规划方法适用性较差等问题。

本文以Kinect V2相机为喷漆系统的图像传感设备,提出基于Sampson加权算子的随机抽样一致性算法(random sample consensus,RANSAC),剔除错误匹配点对,获得精度更高的车身划痕区点云；提出高效的点云切片生成算法,利用处理后的点云计算切片的数据坐标与法矢量,并通过插补算法将轨迹中各点连接起来,形成连续平滑的喷枪运动轨迹,实现喷漆作业。

1 系统结构

1.1 智能系统组成

智能喷漆系统的整体结构如图1所示。

图1 智能喷漆系统整体结构

1.2 Kinect V2简介与标定

Kinect V2是第二代Kinect for Windows图像传感设备,可以同时获取场景的颜色信息和深度信息[5]。

Kinect V2共有三个摄像头,最左侧是RGB摄像头,右侧为红外相机和红外线发射器组成的深度传感器[6]。为获得Kinect相机的内部参数,采用张正友标定法[7]对相机自身进行标定。Kinect采集点云数据后,还需将数据转换到喷漆机器人坐标系下,才能进行后续操作,因此要对Kinect与喷枪之间的相对位姿进行标定,即手眼标定[8]。本文采用奇异值分解(singular value decomposition,SVD)的方法[9]计算Kinect与喷枪之间的旋转矩阵和平移向量,完成二者相对位姿的标定。

2 改进RANSAC的点云匹配算法

使用Kinect相机依次采集不同角度下的目标图像,将图像两两之间配准,通过后期拼接,可得到完整的目标点云。为保证图像对之间的匹配精度,提出基于Sampson加权算子的RANSAC算法对匹配结果进行处理。RANSAC算法[10]使用的基础数学模型如图2所示。α与α′为Kinect从V和V′两个位置采集的图像,成像点分别为i和i′。

图2 几何关系示意

对应点i=(u,v,1)和i′=(u′,v′,1)存在如下关系

(1)

其中,Fcloud为待求的变换矩阵

(2)

当匹配点数大于8时,将式(2)代入式(1)展开求解可得到变换矩阵Fcloud。得到变换矩阵后,在RANSAC算法基础上引入Sampson加权算子

(3)

Step1 随机抽取8对匹配点,计算变换矩阵Fi。

Step2 计算每对匹配点的Sampson距离,记为dij,i∈[1,N],j∈[1,8]。比较dij与事先设置的阈值d,若dij

Step3 将Step1和Step2重复循环N次,其中

(4)

式中p为至少有一个数据子集所包含的数据全是局内点的概率,通常p大于95%,s为子集中数据点的个数,ε为局外点占数据集的比例。

Step4 将之前记录的内点数量进行比较,找到对应内点数目最多的变换矩阵,记为F,与其对应的内点作为最终的内点,其余点作为外点,即需要剔除的错误匹配点。

3 喷漆机器人喷枪轨迹规划

3.1 改进的点云切片算法

如图3所示,平面Π分别沿其法矢量方向与相反方向等距平移得到两个新平面ΠR和ΠL,两个平面之间的距离定义为切片厚度δ。Π与ΠL,ΠR之间构成的切片与点云的交点分别记为PLi,i∈[1,nL]和PRi,i∈[1,nR]。通过求取PLi与PRi的最近连线可近似表达该模型的局部轮廓。

图3 切面与点云求交

由于点云数据过大,寻找PLi与PRi的最近连线将花费大量时间。因此对搜索距离最近点的算法进行改进。具体算法流程如下：

1)首先确定阈值nt,若ΠR和Π之间区域点的总数nR,满足nR

2)在ΠL和Π之间区域中选取一点PLi,令d=δ/2。计算出PLi与Π平面之间的距离dL。如图4所示,以PLi为中心,d为边长构建一个正方体包围盒,计算包围盒内含有另一区域点的数量,记为n。若n=0,则令d=d+δ/2,重新构造包围盒;若n>nt,则令d=dL+d/2,重新构造包围盒;若0

图4 立方体包围盒

3)同样,在PLi中查找与Pli-near距离最近的点,标记为P′Li。判断P′Li是否与PLi重合。若重合,将PLi与Pli-near记为匹配点对,分别保存在链表List_ΠL和List_ΠR中；若不重合,则不保存该组点对。标识PLi已遍历。重复步骤(1)～步骤(3),直到遍历PLi中的每一点为止。

4)计算List_ΠL和List_ΠR中每组点对之间连线PLiPli-near与平面Π的交点,得到切片Π上的数据特征点坐标,记为Pi(xi,yi,zi)。

重复上述步骤,直到遍历完全部点云切片,就得到点云切面上全部数据特征点坐标。

3.2 估算数据点法矢量

为求得特征数据点集中各点的法矢量,利用离散点云的三角拓扑结构,计算特征数据点相关三角形的法向量,可直接利用有向三角形的方向确定法向量的方向[11,12]。点云切片特征数据点构成的集合称为采样点集Si。如图5所示,假设Si与m个点Pj(j=1,2,…,m)相邻,且与Pj+1共同构成m个相关三角形。设这些三角形的单位法矢量为nj,可通过下式求得

图5 Si法矢量估计

(5)

令Si,Pj与Pj+1构成的三角形面积为Λ,取加权因子λj=1/Λ,则Si的法矢量可按下式估算

(6)

3.3 喷漆机器人喷枪空间运动轨迹的生成

如图6所示,喷枪喷嘴到喷漆工件表面的垂直距离记为H。对于采样点Si沿法矢量方向Ni进行偏移H距离之后,就可以得到点Oi,并将点Oi记为点Si的偏置点。且

图6 工件表面偏置信息

(7)

其中,点Oi包含坐标值和单位法矢量。由全部Oi构成的点集称为偏置点集O,点集O包含点云中的全部数据特征。采用喷漆机器人空间直线或空间圆弧插补算法[13]将O中的全部点连接起来便形成了连续的喷涂机器人空间路径,最后将该路径转换为特定型号的喷漆机器人运行程序,完成喷漆工作。

4 系统实验结果与分析

实验平台如下：开发平台Visual Studio 2013；图像处理算法库OpenCV；三维点云处理算法库PCL1.7.2；Kinect V2相机驱动程序Kinect SDK。

4.1 改进点云匹配算法处理结果

当使用SURF算法进行匹配时,得到66对匹配点,匹配结果如图7(a)所示。现采用改进的RANSAC算法,得到43对匹配点。从图7(b)可以看出,明显的错误匹配点对已经剔除。

图7 二种算法匹配结果

4.2 法矢量及轨迹规划结果

图8(a),(b)分别为打过蜡的划痕区以及Kinect获取的该区域点云图。利用特征点可以生成轨喷漆轨迹的法向图,如图8(c)所示。再根据数据点的法矢量确定喷枪的偏置参数,通过插补算法将轨迹中的各点连接起来,最后形成了连续平滑的喷漆机器人喷枪运动轨迹,如图8(d)所示。

图8 实验结果

如图8的小型区域喷枪轨迹规划,算法需运行3 s左右,大型区域如整个车门的喷枪轨迹生成,算法需运行10 s左右。与目前国内多采用的人工示教进行轨迹规划的方法相比,本文的改进算法节省了大量时间。

4.3 实际喷漆效果

如图9(a)所示,通过可视化界面手动选取目标喷漆区域。规划的喷漆机器人运动轨迹如图9(b)所示,最后的喷漆效果如图9(c)所示。喷漆后的汽车车面划痕区已变得均匀光滑。

图9 实际喷漆效果

5 结 论

采用基于Sampson加权算子的RANSAC算法剔除错误匹配结果,为后续处理提供精确的三维点云。提出改进的点云切片算法,减少获取切片特征数据坐标的运行时间。根据上述研究,进行软硬件的设计与实现,对车体划痕区域进行喷漆操作,验证该系统的正确性。实验证明本文喷漆系统具有很好的实用价值。