基于点云三维重建的装配件尺寸测量系统*

余永维，徐 维

(重庆理工大学机械工程学院，重庆 400054)

0 引言

目前，企业现场获取工件尺寸信息，仍采用检具、卡尺等传统接触式手工测量装配零件尺寸，不仅测量的尺寸数据存在偏差，且存在不能满足工业生产实时测量要求的问题等[1-2]。为此，需要采用更加高效而又准确的非接触式测量方法，如单双目立体视和结构光视觉等测量方法，不仅能降低了工人的作业强度，还能提高工件尺寸检测效率等[3-5]。丁海洋等[6]通过单目视觉，提出先测量后建模的思想，在一定范围内可以实现其他未知圆形物体的直径尺寸测量。王凯等[7]提出基于最小二乘法椭圆边缘拟合算法，实现了零件的圆孔内外径无损自动测量。李鹏阳等[8]采用方格图计算像素当量法进行相机标定和灰度矩亚像素边缘定位法来提高测量精度，并完成了圆盘零件的直径和圆度的几何尺寸测量。张俊勇等[9]通过双目视觉，提出极线阈值约束的灰度相关匹配方法，获取零件轮廓点云图完成零件关键尺寸检测。上述大部分都是基于图像来获取目标物体的尺寸信息，但是无法获取目标物体的深度信息，同时对相机像素要求较高，图像噪声和光照条件等因素，都容易导致测量结果存在较大偏差。

为提高目标物体的检测效率和质量，本文以机床法兰盘装配件为研究对象，设计了一种基于点云三维重建的测量方法，结合六轴工业机器人对装配件进行无损测量。首先重建被测物体的点云模型，再利用改进RANSAC算法提高扫描物体平面特征的提取效率和准确率，并剔除异常数据点，同时使用最小二乘法对剩余有效点进行拟合，计算模型参数值，最后实现了法兰盘和其他工件的关键尺寸的实时测量，通过实验数据的对比证明了该方法具有一定的可行性，对工件的实时检测具有重要意义。

1 基于改进RANSAC算法的三维重建

RANSAC算法[10](随机一致算法)通过迭代计算点云数据集方式删除异常数据点(即局外点)，构建仅有局内点组成的点云集，最终得出最佳模型。传统RANSAC算法在随机抽样阶段采用完全随机的方式，并未进行初始判断，导致随机采集点云不是局内点也会进行余下的算法，直到算法运行最后结果不符合要求才舍弃该组点云并重新随机选择下一组点云，这种随机选择点云的方式增加了算法运行时间，本文进行了以下的优化与改进。

1.1 改进的RANSAC算法

针对传统算法存在运行效率低，本文采用随机抽取的3点之间存在的内在约束作为先验信息引导算法的随机抽样过程，同时点间间距与阈值的关系能保证随机抽取的3点构成平面的要求。以随机抽取的3点为顶点所构成的三角形边长为Li(i=1,2,3)，对三角形内所包含的点云进行判断，设三角形内包含的点云个数为m，若满足点到平面距离小于设置的距离的点云个数n0大于预设值N0，则继续运行下一步算法，反之则重新随机选择3点。虽然看似多了一步预判断，但若选取的点不是局内点，就会省去剩余点云集的点到平面距离判断时间；同时为了提高工件的测量精度，本文在点到拟合平面距离判断后添加了点云的点法向量和拟合平面法向量的夹角同阈值比较，能进一步判断该点是否为局内点，从而得到最佳平面的点云集，再利用最小二乘法对含有最优有效数据点进行平面重新拟合，本文通过设定选取点与点间的距离L值进行搜索和法向量夹角阈值判断，所增加的时间远远小于前者。

假设点云集中任意一点到拟合平面的距离所需时间为t0，任意一点的法向量与拟合平面法向量夹角和阈值比较所需时间为t1，点云集中共包含点云的数量为q，剩余点云中满足点到平面阈值判断的点云的数量为m1(m1≪q)，随机抽取到满足要求的三点所需次数为ψ，则通过传统算法计算所有的点云到拟合平面距离所需时间为：

Ttra=ψ(q-3)t0

(1)

本文改进算法所需时间为：

Timp=ψmt0+(q-3-m)t0+m1t1

(2)

则本文改进算法所节约的时间为：

T=Ttra-Timp=

ψ(q-3)t0-[ψmt0+(q-3-m)t0+m1t1]=

(3)

由于q≥m+m1+3，m1≪q，同时t0、t1很小且相近，由式(3)可知，只有当ψ<3时，传统算法用时会比本文改进算法用时少一点。而RANSAC算法运行时，不能保证一开始就能随机抽取到符合条件的三点，而需要经过若干次随机选择才能成功，随着抽取的次数ψ增加，本文改进算法优势就越明显，所节约的时间也越多同时也提高平面拟合准确度。

1.2 算法的实现

针对处理后的复杂点云模型采用传统算法进行平面拟合效率低，而本文改进算法不仅能减少算法本身运行时间还能提高平面特征的提取效率和准确率。改进算法流程如图1所示，改进算法步骤如下：

图1 本文方法流程图

步骤1：在Pi(i=1,2,3)平面区域中随机抽取点云{p1,p2,p3}；

步骤2：通过计算抽取点云间间距Li(i=1,2,3)，得到的间距与阈值比较，如果都大于该阈值L0且小于2倍该阈值则转向步骤3，反之转向步骤1；

步骤5：重复步骤1～4K次，选择包含最多的局内点的平面模型数据，并加载到最小二乘法算法中进行平面拟合得到最优模型参数值，其中K可以计算得到。

在满足指定置信度情况下，基于子集最小抽样数T与至少取得一个合格采样子集的概率Pn满足如下关系式：

1-Pn=(1-τn)T

(4)

最小迭代次数为：

(5)

式中，Pn表示经过K次迭代过程中出现最优平面数据的概率(取值为0.9～0.99)；τ表示位于所选最优平面的数据是局内点的概率；n表示模型参数中最少数据点。

2 系统测量原理

2.1 法向量计算

点云数据的特征提取、曲面分割等几何特征，都依赖表面法向量的准确估算，所以法向量计算是点云必不可少的属性之一[11-12]。平面提取中点云的点法向量可以通过局部平面拟合的方式求得[13]。点云的点法向量计算过程：随机选择点云Pi中的一点p0，从以pi为中心点，R0为半径的空间球内选择点pi周围的点云集N(pi)，通过该点云集拟合局部平面T从而求得法向量n。

(6)

式中，dTpi表示平面截距。

通过协方差矩阵的特征值和特征向量能得出式(6)中法向量n值，每个点pi对应的协方差矩阵M：

(7)

M·vj=λj·vj,j∈{0,1,2}

(8)

2.2 工件平整度测量

工件表面的基准面是通过点云平面拟合算法拟合得到的，而偏离基准面的点云坐标最大特征为工件表面的平整度，即工件表面的变形程度[14]。通过本文方法能拟合得到基准平面：Axi+Byi+Czi+D=0，而偏离拟合平面的点云集Ni(xi,yi,zi)(i=0,..,n)到拟合的工件基准面的距离和表面平整度分别为：

(9)

Tpi=|di|max

(10)

2.3 工件高度测量

工件高度测量是通过提取同法向量方向的不同平面，计算平行平面间的距离作为工件的高度。针对不同高度的平面拟合时，通过预设高度阈值进行平面分割，并将点云坐标偏离未拟合平面的距离作为拟合平面的参考量。设工作平台为工件高度测量的参考平面表示Ax+By+Cz+D=0，则工件参考面之上的平面为：

Ax+By+Cz+Dx=0

(11)

式中，A、B、C表示基准平面方向；Dx为待求值，Dx值是通过点云坐标偏离待拟合平面的目标函数最小值求得，即：

(12)

平行平面的间距为工件某位置的高度h：

(13)

2.4 加工圆孔尺寸测量

三维点云中圆孔直径测量是通过将加工孔投影到拟合平面，并将投影区域的边界点作为加工孔的边缘特征点，再通过形态学算子对边界点进行提取以及加工孔边缘特征的随机三点，确定唯一空间圆形模型，从而得到加工孔的几何信息[15]。拟合平面圆孔特征的点云集Ci(xi,yi,zi)(i=0,…,n)，圆心轴上的方向向量n(ai,bi,zi)(i=0,…,n)，拟合平面的圆孔曲线方程及最小二乘法目标函数为：

(14)

(15)

式(15)的最小值约束条件可以计算出圆的圆心(a,b)和半径R，所以圆孔孔间距为：

(16)

3 实验及结果分析

本系统的工作原理是通过深度视觉相机对装配件进行点云数据采集与处理、平面特征提取，完成装配件高度、孔径等尺寸测量，最后分拣出检测不合格的工件。系统软件实验是在Windows10系统Intel(R) Core(TM) i3-9100F CPU @ 3.60 GHz硬件环境下，VS2017平台上采用C++语言实现传统算法、本文方法以及装配件的尺寸测量；硬件部分由VST-sur200深度相机、6轴工业机器人和PC上位机构等组成。

3.1 提取平面的效果

为了验证本文方法在工件尺寸检测系统平面特征提取中的有效性，分别选用模拟仿真平面数据(3000点云量)和采集的标准工件(7万点云量)作为三维点云平面提取实验对象，并通过与传统RANSAC算法进行比较分析。

(a) 不含噪声的云数据 (b) 含噪声的云数据

表1 未加入异常值得仿真实验参数估值

表2 加入30个异常值得仿真实验参数估值

由表1和表2可知，各平面拟合方法在相同实验条件下，传统RANSAC方法、本文改进RANSAC方法、本文方法在无噪声点干扰时，各方法拟合的平面参数值都接近预设参数值，而本文通过改进RANSAC方法预处理后，再通过最小二乘法进行平面拟合运行时间相对于传统RANSAC平面拟合用时较短，标准差δ最低、平面拟合效果最好，说明进行平面拟合前对点云数据进行粗剔除是很有必要的；加入噪声点后，传统RANSAC方法和本文改进RANSAC方法得到的平面估计参数值与预设参数值间存在较大误差，而本文方法的δ值5.050×10-3远远低于传统RANSAC方法的δ值，而且平面拟合参数估计值与预设值最接近，平面拟合效果最佳，因此可知本文方法具有较好鲁棒性和平面拟合精度。

为进一步验证本文方法在点云平面拟合中的可行性，通过3D双目结构光相机扫描采集标准工件(长50 mm，宽20 mm，高15 mm)的点云数据进行验证，如图3所示。本文方法对标准件的平面拟合结果如图4所示。

(a) 标准工件实物 (b) 标准工件点云

(a) 标准件提取平面 (b) 工作平台点云提取平面

表3是传统RANSAC方法、本文改进RANSAC方法与本文方法运行结果的对比。

表3 不同方法提取标准工件点云平面结果比较

在万级点云数据中，传统RANSAC方法、本文改进RANSAC方法与本文方法运行的时间分别为6.4 s、3.7 s、4.2 s。本文方法平面提取精度较传统RANSAC算法平面提取精度较好，用时较短，拟合平面参数更加接近真实值。

3.2 法兰盘工件测量

实验测量的法兰盘装配件实物图和通过深度相机扫描获得的法兰盘装配件的三维点云图如图5a和图5b所示。在获得法兰盘工件的三维模型后，通过本文方法获取法兰盘装配件的参考平面(底面)以及同法向量方向的不同平面，结合测量系统计算出不同平面与参考平面的距离，得出法兰盘的高度值，计算偏离基准平面的点云坐标最大特征得到工件表面的平整度，通过最小二乘法圆拟合来获取圆孔几何尺寸，每次工件尺寸测量实验完成时间约5.6 s，经过多次实验测量后，结果如图6、表4所示。图6a、图6b和图6c表示的是通过对重建的点云处理处理后，采用本文改进算法对点云数据中的平面进行拟合效果，从图6中可以看出经过优化后的RANSAC算法进行点云数据筛选后，再经过最小二乘法对含有最优有效数据点进行平面重新拟合效果较好，说明进行平面拟合前对点云数据进行粗筛选是很有必要的。

(a) 法兰盘装配件实物 (b) 法兰盘装配件点云

(a) 工作平台点云提取平面 (b) 法兰盘装配件提取平面

表4 测量结果

由表4中法兰盘工件三维尺寸的测量数据对比可知，使用3D双目结构光测量值与千分卡尺测量值之间的误差不超过0.30 mm之内，测量精度基本保证在±0.1%以内，测量标准误差在±0.16 mm以内，该测量精度能满足某公司提供的法兰盘工件尺寸参数误差要求，说明本文搭建基于点云三维重建在线测量系统具有较好的检测精度。

4 结论

(1)三维点云平面提取实验证明采用随机抽取的点与点间存在内在约束作为先验信息引导算法的初始判断能减少算法迭代时间，相比传统算法运行时间大大减少，表明此方法在保证提取效果的前提下可以大幅度提高平面提取速度及平面拟合精度。

(2)通过改进RANSAC算法对获取点云进行粗点云筛选，剔除一部分点云数据，再通过最小二乘法对剔除后的点云数据进行平面拟合，实验表明通过粗点云数据剔除后，能减少后续算法运行时间并增强鲁棒性效果。

(3)通过实验证明了3D双目结构光点云的工件三维重建测量方法可以满足工业对法兰盘的实时检测的要求、符合装配件的尺寸测量精度要求以及具有良好的普适性，因此可以广泛应用到相应批量生产装配件几何尺寸测量生产线中。