融合深度图像与密度聚类的下一最佳测量位姿确定方法

林俊义，张 举，李龙喜，肖 棋，江开勇+

(1.华侨大学 厦门市数字化视觉测量重点实验室，福建 厦门 361021；2.华侨大学 福建省特种能场制造重点实验室，福建 厦门 361021)

1 问题的提出

目前，机器人已经广泛应用于各个领域，成为衡量工业自动化水平的重要标志[1]。视觉系统被视为机器人的眼睛，机器人与视觉系统的无缝集成是机器人实现智能化应用的关键。近年来，机器人视觉系统在自动三维重构[2-3]、自动导航[4-5]、智能抓取[6]、装配引导[7-8]等方面的研究与应用受到了国内外学者的密切关注。

面结构光三维视觉测量技术具有非接触、高精度、可全场性测量等优点，在实际工业生产中得到了广泛应用。然而，受限于系统测量范围和物体复杂程度等因素，要获得完整的零件或场景，需要从不同视角进行多次测量(如图1)，尤其是对大尺寸或形状复杂的物体。被测物体尺寸越大，形状越复杂，需要测量的次数就越多，有的甚至达到成百上千次，人工测量无法胜任如此繁重的测量任务，机器人自动测量技术应运而生，其中下一个最佳测量位姿的确定是实现高效自动测量的前提与关键[9-11]。

目前在物体自动三维测量中，下一最佳测量位姿的确定方法可以归纳为基于已知模型和基于未知模型两大类，其中基于未知模型物体的下一最佳测量位姿确定方法为研究热点，研究内容主要集中在如何根据已测得的物体表面信息确定下一最佳测量位姿方面，例如何炳蔚等[12]提出可视空间与极限面相结合的视点规划策略来确定下一最佳视点的位置；KHALFAOUI等[13]根据角度值和光线追踪方法，结合能见度将采集到的数据分类，采用均值漂移聚类方法求取下一最佳测量位姿；ASQIEZ-GOMEZ等[14]通过分析每个体素的法向量和质量，结合视点方向可获得的目标信息多少确定下一最佳视点位姿；POTTHAST等[15]利用当前视点下已测区域和未测区域构建隐马尔可夫模型，评估每个可能观测方位下的信息增益，通过概率计算的方法确定下一最优视点位姿；KRIEGEL等[16]在工业机器人和激光条纹组成的自主三维建模系统中，提出通过估计迭代所得模型的边界检测和表面趋势来确定下一最佳候选点的方法；DAUDELIN等[17]基于形状和尺寸未知的三维物体局部模型，提出一种确定最优视点的概率体积法，即利用目标概率特征确定传感器视点，逐步重建目标的三维模型。以上方法充分利用已测三维点云确定下一最佳视点，虽然效果较好，但是存在计算量大、计算时间长等缺点。深度图像具有2.5维信息，因此既可采用高效的图像处理方法对其进行分析，又可用其快速获得对应的三维信息，是提高效率的有效途径，例如张世辉等[18-20]对基于深度图像的方法进行了深入研究，提出利用深度图像获得遮挡信息，然后对遮挡区域进行建模分析，从而构造出下一最佳观测方位模型来确定下一最佳视点的方法，并进一步将该方法扩展到移动物体和动态遮挡规避方面[21-22]，取得了较好的效果。

受上述方法启发，本文提出一种融合深度图像与三维点云信息的下一最佳测量位姿确定方法，探索充分利用深度图像信息进行物体边界识别、区域划分、中心趋势线提取，通过三维点判断云区域复杂程度并拟合分析趋势面的方法，快速确定系统下一最佳测量空间位姿。

2 整体方法与流程

在对未知模型的自动测量中，为了每次获得尽可能多的点云信息，需要根据当前信息判断下一最佳测量位姿。文献[18]重点利用深度图像识别出遮挡区域，根据遮挡信息判定下一最佳测量位姿。本文利用深度图像进行边缘识别、区域划分和中心趋势线提取等，充分融合二维深度图像信息与三维密度聚类信息确定下一最佳测量位姿。

本文方法的主要流程如下：

(1)采用“格雷码+四步相移”结构光双目视觉测量系统，获得被测物体初始位置的深度图像和三维点云。

(2)通过深度图像获取被测物体的边缘，并结合有效测量范围确定出判定下一最佳位姿所需的点云区域。

(3)对区域内三维点云进行密度聚类，根据密度与三维形貌复杂程度的关系，获得各个子区域的复杂系数。

(4)结合视场大小优化各个子区域权重，确定深度图上的最佳移动方向。

(5)以测量视场为中心，结合深度图像获得趋势面，分析全局区域和中心趋势线，确定系统下一最佳测量位姿。整体流程图如图2所示。

3 最佳移动方向的确定方法

3.1 边缘识别与区域划分

采用结构光双目视觉系统获得物体初始位置的测量数据，包括深度图像与三维点云数据。为了获得比较准确的三维数据，测量时被测物体要尽量占据视场中间位置。因为物体形状、大小不同，在获得的深度图像上，物体的边缘与视场边缘并不相同，所以需要识别实际测量出的物体边缘，本文在深度图像上采用Canny算子快速识别并提取物体的边缘。

在结构光双目视觉中，只有两个相机和投影仪构成的公共区域可以获得三维信息，表面复杂的区域会因遮挡而丢失测量信息，表面平滑的区域则可以获得稠密的测量信息，因此点云密度直接反映了该区域表面的复杂程度。下一最佳测量位姿定义为可以获得最多测量信息的位姿，因此可以根据边缘区域点云密度初步判定下一最佳测量视场的移动方向。

边缘区域的划分将直接影响后续处理结果，考虑到三维点云处理计算量的问题，边缘区域既不能取得太大，又要能反映区域变化情况。综合考虑视场大小、有效测量区域、物体形状等因素，提出边缘区域宽度t的确定方法，即

(1)

3.2 子区域复杂系数与权重确定

3.2.1 基于密度聚类的系数计算

密度聚类算法首先确定聚类中心点，然后将数据点分配到距离其最近邻、拥有高密度值的聚类中心所在的类中。聚类中心点定义为局部密度最大点，其具有两个特点：①自身局部密度较大；②与其他类中心点距离较大。

设待聚类的点集data={x1,x2,…,xn}，令Idata={1,2,…,n}为相应的指标集，则点xi的局部密度系数ρi可用与点xi之间距离小于dc的数据点个数表示为

(2)

式中：dij为点xi和xj之间的欧式距离；dc为截断距离，根据3.1节的区域划分原则，设定dc

(3)

根据式(2)求出各个聚类区域密度系数ρi，具体过程如下：将局部密度值排序，以密度值最大的点作为第1个聚类中心，依次整理聚类数据点。若某个数据点与之前聚类中心的距离小于2dc，则属于该聚类中心，如此重复直到所有的点迭代完成，得到的边缘聚类情况如图4所示。

3.2.2 结合视场大小的权重确定权重与最佳移动方向

通过上述聚类密度分析获得最佳移动方向，即将当前视场中心与密度最大聚类中心的连线作为下一测量最佳移动方向，其移动距离根据所需的视场重叠区域比重τ决定，一般取视场大小的20%，如图5所示。可见视场重叠区域包含了多个密度聚类区域，只依靠一个聚类区域不足以判断最佳移动方向，需要预先估算出视场重叠区域包含的聚类区域个数，并对各个聚类区域赋予不同的权重。

设测量视场长为a，宽为b，当前视场中心与下一视场中心的距离为R时，根据方程

y=kx，

(a-x)(b-y)=abτ，

(4)

当视场沿着当前视场中心与各个聚类中心连线移动特定距离R时，重叠区域将包含多个聚类子区域，考虑各个区域权重引入评估值δ，

δ=∑ωiρi。

(5)

式中ωi表示子区域权重，根据li/R求得，li表示各个聚类中心离当前视场中心在移动方向上的距离，如图6所示。根据上述方法，逐一计算3.2.1节中所有的聚类区域，其中评估值δ最大的方向即为所求的下一最佳视场移动方向。

4 最佳测量位姿的确定

4.1 基于趋势面拟合的未知表面预测

趋势面分析是从已知测量数据出发估计表面的延伸趋势[20]。表面趋势描述了表面的一般形状，可应用于预测物体未知表面。由于二次多项式表达了光顺平面特性，通常用于拟合趋势面，其数学模型为

z=a0+a1x+a2y+a3x2+a4xy+a5y2。

(6)

式中a0,a1,a2,a3,a4,a5为待定的多项式系数，可以通过回归分析，运用最小二乘法使残差平方和最小来确定多项式系数。

由于趋势面拟合结果完全取决于参与拟合的三维数据，而物体边缘区域存在复杂表面信息，直接采用边缘区域数据拟合趋势面，将与实际曲面延伸趋势存在较大误差。本文采用在深度图像上基于上述最佳视场移动方向进行分析，以当前视场中心(即图像中心)为原点，以最佳移动方向重叠视场的大小为约束，快速获得趋势面分析全局区域，并利用深度图像像素与三维点云的对应关系获取趋势面拟合所需的三维数据。

4.2 测量系统空间位姿的确定

在获得趋势面信息的基础上，结合视场大小和重叠区域要求确定测量系统的空间位置，然后利用深度图像信息快速获得最佳移动方向上通过视场中心与聚类中心的三维点云数据，并拟合出空间平面，该平面与趋势面相交可确定一条空间曲线——中心趋势线，下一最佳测量位置则位于这条空间曲线上。设空间平面的方程为

Ax+By+Cz+D=0。

(7)

记当前测量中心点为PA(xA,yA,zA)，下一个测量中心轴与预测趋势面的交点为PB(xB,yB,zB)(即下一最佳测量视场中心)，两者之间的三维欧式距离为Rk，Rk根据测量系统视场大小和需要的重叠区域确定(如图7)，则点PB可由以下方程组求出：

AxB+ByB+CzB+D=0；

z=a0+a1x+a2y+a3x2+a4xy+a5y2；

(8)

最佳测量位姿的方向应该垂直并指向待测平面，因此只要获得PB点在趋势面上的法向，其反向即为测量系统的位姿方向。设测量系统的物距为L，沿趋势面上PB点的法向方向、距离PB点为L的点记为PP，PP点即为系统的下一最佳测量位置。

5 实验与结果分析

基于所提方法搭建机器人视觉平台，对胡巴和海盗头像模型进行自动测量实验。实验平台包括UR5机器人、视觉测量系统和工作转台等，其中测量系统采用本实验室研发的“格雷码+四步相位移”结构光双目视觉系统，其视场大小为200 mm×150 mm×100 mm，测量精度达0.05 mm。将该测量系统安装于机器人末端进行自动测量，如图8所示。

首先以小型胡巴和兔子模型为例，验证本文算法的可行性和有效性。实物如图9所示，选择胡巴侧面的斜上方作为起始测量位置，并使模型位于测量视场中心。获取初始位置的深度图像和三维点云数据如图10和图11所示，可以看出在下巴和手臂下方存在遮挡区域。

基于深度图像获取胡巴在该视角下的边缘，取系数c=15%，计算边缘区域宽度，获取对应边缘区域宽度内的点云如图12所示。对点云进行密度聚类分析，得到按密度从大到小排序的密度区域图，如图13所示。可见相邻区域密度分布并不相近，甚至相差较大，需要根据视场大小进一步优化最佳移动方向。

根据密度和权重计算各候选移动方向的评估值δ，最终的评估值δ如表1所示，可见标号为2的聚类中心方向评估值δ最大，因此将视场中心与标号为2的聚类中心连线方向作为下一最佳测量移动方向，如图14所示。

表1 各方向评估值计算结果

进一步进行趋势面拟合，取重叠区域比重τ=10%，确定全局趋势面拟合范围，获取空间趋势线，根据视场大小和测量物距确定下一最佳测量的最终位姿，如图15所示。

重复上述过程，要求获得完整的数据模型，不能留有大孔洞，最终通过6个最佳测量视点(斜上方和斜下方各3个，如图16)即可获得较为完整的胡巴模型三维点云数据，如图17所示。同样对兔子模型进行上述测量过程，最终通过5个最佳测量视点即可获得较为完整的兔子模型三维点云数据，整体数据和视点图如图18所示。通过上述两个实例测量验证了本方法可以完成物体的自动测量。

对于小型物体，也可以直接通过工作台360°旋转的方法测量，而本文方法既适用于小型物体的自动测量，又可以完成大型未知模型物体的自动测量。为此，进一步对相对大型的海盗头像模型进行测量，其尺寸为300 mm×300 mm×500 mm，超过测量系统的视场范围，如图19所示。首先从当前测量位置得到深度图像和三维点云图，如图20和图21所示；然后通过深度图像识别出物体边缘，从而划分聚类分析区域，如图22所示；对点云边缘区域进行密度聚类分析得到密度较大的候选区域，如图23所示；计算各个子区域最佳移动方向评估值δ(如表2)，得出下一最佳测量移动方向为标号4；最后根据视场大小和所需的重叠区域(取10%)，确定具体的下一最佳测量位姿，如图24所示；将下一视点下测量的数据与首视点数据进行拼接，结果如图25所示；不断重复上述步骤，最终拼接出完整的点云，如图26所示。可以看出，本文方法较好地完成了物体的自动测量。

表2 各方向评估值计算结果

本文着重研究下一最佳测量位姿，目的在于对未知物体进行自动测量，有关复杂物体由自遮挡引起的孔洞问题(如图27)将是后续进一步研究的内容。

为了分析测量精度，首先采用扫描精度为0.024 mm的美国FARO关节臂扫描仪对两个模型进行扫描，然后对胡巴和海盗头像整体数据进行精度评测。胡巴完整模型的测量偏差为+0.361/-0.674 mm，标准偏差为0.675 mm，海盗头像完整模型偏差为+0.652/-0.719 mm，标准偏差为0.891 mm，精度符合测量要求，如图28所示。

6 结束语

为了满足未知物体的机器人自动测量要求，本文提出一种根据当前测量数据判定系统下一最佳测量位姿的方法。首先利用深度图像具有数据量小、处理速度快的优点对物体边缘进行识别、提取，并对密度聚类区域进行划分，获得物体边缘各子区域的复杂系数；然后结合视场大小限制，提出基于区域权重的最优方向判别方法，获得了最佳移动方向。进一步提出以当前视场中心为原点、结合重叠区域要求的趋势面拟合区域划分方法，将参与拟合的区域限制在一定范围内，既可避免趋势面拟合陷入局部最优，又可防止全部数据参与拟合造成运算量大的问题。最后通过对实际模型的测量实验验证了方法的有效性。本文方法不仅对小型物体的自动测量有效，还可以完成大型复杂物体的自动测量，但对孔洞问题和超大型零件的自动测量精度问题还需进一步深入研究。