基于3维点云深度信息和质心距相结合的机器人抓取控制方法①

邹 遇 熊禾根 陶 永③* 任 帆 陈超勇 江 山

(*武汉科技大学冶金装备及其控制教育部重点实验室 武汉 430081)(**武汉科技大学机械传动与制造工程湖北省重点实验室 武汉 430081)(***北京航空航天大学机械工程及自动化学院 北京 100191)(****北京航空航天大学生物医学工程高精尖创新中心 北京 100191)

0 引 言

近几十年来，机器人技术得到了快速的发展，机器人已经在各行各业中得到了广泛应用[1]。机器人最主要的工作之一是进行搬运装配工作，而完成这些工作的前提是需要机器人对物体进行很好的识别和抓取。随着计算机技术和传感器技术的发展，机器视觉成为人工智能重要的研究领域，其中基于视觉的机器人抓取是当前机器视觉领域的一个研究热点。

目前，机器人通过视觉完成对物体的识别和跟踪已经有很多的研究成果，但传统的视觉检测识别技术都是基于2维图像，2维图像在成像的过程中会丢失物体大量的信息。随着Kinect等廉价深度传感器的普及，物体3维数据获取的成本也越来越低，大量研究者开始利用深度传感器获取物体的3维点云，基于物体3维点云深度信息来实现抓取工作[2]。Hugh等人[3]针对未知抓取对象堆叠的情况下，提出了一种满足机器人手与物体接触约束的最优抓取方法，计算如何从几乎无限多的抓取可能中选择最合适的抓取位置。Marcus等人[4]使用卷积神经网络(convolutional neural metwork，CNN)来训练抓握部分的点云，不需要手动标记，但它在很大程度上依赖于点云的重建，这种方法不灵活且需要额外的成本。Lin 等人[5]搭建了一个RGB-D相机固定在机器人手上的系统，在不需要预先知道物体信息的情况下，只需要场景下的深度信息就可以确定抓取方向。Joe等人[6]利用卷积神经网络(CNN)从视觉和深度两方面推断抓取坐标，该方法使用Kinect传感器，并使用回归推断出视觉中的抓取点，再现Redmon和Angelova[7]的工作。Kensuke等人[8]提出了一种基于学习的随机迭代视觉识别系统，不需要在每次挑选时都尝试检测堆中包含的所有物体的姿态。朱海波[9]对具有规则几何形状的工件提出了一种基于Hough链码确定工件形状和基于几何不变矩来计算工件表面中心和长轴朝向的形状识别算法，从而实现了工件定位，但这种方法不适合复杂环境的工件识别。

物体抓取位置的确定对物体抓取工作具有决定性作用。抓取工具分为吸盘式和夹持型，吸盘式抓取工具对物体形状和表面特性都有要求，而夹持型抓取工具运用更广。本文提出一种基于物体3维点云深度信息，利用物体边界轮廓上抓取点云对所在直线与法向量的夹角、抓取点云对所在直线到物体质心的距离结合的机器人抓取控制方法，运用二指夹持器作为抓取工具对物体进行抓取工作，该方法能够很好地完成物体的测量、识别、定位等系统的物体抓取工作。

1 抓取点对初步筛选

1.1 点云前期处理

使用深度相机获取物体表面的点云数据，受外界环境和相机自身等因素的影响，所得到的3维点云数据存在背景点、离群点等大量噪声点，噪声点会对目标的定位精度及识别速度产生影响，所以需要对获取的场景点云进行处理；此外，为了提高目标物位姿估算的精度，需要将目标物从场景中准确地分割出来；分割后得到的点云数一般有几万个甚至更多，点云数太多会增大计算量，需要对物体进行降采样，从而降低点云数量、减小计算量；一般提取的物体点云的边界轮廓信息会发生丢失或轮廓不清晰，为了得到较好的物体点云深度信息，将分离出来的目标点云与已建立好的物体3维模型点云数据库进行匹配[10]，采用采样一致性初始配准算法(sample consensus initial aligment, SACIA)对分割出的点云和模型数据库进行初始匹配，然后再通过迭代最近邻点算法(iterative cloest point, ICP)进行精确配准，得到与目标点云对应的深度信息清晰的点云模型[11]。可由如下步骤确定点云前期处理。

INPUT: 深度相机获取的初始场景点云OUTPUT: 数据库与目标点云对应的点云模板步骤1: 获取目标物场景点云步骤2: 基于欧式聚类分割从场景中分割出目标物点云步骤3: 点云去噪步骤4: 点云降采样步骤5: 物体识别与位姿估计 (1) 基于SAC-IA算法初始匹配 (2) 基于ICP算法精确配准步骤6: 输出3维点云数据库与目标点云相匹配的模板点云

1.2 目标物边界点云提取

为了降低计算量，提高计算效率，将匹配好的模板点云进行边界提取。对匹配得到与数据库相对应的点云模板，进行主成分分析(principal component analysis，PCA)，逼近物体的质心和主轴，建立本地对象坐标系如图1所示。

图1 主平面投影

如图2所示，提取出模板点云轮廓，模板点云首先投影到XOY主平面，以获得目标对象的主轮廓显示。求出投影点云的轮廓有2种方法，即凹壳轮廓和凸包轮廓，在这种情况下，凹壳轮廓可以更好地表示目标的几何形状。

图2 点云边界

1.3 获取抓取候选点对

机器人的机械臂采用二指夹持器。在抓取目标物的过程中，要成功抓取目标物，首先必须保证夹持器所选择的抓取点对之间的距离比夹持器的最大张开宽度还要小[12]，夹持器和物体的关系如图3所示。

图3 夹持器张度与目标物关系

图中，u表示夹持器的最大张度，w表示所选择抓取点对之间的距离。Pi、Pj为目标物点云边界上的任意2点，其中Pi的坐标为(xi,yi,zi)、Pj的坐标为(xj,yj,zj)，则：

(1)

那么Pi、Pj2点云之间的欧式距离表示为

(2)

为了使夹持器能够准确地夹住物体，要给夹持器留有一定空间余量，空间余量为夹持器最大张开宽度的10%(即0.1u)，经过初步筛选把间距大于0.9u的点云对剔除掉，初步筛选方案如下。

输入: 夹持器宽度u;目标物边界点云集P(共有n个点云)1: for (i=1, i

2 机器人抓取单一控制方法

在抓取对象边界点云中已经初步筛选出可抓取候选点云对，但可抓取点对数还是过多，下一步将对可抓取候选点云对进行评价，可从2个方面入手：一方面可以考虑机器人夹持器抓取物体时物体的受力情况，决定能否抓取物体，即考虑抓取点对的法向量和抓取点对两点云所在直线的位置关系作为一个评价方法；另一方面考虑抓取点对和目标物质心的关系，决定能否抓稳，作为第二个评价方法。

2.1 法向量夹角抓取控制方法

2.1.1 点云法向量

法向量是点云数据的一个基本属性，在许多点云处理中是必不可少的信息。本文的抓取方法基于目标物边界点云法向量的几何关系进行求取抓取候选点对，因此边界轮廓点云法向量的求取和定向至关重要。切平面、切线、法线都是针对连续的曲面，而点云表面特征是一个个离散点，点云数据所记录的信息是每个独立的3维坐标，所以为了求得每个点对应的法向量，取一定半径内的点进行曲面拟合，在拟合的基础上求对应的法向量。最小二乘法平面拟合估计是求取法向量较好的方法，解决表面法线估计的问题可以最终化简为对一个协方差矩阵的特征向量和特征值的分析(或称PCA，主成分分析)[13]，这个协方差矩阵从查询点的近邻元素中产生，对于每一个点Pi，对应点的协方差矩阵C如下：

(3)

2.1.2 法向量夹角评价方法

机器人夹持器夹取物体时，物体所受的力是否平衡、是否产生扭矩都会影响到抓取是否成功。物体抓取点的受力方向和此点的点云法向量方向在同

图4 目标物边界点云法向量

一直线上，所以候选抓取点处的受力方向可转化为抓取点对应的点云法向量方向[14，15]。为了同时兼顾抓取点力和力矩2个因素对抓取的影响，以抓取点处的点云法向量和抓取点对两点所在直线的夹角大小为评判依据，如图5所示。

图5 边界点云法向量夹角

(4)

(5)

(6)

(7)

(8)

2.2 质心距抓取控制方法

抓取点对所在直线与目标物质心的距离也是影响抓取质量的一个重要因素，在满足其他抓取要求时，抓取点对连线距离目标物质心越近抓取质量越好，如图6所示。

图6 质心距

(9)

则质心O(x,y,z)到Pi、Pj所在直线的质心距为

(10)

其中，

(11)

质心距越小越好，采用百分制打分，以候选抓取点对中质心距最大的为0分，质心距为0时为100分，设最大质心距为D，通过搜索算法找出最大的质心距。算法如下：

输入: 质心距dij(共有n个点云)1: D=d12;2: for (i=2, iD)5: D=dij; } }6: print D;输出: 最大质心距D

(12)

即：

(13)

3 基于法向量夹角和质心距的机器人抓取综合控制方法

第2节中提出的2个抓取点对质量评价方法是：(1)法向量夹角评价方法；(2) 质心距评价方法。当抓取点对确定后，这2种评价方法候选点云对的法向量夹角和质心距也就随之确定，法向量夹角和质心距是同时成对出现的，法向量夹角越小抓取成功率越大，质心距越小抓取后越稳定。但法向量夹角和质心距并不是都同时处于最优(最小)状态，大多数情况下法向量夹角和质心距一个达到最优时另一个处于欠优状态(甚至更差)，或者2个评价方法都不能达到最优状态，此时就需要一个同时兼顾2种评价方法的综合评价方法来选取较好的抓取位置对物体实施抓取，如图7所示。

图7 综合评价方法

(14)

即：

×0.25

(15)

输入:点云对(Pi, Pj)对应的法向量夹角Aij,质心距 Bij,设C得分最高1:C=C12=0.75A12+0.25B12;2: for (i=2, iC)6: { C=Cij;7: a=i, b=j;} } }8: print(Pa, Pb);输出: 最优抓取点云对(Pa, Pb)

综合前文所述完整的物体识别抓取过程包括目标物点云拾取、抓取候选点对初步筛选、最优抓取点对选取、机器人执行抓取等过程。本文所述的一个完整的物体识别抓取流程如图8所示。

图8 物体识别抓取流程图

4 实验仿真

为了验证本文提出的基于3维点云深度信息和质心距相结合的机器人抓取控制方法的可行性，在Linux系统ROS(robot operating system)环境下综合Gazebo仿真平台以及Moveit!运动规划插件进行仿真实验[16，17]。图9说明了抓取系统的体系结构，它包括3个部分：3D传感器(Microsoft Kinect双目相机)、机械臂和工作台。Kinect双目相机采取固定方式(eye to hand)配置捕获物体3D点云数据，引导机器人抓取物体，工作台模拟装配台，如图9所示。

图9 抓取系统的体系结构

4.1 抓取评价方法对比实验与分析

本文在第2节机器人抓取单一控制方法中研究了法向量夹角和质心距2种评价方法，就其中一种单独作为评价方法对物体进行抓取时，单独取法向量夹角或质心距的最优值时无法保证可以对物体实施最佳抓取，于是在第3节中提出了点云对法向量夹角评价方法和质心距评价方法相结合的物体抓取综合评价方法，仿真实验证明其可以有效地对物体实施抓取。图10所示为抓取对象边界点云和法向量。经过降采样和边界提取，最后边界剩余205个点云反映物体边界信息，各点云位置3维坐标和各点云对应的法向量分量数据如表1所示。

质心坐标O(-0.31649, 0.0684358, 9.51443)

将实验数据分为3组：(1) 法向量夹角单独作为评价方法；(2) 质心距单独作为评价方法；(3) 综合评价方法。

分别取3种评价方法得分最高的前5组点云对，通过对法向量夹角单独最优、质心距单独最优、综合评价方法最优时3种评价方法得分数据对比分析，相关数据如表2所示。

表1 点云位置和各点云对应法向量分量数据

表2 抓取评价表

图11是法向量夹角最小、得分最高时前5组点云对的3种评价方法得分对比，这5组点云对法向量夹角评价方法都接近100分满分，但此时与之相对应的质心距并不理想，只有1组点云对质心距得分超过60分，另外4组点云对质心距得分太低，这4组点云对中质心距最小也有4.9 cm，质心距过大意味着二指夹持器的两指距离质心太远不利于抓取的稳定，在夹取物体之后可能会发生掉落。

图11 前5组法向量夹角最优点云对

图12 前5组质心距最优点云对

如图13所示，法向量夹角和质心距相结合的综合评价方法得分最高的前5组综合评价方法都超过90分，相对应的点云对法向量夹角评价方法得分都有98分，最大法向量夹角只有2.73 °(0.0478×57.29 °)，可以保证机器人很好地抓取物体，与此同时相对应质心距都有75分，质心距最大只有2.8 cm，距离较小，保证了成功抓取之后的稳定，如图14所示，选取这5组点云对中得分最高的一组(94，97)为物体的抓取位置对物体实施抓取，机器人对抓取对象成功抓取和移动。

图13 前5组综合评价方法最优点云对

图14 综合评价机制实验验证

4.2 不同物体抓取实验

本文最后通过在Linux系统的ROS平台下对不同形状的生产工件进行抓取仿真实验。图15展示了3种不同形状工件的抓取实验。

图15 工件抓取实验

仿真实验中机器人对不同形状的工件可以成功进行抓取并且抓取位置较好，无论对于4.1节中形状简单的回转体，还是对于形状复杂的生产工件该综合评价方法都有很好的抓取效果。实验表明，基于点云对法向量夹角和质心距相结合的综合评价方法可以有效地选取二指夹持器的抓取位置，从而成功地对抓取对象实施抓取工作。

5 结 论

基于视觉的物体抓取工作涉及到机器视觉、机械臂轨迹规划等技术，依赖视觉的机器人抓取工作在工业生产中具有广泛的应用。本文基于物体3维点云深度信息，提出了一种综合物体边界点云对法向量夹角和质心距两者结合的机器人控制方法，避免单一抓取评价方法对抓取因素的判断不足，能够有效地对抓取对象进行识别和选取抓取位置，保证了对物体成功抓取，通过仿真实验验证了该方法的有效性。