一类基于点云缺失图像的盘类元件识别定位方法

于继童， 李 岩， 赵爱国， 师富杲， 刘克平*

(1.长春工业大学 电气与电子工程学院， 吉林 长春 130012;2.吉林金沙数控机床股份有限公司， 吉林 长春 130012)

0 引 言

点云图像中的自动目标定位一直是机器视觉与计算机图像学领域的重要研究方向，其基本任务就是确定图像中是否存在感兴趣目标，并对其精确定位[1-2]。对复杂图像中目标自动定位的研究，不论在工业生产还是科学研究上都有重大意义。

随着低成本高精度三维传感器的发展，以点云作为原始处理数据实现识别定位功能成为重点研究方向。Rusu等[3-4]选取特征对应作为种子点，利用集合一致性约束条件迭代的聚敛对应对子集来获取优质场景，但这种识别机制无法得到场景中目标物体的6DOF位姿，也不能同时检索处理场景中的多目标；Chliveros[5]主要依据位姿聚类假说验证，在六维位姿空间，每一个特征对应对基于局部坐标系提供一个6DOF位姿假说投票，但计算复杂度较高；陈柘等[6]利用2D仿射变换提取目标物体的3D不变量,并与哈希表结合，完成3D物体识别与位姿估计，该方法需要过多空间变化，因此实效性较低；文献[7-8]提出采用点云特征融合完成3D物体的初识别，基于边缘规则和马尔科夫假设的迭代贝叶斯对物体变动状态的计算高斯分布概率模型，但该方法不具有通用性，很难适应一般环境。

上述方法中，对图像的完整性要求较高，不适用于存在点云缺失的应用场合。因此，为解决无序分拣过程中因点云图像缺失所导致的误识别或不识别的问题，文中提出了一种应用于点云缺失图像的盘类元件定位方法。首先利用图像融合对存在缺失的点云图像进行融合，再利用形态学运算对融合图像进行平滑处理与阈值优化；然后结合分水岭分割算法实现目标物中心点的定位；最后利用目标的面积及形状特征去除误提目标。本方法降低了视觉定位过程中对图像完整性的要求，解决了基于3D相机无序分拣过程中的误识别或不识别问题，适用于工业生产现场。

1 机器人手眼关系标定

在利用相机与机器人联合系统实现对目标物的定位抓取时，需要确定机器人手眼关系[9]。手眼关系是指机器人工具坐标系与视觉传感器坐标系之间的坐标转换关系。文中以空间位置固定的圆点校正片作为标定参照物，通过机器人带动视觉传感器进行多次变位姿测量，利用固定点约束，确定机器人工具坐标系相对于视觉传感器坐标系的转换关系。

文中采用eye-in-hand系统，即将相机固定在机械手末端，二者之间刚性相连，在保证相机内部参数不变的前提下，进行多次变位姿测量。具体流程如下：

1)读取由相机采集到的包含标定板的图片；

2)计算标定板在相机坐标系中的位姿；

3)读取当前机器人工具在机器人基坐标系中的位姿；

4)利用Halcon提供的calibration_hand_eye()算子进行手眼关系计算。设机器人工具相对于视觉传感器的位姿为ToolInCamPose，标定结果见表1。

表1 手眼标定结果表

2 位姿获取

2.1 点云缺失图像融合

为消除点云缺失部分对定位的影响，借助Halcon对几幅存在点云缺失的图像进行图像融合，其步骤为：

1)载入点云图像；

2)将点云图像分解为深度图像；

3)创建基于深度图像的点云模型；

4)利用union_object_model_3d()算子实现点云融合。

2.2 形态学处理

形态学运算是一种以形态为基础对图像进行分析的方法，其基本思想是用一定形态的结构元素去度量图像中的对应形状，以达到去除不相关结构，简化图像数据的目的[10-11]。文中对深度图像应用形态学闭运算以保留图像中的重要轮廓，去除噪声。

设f(i,j)为深度图像，B(i,j)为圆形结构元素，f(i,j)关于B(i,j)的形态学闭运算定义

g(i,j)=[f(i,j)⊕B(i,j)]ΘB(i,j)，

(1)

式中：⊕----膨胀;

Θ----腐蚀。

对于深度图像f(i,j)以及结构元素B(i,j)，其膨胀定义为

(2)

n=1,2,3,…，

其腐蚀定义为

(3)

n=1,2,3,…。

2.3 分水岭算法分割

分水岭分割方法是一种经典的基于拓扑理论的形态学分割方法，其基本思想是模拟地貌的浸没过程，将深度图像中每一像素点的深度信息看作该点的海拔高度，不同海拔高度的区域形成高低不平的地貌特征，局部海拔最小值点对应于模型的谷底，随着水流的均匀上升形成集水盆，两个集水盆汇合的边界即形成分水岭[12-15]。

经过形态学处理后的图像消除了非规则的细节扰动和明暗噪声，再经分水岭分割时分割的区域数相对减少。文中采用自下而上模拟泛洪模型的分水岭分割算法，算法定义

Xh+1=minh+1∪Cxh(Xh∩Xh+1)，

(4)

设海拔高度为h+1上的所有像素点为Xh+1，minh+1表示此点属于新产生的集水盆最小值点，Xh∩Xh+1表示Xh+1与Xh点相交，Cxh表示Xh点所在的集水盆。通过递归过程，将图像中所有的像素点划分区域，若某像素点同时属于两个以上区域，则认为该点为分水岭上的点。

2.4 目标点提取

计算各集水盆所包含区域的面积与圆度信息，选择区域面积值大于1 000，且圆度大于0.9的区域作为感兴趣区域，并计算其区域中心点坐标。

计算各感兴趣区域中心点的像素距离，进行临近点校验，设定检测阈值为8，若两点像素距离小于8，则认定为临近点，存在临近点时，选取圆度值最大区域的中心点作为目标点。

设目标物半径为R，基于目标物形态特征，认定中心点周围半径为R的圆形区域即为目标物所在区域，提取该区域基于机器人极坐标系位姿作为抓取位姿，控制机器人执行抓取。

3 实验分析

为验证上述方案的有效性，文中以刹车盘定位为例验证其效果。所使用的PC机环境为：IntelCorei5-6300HQCPU，内存8GB，操作系统Window10，图像处理软件应用Halcon13，实验数据来源于某数控机床公司提供的刹车盘点云模型数据，视觉传感器选用IDS公司EnsensoN20型三维相机，机器人选用FANUC六轴工业机器人。

3.1 点云缺失图像融合

选取两幅存在点云缺失的3D相机点云图像作为参考点云与目标点云，进行图像融合后的融合图与通过3D相机直接采集到的图像的比对如图1所示。

(a) 融合点云图像

(b) 3D相机采集点云图像

从图1可以看出，由3D相机直接采集到的图像中，目标物部分区域存在明显的缺失现象;而融合后的图像中，缺失区域基本被补充完整。

3.2 分水岭算法分割

对图像融合所得到的深度图像进行均匀分层，经形态学闭运算处理后，应用分水岭分割方法对图像区域进行分割后，计算各分割区域的面积信息与圆度信息，依据目标工件的物理特征选取区域面积值大于1 000,且圆度大于0.9的区域作为感兴趣区域，得到结果如图2所示。

图2 盘形元件轮廓分割

3.3 目标点提取

依筛选条件选取符合条件的区域，并计算其中心点坐标，然后进行临近点检测，输出圆度较高的区域中心点坐标，结果如图3所示。

(a) 文中方法

(b) 基于表面特征模板匹配

图3(a)验证了该方法的有效性。通过与图3(b)基于表面特征的模板匹配定位方法结果对比可知，由于存在点云的缺失，部分工件表达不完全，因此，基于表面特征的匹配定位方法匹配失败，无法成功获取到全部工件所在位姿信息。文中方法首先对图像进行融合，之后根据工件的形状特征寻找其对应的位姿参数，具有较高的实用性。实验结果对比见表2。

4 结 语

提出了一种基于点云缺失的识别定位方法，并通过实验验证了该方法的有效性，文中提出方法解决了点云缺失情况下的工件定位问题，降低了识别定位过程中对图像完整性的需求，拓宽了三维点云图像的应用领域。但是，在进行基于点云图像的定位过程中，由于采用了基于工件形状特征的方法，不能有效分析工件正反面状态。因此，如何对工件的正反面状态进行判断是接下来的研究方向。

表2 实验结果对比