机器人装配中的视觉引导定位技术研究*

郑魁敬　潘春莹　许　斐

(①燕山大学先进锻压成形技术与科学教育部重点实验室，河北 秦皇岛 066004；②燕山大学河北省并联机器人与机电系统实验室，河北 秦皇岛 066004)



机器人装配中的视觉引导定位技术研究*

郑魁敬①②潘春莹①②许斐①②

(①燕山大学先进锻压成形技术与科学教育部重点实验室，河北 秦皇岛 066004；②燕山大学河北省并联机器人与机电系统实验室，河北 秦皇岛 066004)

机器视觉技术在工业自动化中的应用日趋广泛，在机器人装配过程中应用视觉技术可以提高装配的自动化程度。以花键轴套为研究对象，根据花键区域和非花键区域的明暗区别，采用区域生长的方法对花键区域进行提取。分析确定花键的几何特征点，利用双目测量模型进行三维测量，基于特征点进行图像匹配实现花键的精确定位。根据花键间隙进行花键对准检测，判别花键轴套的对准情况。由相机成像模型确定间隙所在像素区域，并作为检测窗口实现花键的对准。通过实验验证视觉引导定位技术在机器人装配中的可行性。

机器视觉；区域生长；几何特征点；双目测量；图像匹配

在机器人装配中，视觉系统作为机器人的“眼睛”，具有十分重要的作用，可以进行装配环境中的障碍检测、工件识别、工件测量、工件姿态检测、工件相对位置检测等[1-2]。在机器视觉研究领域，通过分析图像完成对物体的识别是一个重要的方向，新的理论和方法不断被提出来解决工程实际问题。张昱[3]在提取采集图像的特征后，对特征数据建立了粒子群优化的最小二乘支持向量机识别模型，获得了很好的识别效果。段喜萍[4]利用图像中的文本信息辅助图像识别，提高了识别性能。王鹏[5]基于模糊理论提出了一种焊缝缺陷的自动识别检测方法，具有较好的实用性。申晓霞[6]提出了RGB图像和深度图像有效融合并结合SVM分类器的行为识别算法，具有很好的鲁棒性和区分性。张旭苹[7]将相位一致性变换与极线约束条件用于结构光光条中心的提取,显著提高了图像分析的精度，有效保证了大尺度条件下的测量精度。周佳涛[8]针对金属工件有强反射的特点，设计了一种基于视觉测量的工件二维检测系统，具有实时、非接触、快速、高精度的优点。赵振庆[9]针对直线特征,提出了基于两条垂直直线特征双目视觉位姿测量解析算法，该方法计算简单，精度较好。视觉定位测量具有非接触、动态响应快、大量程、高效率、全自动等优点，在机械制造加工领域有很好的实用性。

本文将机器视觉技术与花键轴套的检测和定位相结合，实现对花键套的位置感知、识别和测量，以达到内、外花键的装配对准。首先基于标志图标目标所在区域的寻找方法，完成轮廓的提取和匹配；其次采用区域生长的分离方法对内花键进行分离识别，实现图像的匹配，完成内花键的测量；然后分析内外花键的对准情况，以花键轴与孔的间隙作为检测依据，实现内、外花键对准的检测和校正；最后通过实验进行验证。

1　花键套的花键提取

1.1花键轴套模型

花键轴和花键套如图1所示，花键轴孔的键齿数为8，8个花键成轴对称均匀分布。

花键套区域划分如图2所示，圆1为花键套圆柱部分外径，圆2为花键外径圆，圆3为花键内径圆。从所划分的区域机构看，与花键的外形检测密切相关的区域为圆2和圆3之间的区域。

花键套可分为圆柱内区域和圆柱外区域，圆柱内区域包括花键孔，圆柱外区域主要为花键套底座等部分。可将圆柱内区域分为花键内区和外区，如图3所示。

1.2基于区域生长的花键区域提取

区域生长的基本依据为属于同一个物体区域内的像素有相似的性质，依据该特性对像素点进行聚集，最终实现区域的分割。

首先在需要分离的区域选取一个或一系列像素点作为生长的原始点，然后制定一个判别准则对初始点一定范围内的点进行判断，将所有满足条件的点标记为该区域，再对新标记点附近的点根据所制定的判别准则进行一次判断，将满足条件的点标记，重复执行以上的步骤直到不再有新的标记点或者所有的图像点均被遍历到为止。最终将得到依据原始种子点而生长的相似区域。

区域生长算法步骤如下：

(1)获取感兴趣区域图像I，定义与图像I大小相同的标记图像V1用于标记连通区。定义队列B用于存储标记点，即标记点的像素坐标(x,y)。将选定的初始点作为标记点放入设置的队列B中。

(2)若队列B不为空，标记点出列。将标记点对应标记图像上的像素点设置为标记色。

(3)对于标记点在灰度图像上的4个连通区用生长准则进行判别。

(4)转到步骤(2)，直至队列B为空。

区域生长算法流程如图4所示。

如图5所示，对键槽区域进行了准确提取，黑色区域为花键内区域，提取效果很好。

2　花键的立体测量

2.1花键关键点确定

由于花键的轮廓特征明显，对于匹配有较好的约束，因而采用基于特征的匹配策略。如图6所示，整个花键区域可分为圆形基圆区(浅灰色)和花键区(深灰色)。花键的特征点选取可以分为基圆部分特征点和花键部分特征点。

基圆的主要的几何特征为圆心和半径，在图像中选取其圆心点作为特征点。对于圆心，应满足：使得圆上的点到该圆心O的最小像素距离取得最大值，或使得圆上的点到圆心O的最大像素距离取得最小值。由于在区域生长中花键区提取完整，故采用使得圆上的点到圆心O的最大像素距离取得最小值原则进行计算。

(1)

该算法可以准确提取出花键的中心点，再对花键区域进分析，利用几何方法分离出花键区并进行特征点的提取。

轮廓点li到基圆圆心O的距离为

(2)

属于基圆区的轮廓点到圆心的距离为di，可表示为轮廓上点到圆心的最大距离。属于花键区的轮廓点到圆心的距离小于di但大于或等于dj，dj可以表示为轮廓上点到圆心的最小距离。依据轮廓上的点到基圆圆心的距离d，对花键区和基圆区进行划分，划分的阈值dΩ可取为

dΩ=di+α(dj-di);di=max(d(i)),dj=min(d(i))

(3)

式(3)中α为权值，取值范围为0～1。花键轮廓点中di小于等于dΩ的轮廓点属于基圆区，大于dΩ的轮廓点属于花键区。

依据花键轮廓特征，轮廓中属于花键区域的轮廓点应占整个轮廓点的0.6～0.75。以属花键区域轮廓点所占的比例值为权值α的取值限定条件，算法流程如图10。分离出的花键区轮廓几何模型如图11。

图11中b和c点为轮廓的关键点，a和d为轮廓的起始点。以ki表示轮廓上任意一点处的斜率，则所得到的斜率函数k(i)在点b和点c处会出现极值。根据斜率的变化可以对应关键点b和c进行识别。将轮廓由点a到d依次编号为1，…，n，定义任意点i的左右斜率分别为kli和kri，左斜率表示点i编号左边点的斜率值，右斜率表示点i编号右边点的斜率值。计算左右斜率之间的夹角φ对点i是否为关键点进行判别。

关键点判别在图12中7×7像素模板内进行。

将在轮廓上所需遍历的任意像素点i作为模板中的中心点P，以中心点P为分界，将模板内的像素点分为两个部分，分别如图12中的浅灰色和深灰色所表示像素。二者分别组成点i左边相关线段ll和右边相关线段lr。

根据线段ll和线段lr上的像素点进行拟合得出各自的斜率kli和kri，最终计算出两线段之间夹角φ。选定夹角的取值范围Tφ，以此对各点进行判断，得到关键点集合ηp。集合ηp所包含的元素个数可能大于2个，因此需要对关键点进行进一步选取。

花键区轮廓模型中，花键的轮廓由3条线段ab、bc和cd组成。在集合ηp中选取2个点分别作为关键点b和c,在选取过程中选取的2个关键点的限定条件为编号差值大于7，以减少2个关键点的组合数增加计算效率。由a、b、c、d4个点得到3个线段的方程fa(x,y)，fb(x,y)和fc(x,y)。

依据轮廓点的编号将轮廓点分为3类，编号在a到b之间属于A类，编号在b到c之间属于B类，编号在c到d之间属于C类。以Sa(i)，Sb(i)和Sc(i)分别表示任一点到直线ab，bc和cd的距离，以S表示A类点到直线ab距离，B类点到直线bc距离以及C类点到直线cd距离的总和

S=∑Sa(m)+∑Sb(n)+∑Sc(k);

m∈A,n∈B,k∈C

(4)

当总距离S取得最小值时，所得关键点b、c即为最优。

所研究的花键轴套有8个键，因此在左右图像中分别可以有8组关键点。如图13中白色点为提取的花键关键点。

2.2立体测量

在相机模型中存在3种坐标：相机坐标系、像平面坐标系和实物坐标系。

一般情况下立体测量采用左右双目模式,左相机坐标系为o-xyz，与世界坐标系重合，左相机图像坐标系为Ol-XlYl，焦距为fl。右相机坐标系为or-xryrzr，图像坐标系为Or-XrYr，右相机焦距为fr。左、右相机分别有如下的关系式

(5)

左右相机坐标系之间的转换关系可以由空间转换矩阵Mlr来表示

(6)

式(6)中，R和T分别为o-xyz和or-xryrzr坐标系之间的旋转矩阵和平移变换向量。

由式(5)和式(6)可得到如下关系式

(7)

可得到空间点在o-xyz坐标系的三维坐标为

(8)

将立体匹配中所得到的匹配特征点分别计算，得到花键各个特征点在三维坐标下的坐标值，最终确定花键的整体位置和键槽的位置。

如图14所示为左右图像特征点的匹配图，左右图像的特征点准确地进行了一一对应匹配。

对特征点进行三维坐标的计算得到部分的特征点数据，如表1所示。表1中特征点的像素坐标以及相机坐标的定位数据,ul、vl为左像素坐标，ur、vr为右像素坐标，x、y、z为世界坐标。花键尺寸和位置平均误差在0.5mm内，在从远处接近过程中，精度会渐渐提高，可满足实际需要。

表1特征点数据

特征点ul/像素vl/像素ur/像素vr/像素x/mmy/mmz/mm11852322112152837.78-37.91202.2022008387127559147.9-33.64202.0232090472136367953.66-28.34202.642154625149182963.39-20.05201.7852157745141694657.16-10.27202.47620978991355110553.25-0.32202.35720169861269119247.775.2201.688186210511113125537.749.34201.5591801688106089234.08-13.92202.00

3　花键的对准检测

花键轴套之间的间隙由于光线被遮挡会产生暗区，相对于花键轴和花键套有较好的区分度，如图15所示。分析对准过程间隙变化情况，得到对准程度和间隙之间的关系。

花键对准过程的模型如图16所示。浅灰为花键套，深灰为花键轴。花键未对准时轴上的花键与孔内的花键之间存在着间隙，如图16中黑色区域所示。当花键完全对准时应如图17所示，轴上的花键与孔内的花键之间的间隙消失。

由于花键存在的对称性，8个花键的间隙情况相同，选取2个花键进行间隙的检测，如图18所示，黑色区域为间隙所产生的区域，该区域为花键轴的大径D、小径d和花键的轮廓所围成的区域。当花键未对准时，黑色区域的部分区域显示为白色如图19。当对准时则不存在白色区域，以该区域作为检测窗口判断花键是否已经对齐。

根据间隙区域存在与否可对花键的对准进行判断，当未对准时，需对花键轴进行姿态调整。

如图20 中所示，点e1和e2为间隙在花键轴的大径上的两个端点，点o为圆心。大径的长度为D，角度u为线oe1和oe2之间的夹角。

根据几何关系可以得到角度u表示为

(9)

由式(9)计算出的角度u表示花键轴和孔所相差的角度。点e1和e2均为间隙的角点，间隙区域的角点数为4，由角点检测可检测出间隙区域的角点，由e1和e2在大径上的几何特征可知其像素坐标在大径附近，从图像中判别出这两点，从而得到两点的像素坐标。再根据相机成像模型可计算出其在相机坐标系下的坐标值。线段e1e2的像素长度值便可由二者的像素坐标值可直接计算出。根据计算出的角度值，可对花键轴的姿态进行调整，使其绕中心向使角度u减小的方向按一定的步长进行旋转，当间隙区域足够小甚至消失时则花键已经对准，其流程如图21，图像处理结果如图22所示。

图22中，斜线框区域为识别的间隙区，当依据对间隙区域的计算转动花键轴时，间隙区域逐渐减小，花键逐渐对准，直至最终间隙消失，花键实现对准。图22a～d，依据间隙的特征点计算出的偏移度大小的变化，确定出调整的方向，斜线框区域越来越小，花键越来越接近对准状态，最终斜线框区域消失，花键实现对准。

4　实验

应用双目视觉系统对花键进行定位测量，引导ABB机器人对花键装配进行引导。引导过程如图23所示，图23a为引导花键末端接近过程中的图像，图23b为实现装配引导的图像。

引导过程中利用视觉系统先计算出花键套的三维位置姿态信息，将信息实时传入ABB机器人控制器，控制器根据提供的信息驱动花键轴运动。花键轴套装配过程中部分的引导数据如表2。

表2引导数据

数据x/mmy/mmz/mmX/mmY/mmZ/mm129.1226.3172.7725.5429.7782.36224.7222.0650.7322.1819.9255.50316.1317.2442.9614.7815.6640.1145.137.8711.634.778.5510.92

表2中数据为在引导接近工件过程中的4个不同时间段的数据，后一个时间段比前一个时间段更接近目标点。表2中x、y、z值为依据在一个时间段内视觉测量的机器人末端移动的距离，X、Y、Z同一时间段内ABB机器人记录的末端移动距离。

表2中x、y、z相对于X、Y、Z的相对误差如表3所示。

表3相对误差

数据x向相对误差/(%)y向相对误差/(%)z向相对误差/(%)114.0211.6211.64211.4510.748.5939.138.767.1047.557.956.51

可以看出在接近目标的过程中，x、y、z的误差逐渐减小，在近距离下精度较高。

5　结语

运用机器视觉实现了花键轴套的位置感知、花键的识别和测量以及内、外花键的对准监测。基于区域生长的分离识别方法，准确实现了花键区域的提取。依据几何特征点的图像匹配策略，得到了很好的匹配效果，提高了双目视觉定位的精度。依据花键间隙的检测方法，完成了花键对准检测，减少了花键在未对准情况下调整的盲目性。视觉引导定位技术可在机器人装配等柔性智能自动化作业中起到良好的作用。

[1]张建忠, 何永义, 李军. 机器人装配视觉定位应用研究[J]. 机电工程, 2011, 28(8):934-937.

[2]郭瑞, 刘振国. 基于视觉的装配机器人精确定位研究[J]. 制造业自动化, 2014, 36(10):154-156.

[3]张昱, 陈光黎. 基于最小二乘支持向量机的机器视觉识别方法[J]. 测控技术, 2011, 30(7):97-100.

[4]段喜萍, 刘家锋. 一种语义级文本协同图像识别方法[J]. 哈尔滨工业大学学报, 2014, 46(3):49-53.

[5]王鹏, 王婧. 基于模糊理论的焊缝缺陷图像识别算法研究[J]. 科学技术与工程, 2013, 13(19):5520-5523.

[6]申晓霞, 张桦. 基于深度信息和RGB图像的行为识别算法[J]. 模式识别与人工智能, 2013, 26(8):722-728.

[7]张旭苹, 汪家其. 大尺度三维几何尺寸立体视觉测量系统实现[J]. 光学学报, 2012, 32(3):140-147.

[8]周加涛, 邓文怡. 一种基于视觉测量技术的复杂工件检测系统[J]. 北京信息科技大学学报, 2010, 25(1):34-37.

[9]赵振庆, 叶东. 垂直直线特征的双目视觉位姿测量方法[J]. 光学学报, 2014, 34(10):185-197.

(编辑李静)

如果您想发表对本文的看法，请将文章编号填入读者意见调查表中的相应位置。

Visual guiding and positioning technology of robotic assembly

ZHENG Kuijing①②, PAN Chunying①②, XU Fei①②

(①Key Laboratory of Advanced Forging&Stamping Technology and Science,Yanshan Universtiy, Qinhuangdao 066004, CHN；②Hebei Provincial Key Laboratory of Parallel Robot and Mechatronic System, Yanshan University，Qinhuangdao 066004, CHN)

The application of machine vision technology in industrial automation becomes more widespread. The vision technology in robotic assembly can improve the automation of assembly. The spline shaft and sleeve are studied. Depending on the brightness difference between the spline area and non-spline area, the regional growth method is used to extract the spline area. The geometric feature points of the spline are determined and the three-dimensional measurement is achieved based on the binocular model. Using the image matching method based on feature points, the precise positioning of spline can be achieved. The detecting alignment of spline shaft and sleeve is realized based on spline gap to discriminate the alignment. The pixel area of gap determined by the camera′s imaging model is used as detection window and the alignment can be achieved. The feasibility of the visual guiding and positioning technology in robotic assembly is verified by the experiment.

machine vision; regional growth; geometrical feature points; binocular measurement; image matching

TP242.6

A

郑魁敬,男,1971年生，副教授，主要从事机器人技术研究，已发表论文30篇。

2015-08-26)

160321

*国家自然科学基金资助项目(51275439)