基于视觉的组合式机器人轴孔装配平台与实验研究

刘加奎，钱 钧，訾 斌

LIU Jia-kui, QIAN Jun, ZI Bin

（合肥工业大学 机械与汽车工程学院，合肥 230009）

0 引言

对于装配任务，机器人编程的一个长远目标是实现完整生产链的自动化，其中的难点之一就是工件位置的不确定性[1]。在机器人视觉中，用计算机处理视觉传感器采集的图像信息，使机器人具有视觉感知功能，具有智能性、精度高、效率高等优点。随着计算机技术的高速发展，机器人视觉在机器人装配领域的应用越来越广泛。

国内外许多学者在利用机器视觉进行装配方面做了研究：邱超等人完成了多孔工件的快速准确定位[2]，运用了以最小二乘法为基础检测孔隙零件的算法；郭瑞等人坐了基于视觉的机器人对工件的定位抓取的研究[3]，运用了一种简单有效的标定方法，对工件的抓取作了系统的说明；Hamner等人提出了基于视觉和力传感器进行装配的自主移动机器人，其中视觉伺服只是用来粗定位[4]，Liu等人利用机器视觉进行船舱内的装配质量 检测，采用灰度矩边缘检测法检测装配零件的缝隙大 小[5]，Wang等人借助于五个参考点用最小二乘法用单目摄像机做了物体定位的研究[6]。

以上研究说明了机器视觉在装配领域的可行性，如何利用机器人视觉快速准确的进行装配是现在研究的热点之一。本文在研制的五自由度组合式机器人平台上，利用视觉传感器实现对轴孔的检测、定位以及最后的装配实验。

1 五自由度组合式机器人装配平台

五自由度组合式机器人装配平台[7]的机械部分由底部的两维伺服运动工作台、顶部的三自由度机械手以及CCD摄像机等组成，如图1所示。机械手具有沿竖直方向直线运动，以及分别绕竖直轴、水平轴转动的自由度。摄像机安装在机器人系统两维工作台的正上方。机器人装配平台如图1所示。

图1 五自由度机器人装配平台

2 CCD摄像机标定

2.1 标定原理

为了从物体的图像信息计算出三维空间的几何信息，需要进行摄像机标定。摄像机标定中主要有三个坐标系：世界坐标系Ow-XwYwZw、摄像机坐标系o-xyz、图像像素坐标系of-uv和图像物理坐标系ok-ij。图2为针孔摄像机成像模型。

图2 针孔摄像机模型

图2中，世界坐标系中某一空间点M的齐次坐标为pw=(X, Y, Z, 1)T，它在摄像机坐标系中的坐标为p=(x, y, z)T，其对应的图像像素坐标系中的齐次坐标为pf=(u, v, 1)T。图像像素齐次坐标与摄像机坐标关系为：

式中，基准点(cx, cy)，是摄像机坐标系的z轴与成像平面的交点，通常在图像的中心；f是摄像机焦距，sx、sy表示像素的宽度和高度，fx=f/sx，fy=f/sy。

点M的摄像机坐标与世界坐标关系为：

式中，R、t为外参数矩阵，分别对应世界坐标系相对于摄像机坐标系的旋转矩阵和平移向量。

由式(1)和式(2)得到图像像素齐次坐标与世界齐次坐标的关系：

式中，A为内参数矩阵，s为比例因子。

2.2 参数模型求解

首先自制一块标定板，使用摄像机重复采集若干幅图片，然后利用OpenCV函数cvCalibrateCamera2( )，进行摄像机标定。标定完成后，求出式(3)中的A、R、t，以及切向畸变系数k1、k2和径向畸变系数q1、q2（用于畸变校正）。

建立好世界坐标系后，利用一张标定板图片，用OpenCV函数FindExtrinsicCameraParams2( )重新求出外参数矩阵。

3 图像检测及圆孔定位

3.1 采用改进的霍夫变换检测圆孔

经典Hough变换[1]原理是将图像空间转换为参数空间，对参数空间的点进行累加，对图像的潜在圆弧进行投票，最后选出得票最多的圆弧。Hough圆变换转换的累加容器为三维，分别是圆心横纵坐标以及圆的半径，其缺点是需要大量的内存且速度较慢。

为了避免上述缺点，使用改进的Hough圆变换[5]。这种算法由原来的三维累加容器改为先是两维累加，然后一维累加。首先对原图像进行边缘检测，然后计算边缘图像每一个非零点的梯度，得到经过梯度方向的直线，在两维累加平面对直线的每一点进行累加。对累加值进行排序，累加值大于某一阈值的点即为圆的圆心。最后对每一非零像素，计算其与圆心的距离。如果到圆心为某一距离的像素数最多，则此距离为所得的半径。

3.2 畸变校正和圆孔定位

在检测完圆心像素坐标(xr, yr)后，由于实际的摄像机镜头并不完美，空间点在成像过程中会产生畸变，需要对圆心坐标进行畸变校正，以得到理想的圆心坐标。畸变校正过程如下：

首先计算圆心的图像物理坐标(xc, yc)：

然后对图像物理坐标校正，(x1, y1)为相应的校正后圆心图像物理坐标。

校正后的圆心图像像素坐标(uc, vc)为：

世界坐标系在标定时选取一个摄像范围内的区域建立。孔类零件的圆心世界坐标为(Xc, Yc, Zc)T，由于孔类零件一直在两维工作台上，则Zc为常数，为计算方便令其等于零。将圆心图像像素坐标(uc, vc)以及标定的参数带入式(3)，即可求出当Zc=0的圆心世界坐标。

4 组合式机器人自动装配控制

4.1 世界坐标到机器人平台坐标的转换

通过齐次变换，将圆孔中心在世界坐标系中的坐标(Xc, Yc, Zc)T转换成机器人平台坐标系中的坐标(Xj, Yj, Zj)T：

其中，世界坐标系Ow-XwYwZw相对于机器人平台坐标系Or-XrYrZr中Zr轴旋转角度为θ，位置偏移量为Δx、Δy。

现将机器人平台坐标系的原点设置于机械手竖直轴正下方的两维工作台上，Xr和Yr坐标轴方向与两维工作台的正运动方向一致，Zr坐标轴方向竖直向上，则Δx=-16.5cm，Δy=-4.3cm，θ=π/2。

4.2 组合式机器人自动装配过程

组合式机器人的控制系统由固高八轴运动控制卡和工控机组成。工控机运行环境为Windows XP操作系统，使用Microsoft Visual C++ 6.0集成开发环境进行软件编程，调用OpenCV函数库进行视觉处理。在使用改进的Hough算法检测圆孔中心时，处理时间约为200毫秒。软件操作界面如图3所示。

图3 软件操作界面

机器人控制系统根据检测和计算得到的圆孔中心在机器人平台坐标系中的坐标值(Xj, Yj, Zj)T，通过两维工作台，将孔类零件移动到机械手的正下方，然后控制机械手的竖直运动，将轴类零件插入到圆孔中，以完成轴孔装配作业。轴孔装配总体工作流程如图4所示。

图4 工作流程图

5 实验结果与分析

5.1 影响标定精度的因素

在标定的时候，设定世界坐标时，把标定板一个方格的长度设为1cm，实际长度为2.5cm。x和y坐标单位为cm，z坐标设为0。

标定精度是影响实验结果准确度因素之一，因此首先通过一系列实验来找出使标定精度最高的标定板模型。标定板角点的数量、标定图片的数量对精度的影响分别如图5、图6所示。当标定角点的数量为9个、图片的数量为10幅时，标定角点的数量和标定图片的数量对标定的精度影响较小，因此本次试验选用11×11标定板，选取标定的图片为12幅。

图5 各内参数值与标定板角点数量关系

图6 各内参数值与标定图片数量关系

5.2 圆轴孔装配误差分析

在进行圆轴孔装配实验时，使用的轴类零件外径为16mm，孔类零件内径为18mm。在五自由度组合式机器人装配平台上进行了20余次自动装配实验，均能顺利完成插轴入孔作业。为了分析装配误差，使用人工测量值作为参考位置真值，将计算得到的值与其比较，得到误差值。在x、y两个不同方向上的误差如图7所示。

图7 检测圆心的横纵坐标的误差变化

从图7中可以看出，x、y坐标误差变化有一定的规律性。当孔类零件偏离摄像机正下方的位置时，圆孔成像的形状不再是一个标准的圆，检测的圆心与实际圆心相比也会偏向一侧。

对圆心横坐标误差变化曲线进行三次曲线拟合，拟合结果为：

对圆心纵坐标误差的变化曲线做抛物线拟合，结果为：

误差补偿后，再次进行试验，得到圆轴孔装配实验的位置误差如表1所示。从表1中看出，前后各两组数据误差较大，其他误差较小（在0.5mm范围内）。从实际效果看，当圆孔在摄像机图像的边角时误差较大，而在图像中心附近时误差很小。

表1 圆轴孔装配实验的位置误差

6 结论

本文研制了基于视觉的五自由度组合式机器人装配平台，开展了机器人轴孔装配的实验研究。使用OpenCV库函数，实现了摄像机的标定和孔类零件的定位。根据五自由度组合式机器人装配平台的特点，进行圆轴孔装配实验研究，多次实验结果证明了该装配平台的有效性，装配误差可以控制在0.5mm内。

[1] Chen Shengyong, Li Youfu.Active vision in robotic systems： A survey of recent development[J].The International Journal of Robotics Research,2011,30 (11)：1343-1377.

[2] 邱超,陈兴洲.轴孔自动视觉装配中孔系工件高精度定位检测算法研究[J].现代制造工程,2010,10：101-103,142.

[3] 郭瑞,刘振国.基于视觉的装配机器人精确定位研究[J].制造业自动化,2014,36(5)：154-156.

[4] Brad Hamner, Seth Koterba An autonomous mobile manipulator for assembly tasks[J].The International Journal of Robotics Research, 2011,30(11)：1343-1377.

[5] Liu Yi, Li Shiqi. A computer vision-based assistant system for the assembly of narrow cabin products[J].The International Journal of Advanced Manufacturing Technology,2015,76：281-293.

[6] Wang Peng, Xu Xiao, Zhang Zimiao. Study on the position and orientation measurement method with monocular vision system[J]. Chinese Optics Letters,2010,8(1)：55-58.

[7] 胡桐,钱钧.五自由度组合式机器人平台的机械和控制系统设计[DB/OL].中国科技论文在线,2014,1-4.

[8] 冈萨雷斯.数字图像处理[M].北京：电子工业出版社（第三版）, 2014.