视觉-激光混合式3D测量方法及自动装配研究

祝春雨,谢小辉,朱 悦

(苏州大学 机电工程学院,江苏 苏州 215000)

随着工业机器人应用的日益成熟,制造行业开始大批量采用工业机器人替代人工进行产品加工和装配[1]。机器人自动装配是工业自动化生产中的典型作业,利用机器人替代人进行上下料等方面的工作[2,3]。在机器人制造系统中,姿势对齐和视觉定位在装配前是必不可少的[4]。在基座与大臂的装配过程中,基座的孔位与大臂的螺纹孔对齐是基座装配过程中的关键工艺。传统手工装配方式效率低下且产品质量不一。视觉装配机器人可以有效解决上述问题。采用装配机器人代替人工可以提高效率,降低劳动强度[5,6]。

Liu等[7]利用3个显微摄像机和力传感器实现了长圆柱构件的位姿对准。徐远[8]等采用力反馈和两次视觉定位的方法,实现了机器人定位精度由粗到细的改进。这些方法完成了位置定位和单一方向的角度校准,考虑到在实际生产情况下,需要对装配工件六自由度空间完成校准,本文提出一种激光位移传感器测量技术和机器视觉技术相结合实现大臂工件六自由度定位和矫正的方法。

1 装配系统总体设计

如图1所示,机器人装配系统主要由3个激光位移传感器、2个电荷耦合元件(Charge coupled device,CCD)相机、2个六轴机器机械末端夹持器和1台工控机组成。

图1 机器人自动装配系统

单个相机可以识别工件在平面上的位姿信息,激光位移传感器可以识别大臂搬运过程中的位姿变化,二者结合可以对装配工件的6个自由度空间进行校准。首先工业机器人A末端移动到基座正前方,其末端安装的CCD相机A提取螺纹孔区域,经手眼标定后计算当前螺纹孔中心Y、Z位置和RX偏转角度,以固定位姿作为基准,测量当前底座螺纹孔位姿偏差值。大臂工件移动到CCD相机B和激光位移传感器的正前方,CCD相机B使用基座装配体螺纹孔的亚边缘作为模板,基于最小均方误差匹配法准确匹配当前大臂工件螺纹孔亚像素边缘,计算大臂工件当前RX位姿和工件Y、Z位置偏差。通过3个激光测距仪解算出当前大臂工件的X位置偏差和RY、RZ的姿态偏差,计算出6个自由度方向的偏差后,控制工业机器人B补偿当前大臂工件的位姿偏差。最终实现大臂工件与基座装配体基准面姿势对齐和螺纹孔位置的准确定位。

2 基于机器视觉的工件定位与位置校准

采用两个CCD相机实现基座的位置提取和姿态校准。首先CCD相机A是眼在手上方式,机器人移动到基座正前方,采用动态阈值分割法,形态学处理提取基座螺纹孔像素位置,经手眼标定以后,得到螺纹孔位置信息以及绕X轴的角度RX值。接着再创建边缘模板,基于最小均方误差匹配法对CCD相机B读取的大臂螺纹孔进行识别,CCD相机B采用眼在手外的安装方式,可以精准解算出与基座平面位姿的误差。在这个过程中,工控机实时解算图像信息,控制机器人对大臂工件相对基座的Z、Y轴位置误差,RX偏转误差进行补偿。具体工作流程如图2所示,其中Ry、Rz代表具体的角度值。

图2 装配系统控制原理框图

2.1 装配体基座基准面视觉定位

2.1.1 最大类间方差法分割图像

首先让相机A采用阈值分割算法对螺纹孔区域进行分割,再通过形态学处理,提取圆形螺纹孔区域。最大类间方差法是由日本学者Otsu提出的一种图像分割高效算法,也称Otsu分割法[9]。在使用此算法对基座螺纹孔图像进行阈值分割的时候,选定的阈值分割区域与前景区域、灰度背景与整幅图像的平均灰度之间差别达到最大。图像总的像素数为

(1)

各灰度值出现的概率为

(2)

u、u0、u1分别代表整幅图像的平均灰度、区域C0的平均灰度、区域C1的平均灰度,两个区域的总方差为

(3)

图3 基座螺纹孔图像分割结果

2.1.2 求解RX位姿偏差

由于基座螺纹孔每次位置都会发生变化,因此需要对基座上的螺纹孔的位置进行识别,并且需要求解RX方向的偏差,再对装配工件进行位姿校准。对装配底座螺纹孔位置求解中心点坐标Yin和Zin。经手眼标定后将像素坐标转换为机器人坐标,分别得到6个螺纹孔的Y和Z坐标为YN和ZN,设定的初始化螺纹孔位置为(Y0,Z0),N的范围是1至6。

然后求解RX方向上的偏移角度

(4)

以此作为另一个装配工件的基准Rx角度。

2.2 装配工件视觉定位

2.2.1 基于最小均方误差匹配法的图像搜索策略

匹配算法是对每个待检测边缘,使用模板匹配分割结果,估计与其匹配的最优值[10]。对基座螺纹孔区域提取亚像素轮廓,得到轮廓的像素坐标集合为(M,N)。

对于图像间的仿射变换(M,N)→(M′,N′),变换方程为

(5)

(6)

(7)

mi,ni代表的是第i对像素点坐标。由最小均方差原理求解E2=(N-M∂)T(N-M∂),便可求解E2,通过遍历基座螺孔边缘像素点与大臂螺孔像素点匹配,得到如图4所示最佳匹配螺纹孔轮廓,对轮廓圆坐标解算出工件螺纹中心坐标,经过手眼标定后转换为机器人坐标Y′、Z′。

图4 模板匹配结果及螺纹孔绕X轴偏转方向

2.2.2 求解位姿偏移值

大臂工件的Y′、Z′、R′x螺纹中心坐标与基准底座螺纹孔位置YN、ZN、Rx对比后求ΔZ、ΔY、ΔRx偏移值

ΔZ=Z′-ZN

(8)

ΔY=Y′-YN

(9)

ΔRx=R′x-Rx

(10)

得到位置偏移值后控制工业机器人B移动。

3 激光位移传感器精密测量方法

以激光位移传感器A为原点,建立激光位移传感器坐标系,激光位移传感器呈正三角形安装,传感器之间间距为L,传感器在一个平面上,如图5所示。

图5 激光传感器安装位置示意图

图6 坐标系相对位置

根据向量法公式

(11)

将工件表面激光照射的3个点坐标代入得到大臂工件表面的法向量各坐标为

(12)

(13)

(14)

机器人Z轴向量为

J=(0,0,1)

(15)

当前大臂工件绕Y轴的Ry欧拉角公式为

(16)

解算出当前大臂工件的Ry欧拉角偏差角度为

Ry=

(17)

机器人Y轴向量为

V=(0,1,0)

(18)

当前大臂工件绕Z轴的Rz欧拉角公式为

(19)

解算出当前大臂工件的Rz欧拉角偏差角度为

Rz=

(20)

4 实验

对提出的基于机器视觉和激光位移传感器的机器人自动装配方法进行了30次装配实验。工业机器人是六轴机器人,工业机器人A负责拧螺丝作业,机器人B负责对装配工件的位姿校准。

激光位移传感器通过RS485串口与工控机通信,采用的通信协议为Modbus协议。图像传感器为海康威视工业600M彩色相机,机器人和工业相机通过千兆网口与工控机通信。激光位移传感器型号为CD22-100-485,最大位移检测距离为150 mm,激光位移传感器的线性度为±0.1% F.S.。传感器的分辨率为6 μm,满足系统精度要求。视觉算法采用Visual Studio 2015、Halcon和OpenCV联合编程。装配螺栓为M14型号,部分不同大臂和基座配合的螺纹孔位对接结果如图7和8所示。

图7 装配实验

如图8所示,大臂工件在搬运抓取过程中其位姿发生了较大变化,不经过位姿校准容易导致装配失败。经过位姿校准后与装配平面的位姿偏差值如表1所示。通过校准以后,位置偏差降低到0.2 mm以下,姿态偏差降低到0.1°以下,满足实际的螺孔装配精度需求。

图8 搬运过程中位姿偏差

5 结束语

针对装配生产线工件位姿变化的问题,提出了一种基于机器视觉技术和激光位移测量在线解算位姿的方法,用两台工业相机可以确定基座和大臂之间的相对Y、Z、RX偏差,通过激光位移传感器测量大臂工件搬运过程中的X轴位移,再解算出工件绕Y轴和绕Z轴的角度值,这两种非接触式传感器准确地测量出基座螺纹孔的位姿和大臂工件因搬运引起的位姿误差,从而引导工业机器人对大臂工件进行位姿校准。从实际装配实验得出,这种方法校准装配轴孔定位姿态误差小于0.1°,位置误差小于0.2 mm,完全适用于工业现场的螺孔装配作业。