机器视觉控制在汽车制造业上的应用

张文群，程松贵

ZHANG Wen-qun1, CHENG Song-gui2

(1.合肥通用职业技术学院，合肥 230001；2.安徽江淮汽车股份有限公司，合肥 230601)

0 引言

随着汽车制造装备业的发展，机器视觉测量与控制技术逐步得到应用。机器视觉控制涉及的研究内容比较广泛，主要包括摄像机标定、图像处理、特征提取、视觉测量及视觉控制算法等。根据摄像机与机器人的相互位置、使用摄像机数目、是否自然测量及控制模型的不同，机器人的视觉系统可分为多种类型[1～4]。文章所述的机器人视觉控制系统为单目二维平面视觉测控系统，其手眼系统为摄像机固定型(Eye to Hand)，控制模型为基于图像控制的。在安徽江淮汽车制造有限公司某冲压自动化线，该技术得以应用，并且效果很好。

1 机器视觉测量原理

1.1 摄像机模型建立[5]

摄像机的内参数模型描述的是景物点与图像点之间的关系。一般地，景物点在摄像机坐标系下的坐标用(xc,yc,zc)表示，图像点坐标为(u,v)，图像光轴中心点坐标为(u0,v0)，kx及ky为放大系数，其摄像机的四参数模型如式(1)所示。

摄像机的外参数模型是景物坐标系在摄像机坐标系中的描述。模型中，(xc,yc,zc)是景物点在摄像机坐标系OcXcYcZc下的坐标；(xw,yw,zw)是景物点在坐标系OwXwYwZw下的坐标；矢量n、o、a分别为Xw、Yw、Zw轴在摄像机坐标系OcXcYcZc下的方向向量；矢量p为OwXwYwZw的坐标原点在摄像机坐标系OcXcYcZc中的位置。该模型的外参数矩阵如式(2)所示：

1.2 单目二维视觉标定测量

对于单目二维视觉测量系统，如图1所示，摄像机垂直于工作台表面安装，并与工作台表面保持一合适的距离d，以减小图像畸变。摄像机的位置及内外参数固定。

图1 单目视觉测量系统

在摄像机的光轴中心建立摄像机及景物点坐标系，OcZc垂直于XwYw面，且交于点Ow；Xc轴、Yc轴、Zc轴分别与Xw轴、Yw轴、Zw轴平行；d为光轴中心点Oc到景物平面的距离。在工作平面上，景物坐标可表示为(xw,yw,0)。由式（2）可以获得景物点在摄像机坐标系下的坐标。

在摄像机及d选择比较合适的情况下，摄像机的畸变可以忽略不计。对工作平面上的两参考点P1(xw1,yw1,0)和P2(xw2,yw2,0)，分别有图像点(u1，v1)和(u2，v2)，该图像点坐标是通过图像处理系统直接获取的。根据式（3）及式（1），有：

kxd、kyd是标定出的摄像机参数。工件上任意点Pi的图像坐标（ui，vi）可以通过图像坐标系直接获取，P1景物坐标（xw1，yw1）为平面坐标已知的参考点，则任意点Pi的景物坐标（xwi，ywi）可由式（5）获得。

2 位置给定型机器人视觉控制

2.1 视觉控制系统构成

Eye-to-Hand位置给定型机器人视觉控制，利用视觉测量的目标位置对机器人进行位置给定，使机器人的末端到达目标位置[5]。图2为位置给定型机器人视觉控制原理框图，主要由两部分构成：计算机视觉测量系统及机器人运动控制系统。本段的术语“位置”广义上说包括位置数据和姿态信息。

图2中，计算机视觉测量系统硬件上主要包括一套工业级摄像头、一台工控机及一块PCI视频信号采集卡等。软件主要包括系统软件Windows XP、数据库软件ACCESS及自行开发视觉测控应用软件。机器人视觉测控应用软件的开发平台为Microsoft VC++6.0，另有二次开发工具视觉软件MVTec HALCON 10.0。图2中的用户坐标系下的对象坐标系原点位置和坐标系姿态（简称位姿），是机器人位置给定型机器视觉系统的输出结果。该系统在功能上主要由图像采集、图像轮廓特征提取、图像坐标提取、用户坐标系下的景物坐标生成、工件位姿坐标生成及数据通信等部分构成。

图2 位置给定型机器人视觉控制框图

2.2 视觉位置给定功能的实现过程

首先建立摄像机图像坐标系，进行摄像机参数标定，建立与图像坐标系关联的机器人用户坐标系。根据公式(4)标定出摄像机参数kxd、kyd；获取工作台参考点P1图像坐标(u1，v1)及其在世界（World）坐标系OwXwYwZw下的景物坐标（xw1，yw1,zw1）；以此点为原点建立用户(User)坐标系OuXuYuZu，用户坐标系与世界坐标系相应轴平行，方向一致，故其位姿坐标为（xw1,yw1,zw1,0,0,0）。在用户坐标系下，公式(5)中的u1、v1对应的xw1、yw1标定为0值。

其次，基于用户坐标系建立OoXoYoZo对象(Object)坐标系[6]（如图3所示）。获取工作台样本工件的图像轮廓特征模型（如图4所示），图4矩形区域中心点Oo（图4中“X”点）为轮廓特征参考点，也即对象坐标系原点。过Oo点的轮廓特征方向角标定为0°。Oo点图像坐标为(uo，vo)，其用户坐标系下的景物坐标xu及yu通过公式(5)获取；另由于Oo点在用户坐标系的XuYu平面上，故其zu値为0；又由于标定阶段的对象坐标系与用户坐标系相应轴方向一致，故有OoXoYoZo坐标系的位姿坐标为（xu,yu,0,0,0,0）。

然后，基于对象坐标系获取P拾点TCP坐标。TCP(Tool Centre Piont)为工具中心点，表示机器人末端位姿。通过机器人示教盘手动操作机器人，使TCP处于一合适位姿（正好能拾取状态未变的样本工件），获取对象坐标系下的TCP坐标P拾（xo,yo,zo,rox,roy,roz），并保存为机器人轨迹程序P拾点（拾取工件）。至此，完成了待拾取工件的机器视觉标定。创建轮廓模型的部分VC示例代码如下：

图3 创建对象坐标系

图4 创建模型

标定结束，就可以实现机器视觉位置自动给定功能。首先提取待拾取工件的轮廓特征，搜索匹配已有轮廓模型，获取工件Oo点图像坐标(uo′,vo′)及方向角α（如图5所示）。然后跟标定阶段一样通过公式(5)获取景物坐标(xu′，yu′），从而可得OoXoYoZo对象坐标系（如图3所示的对象坐标系2）在用户坐标系里的位姿坐标(xu′,yu′,0,0,0,α）。机器视觉位姿获取的部分VC示例代码如下：

图5 轮廓特征模型匹配

2.3 机器人控制

机器视觉位置给定模块生成对象坐标系新的位姿数据后，连同待拾取工件的类型代码一起实时发送给机器人控制系统，机器人控制系统接收到这些数据后，就可以执行相关程序，以实现拾取搬送工件的动作。

机器人执行程序前，读取主程序、轨迹程序（包括点代号、速度及加速度等参数）及点位姿数据，以进行数据预处理，其中一个重要内容就是确立不同的坐标系之间的转换矩阵参数[7]。点位姿数据分属于世界坐标系、用户坐标系及对象坐标系。世界坐标系的点包括：初始点、若干避障点及若干减速点等；用户坐标系下的点如对象坐标系原点；对象坐标系下的点，如若干临近点及拾取点P拾等。

机器人系统执行轨迹程序时，无论对象坐标系在用户坐标系中的位姿是否有变化，机器人系统可以通过对象坐标系到世界坐标系的矩阵转换逻辑，实现基于对象坐标系的点（如P拾）的位姿坐标自动转换。另外，就机器人系统而言，还有基坐标系及轴坐标系，机器人系统在后台实时进行世界坐标系到基坐标系，最后到轴坐标系的自动转换。经过这些转换后，机器人控制系统控制各个轴的伺服电机动作，以最终实现工件的机器视觉自动拾取功能。

3 结论

基于单目视觉的机器视觉控制系统的研发，利用了机器视觉软件的常规模块进行二次开发，发掘了现有机器人成熟的开放的技术，故研发成本比较低，研发周期短。经验证抗干扰能力非常强（如图5所示），运行稳定高效，因此在汽车制造业中得以应用，且应用前景广阔。

[1]王鹏,孙长库,张子淼.单目视觉位姿测量的线性求解[J].仪器仪表学报,2011,32(5):1126-1131.

[2]韩延祥,张志胜,戴敏.用于目标测距的单目视觉测量方法[J].光学精密工程,2011,19(5):l110-1117.

[3]余厚云,张为公.基于单目视觉的跟驰车辆车距测量方法[J].东南大学学报(自然科学版),2012,42(3):542-546.

[4]尚倩,阮秋琦,李小利.双目立体视觉的目标识别与定位[J].智能系统学报,2011,6(4):303-311.

[5]徐德,等.机器人视觉测量与控制[M].国防工业出版社,2011:3-129.

[6]ABB.Technical reference manual-RAPID overview-RobotWare5.14 [EB/OL].3HAC16580-1 Revision K.2013.ABB robotics:ABB

[7]Jorge Angeles.宋伟刚.机器人机械系统原理理论、方法和算法[M].2004,13-50.