视觉引导机器人协作AGV上下料系统研究

吕开旺，王明睿，刘振国，郭 瑞，田 禛

（北京机械工业自动化研究所，北京 100120）

0 引言

随着当前世界形势的不断复杂变化，以及我国国民经济的飞速健康发展，现代社会对工业生产的自主性和高效性的要求越来越高，工业正在加快改变其原有的工作方式，期望在市场中获得更大的竞争力。工业生产方式更加灵活，自动化程度越来越高，以减少生产时间，提高生产效率，减少损耗和浪费，以更低的成本提高生产质量。

机器视觉已经是工业自动化的一个既定组成部分，它是一项成熟的技术，正被用于各种工业生产过程中。例如，机器视觉在过程控制中，可以自动检查零件、子组件或最终产品，以发现制造缺陷[1]。机器视觉有助于以相对简单的形式控制生产，避免熟练的操作人员花时间“观察”机器工作。此外，自动检测过程也比人工处理更快，效率更高。

本文利用视觉软件中集成的图像处理算法，通过视觉相机获取AGV上的Mark点图像，进行图像预处理、目标检测及识别，偏移误差计算等步骤，对AGV到位偏差进行自动处理，结合机器人程序进行二次运算，获得偏移坐标模型，从而引导机器人的抓取操作，快速精准的取放物料。

1 视觉定位系统硬件组成

毫无疑问，视觉系统的关键部分是它的处理算法，算法开发构成了视觉系统工程的核心任务。但硬件的选择和集成也很重要，如相机传感器、镜头、照明设备、通信基础设施和处理硬件，尤其是想要建立一个高度受控的成像环境。

1）相机：分辨率为4024×3036，帧率为9.6fps。

2）视觉控制器：采用某公司的视觉控制器，该款控制器性能比较稳定、处理图像数据反应快速。

3）机器人：作业负载为7kg，臂展长920mm，反复定位精度为±0.02mm，作业灵活快速，可满足多种作业场景。

4）AGV：采用激光导航方式，定位精度为±5mm，±0.5°。

5）通信设施：采用无线AP，通过以太网连接，建立TCP/IP网络协议进行信息交互。

视觉引导机器人定位系统硬件构成如图1所示。

图1 视觉引导机器人定位系统硬件构成

2 系统工作原理

在本文所述系统中，相机固定于机器人手臂六轴末端，与六轴同轴。AGV到达工位时发送到位信号，触发机器人程序，驱动机器人从工作台拿取物料，机器人到达拍照点时触发相机拍照，相机将扫描到的信息传递给控制器，通过视觉软件进行高精度特征匹配，标定转换，变量计算后，将坐标偏差及角度传给机器人，在机器人程序内进行二次运算。机器人建立坐标系变量，用相机传递的数据进行赋值，与工件坐标系变量进行叉乘运算，求得偏移后的坐标系，进一步求得工件的准确位置，从而驱动机器人实现取放料操作。

图2 视觉定位系统流程图

3 系统模型建立

用于抓取物体的整个视觉引导机器人定位系统应由三个基本模块组成：图像处理应用程序，坐标系转换算法以及通信接口[2]。

3.1 图像处理应用程序

视觉定位系统还有一个重要的组成是软件，软件驱动图像采集、处理和分析功能，并负责机器视觉应用的整体性能[3]。

本文所述系统采用某公司的视觉软件，具有良好处理能力和存储能力。用于检索物体特征，可以满足机器视觉系统需要的优秀图像质量，作为内置软件的嵌入式视觉系统，集成、实施和持续管理都相对简单。

3.2 视觉定位系统算法

1）相机成像数学模型

当相机测量需要以真实世界坐标表示时（例如，用于机器人导航或高精度测量），系统校准的质量至关重要。

为了确定AGV上mark点的空间坐标，与在相机中成像点之间的对应关系，需先建立相机成像的数学模型，模型参数就是相机参数。相机参数矩阵分为内参数矩阵和外参数矩阵，内参数矩阵描述二维平面变换，对应相机坐标系与图片像素间的转换；外参数矩阵描述三维空间旋转和平移，对应世界坐标系与相机坐标系间的变换[4]。

（1）内参数矩阵

理想针孔摄像机镜头系统如图3所示。

图3 视觉通道的常见步骤

图4 针孔摄像机镜头系统

穿过相机中心OC并垂直于传感器平面的线称为相机主轴，即ZC。主轴与传感器平面相交的点称为主点，在图3中表示为C。

由R3空间到R2平面的中心投影映射得：

由于投影颠倒了图像，所以投影点rS相对于点rC的坐标具有负值。例如，点rC的坐标yC，在空间中有正值，因为YC轴向右。但是，将其投影到传感器平面后，会变为负值。坐标xC也是如此。为了省略引入负坐标到点rS，可以将图像平面围绕轴C和x旋转180度，获得一个虚拟的平面，称为假想传感器平面。从图3中可以看出，点rs'的坐标直接对应于点rC的坐标，投影定律也成立。

因此，中心投影可以用矩阵乘法来表示：

但针孔相机描述的是理想的投影，由于通常使用带镜头的电荷耦合器件相机，上述模型不足以进行精确测量，因为类似矩形像素和镜头失真这样的因素很容易发生。为了更准确地描述点映射，考虑畸变误差等因素，摄像机内参矩阵描述为[5]：

fx，fy为缩放因子，Px，Py为变换因子，4个因子仅与相机结构有关。

相机内参数对于特定的相机是唯一的。通过将已知空间或平面物体中的标定点，与其在相机成像上的投影点进行匹配，因为标定点的真实世界坐标和相应的像素坐标是已知的，故可以通过封闭形式的解和数值优化来导出未知的相机内参数。

（2）外参数矩阵

世界坐标系，在经过平移、旋转变换后，转化为相机坐标系，两种坐标系间的转换关系就是相机的外参数矩阵[6]，通过建立变换矩阵来对相机姿态进行描述，然后对该矩阵取逆即可求得相机的外参数矩阵。

[XCYCZC]T表示相机坐标系下的点，[XWYWZW]T表示世界坐标系下的点，R3x3，K3x1分别表示旋转，平移矩阵。

相机标定的目标就是确定摄像机内在参数和摄像机外在参数。相机标定也称为手眼标定，分为两种情况：一种是相机固定于工作台面上，另一种是相机随着机器人移动，本文所述抓取系统属于后者。

相机标定的一般原则在于找到足够多的空间已知点和它们在图像中的投影点的对应关系。相机与机器人进行联合标定，机械手臂带着相机，在保证Mark点在相机视野里的前提下，进行平移和旋转，每次移动后相机拍照记录图像，得到n组对应的坐标，代入式(3)、式(4)式可求得相机坐标系与机械手空间坐标系的转换关系。

2）机器人坐标系转换

机器视觉引导机器人抓取是通过改变其工件坐标系来实现的。机器人的工件坐标系是根据具体作业场景建立的，由世界坐标系经过旋转和平移转化而成。

由于mark点与工件抓取点不是一个点，相机获得的偏移量数据仅是对于mark点的，所以机器人在接收到偏移量数据后，仍需要进行运算，转换为抓取点的偏移量。首先定义一个坐标系变量，将相机发送的数据赋值给该变量，再与工件坐标系变量进行叉乘运算，从而获得机器人抓取工件的坐标点。

主要代码如下：

3.3 通信接口

通信接口用于控制自动抓取过程，通常情况下，是通过数字输入/输出信号或通过串行连接进行数据交互来实现的[7]。由于视觉系统通常直接应用各种组件，所以这些组件必须易于与其他机器元件协调和连接。建立通信接口可以方便快速的与其他设备进行信息交互，也有利于移植机器视觉引导定位系统到其他型号的硬件系统中。本文相机控制器与机器人采用以太网连接，建立socket套接字通讯，通过5GHz信道进行信息交互。

4 实验验证

在相同条件下，对AGV到位误差进行识别，通过相机对AGV上的mark点进行目标检测，由图像获得偏移量信息，利用抓取系统算法求得抓取点坐标，进而驱动机器人精确抓取物料。记录mark点、抓取点未偏移前的位置信息，同时记录通过相机识别的mark点位置，以及机器人实际抓取的位置，对两组点的偏移量进行比较。

实验数据如表1所示。

表1 位置偏移量比较

（续）

由上表数据可以看出，机器人在重复定位精度为±0.02mm的前提下，抓取误差为± 1mm，满足作业要求，可以较精准的对物料进行抓取。抓取模型精度较高，可以考虑在其他作业类型中进行调试和应用。

5 结语

本文对AGV到位误差进行识别，通过机器视觉提取偏移量信息，再通过抓取定位模型进行运算，最终获得Mark点偏移量与机器人抓取点的偏移量的几何关系，从而驱动机器人快速精准的取放料。多次实验数据佐证，本文构建的抓取系统偏移误差较小，定位精确快速，满足工业任务的要求，对于类似工业生产有一定的参考价值。