视觉图像技术与机器人工件抓取的协作应用

盛华军，胡国清

（1.广州科技职业技术大学 自动化工程学院，广州510550；2.华南理工大学机械与汽车工程学院，广州510641）

工件抓取是工业机器人实训功能台众多功能中必不可少的一环，准确的抓取工件是后续各种功能顺利进行的前提，安装在机器人上的工业相机，经过计算机的处理和分析，可模拟人眼视觉的功能，依据视觉结果控制机器人进行相应的动作，实现自动的定位、分类、抓取和摆放工件等操作，工件的准确抓取，首先用视觉装置确定机器人工件抓取的周围环境[1]，再用图像处理和分析技术，最后对相机获取到的图像进行特征描述和识别，工业生产中的产品或零部件的图像识别和处理技术已日益成熟，利用图像技术既能准确、快速地抓取工件；又能提高工业生产效率，营造更安全的操作环境，拓展更强大功能的机器人功能平台，机器视觉的应用优势有：首先，有良好的灵活性，机器视觉能够采集制造过程中的多个图像[2]，并进行科学合理的处理；其次，有非常高的精度，能够进行精确的测量和定位，在复杂的工况中也能够获得高质量[3]的测量数据；最后，具有优良的非接触工作方式，对人员和工件都不会有损伤，可提高机器人工作系统的可靠性。

1 视觉图像技术及特点

机器视觉是一种全新的技术，其视觉系统通常是以计算机为中心，主要有视觉传感器、图像采集系统和图像处理系统等模块组成[4]，如图1所示，工业机器人工件抓取技术是目前自动化产线中应用很普遍的技术，通过机器视觉与图像技术的引导，能使机器人实现较智能化的抓取动作，传统工业机器人抓取技术，多数情况下是针对特定特征的零件进行抓取，灵活性与准确性存在不足，机器视觉与图像技术应用在工件抓取环节，利用图像的定位技术、图像处理技术和自动抓取技术的相互协作，可以很好地克服机器人工件抓取[5]时的迟滞现象。

图1 机器视觉系统的基本构成Fig.1 Basic structure of machine vision system

1.1 图像精确定位技术简介

图像及其特征的精确定位是机器视觉系统的重要功能，定位技术直接影响抓取时的准确度，是工业机器人工件抓取环节的重要技术，目前定位精度较高的是三维定位技术，用双目立体视觉系统可实现目的，定位目标的三维坐标，建设三维坐标系，提高定位的准确度，机器人抓取环境较复杂时，与二维定位技术相比，三维定位技术[6]能够识别三维坐标的信息，根据具体的场景调整坐标系，调整现实坐标系与图像坐标系的转换关系，对不同规格或形状的工件图像处理和识别，满足生产线的高精确定位需求，利用现实坐标系和图像坐标系的转化，得到目标在图像坐标系中的位置信息，可使机器人抓取目标的准确性得到很大提高。

1.2 机器视觉图像处理及特点

机器视觉系统凭借不同形式的客观测量获取图像，对工件外形的准确描述和识别[6-7]，有边缘或特征点提取、曲线分割和分段匹配等常用图像处理步骤，图像采集、形状匹配和位置补正的图像识别和处理环节，常会受到传感器灵敏度、噪声干扰、模数转换的量化问题等影响因素，导致图像无法识别，催生图像增强技术，机器视觉引导下的图像处理技术，通常是利用灰度处理技术、滤波处理技术和二值化处理技术等，促使图像处理质量得到极大提升，并且能和工业机器人轨迹编程很好的协作，就能实现智能的抓取。

1.3 自动抓取工件技术

要找准工件的几何位置，需利用相机成像的几何模型，在图像中建立对应点之间的相互关系，因为大部分工件是由方形或圆形等简单几何形状组合组成，其外边界边缘多为规范的线性与曲线；所以在构建工件识别特征集合时，可通过提取图像中工件的几何特征量作为识别特征参数，如工件的形心、边缘和曲率等特征[7]，是识别和抓取工件的重要信息，通过指定工件并确定其图像在模板中的具体位置，可使识别算法简化，在机器视觉与图像处理系统的指引下，提升工业机器人抓取工件的自主性，工作效率及工作质量得到更大保障，有机器视觉的自动抓取技术，机器人工作时的过多人工干预将会减少，产线运转效率得到提高。

2 抓取系统与坐标系介绍

2.1 机器人功能实训台抓取原理

对两个传动带上的工件进行抓取如图2所示，工业机器人功能实训台工件抓取环节，按照预先设定的模板位置，就是每次抓取一个工件放置的位置；平面上是与工件轮廓相似度最高的位置，高度上是与设定的模板位置高度一致的位置，按照相同方向抓取并码放，传送带末端设置有颜色传感器，按照两种不同颜色分类放置，码放在两个托盘上，该处用单臂机器人取代人工，实现工件的自动码放功能，视觉系统主要由硬件系统与软件系统组成，如图3所示，机器人视觉系统的常见功能有监控、检测、测量、定位和识别等[7]，导入视觉与图像技术，可达到精准定位、稳定码放和可靠运行的目标。

图2 机器人工件抓取实训台Fig.2 Robot workpiece grabbing training platform

图3 视觉系统的总体框架图Fig.3 General frame diagram of visual system

2.2 抓取系统坐标系介绍

相机利用成像投影的优劣取决于相机成像的精度和图像处理技术，视觉坐标系如图4所示。

图4 抓取系统的坐标系关系Fig.4 Relation of coordinate system of grabbing system

工业机器人在进行坐标转换时，需要有图像坐标系、相机坐标系与世界坐标系之间的转换，目的是将图像中的目标工件的图像坐标位置，转换为世界坐标中的位置；保证机器人进行抓取的时候操作，参数环境的一致，实际的物理坐标系，有两种单位表示方式，用（u，v）和（x，y）表示分别是像素单位和实际物理长度单位，x，y轴分别平行于u，v轴，以工业相机为中心建立相机坐标系（Xc，Yc，Zc），定义相机透镜的中心称为光心为坐标系原点，设为Oc点；Xc与Yc的两条坐标轴线平行于图像平面，另一条轴线Zc，则垂直于图像平面；与图像平面的交点为相机的焦点，在图像坐标系上的坐标点为（u0，v0）；目标点P 在摄像机坐标系[8]下的坐标点为Pc（Xc，Yc，Zc），世界坐标点（Xw，Yw，Zw），是客观世界的绝对坐标，用来描述目标物体的实际位置，视觉系统中的相机与世界的坐标系之间的转化关系如下：

3 轮廓图像技术的应用

3.1 二值化轮廓图像技术介绍

二值化的轮廓提取，是对于一幅背景为黑色，目标为白色的二值图像，在图像中找到一个白色点，将其内置为白色，然后保持白色不变，轮廓提取步骤：首先，启动程序，工业相机采集一张图片；通过计算机内的图像处理算法对获取到的图片进行图像特征信息的识别与分析算法，将目标工件从图片中提取出来，借助图像的矩特征，计算图像的质心坐标和旋转角度；提取出的坐标、角度和形状信息等作为参数，利用局域网总线传送至试验台的控制器[9]中，通过控制器控制机器人执行相应操作，利用机器人示教将工件放置到托盘上，实现工件的抓取；最后，通过机器人将工件实现分类抓取和摆放后，机器人的控制器送回一个结束信号，机器人的视觉系统就再一次采集图像，工件的轮廓框线绘制如图5所示。

图5 矩形工件轮廓特征框线的绘制Fig.5 Drawing the outline of rectangular workpiece

3.2 工件在模板上的放置位置

在图像测量过程和机器视觉作用时，空间的三维景物利用相机成像投影到相机的二维成像平面，需构建相机成像的几何模型，模型参数均为相机参数，必须通过实验与计算才能得到，求解参数的过程称作相机标定，其作用是让空间中三维景物坐标点与二维图像像素点之间建立对应的关系[10]，常见的相机标定方法有3种：传统相机标定法、主动视觉相机标定法和相机自标定法，例如建立了工件在世界坐标系中的位置，同时也建立了与图像坐标系中的位置对应关系，标定是整个系统准确工作的前提条件，其好坏直接影响抓取的精度，借助摄像机对物体进行全面的图像采集，再对图像进行系统的分析，根据分析结果传递给控制器，机器人就能做出准确的动作，确保生产工作的顺利进行，工业机器人视觉软件系统，可以先做模板后标定，再做实时拍照识别。工件在P1位置的4个坐标点如表1所示，其余3个工件相机标定与之类似；实验功能台要求每个托盘每层放置4个工件，4个工件的标定位置如图6所示，机器人的标定在离线编程技术环节将各规定设定好，这里不作过多说明。

3.3 机器人工件抓取的控制流程

图7表示的是视觉系统与机器人工件抓取过程的控制流程，先将视觉系统内外参数进行正确的标定，图像采集环节采用光电传感器触发相机采集传动带上的工件图像，然后对图像进行预处理和图像分割，视觉软件根据设置进行图像识别获得像素，判断得到正确的工件后，标定工件需要在托盘上放置的精确位置，抓取动作通过轨迹编程和PLC编程共同实现工件的精确放置。

表1 P1位置的轮廓4坐标点Tab.1 Contour 4 coordinate point at P1

图6 4 工件在模板上的预设位置Fig.6 Bottom position of workpiece on formwork

图7 实训台机器人与视觉图像技术的协作控制流程Fig.7 Cooperative control flow chart of robot and visual image technology in training station

4 结语

实际运行的工件抓取控制效果如图8所示。

图8 机器人工件抓取后的码放效果Fig.8 Stacking effect of robot parts after grasping

经过反复工件抓取实验，工件抓取后放置的位置偏差均在5 mm 左右，配置机器视觉系统的机器人抓取工件有明显的精确优势；论文中实证了采用视觉图像技术与机器人协作抓取方法，可以达到较高的精度要求，展望未来，工业机器人要能更便捷的智能抓取，视觉图像技术与机器人工件抓取的协作性方向集中在3个方面：①视觉图像系统的要有更广泛的兼容性，才能与众多的系统集成软件兼容；②视觉图像软件需要有编程和操作方便简洁、直观的图形界面，需具备完善的视觉和图像工具集；③要拓宽机器视觉图像系统可应用场合，最好能从相机拓展到监控系统。