基于机器视觉的智能抓取系统的设计★

万松峰， 吴靖明

（东莞职业技术学院智能制造学院， 广东 东莞 523808）

引言

电子信息产业是广东支柱产业中最具创新、最具活力的行业之一，具有知识高度密集、产业附加值高和辐射带动性强等特点，在区域工业体系中占有重要地位，也是各国抢占的战略制高点。3C 电子产品更新换代快，零部件众多，结构、形状、材质差异较大，生产工序复杂，传统方法很难适应高精度、快节拍、柔性化的个性化定制产品生产需求。

在电子信息生产制造中，工业机器人具有可靠性强、重复精度高、适用性好等特点，不仅可以提高生产效率、保证产品一致性、改善生产条件、提升制造企业竞争力，而且可以带来巨大经济效益。传统工业机器人示教的方式无法实现对未知尺寸、形状和摆放位置等条件下零件的抓取。基于视觉引导的工业机器人的智能抓取系统具有较好的应用前景[1]。廖家骥等[2]利用机器人和视觉构建分拣系统，提出一种快速手眼标定算法分拣不同形状的工件。张卫芬和汤文成[3]通过多阈值模板匹配算法，实现工业机器人对不同形状的立方体进行识别。高斌和费继友[4]采用机器视觉和传感器检测，结合多关节机器人实现了对不同工件的自动分拣和抓取。王怀江等[5]提出了一种基于改进遗传算法求得最优工位点坐标，缩短移动机械臂的抓取路径长度。

在实际3C 产品生产流水线中，产品尺寸、形状和摆放位置不确定，给工业机器人抓取带来挑战。本文以流水线生产时3C 产品外壳件的组装为研究背景，搭建“机器视觉+工业机器人”的智能抓取系统，开展工业机器人智能抓取的研究和验证。

1 系统方案

以流水线生产时3C 产品外壳件的组装为背景搭建“机器视觉+工业机器人”的智能抓取系统，主要包括工业机器人、运动控制模块、图像处理模块和通信模块等。3C 产品外壳在传送带上经光学成像检测区时控制器触发相机采集图片，并将图像传递给工控机，Halcon 视觉软件进行图像处理和分割，提取图像特征获取产品的外观尺寸和位置坐标，机器人根据零件信息实时抓取。智能抓取系统示意图如图1 所示。

图1 智能抓取系统示意图

智能抓取系统拓扑图如图2 所示。工业机器人、工控机、PLC、分布式IO 和远程监控之间通过交换机连接，通过以太网协议实现网络通信和数据交换。

图2 智能抓取系统拓扑图

2 系统硬件设计

该系统主要包括工业机器人、运动控制模块和图像处理模块等。

工业机器人选用ABB 公司生产的全新紧凑型设计IRB1200 型工业机器人，其工作范围宽广，而且能满足电子信息产业上下料行业对柔性、易用性、紧凑性和节拍的要求，并且自带以太网接口,方便与常用的工业网络通信。

运动控制模块包括PLC、伺服电机、分布式IO等。PLC 选用西门子 S71200，CPU 1212C DC/DC/DC，8输入/6 输出，2 点集成模拟量输入，2 点脉冲输出频率高达 100 kHz，集成以太网接口（TCP/IP native、ISO-on-TCP）。分布式 IO 选用 FR8210+IO 模块，PROFINET 适配器可以进行快速安全的数据交换。伺服电机及驱动选用三菱HG-KR43B+MR-J4-40。

图像处理模块包括工控机、工业相机和光源、镜头等。工业相机选用海康威视MV-CE120-10UC 的1200 万像素USB3.0 彩色相机，镜头选用焦距为12 mm 的海康威视MVL-MF1628M-8MP 镜头，光源选择环形白色光源，工业计算机通过USB 接口与工业相机连接实现图像的采集和处理。

3 系统软件设计

RAPID 编程。RobotStudio 软件不仅模拟仿真功能强大，还具有自动生成路径功能、仿真监控碰撞功能，能及时对机器人已有程序进行优化。针对不同工件的抓取机器人的末端通过选择不同的种工具实现。ABB工业机器人的编程语言是RAPID 语言，ABB 程序结构由各模块组成，模块包括程序数据、主程序、例行程序、中断等组成。编程前需先建立工具坐标系和工件坐标系，配置标准IO 端口和远程IO 端口，设置以太网通信等，设置完成后可以在Robotstudio 上编写RAPID 程序。机器人首先初始化回到原位等待PLC指令，收到指令后发送命令给视觉系统和夹具库，通过视觉引导实现夹具快换和零件的智能抓取。考虑机器人关节的位置和状态，采用优化算法对轨迹进行补偿，采用深度神经网络对工业机器人进行训练，获取端至端的学习深度图像和最佳抓取位置的映射关联性。

4 验证分析

系统软件设计主要有机器视觉识别和工业机器人控制系统设计。

利用VS+Halcon 搭建机器视觉软件开发平台。在VS2019 编译环境下编写MFC 上位机程序，HALCON是德国MVtec 公司开发的一套完善的标准的机器视觉算法包，拥有机器视觉集成开发环境，可以利用其开放式结构快速开发图像处理和机器视觉软件。该软件由1 000 多个各自独立的函数及底层的资料管理核心构成，包含各类滤波、色彩及几何、数学转换、形态学计算分析、校正、分类辨识形状搜寻等基本的几何及图像计算功能，其应用范围涵盖各类自动化领域。首先通过平移、转置、镜像、旋转、缩放等对采集的图像进行处理，提取目标零件的关键轮廓特征。利用gauss_filter 算子来实现高斯滤波对图像去噪，采用sobel_dir 算子对轮廓特征进行提取，利用convol_fft算子求取轮廓点方向，采用Otsu 法提取主体轮廓特征。利用轮廓特征提取方法获取待测零件的轮廓点及其方向，采用均值法构造图像金字塔搜索策降低模板和待测零件图像的分辨率，提高识别效率。

利用RobotStudio 实现ABB 工业机器人的离线

采用基于机器视觉的智能抓取系统，针对物体形状识别功能，选取A 公司手机外壳进行抓取实验，结果表明：该智能抓取系统可以准确实现对手机外壳的识别和抓取，抓取速度为120 次/min，为进一步推广工业机器人在3C 产品的抓取提供了参考。

5 结语

以流水线生产时3C 产品外壳件的组装为背景搭建“机器视觉+工业机器人”的智能抓取系统，借助Halcon 实现对零件的识别，通过零件位置信息实现对工业机器人的控制。