双目摄像机器视觉工业机器人引导系统研究

翟伟良

（广州城市理工学院汽车与交通工程学院 广东 广州 510000）

0 引言

随着《中国制造2025》的提出，各大生产型企业均在响应国家的号召，不断提高生产线自动化水平，工业机器人广泛应用于生产线的各个角落。大部分工业机器人是通过离线编程或示教的方式进行设定的，对于实现物体抓取或者焊接等工作，现有的动作编程模式具有明显的局限性，物品只有满足特定的抓取条件才能进行抓取[1]。随着机器视觉的发展，从传统机器视觉发展到双目机器视觉，工业机器人结合机器视觉增加了工业机器人在生产线上应用的柔性。双目机器视觉基于视觉差原理可以获取被测视角下物体的几何形状和位置等三维信息，使工业机器人能够运用视觉实现对目标物体的识别定位和抓取时，不再只局限于特定姿态的物体，而是提高工业机器人的智能化与自动化程度，拓宽工业机器人的应用领域[2]。

1 双目机器视觉原理

双目机器视觉基于视觉差原理，通过多幅图像结合，获取物体的三维几何信息。相比于机器视觉，双目机器视觉获得的物体信息更为全面，在与工业机器人配合应用中，提供了更多判断及引导的信息[3]。

通过机器视觉控制工业机器人工作是根据视觉算法所设定的特征信息和目标物体的当前姿态进行判断，通过判断结果来引导工业机器人进行相应的操作。根据接收的位姿进行轨迹规划，并下达对应的运动控制指令，驱动工业机器人进行操作，完成所需要完成的任务。

2 系统组成

本文实现工业机器人能够通过双目机器视觉进行自主定位目标工件，并执行抓取、焊接、跟踪等工作任务。对双目摄像机器视觉工业机器人引导系统的整体方案进行研究设计，包括实验平台的搭建、系统软硬件选型、控制器开发、系统工作流程的设计与制定、程序开发等工作，如图1实验平台。

图1 实验平台

2.1 整体方案

引导系统主要由双目视觉模块与控制执行模块组成，如图2所示。

视觉模块主要由双目相机与相应的图像处理软件组成，用于获取物体图像信息以及处理信息；控制执行模块主要由工业机器人及其控制器组成，用于执行相关动作。两个模块之间通过工业以太网在主控计算机进行数据传输与通信。以下为两个模块具体的介绍。

图2 系统各模块之间的关系

2.1.1 视觉模块

系统采用海康威视双目相机MV-DB1308-05H型号，该设备配备近红外激光模块，结合窄带通滤光片，抑制环境光干扰的同时提高设备的动态范围。由实时输出原始图、深度图或体积数据、图像分析处理软件、通信接口等组成，表1为MV-DB1308-05H相机相关参数。通过双目摄像机实时获取物体的图像信息，传输到计算机中，应用图像处理软件进行图像分析处理，根据要求设置相应参数，筛选出目标所需的特征信息。将经过图像处理软件处理后得出的结果，即所需要的目标信息，如尺寸、位置等数据，发送至控制执行模块。工业机器人控制执行模块根据图像处理结果，编译生成相关位置信息，并生成相应的控制指令，驱动工业机器人进行定位抓取或跟踪等工作。

表1 MV-DB1308-05H相机相关参数

2.1.2 控制执行模块

本系统的控制执行模块选用的是FANUC公司所出产的工业机器人，其型号为R-1000iA_100F关节机器人，包括有工业机器人本体、机器人控制器、示教盒及一些辅助设备组成，搭配了控制器型号为IB30，其主要参数如表2所示。

表2 R-1000iA_100F机器人相关参数

控制执行模块主要通过接收视觉模块的处理结果来执行所需要完成的动作任务。控制执行模块收到来自视觉模块的图像处理所获得目标物品的信息，如目标物品的位置、姿态、旋转角度等特征参数。工业机器人控制器根据所获得的信息，生成相应的动作指令和运动规划来控制工业机器人完成相应的任务。

2.2 工作原理与工作流程

引导系统由工控机、R-1000iA_100F机器人本体、IB30机器人控制器、编程示教器、视觉系统和夹手器组成。

引导系统的流程如图3所示。在系统启动前，需要在搭建的平台上通过设置系统环境，确保所有模块之间的通信正常。系统运行之前，需要进行双目摄像机标定，得到双目摄像机——工业机器人坐标映射关系。当系统开始运行时，其传感器会检测当前平台上是否有物品，当检测到物品时，则触发双目摄像机进行图像采集；双目摄像机所采集到的图像将传送至工控机上，经由视觉处理软件对图像进行处理；处理完成的信息将经过降噪处理、特征获取与模板匹配，计算目标物品相对于双目摄像机的空间关系，经过坐标变换得到目标相对于工业机器人基坐标系下的位姿[4]。

最后计算机将处理后得到的信息换算成工业机器人的坐标值与向量值发送到工业机器人IB30控制器，工业机器人控制器IB30根据目标物品的坐标信息规划工业机器人的运动轨迹，工业机器人根据指令完成对应任务。

图3 系统流程图

2.3 运动学建模

主要应用Matlab仿真软件中的Robotics Toolbox工具箱进行机器人坐标变换、机器人运动学和机器人轨迹规划等方面研究，它里面所含有的相关函数可以实现运动学建模。运用矩阵法进行坐标变换，已知C点在直角坐标系{A}中的坐标，求该点在另一直角坐标系{B}中的坐标，齐次变换矩阵是4×4的方阵，具有如下形式：

3 图像处理与匹配

引导系统对目标物体被跟踪抓取的前提是视觉模块（双目摄像机）能够从各种复杂的环境中识别出目标物体，并识别出目标物体的位置与方向。这就需要对目标物体进行背景降噪，分离背景与目标物体，对目标物品关键特征进行定性和定量分析。

本引导系统主要是利用SIFT算法对图像进行处理，将所需的图像特征信息进行提取和匹配，重点在于对背景的分割与对目标物体特征点提取，实现对目标物品图像的识别[5]。

3.1 图像处理流程

引导系统的视觉模块对目标物体的位置信息进行获取，并将结果传送给控制模块，以完成工业机器人的引导目的。对目标物体的位置信息获取主要是通过对双目摄像机所获取的图像进行处理，而为了满足工业生产，本系统的图像处理算法需要达到较快的处理速度。

根据对目标物体的形态特征进行观察，通过不断试验，反复进行对比，选取合适的算法和特征进行图像处理，最终确定本系统所使用的图像处理方案及流程如图4图像处理流程所示。

图4 流程图像处理

3.2 图像预处理

图像预处理是图像处理的第一步，通过该步骤将图像部分不需要的特征或者噪声进行筛选，如图5所示的图像预处理对照。图像预处理去除不需要的特征外，还需要对所需要提取的目标特征进行增强，去除其他特征的干扰，也便于后续目标特征提取。

图5 图像预处理对照

3.3 图像分割

在经过图像预处理后，需要对图像进行进一步的细化处理，会根据不同区域的不同特征进行提取，不同的特征提取后把图像分割为特定的几个区域，将特征信息进行放大，在不同的区域内去提取出目标特征将更加方便，图6为特征处理过程。

图6 特征处理过程

3.4 特征提取

图像特征提取是在图像分割后的区域内，将目标特征筛选出来，如目标点、目标轮廓、目标特殊纹理等特征信息，将筛选出来的特征信息转化为数值特征（特征向量），等待下一步计算。图7方向向量建立与坐标选择说明，经过图像特征提取，可以从大量的图像数据中剔除与目标无关的冗余信息，获得所需要的目标特征信息。

图7 方向向量建立与坐标选择说明

3.5 目标识别

该步骤根据特征提取的结果，采用图像匹配等算法识别出感兴趣目标并计算其位置与方位的过程，如图8匹配效果对比所示。这是图像处理的最后一步，其结果用于后续机器人定位与跟踪。

4 系统实验

通过双目视觉系统的手眼系统进行了手眼标定，确定了机器人末端相对于基坐标系的位姿关系。最后设计机器人抓取软件，并建立与机器人控制柜的通信连接，运行所编写的软件程序，实现机器人对目标工件的识别和抓取。

表3 多次试验统计

由表3可知，在不同光照的强度下，视觉的识别率为100%，抓取成功率95%以上。结果表明，本引导系统图像识别率高，系统运行稳定，能够很好地引导机器人抓取物品，增加了机器人柔性应用。

5 结论

本文设计了双目摄像机器视觉工业机器人引导系统，通过对系统每个模块进行设计，最终制定出整体的方案及流程。本文通过搭建数字仿真平台，对系统进行实验，建立工业机器人的运动学模型，并进行了工业机器人的运动学建模仿真。在实际作业环境中，双目摄像机检测到目标物品后，通过手眼系统标定好的坐标转换矩阵将目标物品在双目摄像机的坐标信息变换到机械手的空间坐标系中，然后通过机器人控制器进行运动规划，计算出各个电机该如何运动，从而控制机器人到达指定位置。结果表明本系统能够适应更复杂的作业环境，识别准确率更高，可以实现立体物品的检测。