一种基于工业机器人的三维视觉检测系统

金路, 张大伟， 梁金华

(上海航天精密机械研究所，上海 201600)

一种基于工业机器人的三维视觉检测系统

金路, 张大伟， 梁金华

(上海航天精密机械研究所，上海 201600)

检测技术是现代工业的基础技术之一，随着工业制造技术和加工工艺的提高和改进，对自动化程度、检测内容、检测效率和精度提出了更高的要求，传统的检测工具已经无法满足现代工业的发展需求。提出了一种基于工业机器人的三维视觉检测系统，具备较强的柔性，能够满足不同检测内容的需求，是一种新型检测产品方向，代表了未来测量系统的发展趋势。

三维视觉； 视觉检测； 工业机器人

0 引言

现代工业生产中，产品的检测要求一般是多样性的，如错漏装的检测，关键点的形状公差，以及位置度的测量等。机器人携带视觉传感器的检测方式以其非接触、自动化的特点被普遍采用,国内外对此也有相关的应用研究,包括整体的构架,温度补偿,控制算法等[1～4]。但是错漏装检测和形位公差检测属于不同类型的检测，在视觉检测领域，对错漏装的检测通常通过平面图像处理的方法进行错漏、漏装的判别，而对形位公差的检测则通过工件三维点云数据的处理和计算进行。目前主流的检测方式都不能很好的处理这种复杂的检测要求，诸如：机器人携带工业相机的方式，由于相机不能得到三维数据，仅能进行错漏装的检测，对关键点的形位公差无能为力；机器人携带线激光器扫描的方式，能有效检测形位公差，却很检测装配正确与否；机器人同时携带线激光器和工业相机的方式能够同时进行形位公差和错漏装的检测，但是机器人末端携带两个传感器更容易带来干涉，传感器变位时会造成检测精度的损失，且线激光器依靠机器人提供第三轴坐标的方式使手眼标定非常复杂并且会造成所采集数据的精度损失；双目视觉的检测方式往往需要依靠外部设备(如激光跟踪仪)，或者在被测物体表面贴标记点，来完成系统的全局标定，前者会增加系统对应用场合的限制，后者会给检测造成不便，且双目视觉的检测方式成本会很高。

本文针对现有视觉检测技术进行零部件装配和形位公差检测时的灵活性差、精度不佳、实现复杂、成本高的现状，提出了一种基于工业机器人的三维视觉检测系统，用于检测零部件错漏装及关键点的形位公差。

1 工作原理

系统构成示意图，如图1所示。

图1 系统构成示意图

由面激光传感器、机器人系统、工控机、电控安防系统组成。

面激光传感器安装在机器人本体末端，由机器人本体携带对机器人本体运动范围内的被测位置采集工件表面三维数据。面激光器在采集工件表面三维数据的同时还能采集灰度图像数据。采集所得的工件表面三维数据可用于工件关键点形位公差检测，采集所得的灰度图像数据可用于工件错漏装检测。

机器人系统包括机器人本体、机器人控制柜、机器人示教器。机器人本体是核心运动机构，用于带动面激光传感器以到达工件被检测位置；机器人控制柜用于机器人本体的伺服控制，机器人控制柜和工控机连接用于传输机器人位姿数据；机器人示教器用于机器人编程调试。

工控机连接面激光器、机器人控制柜，用于检测过程的控制及检测数据的处理。所述工控机根据检测计划启动检测过程，控制机器人运动到工件被测位置，通过面激光器采集被测工件表面三维数据及灰度图像数据，对采集到的数据进行处理和分析得到检测结果。工控机在PLC给出停止检测信号时终止检测过程。

系统还包括工装夹具，用于夹持被测工件，以及电控安防系统。电控安防系统包括PLC、安全设备。PLC用于机器人系统、工控机、工装夹具的安全设备(安全光栅、安全门)的协调控制，当安全设备没有被触发并且工件装夹正常的情况下才能允许工控机启动检测过程，如果在检测过程中安全设备被触发则强制停止正在正在运行的机器人，并告知工控机结束检测过程。安全设备包括安全光栅、安全门，安全光栅用于人员闯入的检测，安全门主要留与检修用。安全设备还包括安全围栏，为机器人划分出一片可靠的安全活动空间。

系统软件安装在工控机上，具体包括：通信及控制部分，数据处理部分，显示存储及统计分析部分。系统软件模块图，如图2所示。

图2 系统软件模块图

通信及控制部分完成和面激光器、机器人的通信，通过面激光器采集灰度图像数据和三维位置数据，并记录面激光器拍摄时机器人的位置和姿态信息。同时还完成整个检测过程的协调控制，根据检测计划依次控制机器人到达被测位置，在机器人到达被测位置后触发面激光器采集被测位置数据。这部分软件还预留了和PLC的接口以方便系统的工业现场应用。系统网络连接图，如图3所示。工控机通过以太网方式和机器人控制柜、面激光器、PLC通信，PLC以IO直连的方式和安全设备(安全光栅、安全门)、工装夹具、机器人通信。

图3 系统网络连接图

数据处理部分包括标定模块、坐标转换模块、计算模块。标定模块计算面激光器坐标系相对于机器人末端工具坐标系的旋转平移矩阵并完成被测零部件基准的建立；坐标转换模块根据标定模块所求得旋转和平移矩阵、机器人位置和姿态信息、所建立的基准坐标对面激光器采集到的三维位置数据进行坐标变换，将其从面激光器坐标系下变换到被测零部件坐标系下。计算模块进一步包括二维图像处理模块和三维图形处理模块。所二维图像处理模块主要通过特征识别的方式进行错漏装的检测，三维图形处理模块主要通过点云计算得到形位公差信息。

显示存储及统计分析部分负责对检测结果进行统计分析，并将检测结果上传至企业数据库并通过显示器实时直观显示测量结果，还可以根据用户需求定制检测报表。

该系统软件采用模块化的思想进行设计，对常用功能包装成不同的模块，用户可根据实际的检测要求组合调用不同的模块来完成检测。对于三维形位公差和装配的检测，把零部件的常用检测按照特征分类。用户可根据自己的需要调用不同模块，完成检测。

2 系统工作流程

系统的具体工作流程为：

2.1 系统标定

用于确定面激光器坐标系和机器人末端工具坐标系的相对关系，具体方法为：

(1)

(2)

(3)

3) 重复A、B过程多次，得到多个类似(3)式的方程，求解方程组可得到Rt；

4) 多次改变机器人位置和姿态，每次测量并拟合球心，并记录机器人位置姿态得到式(4)。

(4)

至此，激光器所采集到的三维数据可以转换至机器人世界坐标系下。

2.2 机器人带动面激光器至被测工件基准位置，面激光器拍摄基准数据，工控机根据所采集数据建立工件基准。

1) 工控机控制机器人运动到第一个被测位置，随后面激光器采集被测工件表面的三维数据及灰度图像，工控机同时根据机器人当前的位置和姿态信息，将采集得到的三维数据变换到工件基准坐标系下。

2) 第一个位置扫描完成之后，工控机控制机器人扫描第二个被测位置，并继续将采集得到的三维数据变换到工件基准坐标系下，如此循环，直至完成所检测数据采集任务。

3) 完成检测数据采集后，工控机对工件基准坐标系下的数据进行处理，计算关键点的各种形位公差，工控机还对灰度图像数据进行处理，通过特征提取、识别的方法进行错漏装的检测，给出装配是否合格的结果。

4) 数据处理完成后，检测结果将被上传至数据库存储，并生成图形化的统计报表。

3 应用案例

本文根据某汽车产品的实际检测案例来分析该系统地具体实施流程和效果。根据实际项目的检测要求，制定检测计划。检测计划的制定首先根据检测要求将被测关键点输产品数模中，然后机器人仿真确认所有被测关键点及卡口都能被检测到，接着根据机器人仿真结果进行离线编程并根据实际产品调整优化机器人路径并编写模块化检测程序。本实施例的工作流程，如图4所示。

图4 系统工作流程图

针对本实施例中某些仅需要检测卡扣错漏装的被测位置，面激光仅采集灰度图像数据，某些仅需要检测形位公差的被测位置，面积广仅采集工件表面三维数据，对于错漏装及形位公差都需要检测的被测位置，面激光同时采集灰度图像数据和工件表面三维数据，下述工作流程中不做区别，均描述为面激光器采集数据。

1) 工人装夹产品，装夹完毕后退出机器人工作区域。

2) PLC检查系统状态，如安全门是否正常关闭、工件有无装夹、安全光幕有无异物遮挡等，如果所有的安全条件都满足，则PLC发信号给工控机，通知工控机启动检测过程。

3) 机器人带动面激光器拍摄标准球，确定面激光器坐标系和机器人末端工具坐标系的相对关系，使激光器所采集到的三维数据可以转换至机器人世界坐标系下，系统标定流程，如图5所示。

图5 系统标定流程图

4) 机器人带动面激光器至被测工件基准位置，面激光器拍摄基准数据，工控机根据所采集数据建立工件基准。

5) 工控机控制机器人运动到第一个被测位置，随后面激光器采集被测工件表面的三维数据及灰度图像，工控机同时根据机器人当前的位置和姿态信息，将采集得到的三维数据变换到工件基准坐标系下。

6) 第一个位置扫描完成之后，工控机控制机器人扫描第二个被测位置，并继续将采集得到的三维数据变换到工件基准坐标系下，如此循环，直至完成所检测数据采集任务。

7) 完成检测数据采集后，工控机对工件基准坐标系下的数据进行处理，计算关键点的各种形位公差，工控机还对灰度图像数据进行处理，通过特征提取、识别的方法进行错漏装的检测，给出装配是否合格的结果。鉴于本实施例中每种卡口都有一个圆形孔，且大小不同，通过阈值分割发提取该圆孔的轮廓并根据轮廓大小特征进行卡口的识别。

8) 数据处理完成后，检测结果将被上传至数据库存储，并生成图形化的统计报表。

9) 在工控机进行数据数据、存储、统计分析的同时工人卸下完成检测的产品，并装夹下一个需要检测的产品，装夹完成之后开始下一轮的检测，如此循环,实现产品100%的生产在线测量。

图6 测量机器人系统

4 总结

本实施例可在120 s的时间内完成一个工件的所有检测要求，且错漏装检测无差错，形位公差的检测精度如图7所示,98%的测量精度在0.2 mm以内。

由于面激光可以在机器人不运动的情况下一次性获取测量范围内的工件表面三维数据和灰度图像数据，且不需要额外的辅助设备和标记点，系统可方便简单地实现汽车部件装配和形位公差的检测，成本低，精度较高。

图7 测量精度的分析图

系统可扩展性强，柔性强，可经过简单的模块编程及机器人路径编程用于其它产品的检测。

系统可实现产品的在线检测，同时可将测量结果上传至车间网络甚至工厂网络，方便信息化管理。

[1] Soren Larsson, J.A.P. Kjellander. Motion control and data capturing for laser scanning with an industrial robot[J]. Robotics and Autonomous Systems, 2006，54: 453-460.

[2] Gong C H, Yuan J X, Ni J. Nongeometric error identification and compensation for robotic system by inverse calibration[J]. International Journal of Machine Tools & Manufacture, 2000, 40(14): 2119-2137.

[3] Eastwood S, Webb P. Compensation of thermal deformation of a hybrid parallel kinematic machine[J]. Robotics and Computer Integrated Manufacturing, 2009, 25(1): 81-90.

[4] 周学才，张启先.距离误差模型在机器人精度研究中的应用[J]. 机器人，1995，17(1)：1-6.

3D Machine Vision Measurement System Based on Industrial Robot

Jin Lu, Zhang Dawen, Liang Jinhua

(Shanghai Aerospace Precision Machinery Research Institute, Shanghai 201600, China)

Measurement technology is one of the foundations of modern industrial. The improvement of manufacturing technology needs more automotive, efficient, accurate and intelligent measurement. The traditional measurement tools can’t meet the new requirements. This paper presents a 3D Visual measurement system based on industrial robot. The system has strong flexibility, and can measure different features required. It is a new developing direction for measurement, and represents the future trend of measurement.

3D machine vision; Machine vision measurement; Industrial robot

金路(1987-)，男，学士，高级工程师，研究方向：控制技术与仪器。 张大伟(1983-)，男，工程师，研究方向：型号管理。 梁金华(1977-)，男，学士，高级工程师，研究方向：机械制造。

1007-757X(2017)08-0036-04

TP311

A

2017.01.24)