3D视觉和扫描技术在内星轮冷精整生产中抓取和测量应用实例

程 欣

（上海纳铁福传动系统有限公司，上海 201315）

1 引言

对于锻造、冷精整等传统制造工艺的开发流程；在试产之前，一般采用CAE 有限元软件方式对模具设计和坯料成形过程进行数字网格变形模拟，在模拟过程中通过理论变形量和过往的经验调整，诸如：材料摩擦系数，材料变形系数等；试产后的零件一般通过三坐标打点或轨迹扫描的方法进行测量；在实际试制中，由于三坐标测量仪本身成本高、测量效率较低，故很难实现对新工艺新零件在前期开发试产阶段的快速测量和模具调整；而3D 扫描技术能很好的解决试产中的自动化检测和数字化分析。

本文主要阐述3D 结构光视觉技术在工业机器人上下料抓取作业，以及3D 蓝光LED 扫描技术在零件冷精整后，对于零件的快速参数化扫描测量的应用。

2 结构光技术概述

结构光法是指投射到物体表面上的编码团被其调制，所形成的变形条纹图像蕴含了物体的深度信息[1-2]。由摄像机记录这些条纹图像，通过图像处理便可以获得物体的三维形状。

3 工业机器人3D 视觉系统设计

3.1 视觉相机原理

视觉相机获取深度图像常见技术分为四类：被动式和主动式，接触式和非接触式。被动式传感器指只能被动接受目标反射或辐射回来的能量，如立体式摄像系统，它根据摄像头数目不同可以分为双目立体视觉系统和多目立体视觉协系统。主动式传感器是指目标发射电磁波或激光等能量信息，然后收集从目标反射回来的能量信息的传感器，常见的方法如合成孔径雷达、结构光、飞行时间（TOF）法等。接触式视觉系统是指视觉传感器距离被测物体很近，反之即为非接触式。本文所应用的Solomon 公司SLM-3DRBP-0231C 传感器采用双目2D 拍照+结构光相机组合（如图1 所示），收集能量信息采用飞行时间（TOF）法。

图1 三角测量原理图

3.2 光学三角测量法

光学三角测量法原理是利用结构光照明中的几何信息，根据相机、结构光、物体之间的几何关系，来确定物体的三维信息，如图2 所示给出了一个三角测量的原理图[8]。光学三角测量法是最常用的一种光学三维测量技术，以传统的三角测量为基础，通过待测点相对于光学基准线偏移产生的角度变化，计算该点的深度信息。

图2 双目2D+结构光相机

3.3 结构光原理

结构光三维成像的硬件主要由相机和投射器组成，结构光就是通过投射器投射到被测物体表面的主动结构信息，如激光条纹、格雷码、正弦条纹等；然后，通过单个或多个相机拍摄被测表面即得结构光图像；最后，基于三角测量原理经过图像三维解析计算从而实现三维重建。

基于结构光的三维成像，实际上是三维参数的测量与重现，主要是区别于纯粹的像双目立体视觉之类的被动三维测量技术，因而被称为主动三维测量。因为他需要主动去投射结构光到被测物体上，通过结构光的变形（或者飞行时间等）来确定被测物的尺寸参数，因此才叫做主动三维测量。

首先，结构光的类型就分为很多种，既然是结构光，当然是将光结构化，简单的结构化包括点结构光，线结构光以及简单的面结构光等。复杂一点的结构化就上升到光学图案的编码了。结构光投射到待测物表面后被待测物的高度调制，被调制的结构光经摄像系统采集，传送至计算机内分析计算后可得出被测物的三维面形数据，如图3 所示。其中调制方式可分为时间调制与空间调制两大类。时间调制方法中最常用的是飞行时间法,该方法记录了光脉冲在空间的飞行时间,通过飞行时间解算待测物的面形信息；空间调制方法为结构光场的相位、光强等性质被待测物的高度调制后都会产生变化,根据读取这些性质的变化就可得出待测物的面形信息。

图3 机构光投射示意图

总体而言，结构光主要可以分为：线扫描结构光和面阵结构光两类。一般说结构光的时候都指代第二类，这里也主要关注面阵结构光。

面阵结构光大致亦可以分为两类：随机结构光和编码结构光。随机结构光较为简单，也更加常用。通过投影器向被测空间中投射亮度不均和随机分布的点状结构光，通过双目相机成像，所得的双目影像经过极线校正后再进行双目稠密匹配，即可重建出对应的深度图。如图4 所示为某种面阵的红外结构光。

图4 面阵红外结构光示意图

随机结构光这里就不再说了，因为和普通双目算法是很相似的。一些额外的考虑就是是否给相机加装滤光片、光斑的密度要到什么程度等硬件和光学的问题了。这里不做详细讨论。

4 图像编码原理和方法

Bergm An 首先提出的格雷码与相移结合的方法，有效解决了周期信号二义性问题，同时得到较高的空间分辨率。2001 年Guhring 提出将一个多条纹图案移动若干次来代替正弦周期图案[3]。2007 年于晓洋等[9]研究了Guhring 方法解码过程中格雷和相移周期错位的问题，通过判断相邻像素点的格雷码值增加与相位突变是否一致来进行调整，其测量最大误差为0.0831%。2008 年于晓洋等[10]通过进一步改进了Guhring 方法的投影图案，强调了格雷码边缘机先移条纹中心的编码与解码，可实现子像素级定位，测量误差减小到0.04%。

格雷码编码即在一组数的编码中，若任意两个相邻数的代码只有一位二进制数不同，则称这种编码为格雷码。格雷码是一种二进制循环码，是1880年一名法国工程师发明的一种编码[4]。格雷码的显著特点是错误最小化。

相移法（Phase shift）的测量原理[5]是采用余弦条纹图案投射到物体表面，从成像系统获得物体表面形貌调制的变形条纹，条纹的变形有其相位分布的变化得到体现。物体的深度信息被编码在变形条纹的相位信息中，如果能够正确得到某一点的相位值，就可以获得该点对应的深度值。相移法的优点在于求解物体初想位时是点对点的运算，机在原理上某一点的相位值不受相邻点光强值的影响，从而避免了物面反射率不均匀引起的误差，测量精度可达万分之一。与其他轮廓术相比，测量精度相对较高。

4.1 格雷码与相移结合编码

其具体编码方法为[6]：先向被测物投射一系列格雷码黑白条纹图案，其中具有相同编码的区域作为一个编码周期，然后再采用四步相移法，依次投射四幅相移图案，如图5 所示，使得每个编码区域被进一步连续细分[6]。但投射的格雷码图案和相移图案必须满足如下关系：格雷码图案的最小周期为相移图案周期的4 倍，理论上格雷码周期边界与相移周期边界要严格对应。

图5 格雷码与相移示意图

通过以上对空间编码的讨论，也可以看出空间编码结构光的一些优缺点。优点：无需多张照片，只需要一对影像即可进行三维重建。可以满足实时处理，用在动态环境中。格雷码和相移结合编码结合的编码方法，大幅提高了三位物体重构的质量和精度。

5 机器人无序抓取的生产运用

5.1 运用原理框架

基于前文提出的3D 结构光和编码原理介绍，会发现格雷码与相移结合的编码方式的优势明显；本文案例运用工业机器人和3D 机构光CCD 相机组件，通过所罗门SLM 3DRBP-0231 系统，规划工业机器人自动抓取的坐标和路径，实现零件的无序抓取。整套系统基于ROS 系统搭建。

其运用系统硬件框架，如图6 所示，硬件层使用了索罗门xxx23 传感器，将其固定与物料箱顶端支架上，用于获取3D 景深图像，工业机器人使用的是Fanuc 公司MI20A 系列机器人，如图9 所示，基座位固定在被抓取物料箱的侧方；采用惠普通用工作站计算机，内存为32GB,CPU 型号为Intel 酷睿i7-8700K，显卡型号为：NVIDA GeForce GTX 2080,运行系统为Windows7 SP1。

图6 机器人无序抓取原理框架

3D 结构光CCD 相机位于物料箱的正上方；零件被随意放置在物料箱内，通过算法层，经过一些列图像采集、处理、抓取点计算和抓取路径规划等过程，最终完成工业机器人将物料抓取摆放至指定位置的完整流程。

工业机器人与ROS 系统之间的通信控制如下：

基于TCP/IP 通讯协议，实现位置运算PC 计算机与工业机器人之间的数据交换；

基于索罗门ROBOT CONTROL 功能模块完成位置运算PC 运动规划部分驱动；

基于ROS 操作系统实现工业气人运动路劲规划和控制；

软件算法是本系统核心。

以上操作均可在用户界面层完成。

本方案所需要抓取的零件为车用等速半轴用内星轮坯料，如图7 所示；该零件坯料随即摆放在专用的物料箱内，通过工业机器人进行抓取动作，如图8所示，大致生产运行流程如下：

图7 零件外形示意图

图8 机器人和上料台布局图

图9 工业机器人+结构光相机布局

①人工将物料框放置到固定位置；

②视觉扫描给出坐标；

③机器人自动从料框抓取工件到上料平台。

5.2 编码系统流程图

编码系统由计算机、CCD 和结构光相机，运算和编码系统组成；其中编码流程如图10 所示，其视觉相机系统的扫描范围（单位：mm）如图11 所示。

图10 图像编码系统流程图

图11 结构光相机扫描范围图

5.3 实际运用效果分析

在实际抓取的调试中，机器人抓取零件的内孔，抓取成功率主要受零件摆放姿态的影响；当零件重叠或并排放置时，系统通过识别零件的位置坐标，如图12 所示，为机器人自动规划微调零件摆放姿态的路径，将零件调整适合抓取内孔的角度；从而对抓取成功率有了大幅提高；具体抓取料箱的清空率如表1所示，通过连续生产的数据验证应用方案清空零件料箱率达到97%以上，可以满足工业生产的节拍需求。

表1 抓取成功率统计表

图12 零件位置坐标图

6 蓝光3D 扫描三维测量系统

6.1 3D 扫描测量概述

3D 形貌测量技术也被称为3D 轮廓术，如图13所示，是通过运用仪器获取被测物体外部形貌数据并建立数字模型的方法和技术。按测量过程中是否与被测物体接触，可分为接触式和非接触式测量量大类。

图13 三维形貌测量法分类示意图

现有面3D 扫描三维测量系统通常采用白光投影，测量时容易受环境光与被测物体表面反射特性影响。在实际运用中，大部分的被测物体表面纹理暗淡，利用白色编码光进行测量时，光的反射率低，很难被相机捕获，从而导致测得的数据缺失严重[7]。

因此，本文采用某品牌D700 型3D 蓝光扫描仪，如图14 所示。蓝光三维扫描仪获取被测零件连续的参数信息，重现零件的三维数字模型；其中摄像系统集中了二枚蓝光数据采集镜头。

图14 某品牌D700 型3D 蓝光扫描仪

6.2 蓝光投射镜头采集的基本原理

首先将光栅图样投影到目标表面，光栅场受目标三维形状的调制而发生变形，然后根据此解调出代表物体深度的相位信息，最后结果系统定标获得目标的三维几何信息。主要由以下二个核心部分构成：机械式——超高亮度投射系统（如图15 所示）；多段式——光栅投影面扫面技术（如图16）。

图15 投射系统示意图

图16 多段式扫描示意图

7 蓝光3D 扫描三维测量运用效果

本文采用的蓝光扫描仪，透过参数化与全自动检测技术，整合CAD 定位系统与特征分析，能够快速了解产品曲面变形与几何误差，并可以即时制作出检测报告与统计学分析报告。

相较于传统的接触式打点三座标测量仪，针对被测零件的边缘、R 角等过渡面都能同步完成单独的三维检测（如图17 所示）；也可以对被测物的全部轮廓进行数字化扫描再现和比较测量。

图17 蓝光扫描检测结果示意图

由于传统三坐标测量仪主要采用接触式打点或线扫描的方式来进行轮廓参数化，局限性是往往无法做到对被测物全轮廓曲面的尺寸重现，如零件曲面R 角过渡边缘（图17）；若想提高三坐标测量的精度，就必须增加被测零件打点的密度，从而导致测量的效率降低；

零件的缺陷A 位于R 角圆弧过渡（如图19 所示）：三坐标在测量时建立工件坐标系如图18 所示，随后通过对零件的外轮廓进行接触式打点和扫描，测量分度位置选择工件的各相应对称中心面；靠近R 圆角面的缺陷A（如图19、20 所示），无法在测量时100%被发现。

图18 三坐标测量坐标示意图

图19 缺陷零件示意图

图20 缺陷零件加工前后对比示意图

7.1 接触式三坐标测量仪精测结果分析

沿着Z 方向扫描：由于扫描的位置位于零件对称中线（如图21 所示），故扫描结果无法识别零件缺陷A（如图22、23 所示）。

图21 三坐标测量仪扫描报告

沿着X/Y 方向扫描：由于扫描截面的位置正好不在缺陷A 的X/Y 横截面上，扫描结果也无法识别缺陷A（图22、23 所示）。

图22 三坐标测量仪扫描报告

7.2 采用蓝光3D 扫描测量结果分析

采用蓝光3D 扫描测量能够轻易识别零件曲面缺陷A 存在尺寸超差（如图23 所示）。

图23 3D 蓝光扫描测量结果

8 结束语

随着目前通用计算机运算能力的提高，基于3D结构光相机和基于ROS 的工业机器人抓取系统中，算法实现的抓取成功率普遍能够达到98%以上；在对物体所处的抓取场景下，抓取点的计算时间有了大幅缩短；使得不再局限于实验室环境的运用；已经能够很好的适用于目前的工业化生产。

面扫描测量方面，本文针对基于蓝光3D 扫描成像模型，并应用CCD 相机和计算机设备进行高速高分辨率3D 数字模型重建成像；实现生产现场对零件的参数化数字模型重现,并能够快速实现与零件CAD 模型快速比较测量。

以上运用实例结果表明，结构光技术和蓝光LED 扫描测量，能够广泛应用于锻造、冲压等传统工业生产；并为零件的模具开发和改进带来非常直观的数字化参数和依据，从而提升产品和零件的开发的效率。