基于机器人自动制孔的在线检测系统设计

王志共，张睿智

（江西昌河航空工业有限公司，江西 景德镇 333002）

1 引言

在直升机制造过程中，一架直升机所需制孔的数量数以万计，制孔质量的检测是其中一道重要的工序，是直升机制孔质量的重要保障。由于机器人高质量、高效率、高强度的生产能力及较低成本，被越来越多地应用于工业领域［1］，机器人自动制孔技术在国内的广泛应用使制孔的效率和质量获得提高[2，3]，但同时给制孔质量的检测环节带来了巨大的压力。

影响机器人自动制孔系统制孔质量的主要因素有机器人定位精度、基准孔机器视觉测量误差、末端执行器法线测量和法向调整精度、钻孔精度。目前在用的机器人自动制孔系统机器人定位精度为0.2mm（采用在线反馈控制技术提高定位精度），满足飞机铆接加工不低于0.5mm的精度要求，定位精度较高；基准孔机器视觉测量误差为0.2mm（采用机器视觉方法自动识别基准孔，计算位置偏差，然后对制孔点进行位置误差补偿）；末端执行器法线测量（激光位移传感器自动检测制孔点实际法线方向）和法向调整精度（根据制孔点法线方向，调整末端执行器姿态，使主轴进给方向与制孔点法线方向重合）小于0.4º；钻孔精度约0.1mm（塞规测量）。

由以上数据可以看出机器人自动制孔系统精度较高，已制孔的孔径、位置度、孔距、垂直度、光洁度相比人工制孔提升明显，但以上数据只能说明该机器人自动制孔系统从技术层面上能够满足实际生产技术条件要求，能够代表在理想环境条件下的制孔结果，不能代表实际制孔质量的特性值。从质量控制角度，依据相关程序文件要求，要对已制孔质量进行有效检测控制，需另外测量已制孔位置度、孔径、孔距、垂直度、光洁度等特性值。

当今制孔质量检测方法大多是在制孔完成后通过人工测量、接触式传感器、激光跟踪仪、视觉技术等方式进行[4-6]，在实验阶段虽然合理，但应用在实际生产中会存在三方面的问题：

1）效率低。激光跟踪仪测量或人工测量需在工装上进行，测量期间钻铆系统无法进行下一步工作，占用生产时间，大幅降低制孔效率；同时测量数据需要人工统计汇总分析，耗时长且易出错，效率低下。

2）测量误差大。由于已制孔的孔径、孔距、位置度、垂直度、光洁度无法通过激光跟踪仪在线测量，实际采用人工测量，导致测量结果误差较大，无法真实反映已制孔的真实质量情况。

3）无法及时纠错。制孔过程中因无法实时知晓已制孔的特性值信息，当出现控制程序故障、末端执行器姿态偏差、刀具磨损损坏或仪器设备故障等问题，造成一个或多个孔不合格情况，无法及时修正控制程序、调整末端执行器姿态或更换问题刀具及仪器设备，极有可能导致产品批量超差，出现批量质量事故，造成报废损失等后果，这就明显增加了产品质量风险，非常不利于有效且良好的质量控制。

综上所述，为满足质量控制、生产效率和生产效益三方面需求，提出了一种基于机器人自动制孔的在线检测系统，经试验验证该系统能有效提高机器人自动制孔的检测效率和质量控制。

2 在线检测系统设计

2.1 系统组成

基于机器人自动制孔的在线检测系统的结构示意图如图1所示，系统包括机器人自动制孔系统、高性能工业相机、定制投影光源、控制机构等。

图1 检测系统结构示意图

机器人自动制孔系统作为在线检测系统的前提基础，负责制孔，由集成控制系统、工业机器人系统、末端执行器系统、辅助系统组成。集成控制系统负责加工任务的统筹规划、判断决策和指令下达、信息数据传输、现场数据采集及加工任务指令执行等，工业机器人系统负责搭载末端执行器完成可到达空间的点位运动，末端执行器系统负责前端执行，辅助系统主要包括机器人重载移动平台、柔性工装、自动送钉系统、激光跟踪仪测量系统等[7]。

高性能工业相机采集制孔高质量图像信息，通过内置算法，快速完成对孔位、孔径、孔距、垂直度以及光洁度的检测。

定制投影光源为工业相机提供特定的光照条件，以保证合适稳定的图像采集环境，提高在线检测系统对环境变化的鲁棒性和检测结果的准确性。

控制机构用于发送出发信号控制机器人自动制孔系统执行制孔、高性能工业相机采集图像并检测制孔质量、定制投影光源提供光照及跟据制孔质量结果修正机器人自动制孔系统参数或发出预警。

2.2 系统软件

基于机器人自动制孔的在线检测系统的系统软件包括图像采集模块、数据传输接口模块、三维重建模块、几何参数测量模块、深度学习离线训练模块、在线检测模块、作业流程控制模块等，软件结构如图2所示。

图2 软件结构图

图像采集模块在每次钻孔后用机械臂上的工业相机从多个视角位置采集当前孔的图像，并记录每张图像的相机内参。

三维重建模块根据每个孔的多视角图像及对应相机内参对该孔完成三维重建[8]。

几何参数测量模块对每个孔的三维重建结果进行孔位、孔径、孔距、垂直度等几何参数的计算测量。

深度学习离线训练模块需要提前采集大量孔表面图片并标定光洁度是否合格，输入基于深度学习的目标分类网络进行分类训练[9]，用于检测制孔采集图像的光洁度是否合格。

在线检测模块对当前空的几何参数孔位、孔径、孔距、垂直度、光洁度与制孔目标设定值进行比较。当检测所有参数都合格时继续钻制下一个孔；当检测到几何参数不合格时，如果是可修正的几何参数不合格，则根据当前测得的不合格几何参数的偏差调整自动制孔系统的参数；当检测到几何参数不合格，且是不可修正的几何参数不合格，则发出预警。

作业流程控制模块负责控制整个系统的硬件每个工作指令顺序执行， 控制完成每次制孔的制孔定位、制孔、采集图像、三维重建、几何参数测量、在线检测等执行。

数据传输接口模块根据不同软件、硬件之间的接口完成数据的传输。

2.3 系统工作流程

使用集成在线检测系统后的机器人自动制孔系统，针对典型的壁板类工件的在线检测制孔流程如图3所示。

图3 在线检测制孔流程

3 系统功能和特点

3.1 系统功能

在线检测系统功能包括孔位、孔径、孔距、垂直度的“定量”检测，光洁度的“定性”检测。

1）“定量”检测。采用基于机器视觉的方法输出测量的数值；通过多台高性能工业相机同时观察工件表面图像视差，采用立体匹配技术重构出工件表面的三维参数，利用内置算法实现对孔位、孔径、孔距和垂直度参数的测量。

2）“定性”检测。利用深度学习技术搭建算法模型，通过采集一定量级的“孔照片”样本对网络模型进行训练（样本数量越多识别精度越高），给出光洁度是否合格的结论。

3.2 系统特点

检验效率高，检验项目多，检验覆盖率高，数据可分析、可追溯性强，反馈修正功能等。

1）检验效率高。所有检测特性值由系统实时自主测量，制孔系统无需停工，不占用生产时间。相比人工质检，系统能自动存储、分析、判断数据，给出检测结论，时间短、效率高。

2）检验项目多。可一次性提供诸多检测项目。孔质量检测内容包括孔位、孔间距，孔垂直度、孔边距，孔径大小，表面粗糙度等参数。未来还可扩展铆接质量、零件装夹变形情况等更多参数。

3）检验覆盖率高。以往的人工检验，一般受限于人力资源配置，只能实现一定比例的抽检。而且大量高重复度的检验操作，也容易导致人力疲劳。一方面，容易致使漏检和误检，另一方面，人工检测的效率无法稳定，这将间接导致生产效率的波动。引入智能在线检测，能够实现100%的检测覆盖率，还能避免上述疲劳因素导致的不良后果。

4）数据可分析、可追溯性强。具有重要意义的质量可追溯性，是建立在完整数据档案管理的基础上的，在人工质检方式下难以实现。主要原因在于数据采集的不完整、不彻底，单纯的质量数据本身很多时候不足以支撑追溯工作，必须提供带有更多信息量的生产数据。例如，实际生产的图片信息、可能包含大量的与追溯问题直接相关但是与关注的质量参数无关的信息，这些信息在人工检验方式下，既不会被收集也不会被保存。在线检测技术的依托下，收集和保存这些信息就成为了可能。质检工作的一个重要目的，是为了识别和处理质量问题，而不仅仅是对产品是否合格的定性判断。生产数据本身所能提供的信息价值，并不仅局限于对质量合格与否的判断。当大量的生产数据被汇集起来之后，可以反映众多生产环节的状态，并通过更详细、更多样性和更深层次的分析来识别及处理质量问题，为实现更多更好的质量问题处理方法和质量控制方式提供了可能。

5）反馈修正功能。生产环节质控参数的设置，是为了实现最终产品的性能指标控制。这些参数一般是通过最终性能指标的逆向分解得到的，分解过程一般是基于理论分析或局部实验，对应到真实的工业生产中，往往带有一定的偏差，会导致最终性能指标的下降。基于对更高精度和维度的生产过程数据收集和产品跟踪分析，就可以发现这些偏差并反馈作用于前端生产环节的一些可调参数，最终实现对各环节质控参数的精确设置。

4 实验与结果分析

为了验证本文在线检测系统的有效性，将本文在线检测系统与非在线检测的常规方法通过实际长桁制孔实验相比较，通过在线检测自动制孔和常规自动制孔在相同的两块长桁上连续钻11个孔，完成后用同一测量方法对每个孔检测孔位、孔径、孔距、垂直度和光洁度进行测量，测量结果见表1，由表1可以看出由于长桁与机械臂移动未完全平行以及表面存在一定弯曲，导致孔位和垂直度误差越来越大，在线检测制孔能够在偏差在误差范围内但大于一定阈值时及时进行修正保证后续合格，而非在线检测制孔随着制孔误差越来越大导致不合格，在线检测制孔能够及时修正钻头进给深度和转速参数以微调孔径大小和调整机械臂移动距离参数来微调孔距，使得2号孔之后孔径全部合格，而非在线检测制孔则无法修正导致如果一旦出错后续将全部不合格，用本文方法能及时纠正错误，有效地提高了制孔的质量。

表1 在线检测制孔和非在线检测制孔结果对比

在线检测制孔完成时间28.345，非在线检测制孔加总时间38.738，由于在线检测方法使用了多视角三维重建的检测方法，比传统测量方法的测量速度更快，所以降低了检测总时间，提高了制孔的效率。

5 结束语

本文针对机器人自动制孔生产线中对在线检测的需求，设计了一种基于机器人自动制孔的在线检测系统，给出系统的硬件和软件结构设计，并通过实际制孔实验结果证明本文系统的有效性。

实验结果表明该系统能够在每个孔钻制后即时检测，实现制孔的在线检测；能根据已制孔的检测质量及时纠正错误，提高后续制孔的质量；相对于传统的制孔后检测方法，本文系统在线检测方法能够减少质量检测的时间，提高制孔检测效率。综上所述，本文基于机器人自动制孔的在线检测系统，能够更好地满足对机器人自动制孔生产线的需求，提高自动制孔的的质量和检测效率。