大型模锻件机器人自动消缺陷系统研究与实现

胡明华 张田民 郭欣

（1.四川工程职业技术学院 四川省德阳市 618000 2.中国第二重型机械集团德阳万航模锻有限责任公司 四川省德阳市 618000）

1 引言

大型模锻件在生产过程中要经过多次成型锻压工序才能形成所需形状和尺寸，在每次锻压时由于温度、工艺等原因会导致表面出现裂纹等缺陷。在进入下一道锻压工序之前必须对缺陷进行消除处理，确保缺陷不会因为下一次锻压进入零件内部，形成真正意义的缺陷，从而导致零件报废。现有生产工艺采用人工打磨的方法把缺陷部位清除，形成平滑过渡面，在下一次锻压时不形成褶皱、卷曲等现象而再次形成缺陷，打磨是否彻底由工人根据目视和经验判断。在实际生产现场，由于模锻件要经过多次锻压成型，需反复打磨，因此打磨工作量大，并且打磨工作区域粉尘、噪声大，环境恶劣，年轻人从业意愿低。以某大型国有企业的模锻厂为例，从事打磨的20 多名工人年龄均超过45 岁，且招工困难，现有人工打磨生产模式由于人力资源原因将难以为继。

2 机器人自动消缺陷系统结构

机器人自动消缺陷系统采用机器视觉、工业机器人、专用磨削工具与人工经验相结合实现锻件表面缺陷自动打磨消除。缺陷的位置及打磨范围和打磨效果由工人根据经验确定并作出标记，具体打磨过程的实施由机器人系统自动完成。系统结构如图1所示。

2.1 工业计算机及视觉扫描系统

机器视觉扫描系统主要部件是双目相机及控制软件，需要扫描时通过快换装置安装在机器人上，与机器人建立固定的位置关系。扫描数据通过高速数据接口传输到计算机，经计算机处理后得到缺陷部位的位置数据、缺陷打磨区域的平面形状和尺寸数据、打磨深度数据。计算机获取缺陷数据后按工艺生成机器人打磨轨迹，并将轨迹数据下载到PLC 中。在将轨迹数据下载到PLC 之前，需要对轨迹中可能存在的奇异点、不可达点进行剔除，实现连续打磨。

2.2 PLC控制装置

PLC 采用施耐德TM251MESC 型PLC，该PLC 具有双网口、485 接口，支持MODBUS 主从站、ETHERNET 主从站通信协议，可以实现与PC、驱动器、机器人等现场设备的数据通信。在本系统中，PLC 作为从站接收PC 机的控制信息和轨迹数据，同时又作为主站分别通过ETHERNET、MODBUS 总线控制机器人和打磨工具等设备。

图1：系统结构图

图2：系统工作流程图

图3：缺陷标注

2.3 工业机器人

本系统中，机器人采用KUKA KR210 R2700 型六轴机器人，最大臂展2700mm，额定承载210KG。机器人安装通信软件包后通过设置和总线变量配置实现与PLC 的通信，并作为从站工作于外部自动模式，通过机器人内部程序接收来自PLC 的控制指令和轨迹数据并执行。

图4：深度图像

图5：彩色图像

图6：标记和区域识别

图7：获取标定板的彩色图像像素上的三维坐标

2.4 其他部件

为扩展机器人作业范围，将机器人安装在直线导轨的移动平台上，导轨长度根据需要确定，移动平台移动通过导轨上的伺服电机驱动，其位移数据通过总线反馈回PLC 和工业PC。恒力浮动装置为控制打磨过程中施加在砂轮上的压力，该压力根据工艺要求设定，在打磨过程中通过获取打磨工具的姿态数据可以实现打磨工具在任意角度下打磨压力恒定，确保打磨效果。

3 系统工作流程

系统工作流程如图2所示。

3.1 工件摆放

为提高效率，采用多件集中摆放，连续打磨。由于锻件的任何部位都有可能出现缺陷，因此第一次磨抛只能去除锻件放置后朝上，机器人能到达区域的缺陷，在第一次磨抛完成后，将锻件翻面后再次打磨去除另一面的缺陷，个别形状复杂的零件还需多次摆放。由于锻件裂纹缺陷一般比较小，打磨力度较小，自重较大锻件无需外部固定，利用自重即可确保在打磨过程中不会产生位移，较小的锻件则需要简单固定。

3.2 缺陷标注

缺陷标注由人工完成，由经验丰富的人员标注出缺陷的位置，并用闭合曲线标记出要打磨的区域并在附近标注消除该缺陷需要打磨的深度数值，如图3所示。

3.3 缺陷标记的自动识别及定位

在打磨前，机器人通过快换装置换装机器视觉传感器，并调整到扫描姿态，起动扫描后机器人保证姿态不变，通过导轨驱动机器人整体移动实现对零件表面的视觉扫描，由于视觉传感器视觉范围的原因，对大型零件需要变换机器人姿态后多道扫描。扫描动作根据打磨工作区域大小、扫描镜头的视场及机器人的可达范围预先设置了多套扫描方案，操作人员只需选择其中一套即可。部分难以识别的缺陷在自动扫描完成后由人工操作机器人进行局部二次扫描以提高微小缺陷的识别率。

4 基于机器视觉缺陷识别及轨迹生成

通过机器视觉和三维光学测量感知，将人工事先在缺陷处通过笔标记出需要处理掉的裂缝区域和加工深度的信息提取出来，得到要加工区域的面型模型和加工深度信息，最后生成加工路径。关键的技术有：

（1）识别彩色图像中的信息，将人工标记的信息和区域提取出；

（2）彩色图像和深度图像的空间匹配，实现从彩色图像到深度图像的映射，得到需要加工区域的三维点云和模型。

传感器选用西安知象光电科技有限公司的工业级Surface HD系列RGB-D 相机中的Surface HD 100，其空间点距和工作距离关系为0.5mm@900mm，重复精度±0.25mm。深度最大分辨率1920x1200@max 8fps。数据接口为千兆以太网口。该款传感器支持深度图、彩色图对齐。其工作距离为400mm-1400mm，在该范围内深度传感器的空间分辨率都优于1mm[1]。该传感器分别同时采集到的彩色图像和深度图像如图4 和图5所示。

图4 是由 Surface HD 100 得到的工件深度图像，1mm 左右深的细微裂痕可见，图5 为深度图像同一视场内的彩色图像信息。经实验测试，视觉扫描系统能识别裂纹的宽度小于等于0.93mm。

图9：由点云生成用于加工的三角网格化3D 模型

4.1 识别彩色图像中的信息

识别彩色图像中的人工标注信息是通过机器视觉开发套件的方式实现。OpenVINO 是美国Intel 公司针对其x86 构架的电脑芯片平台开发用于基于深度学习的机器视觉应用软件开发套件库。可实现在Intel 计算产品平台上进行加速的目的。该工具包基于最新一代的人工神经网络，包括卷积神经网络（CNN）、递归网络和基于注意力的网络，它将计算机视觉和非视觉工作负载扩展到Intel 公司的硬件上，最大限度地提高性能。它通过从边缘到云的高性能人工智能和深度学习推理加速应用[2]。

OpenVINO 已经有对手写字符和简单图形的OCR 识别的预训练模型，可以直接进行调用，实现对手工标定的区域和加工深度字符的识别[2]，识别效果如图6 和图7所示。

4.2 深度图像和彩色RGB图像的映射配准

彩色图像中的像素对应物点的空间坐标可表示为(uR,vR,zR)T，同样深度图像的像素点的对应空间物体的坐标点为(uL,vL,zL)T，从深度图像映射到彩色图像的关系表示为[3,4]：。通过相机外参数标定得到的4×4 矩阵的W 可将彩色相机和深度相机二者的空间关系标定出，通过该矩阵可以计算出彩色图像中某像素点对应的空间位置坐标[3]。通过上述过程，实现对彩色图像中物体上的点空间坐标获取，如图7所示实时地获取棋盘格标定板上其中一个角点的空间三维坐标XYZ。将彩色图像中被识别为圈出区域的像素映射到深度图像中，最终得到工件上圈出区域在机器人坐标系下的空间坐标，得到加工区域空间信息，再通过系统中的CAM 和机器人离线编程软件模块，自动生成机器人加工轨迹数据。如图9所示。

5 现场试验

该系统于2019年12月开始在中国二重现场调试，先后进行了工艺试验验、扫描试验、整机调试及生产测试等试验测试内容。一次扫描(整体扫描)能识别1.5×5mm 的裂纹缺陷，经过二次扫描（局部扫描）能识别到小于0.5×2mm 的裂纹缺陷，目标零件单面标记出的可识别区域的缺陷识别率100%，一次打磨缺陷消除率达到93%，重新人工标记后通过两次打磨缺陷消除率达到98%，剩余部分由人工处理，未进行进一步自动打磨。2020年8-9月经过两个月的连续生产，经用户评估该系统能替代8-10 个人工。