智能装配生产诱导监测工作台关键技术研究

冯 瑶， 廖 敏， 公茂震， 张凌云

（中国航天科工集团 第二研究院706 所， 北京 100854）

0 引 言

传统装配工作台具有操作台、物料存储、照明、防静电、工具箱、供电等功能，操作者在使用过程中和装配工作台不发生信息互动，完全依靠自身经验完成装配。在出现物料余量不足、取料错误、工具使用不当、装配过程无法记录等问题时，无法诱导操作者完成相关的操作，使得手工装配效率较低，装配质量对人员技能依赖性较高。智能装配工作台作为装配工作台的发展方向，集成了智能制造、物联网、人工智能等新技术，在传统装配工作台基础功能的基础上，作为信息终端对装配过程进行控制，诱导操作者自动完成装配工作，实现装配无纸化，与车间制造系统集成实现生产数据的上传与下载，提升装配的数字化和智能化水平。金杜挺研制了一款基于工业4.0 的轴承智能装配机械系统[1]，实现了轴承全自动化装配，同时实现轴承根据型号用途定制，但其专注于特定种类产品的装配工艺自动化，不具备信息终端功能，无法实现通用产品的装配。田中可从图像识别的角度对零件识别和零件监测进行了研究，专注于装配过程中自动识别和监测技术[2]。庞列勇等研究一种基于Kinect 的投影式增强现实装配诱导系统，采用Kinect 体感仪和增强现实技术实现了装配诱导[3]。陈成军等提出一种基于三维CAD 模型的复杂机械设备增强现实拆装诱导框架，和基于透视投影原理的三维诱导场景生成与显示方法[4]。张钊基于Kinect 深度视觉传感器获取人体运动数据和特征，进行人机协作场景中人体行为的识别及预测[5]。本研究是在普通装配工作台储料、照明、防静电等基础功能的基础上，将自动化装配、智能装配、信息化和智能化技术的优势应用于手工装配过程中，研究装配工艺配置、装配工艺无纸化、装配过程诱导、装配取料检验、信息系统集成等技术，形成新型智能装配生产诱导监测工作台。

1 系统架构及工作原理

智能装配生产诱导监测工作台由工作台、电气控制系统和智能装配诱导监测系统三部分组成，架构如图1所示。

图1 系统架构图

工作台作为智能装配生产过程诱导监测工作台的基础平台，提供装配操作平台、物料存储、在线检测、检测数据实时输入、人机协作、误操作提醒等功能。根据智能装配生产诱导监测工作台的组成和特点，电气控制系统采用主从式架构[6-7]，实现零件诱导装配功能。智能装配诱导监测系统通过采集和分析Kinect 体感仪数据，对外向投影仪、显示器、物料指示灯矩阵、工具指示灯矩阵等进行数据信号输出，实现产品装配工艺配置、三维装配工艺动画指导、装配生产过程诱导、无纸化操作、装配过程质量数据自动采集、操作人员管理等智能装配诱导监测功能，同时提供其他系统集成接口。

电气控制系统通过PROFINET 总线[8-9]接收来自智能装配诱导监测系统的控制指令，分析处理后通过I/O模块点亮相应的料盒或工具指示灯，指示装配工人获取该装配步骤的正确零件或工具，智能装配诱导监测系统可实时采集并根据当前的装配任务判断工人的操作是否正确，当装配工人的操作发生错误时，点亮蜂鸣报警灯进行报警提示。

2 工作台组成

工作台由工作台本体、工件库、工具库、上下料系统、防静电系统、传感器系统、安全系统等组成，如图2所示。装配工作台采用模块化设计，具有很好的扩展性和灵活性，根据客户需求可配备定制装配工装、人机协作机器人[10-11]安装接口等。

图2 工作台组成图

1） 工作台本体。工作台本体是工作台的基础模块，也是应用于各项装配任务的基础模块，由台架、台面、工作台立柱、工作台悬架、工作台配置等组成，采用型材搭建。工作台本体具有可扩展、坚固耐用和高度调节等特点。

2） 工件库。工件库由不同规格的PVC 料盒组成，用于存放各种标准件和结构件，各个料盒的大小和位置可以根据装配的方式进行调整，料盒上对应唯一的二维码，通过扫码可以快速了解每个料盒盛放物料的特性和规格。

3） 工具库。工具库是挂钩、容器、工具固定夹、标签背板等工具的储存装置，适应清洁、焊接、精度检测、结构装配等不同场合。

4） 上下料系统。上下料系统和料盒上料系统进行对接，根据实际需要进行空料盒的下线和满料盒的上线，实现物料的平稳传输。上下料系统由支架、料盒下线系统、刹车系统等组成，分为集成上下料系统和独立上下料系统。

5） 防静电系统。防静电系统充分考虑装配过程中涉及的所有零部件，包括工作台架、工作台表面和装配及检测设备，工作台系统提供了全面正确的防静电保护方案。

6） 传感器系统。传感器系统包括Kinect 体感仪、高清摄像头等硬件系统，采集装配过程的人体动作轨迹数据、装配工件质量数据，通过不同的通信协议接入智能装配诱导监测系统。

7） 安全系统。安全系统包括蜂鸣器指示灯、急停开关等。

3 电气控制系统设计

根据智能装配诱导监测系统的组成和特点，采用主从式架构，实现零件诱导装配功能。电气控制系统网络拓扑结构如图3 所示。

图3 电气控制系统网络拓扑结构

主机选用戴尔台式计算机，通过以太网实现与PLC和高清摄像头的通信。触控投影仪、触摸显示屏、扫码枪以及Kinect 体感传感器通过主机接口（USB、HDMI、VGA 等）实现系统集成。PLC 接收主机控制指令，点亮相应指示灯。同时扫描外部I/O 设备状态，当设备状态发生变化时将状态信息上传至主机。

4 智能装配诱导监测系统软件设计

智能装配诱导监测系统软件是装配工作台的控制大脑，通过采集和分析Kinect 体感仪的数据，对外向投影仪、显示器、物料指示灯矩阵、工具指示灯矩阵等进行数据信号输出，实现产品装配工艺配置、三维装配工艺动画指导、装配生产过程诱导、无纸化操作、装配过程质量数据自动采集、操作人员管理等智能装配诱导监测功能，同时提供其他系统集成接口。

4.1 系统功能设计

系统功能包括系统管理、基础数据管理、工时管理、装配订单管理、装配工艺配置、装配过程诱导、质量数据管理、数据录入等功能，如图4 所示。

图4 软件功能结构图

根据产品装配工艺流程配置每个装配工步所涉及的零件、标准件、工具、装配动作、三维装配动画、检测标准、电子表格数据要求等信息，作为软件系统其他功能的输入信息。通过Kinect体感感应器捕捉和分析动作装配工作台范围内操作员身体动作，监测装配过程中相关人、机、物、法、环等资源的运行情况，实现装配生产过程诱导。具体实现如下功能：操作人员上工、暂停和完工时间检测；实现身体动作轨迹采集、显示与重放；装配动作正确性判断；取料位置实时提示及结果判断；工具位置实时提示及结果判断；工具归位管理；装配到位情况判断；装配过程出错报警；装配过程控制。通过彩色摄像头拍摄视角范围内的彩色视频图像和拍摄图像，记录整个生产过程，可以实时显示和回溯播放，用于装配过程质量追溯。

4.2 Kinect 体感仪在智能装配生产过程中的应用

Kinect 体感仪包括彩色摄像头、红外投影机、深度（红外）摄像头和麦克风阵列，实现对生产装配过程中人体动作与声音进行捕捉和3D 建模[12-13]，并对人体运动数据进行空间层动作分析，起到辅助诱导装配、装配全过程监督与预警、标准工艺执行等作用，如图5 所示。

图5 Kinect 使用流程示意图

Kinect 体感仪安装在工作台的正上方，通过捕捉人手动作，配合相应的算法，识别装配工人取料、取工具等动作，通过与预设流程的对比，判断装配工人的操作是否正确。如果正确，则可顺利进入下一步；如果操作错误，系统会给出蜂鸣报警提醒，同时正确位置的指示灯会闪烁提醒，直至装配工人取到正确的物料或工具。

装配过程诱导监测模块组件由3 个不同视频采集单元、4 个不同频段的麦克风阵列组成。

彩色摄像机：拍摄视角范围内的彩色视频图像，记录整个装配生产过程，对产品生产过程进行记录；红外投影机：主动投射近红外光谱，照射到粗糙物体或是穿透毛玻璃后，光谱发生扭曲，形成随机的反射斑点（称为散斑），进而被红外摄像机读取，用辅助光学引导监测，判断生产过程中是否按照既定工艺进行生产，作为辅助诱导系统进行顺序操作的传感器使用，采集工作中，辨别操作者完成的规定动作是有效动作还是无效动作；深度（红外）摄像机：分析红外光谱，创建可视范围内的人体、物体的深度图像，进行空间层动作分析，配合工作站（两人或多人完成的工艺站）并建立3D 模型，实现装配过程的人体动作捕捉与识别。

Kinect 体感仪应用在智能装配生产过程中可以对装配员工进行人脸识别，实现装配产品和装配员工的一一对应。

4.3 系统实现

4.3.1 软件框架选择

软件采用MVVM 框架[14-15]，如图6 所示，包括View层、ViewModel 层和Model 层。View 层采用WPF XAML（类HTML）方式进行编写。在ViewModel 层中编写ViewModel 基类，继承INotifyPropertyChanged 接口，并实现一个方法来抛出此接口提供的PropertyChangedEvent事件，使得在窗口前端界面XAML 中通过＜Window.DataContext＞标签绑定ViewModel 数据源的属性且数据源某些属性发生变化时，窗口前端界面XAML 中的显示情况会随ViewModel 属性变化而自动更新。对于窗口前端界面中会触发一些操作或事件的控件，通过WPF控件提供的Command 属性，在前端界面中为控件绑定来自ViewModel 中的继承ICommand 接口的Command 命令方法。Model层完成各种业务逻辑处理和数据操控。

图6 MVVM 框架

4.3.2 系统界面

智能装配诱导监测系统实现的部分界面如图7～图10 所示。

图7 系统主界面

图9 用户信息管理界面

图10 位置标定界面

系统主界面上主要显示了当前执行装配订单的主要信息，包括订单编号、订单状态、产品编号、产品数量、工艺编号、工序编号、工步编号等信息，三维装配动画可按需播放，对系统日志和报警信息进行集中展示，用户确认完订单信息后可点击“开始装配”按钮，进入系统操作界面。在系统操作界面设置了当前工步的三维装配动画播放窗口，通过系统自动控制和手动选择的方式在装配工步之间进行切换。用户信息管理界面实现了对用户信息增删查改的操作。在位置标定界面可实现对Kinect 体感仪的标定。

4.3.3 工作流程

操作人员采用智能装配生产过程诱导监测工作台进行工作的工作流程如图11 所示。具体工作流程如下：

图11 工作流程

1） 操作人员通过输入用户名和密码进行身份认证，认证方式可以根据用户需求配置指纹识别、刷卡等。通过身份认证识别操作人员身份的合法性，同时作为工时计算的输入数据。

2） 判断身份认证结果，认证成功则进入步骤3），认证失败则结束工作。

3） 操作人员认证通过后，通过系统自动判断和人工协作的方式判断物料、工具的齐套结果，齐套完成则进入步骤4），齐套没有完成则需按照系统提示完成齐套工作，重新开始步骤3）。

4） 操作人员点击显示器或者桌面显示区域的“开始装配”按钮，进入装配工作。

5） 操作人员根据系统三维装配动画提示，从对应位置的料盒中取装配工件，从对应位置的工具位置取工具。系统自动判断人工物料位置是否正确，正确则进入步骤6），错误则需要根据系统提示重新开始步骤5）。

6） 操作人员根据三维装配动画中的装配动作和技术要求进行装配工作。

7） 系统自动判断装配动作和装配到位情况，正确情况下进入步骤8），错误情况下则需要根据系统提示重新开始步骤6）。

8） 操作人员对有装配过程质量检测的工件使用工作台上的工具进行检测，系统自动记录检测结果。检测通过则进入步骤9），检测未通过则需要排查原因，并重新进入步骤5）。

9） 操作人员点击显示器或者桌面显示区域的“下一步”按钮，进入下一步的装配工作。

10） 系统自动判断装配工作是否全部完成。未完成则执行步骤5），完成则结束工作，操作人员点击“完工”按钮，进行报工操作。

5 结 语

本文研究了智能装配生产诱导监测工作台的关键技术，可实现产品装配工艺配置、三维装配工艺动画指导、装配生产过程诱导、无纸化操作、装配过程质量数据自动采集、操作人员管理等智能装配诱导监测功能，同时提供其他系统集成接口；并且对于柔性化装配、低成本装配、自主培训、辅助教学有很好的参考意义。

注：本文通讯作者为廖敏。