面向微组装单元的数字孪生同步方法及系统实现

黄佳圣，施佳宏，易 扬，许红祥，闫月晖,刘金锋，刘晓军+

(1.东南大学 机械工程学院，江苏 南京 211189；2.中国船舶重工集团公司 第724研究所，江苏 南京 211189；3.北京航天长征飞行器研究所，北京 100076；4.江苏科技大学 机械工程学院，江苏 镇江 212003)

0 引言

作为电子先进制造技术的重要组成部分，微组装技术已广泛应用于船舶、卫星、雷达等领域[1]。随着科技的发展，新一代军用电子装备逐渐趋于小型化、轻量化、多样化[2]，对微组装产品的生产质量和生产速度提出了更高的要求。目前微组装生产线单元多采用人工和半自动或自动化工艺设备相结合的方式进行生产，该方式一方面难以全面采集实时生产数据，且对采集到的数据也不能有效利用，无法在线监控产品的组装质量和组装过程；另一方面，难以实现自动化工艺设备的信息化控制，使得自动化工艺设备不能被合理配置和高效利用，严重影响了生产速度。微组装生产线单元正面临着向数字化、信息化、智能化转型的问题，近年来快速发展的数字孪生(digital twin)技术为其提供了新思路。

数字孪生的概念最早由美国密歇根大学教授Michael Grieves于2003年在其所教授的产品全生命周期课程中提出，并于2011年正式命名为数字孪生，2017年将其定义为：从微观原子级到宏观几何级全面描述潜在生产或实际制造产品的虚拟信息结构[3-5]。数字孪生技术最先应用于航空航天领域[6]，随着GE、西门子等公司的推广，近年来该技术在工业制造领域迅速发展[7]。Cai等[8]提出一种基于数据和信息融合技术的数字孪生虚拟机床建模方法，用于提高物理机床的可靠性和网络物理制造能力；Aitor等[9]介绍了钣金冲压机床数字孪生模型的构建过程，通过交互方式模拟了实际钣金冲压机床的基本动作；陶飞等[10-11]于2017年首次将数字孪生技术与车间结合，提出数字孪生车间(digital twin workshop)的概念，并详细阐述了数字孪生车间的系统组成、运行机制和关键技术，而后在此基础上对数字孪生信息物理融合理论与技术进行了探索；陈振等[12]在分析飞机装配车间中所存在问题的基础上，研究了飞机数字孪生车间的关键技术，为航空工业领域的智能制造提供了参考；柳林燕等[13]建立了车间生产过程孪生系统体系架构，详细阐述了系统实现的3个关键技术，并通过实例对方法的有效性进行了验证；肖飞等[14]从数字孪生体的内涵出发，提出过程孪生、模型孪生和数据孪生的概念，在此基础上研究了数字孪生驱动的固体发动机总体设计系统的运行机制；赵浩然等[15]针对数字孪生车间的实时可视化监控难题，提出一种多层次的三维可视化监控模式和实时数据驱动的虚拟车间运行模式。

近年来，虽然数字孪生技术在智能制造的理论层面和技术层面都得到了快速发展，但仍缺少对实时生产数据如何真正驱动多维度融合数字孪生模型，使孪生模型在行为、状态和动作上与物理实体保持一致，以实现虚拟车间与物理车间孪生同步的研究。孪生同步是数字孪生技术的基本功能，通过有效处理利用实时生产数据实现生产过程的在线监控，在此基础上为后续的数据增值服务及设备的信息化管控提供支持。因此，本文针对目前微组装生产线单元存在的“数据处理难”和“设备信息化控制难”两大难题，首先在已有研究基础上提出面向微组装生产线单元的数字孪生系统架构，然后详细阐述了虚拟生产线单元孪生同步的运行机制及其关键技术，最后开发并设计了微组装生产线单元数字孪生系统，并通过实例进行了验证。

1 微组装生产线单元数字孪生系统架构

微组装生产线单元是微组装产品制造的执行基础，本文在微组装工艺流程、生产线单元目前存在的问题以及相关需求的基础上，参考陶飞等[16]提出的数字孪生五维模型，设计了微组装生产线单元数字孪生系统架构，如图1所示。基于数字孪生车间架构理论，微组装生产线单元架构分为物理实体层、虚拟车间层、孪生数据层和应用服务层，各层之间通过数据连接。

物理实体层是现实世界中微组装生产线单元生产过程的全要素集合，主要包括人员、微组装加工设备(点胶机、共晶贴片机等)、传送带、智能料塔、物料、产品和环境等要素，以及架设于上述要素之上的无线射频识别(Radio Frequency IDentification, RFID)读写器、各类传感器、可编程逻辑控制器(Programmable Logic Controller, PLC)等数据采集部件。物理实体层是生产活动得以执行的基础，也是其他各层功能得以实现的基础。

虚拟车间层以物理实体为基础，通过建模技术构建各生产要素的几何物理模型、属性信息模型、行为逻辑模型和约束规则模型。其中，几何物理模型是其他3个维度模型的载体，属性信息模型是对实体要素固有属性和运动状态的客观描述，行为逻辑模型是控制孪生模型运动逻辑的核心，约束规则模型是孪生同步过程正确与否的判断条件。4个维度模型有机结合形成数字孪生模型，用于反映各生产要素在现实世界中的形状、位置、状态、关系等信息，是数字孪生车间的重要组成部分。

作为数字孪生技术的核心，孪生数据层主要用于管理孪生数据，包括物理实体层的实时生产数据、虚拟车间层的孪生同步数据、应用服务层的交互反馈数据、知识服务数据和融合衍生数据。各层之间通过孪生数据相互连接，数据流在各层间传输、解析、运算、驱动，该过程是实现虚拟车间孪生同步以及后续应用服务的关键。

应用服务层以孪生数据和孪生模型为支撑，基于人机虚实交互，为微组装生产线的单元生产制造、数据展示、车间布局、物流调度、故障维修等方面提供相关服务，包括生产过程监控、错误报警反馈、生产状态看板、历史数据回溯、生产质量评估、故障原因查找、车间布局优化、生产方案优化等功能。应用服务层为实现自动化设备的信息化控制提供服务平台，是孪生数据管理应用的客观体现。

2 微组装生产线单元孪生同步机制

虚拟车间层对物理实体层的孪生同步是实现微组装单元数字孪生管控的前提，其核心在于利用实时生产数据驱动各要素数字孪生模型，对物理实体层的生产行为、状态和动作进行实时映射。本文基于几何物理、属性信息、行为逻辑和约束规则4个维度有机结合的数字孪生模型，提出微组装生产过程孪生同步机制，如图2所示。当微组装生产线单元接到生产任务进行生产加工时，RFID读写器、PLC、传感器等数据采集部件采集物理实体层的实时生产数据，通过工业互联网将多源异构数据传输至孪生数据层的数据处理平台，数据处理平台对海量的多源异构数据进行清洗处理，再对有效数据进行分类和解析后，存储至历史加工数据库，以便在后续孪生同步过程中发生错误报警时进行历史数据回溯，查找错误原因。分类解析后的有效数据通过工业互联网传输至虚拟车间层，驱动4个维度有机结合的数字孪生模型以实现孪生同步。行为逻辑模型根据接收的指令信息进入相应的动作模块进行行为映射；属性信息模型接收实时数据，改变动态映射信息中的参数变量进行状态映射；动作函数接收动态映射信息中的变量信息，驱动几何物理模型做出相应动作，进行动作映射。在该过程中，将行为、状态和动作映射与约束规则模型中的规则进行判断比较，当孪生同步过程与规则发生冲突时，中止孪生同步过程并进行报警反馈。孪生同步过程中的仿真数据将通过工业互联网传输至系统仿真数据库，作为后续应用服务层对物理实体层智能管控的数据基础。

3 微组装生产线单元孪生同步过程的实现

3.1 多源异构数据分类清洗与解析

3.1.1 数据模型的构建

微组装生产线单元涵盖了从物料到半成品再到微组装产品的全过程，作为全自动化产线，在生产过程中，数据采集部件采集到的实时生产数据(Real-time Procession Data, RPD)包括设备数据(EquipmentData, EPD)、产品数据(ProductData, PRD)和AGV数据(AGV Data, AGVD)，因此微组装生产线单元的实时采集数据模型描述为

RPD={EPD,PRD,AGVD}。

(1)

设备数据通过数据接口直接读取，包括生产状态数据和生产逻辑数据。生产状态数据用于描述设备实时状态，包括各设备运行状态、加工参数、故障诊断等数据，生产逻辑数据包括设备单元运动逻辑、设备加工逻辑等数据。设备数据模型描述为

EPD={NameEP,PSDEP,PLDEP}。

(2)

式中：NameEP为设备名称；PSDEP为设备生产状态数据；PLDEP为设备生产逻辑数据。

产品数据包括微组装过程中物料的位置流转数据和最终产品的质量检测数据。物料位置流转数据通过RFID读写器采集，芯片点胶、芯片贴片等微组装过程核心工序中包括设备、传送带和接驳台3个工位，将工序信息与工位信息结合即可得到物料的当前状态；产品质量检测数据通过自动光学检测(Automated Optical Inspection, AOI)仪器数据接口采集。产品数据模型描述为

PRD={NameMR,PTD,QLD}。

(3)

式中：NameMR为物料名称；PTD为物料位置流转数据；QLD为产品质量检测数据。

对于AGV数据，一方面通过数据接口采集运行状态数据，另一方面因为AGV取料和卸料过程有多条路径，即多种可能，所以需要采集逻辑控制数据来判断所执行的具体动作。AGV数据模型描述为

AGVD={NameAGV,RSDAGV,LCDAGV}。

(4)

式中：NameAGV为AGV名称；RSDAGV为运行状态数据；LCDAGV为AGV逻辑控制数据。

3.1.2 数据清洗与解析

数据采集部件和设备数据接口将采集到的生产数据按上述数据模型分类，并通过OPC UA数据通信网络架构以JSON格式传输到孪生数据层。这些海量数据是多源异构，且通常含有一些异常的、重复的或不一致的“脏数据”，为了保证虚拟车间层孪生同步过程的正确性与准确性，需要对第一手数据进行数据清洗操作，即在分析采集数据特点的基础上制定清洗规则，并根据所构建的数据模型进行清洗异常数据、删除重复冗余数据、补全缺失值等操作，反复清洗直到数据满足要求。

微组装生产线单元的各种加工设备和物料产品均可被视为带有多个属性的主体，而JSON格式文件是“名称/值”对的集合，即在某一确定时刻，一定有唯一确定的信号与相应的状态参数对应，从而能够实时映射物理实体的状态。然而，“名称/值”对中的信号不代表数值本身的含义，不能直接使用，需要通过数据解析字典进行解析，即对属性和信号进行定义和解释，以便后续使用数据。微组装生产线单元数据解析字典设计如表1所示。

表1 微组装生产线单元数据解析字典

续表1

3.2 实时数据驱动四维融合孪生模型

某一型号微组装产品工艺流程如图3所示，每道工序均由对应的物理实体要素完成。在该过程中，行为是物理实体要素在外部指令激励下做出的相应活动，可由一组状态和动作变化表示；状态是物理实体要素通过一组特定物理量表现出的状貌特征；动作是通过运动来实现的具有一定动机和目的的运动系统。几何物理、属性信息、行为逻辑和约束规则四维融合的孪生模型是物理实体在虚拟空间的镜像，具有与物理实体相同的特征和多样化功能，处理后的实时生产数据驱动孪生模型，使其在行为、状态和动作上与物理实体保持一致是实现孪生同步的核心。

3.2.1 行为实时映射

行为逻辑模型是对物理实体生产过程行为的抽象表达，作为典型的离散事件动态系统，微组装生产线单元一般采用Petri网描述车间行为逻辑，但是因为基本Petri网不包含时间因素，不利于后续应用服务层的系统性能分析，所以本文根据石柯等[17]提出的一种面向对象的赋时Petri网(Object-Oriented Timed Petri-Net, OOTPN)建模方法构建微组装生产线单元行为逻辑模型。该方法引入了信息位，通过信息位令牌表示系统中传递的信息，包括信息输入位和反馈输出位。微组装生产线单元的行为逻辑模型如图4所示，本文以器件出库工序中的AGV取料行为为例，详细说明数据驱动行为逻辑模型实现行为实时映射的过程。

当微组装生产线单元未接到生产任务时，虚拟车间层中的所有设备均处于空闲待机状态Pu1，生产任务通过制造执行系统(Manufacturing Executive System, MES)下达到微组装生产线单元，虚拟车间层同步接收生产指令Mu1，系统按照工艺流程首先对器件出库工序涉及的主要设备AGV安排生产任务Tu1。此时AGV处于空闲待机状态Pu2，当接到系统发出的取料指令Mu2后，接取任务开始运行Tu2，此时AGV处于正常工作状态，进入取料模块进行取料；当AGV完成取料Tu3时，抓取装有盒体零件的载具，并向系统反馈取料完成信息Mu3；AGV根据相应路径移动到加工设备卸料点，接到系统发送的卸料指令Mu4后，接取卸料任务开始运行Tu4，进入卸料模块进行卸料；当AGV完成卸料Tu5时，装有盒体零件的载具被搬运至接驳台Pu3，给系统反馈放料完成信息Mu5，并回到Pu2空闲可接任务状态。

微组装生产过程中，各物理实体要素接收MES系统发送的控制指令并做出相应行为，虚拟车间层通过设备接口采集得到的指令数据，根据行为逻辑模型进入相应的行为模块，驱动微组装生产线孪生模型进行行为实时映射。

3.2.2 状态实时映射

属性信息模型包括静态测量数据和动态映射信息，其中静态测量信息用于描述物理实体要素的固有属性，较长一段时间内不发生变化；动态映射信息反映微组装过程中物理实体要素的动态参数，根据实时生产数据同步发生变化。微组装生产线单元属性信息分类如图5所示，其中产线级静态测量数据由工艺管理信息和产线布局信息组成，动态映射数据由功耗信息、设备信息和产能信息组成，其形式化表达可描述为

PCIj)∪CPI。

(5)

当微组装生产线单元进行生产加工时，数据采集部件实时采集设备状态、加工参数等动态映射数据，通过工业互联网传输至虚拟车间层，驱动设备属性信息模型中存储动态映射数据的相应变量同步发生变化，实现设备级孪生模型在状态上对物理实体要素的实时映射。对于产线级属性信息模型，在对设备级属性信息模型接收的数据进行统计分析的基础上，计算生产线单元的功耗信息和产能信息，并将其与各设备加工状态以车间看板的形式实时展示，对产线级孪生模型的状态进行实时映射。

3.2.3 动作实时映射

几何物理模型是对物理实体层各生产要素外形的直观描述，微组装生产线单元的几何物理模型通过SolidWorks，Pro/E等常见三维建模软件构建，具有与物理实体相同的形状尺寸和约束关系。微组装生产线单元孪生模型实现动作实时映射的过程如图6所示，产线级孪生模型由零部件级孪生模型和设备级孪生模型组成，其动作是二者动作的集合，实时数据驱动各设备孪生模型对物料孪生模型进行加工和运输操作，该过程即可被视为产线级孪生模型的动作实时映射过程。设备的加工过程可被视为许多极短时间间隔内平移和旋转动作的组合，在某一瞬时时刻，属性信息模型中动态映射信息的各个变量被映射为实时生产数据，并以这些变量为实际参数，调用最小粒度的平移和旋转动作函数，驱动几何物理模型在该极短时间间隔内完成平移和旋转动作，最终在一段较长时间间隔内完成相应的加工动作，实现设备级孪生模型在动作上对物理实体的实时映射。

3.2.4 孪生同步的正确性保证

约束规则模型作为约束条件，包括行为映射规则、状态映射规则和动作映射规则，用于判断孪生同步过程的正确性，进而保证微组装实际生产过程能够正确执行。其中，行为映射规则根据微组装产品工艺流程构建的生产线行为逻辑模型，对当前虚拟车间层接收的指令数据与正在进入的行为模块进行判断和比较，用于判断孪生模型运动逻辑的正确性；状态映射规则将接收到的设备加工参数与设备静态测量信息中的最大加工能力进行比较，用于判断动态映射信息的数值是否超出正常范围；动作映射规则通过干涉检测的方法检查动作执行是否合理。当实时生产数据驱动下的孪生同步过程与上述约束规则发生冲突时，孪生同步过程中止并向系统发送报警反馈信号，为后续应用服务层的故障诊断服务提供支撑。

4 应用实例

某厂以微组装产品工艺过程设计的微组装生产线单元布局如图7所示。该生产线单元主要由智能仓储模块、物流运输模块、微组装加工模块、辅助制造模块和控制模块组成，其中：智能仓储模块用于物料、半成品和成品的存储；物流运输模块用于物料、半成品和成品在生产线各工位间的流转；微组装加工模块用于提供微组装产品生产的核心工艺，如芯片点胶、芯片贴片、金丝键合等；辅助制造模块用于提供上下料操作以及对成品的质量检测。

针对当前微组装生产线存在的问题，根据前文提出的微组装生产线单元数字孪生系统架构和孪生同步方法，设计并开发了基于Web网页的微组装生产线单元数字孪生系统，该系统利用WebGL第三方库中的three.js技术，将轻量化处理后的三维模型在Web上显示，并通过OPC UA数据通信网络架构传输实时生产数据。目前，该生产线单元的原型系统已开发完成并试行，其前端交互界面如图8所示。

系统运行过程中，虚拟车间层接收实时数据流，并通过数据流驱动微组装生产线单元数字孪生模型，将数据流转化为物料在各工位间的流转以及设备的状态变化和相应动作。AGV接收到取料指令后，将物料盒搬运到生产线上，通过传送带移动到设备中；设备接收到加工指令后，从待机状态进入工作状态，相应的设备信号灯由黄色转为绿色，各加工设备正在加工的零件ID和已加工时间显示在加工信息表上；加工完成后，设备接收到物料离开指令，通过传送带将物料运输到下一工位，直到完成全部工序，返回货架。在此过程中，虚拟车间已接收的指令数据采用命令列表的形式显示，以便于查找各零件已经完成的工艺，这些信息可通过人机交互的方式选择隐藏或展示。当孪生同步过程发生错误时，相应的设备信号灯由绿色转为红色，同时系统将报警反馈信息以弹窗的形式在人机交互界面显示，并将信息发送至MES系统，由操作人员判断是否停止生产，达到以虚控实的目的。

在实现虚拟生产线单元同步孪生的基础上，系统构建了数据统计分析、设备信息查询和文档资料子模块，为微组装生产线单元提供生产信息统计、故障维修指导等服务。数据统计分析子模块将采集到的工件实时生产数据进行统计分析处理，以统计图表的形式展示，如图9a所示；设备信息查询子模块用于展示设备信息、设备图片、提供工艺等静态信息，如图9b所示；文档资料子模块用于提供操作指南、故障手册、维护指南等文档，以及离线下载设备加工视频等指导性文件，以便于操作人员处理相应的情况，如图9c所示。

5 结束语

本文针对当前微组装生产线单元在数字化、智能化转型中遇到的“数据处理难”和“设备信息化控制难”问题，基于通用的数字孪生车间参考系统架构模型设计了面向微组装生产线单元的系统架构，提出微组装生产线单元同步孪生机制，并研究了实时生产数据的采集、分类和解析存储方法，重点阐述了数据驱动四维融合数字孪生模型以实现虚拟生产线单元对物理实体实时映射的过程。本文研究成果已应用于某厂微组装生产车间并取得了一定的效果，但由于部分设备来自国外厂商，其数据采集难度较大，后续将在此基础上采集所有设备的生产数据，并利用孪生数据对生产方案优化、生产资源合理调配等数据增值服务进行深入研究。