孙玉成,宋家烨,王 健,郑 堃,王青云,陈 威,王 建,唐敦兵,
(1.潍柴动力股份有限公司,潍坊 261001;2.南京航空航天大学机电学院,南京 210016;3.南京航空航天大学无锡研究院,无锡 214000)
随着国家提出的“十四五”发展规划,数字化、网络化和智能化成为制造业日益发展的共同目标。许多制造业开始研究如何采用数字化的手段来提升生产制造水平。作为智能制造的一项关键使能技术,数字孪生逐步发挥着越来越重要的作用。自从Grieves 教授率先提出数字孪生概念[1]之后,数字孪生逐步应用到包括建筑、医疗、运输、制造等各行各业中,国内陶飞等[2]学者深入研究了如何利用孪生技术实现物理世界与虚拟世界的有效融合。
在制造业领域,利用数字孪生技术来实现生产业务场景、业务过程和加工设备等虚实映射已成为国内外学者研究的一个热点。方圆等[3]提出一种基于数字孪生的加工设备运行状态检测方法来解决产品生产过程中设备状态的检测,并应用在航空发动机机匣装配生产线进行验证。文国军等[4]基于数字孪生架构,利用Unity3D 开发了一种钻机虚拟培训系统,来提升培训的时效性和安全性。陈建华等[5]将设备管理分为作业管控层、专业管理层和战略决策层,并利用数字孪生技术对设备进行建模、分析,实现设备管理的标准化、精细化。戴敏等[6]基于数字孪生技术建立设备管理平台,并通过大数据挖掘、分析技术分析现场设备数据的实时关联预测与分析,实现设备的故障有效预测,降低设备维护成本,并提升维修效率。文献[7]提出了基于数字孪生的虚拟调试技术并开发了一种机电模块化生产的数字孪生仿真器,用于支持设计决策。文献[8]提出一种数据驱动方法并通过数字孪生来表示制造单元的业务过程,模拟生产过程的系统行为和预测过程故障,并借助深度强化学习来提升生产过程的自适应管理。文献[9]提出一个5 步法来规划制造系统和数据驱动的数字孪生,通过建立车间数字孪生模型来指导生产流程的优化和车间用户的规范化操作。周光源等[10]基于当前制造车间监控落后、管理困难的问题,研究了一种车间信息集成技术和可视化对象模型技术,设计开发了一种动态监控平台,对车间的生产过程进行监控和管理,并结合实际生产应用,来验证该平台的实用性和可靠性。文献[11]研究了一个创建和训练机器人的数字孪生案例,通过在虚拟空间中进行人工智能训练,并在物理空间中进行模拟学习,使用Unity3D 来实现虚拟空间和物理空间的互联,从而减少机器人的调试时间,提高工作效率。王春晓[12]提出一种基于虚拟空间的机床调试技术,利用数字孪生技术搭建虚拟调试平台,以三轴立式数控铣床为研究对象,建立其虚拟模型,通过在虚拟平台中的调试真实反映了物理世界机床的运行情况,从而降低机床调试的危险性,缩短生产准备周期。
综上所述,国内外学者利用数字孪生技术解决生产领域的问题已经取得了很多成果,但不难看出很多关注点还是集中针对单个物理设备、单个生产过程进行数字孪生研究,或者只是提出一种理论上的数字孪生框架或方法,没有进行实际的验证。在面向整个生产车间进行数字孪生构建、关键技术研究及生产过程监控的研究还比较少。
针对以上问题,本文基于点云技术与可视化建模技术,搭建了离散制造车间数字孪生平台,通过该平台对整个车间进行全业务场景呈现及运行情况实时监控,并对业务全流程进行虚拟映射,为大数据分析指导车间生产提供支持,进一步提升了车间数字化管理水平。
为了将数字孪生技术更好地结合到车间的生产过程中,更好地为车间生产服务,使得生产过程更加地高效、智能,就需要构建出面向生产过程透明的数字孪生系统。针对生产车间的特征和生产过程数字孪生功能需求分析,结合数字孪生的系统参考架构,本文提出了如图1 所示的面向生产过程的数字孪生构建方法。
图1 面向生产过程的数字孪生系统体系架构Fig.1 Architecture of digital twin system for production process
首先,针对车间生产过程关键要素进行数字孪生建模,包括物理实体要素和信息要素两类,其目的是将车间实体对象和生产过程中的相互关系进行数字化和模型化。物体实时要素孪生模型的构建需要对各物理对象的几何尺寸、物理机制、行为特性、位置信息以及车间布局对象间的交互关系进行简单明确的数字化表现。信息要素主要有车间各设备及人员状态信息、任务订单加工信息和调度决策信息等。车间信息建模需要确定统一的语言、格式和标准,对不同系统不同类型的信息建立标准化的描述模型,从而使信息在车间系统内能够交互共享。
由于车间中生产设备种类繁多,信息源复杂,设备间接口和通讯协议各不相同,车间实时状态不断变化,同时车间其他业务系统同步运行,业务数据不断更新,使得车间信息的动态感知和集成共享变得异常复杂。本文建立了车间多源异构信息的感知集成系统,实现车间设备状态信息的实时感知,以及数字孪生与其他信息系统间的数据交互传输,为车间生产过程的数字孪生提供信息载体。
最终,经过集成处理,对车间系统生产信息进行有效管理,对数据进行优化处理,在虚拟车间对底层车间信息进行可视化显示,使得车间的加工状态信息更加透明化。设计良好的人机交互功能,实现在虚拟端对车间加工过程的可视化运维监控。
综上所述,所设计的智能车间数字孪生系统架构可以对生产业务全流程实现虚拟化和集成化的有效运营管理,为管理层指导车间生产以及解决车间问题提供了全面的数据基础和可靠的分析模式。
几何模型是物理车间在虚拟车间中高保真的体现。如图2 所示,本文利用地面三维激光扫描技术采集物理设备及场景的点云数据,处理点云数据得到精准的轮廓模型;利用三维建模工具对初始模型进行轻量化处理;结合特征提取、网格拟合等技术进行模型表面优化;利用灯光烘焙、场景渲染等技术对场景进行显示优化。
图2 三维场景搭建过程Fig.2 Process of 3D scene construction
由于遮挡的原因,从某一角度得到的点云数据是不完整的。利用点云编码器对输入点云进行特征扩展,点云编码器可以学习输入点云的全局特征,最终得到缺失部分已经补齐的点云。本文选择推土距离(Earth mover’s distance,EMD)[13-14]作为损失函数来评估补全生成的点云与真实点云的近似程度。
然而,点云数据缺少拓扑信息、领域信息,不适合渲染以及后期模型优化。本文采用泊松曲面重构(Poisson surface reconstruction,PSR)算法来获取适合渲染的Mesh 网格数据:M=(V,E,F),其中V表示点,E表示边,F表示面。首先计算目标隐式函数F(x),使得F(x)在每个P点处的梯度值为该点的法向量V,同时取散度,得到Poisson 方程
将F(x)用adaptive octree 表示,应用marching cube 提取函数的等值面,如图3 所示,得到的Mesh网格数据含有拓扑信息、领域信息,为模型的轻量化、纹理渲染优化等步骤提供了基础。
图3 三维模型重建过程Fig.3 Process of 3D model reconstruction
对象链接与嵌入的过程控制统一架构(Object linking and embedding for process control unified architecture,OPC UA)作为统一传输协议,是构建面向数字孪生的数据集成,保证数据融合和高效有序传输,实现信息模型和虚拟模型相统一的核心。基于OPC UA 的数据通信模式如图4 所示,服务器与客户端之间通过网络建立数据通信接口,其中服务器主要面向设备层面,实现设备各类数据的采集和集中管理,而客户端面向软件层面,通过数字孪生平台,将实体世界的信息与虚拟世界的信息进行获取和融合。
图4 OPC UA 通信模式Fig.4 OPC UA communication mode
根据数字孪生车间中的物理信息融合的思想,将车间信息整体模型划分为5 类信息概念模型,分别是:
(1)设备信息概念模型(Device-Inf)
式中:DBasicInf为设备基本状态信息;DStatusInf为设备运行状态信息;DTaskInf为设备当前加工任务信息;DCapabilityInf为设备加工能力信息;DFaultInf为设备报警信息;DToolingInf为设备工装夹具等信息。
(2)人员信息概念模型(Person-Inf)
式中:PBasicInf为人员基本信息;PStatusInf为人员状态信息;PTaskInf为人员当前任务信息;PCapabilityInf为人员专业技能信息;PCompleteInf为员工完成工作信息;PAttendan-ceInf为人员出勤信息。
(3)物料信息概念模型(Material-Inf)
式中:MBasicInf为物料基本信息;MStatusInf为物料当前状态信息;MStockInf为物料库存信息;MAbnormalInf为物料异常信息。
(4)环境信息概念模型(Environment-Inf)
式中:EBasicInf为车间环境基本信息;EPollutionInf为车间环境污染指数信息。
(5)订单任务信息概念模型(Task-Inf)
式中:TBasicInf为订单任务基本信息;TStatusInf为订单任务当前状态信息;TTypeInf为订单任务类型信息;TPro-gressInf为订单任务进度信息;TAbnormalInf为订单任务异常信息;TCraftInf为订单任务工艺信息。
这5 类信息概念模型与整体模型之间都属于局域与整体的关系(Part-of),建立如图5 所示的面向数字孪生车间的OPC UA 信息模型。
上述信息模型需要依据车间实时生产状况进行实例化才能应用到数字孪生系统中。首先按照采集数据实例化若干Device-Inf 对象、Person-Inf 对象、Material-Inf 对象、Environment-Inf 对象,以表示车间的全部生产要素;然后根据车间中的任务、计划,实例出若干Task-Inf 对象,从而实现对车间中任务的描述。
图5 车间数据模型Fig.5 Workshop data model
在数据模型的基础上,伴随着实际车间不断地执行满足客户需求的制造任务,车间现场数据不断更新与变化。为了保证对车间中实时生产活动的精确刻画,以及实现车间内制造资源间的有效协同,需要实现物理车间与虚拟车间的实时融合。孪生技术用于建立物理设备与数字模型之间的通信通道,建立数据与模型之间的映射规则,物理车间发送数据来更新同步其虚拟模型。而这种同步交互通常由事件[15]控制,在物理车间中发生的事件,可以通过实时发布/订阅规则自主反映在虚拟车间中。
(1)数据采集
主要针对工业现场大量原始数据进行准确、实时的采集,为数据集成阶段提供数据源。针对典型数据采集场景,其结构化数据可以采用射频识别(Radio frequency identification,RFI)、传感器、控制系统自身接口等传统数据采集方法;非结构化数据为满足更加实时性、精确性的采集要求,需利用脚本语言,开发专用的数据采集与监视控制(Supervisory control and data acquisition,SCADA)系统,兼容多种数据传输协议。
(2)信息集成
针对现场采集到海量制造数据,以及工厂其他业务系统的历史数据,数据集成主要实现数据的存储、清洗、转换和降维等预处理操作以及构建海量关联数据库。如图6 所示,通过整合来自多个数据源的数据,屏蔽多源异构数据的来源复杂、结构异构问题,实现数据的统一存储、管理和分析,实现用户无差别访问,充分发挥数据的价值。
图6 多源异构数据集成Fig.6 Integration of multi-source heterogeneous data
(3)虚实映射
通过上述数据采集、信息集成模块获得的统一规范的数据,对虚拟模型的自定义属性绑定对应的数据接口,将模型与数据关联起来。同时孪生模型的“物理”“行为”“逻辑”需在“几何模型”中进行体现、关联与集成,达到物理车间与虚拟车间的初步融合。
(4)数据匹配
为了实现进一步的虚实深度融合,设计基于匹配树的虚-实数据订阅传输模式,实现虚实空间的动态映射,主要包括事件、约束和订阅条件。例如,对于一个订阅条件中的任意约束,响应的事件中至少存在一个属性与该约束条件相匹配,则称该响应事件与设定的订阅条件达到一致匹配。一旦匹配成功,孪生模型就会解析接受到的数据并反映相对应的行为动作。具体流程如图7 所示。
图7 基于匹配树的虚实映射数据快速匹配流程Fig.7 Fast matching process of virtual-real mapping data based on matching tree
基于上述的数据采集、数据集成和数据匹配等,可以通过数字孪生实时呈现设备运行状态以及生产进度状态,并对故障信息进行实时推送,实现物理车间与虚拟车间的数据同步。
某发动机产品机加车间具有业务订单繁琐、返工报废情况多等特点,传统的业务系统无法满足实时监控的需求,导致管理人员很难掌握实际生产进程,无法及时应对故障的发生,严重影响和制约了企业的生产效率。为了满足实时监控的需求,在机加现场配置了各式各样的数据采集设备,实时采集现场多源异构数据,并基于本文提出的系统架构及关键技术,开发了一套面向生产过程的数字孪生车间可视化监控系统,该系统结合软件WPS 的高阶数据、MES 的实时生产数据、设备实时状态数据,通过数字孪生平台更直观地呈现车间的生产状态,使车间更加透明,方便各级组织人员都能实时快速地掌握车间生产情况,实现了车间的精准管控。
本系统依据车间生产情况,首先采用Jason 语言格式对各类数据建立了角色类库、属性以及实例层次模型。依据数据模型,将机床和传感器数据,使用KepOPC 软件形成OPC UA 服务端;对于企业系统软件ERP、MES 和SCADA 等,只需要外部服务器直接访问预先设置好的数据接口。本文采用Spring Boot 框架下的RabbitMQ 消息队列实现数据的封装及传输,最终形成完整的数据流链接,如图8 所示。
图8 数据流Fig.8 Data stream
同时,虚拟车间利用地面三维激光扫描设备从物理车间中采集点云数据,对初始的点云模型进行轻量化处理,采用3dsMax 等三维建模软件对拆分的各个设备点云模型进行网格化处理,得到车间设备的外形轮廓模型,通过高分辨率影像对各个设备的细节结构进行建模,通过FBX 格式将模型导入数字孪生渲染平台;采用C#语言,建立模型的标准属性与行为规则,最终封装成为模型库,根据物理车间的实际布局信息快速构建孪生场景,如图9所示。
图9 标准属性与行为规则Fig.9 Standard attributes and behavior rules
车间的运行情况可以通过系统进行实时监控,而且系统可以部署在电脑或个人移动端,便于车间的各级管理人员实时查看车间状态。通过构建数字孪生驱动的孪生车间来达到图10 显示的实体空间和虚拟空间一一映射的效果,利用“车间漫游”的方式可以足不出屋就能实时掌握车间每个设备、每个工位的运行状态及加工任务,而且通过集成、分析各应用系统的信息和设备信息,通过数字孪生平台进行统一展示,以测试数据为案例,如图11 所示,可以将车间关注的人事、生产、质量和成本等业务详细呈现,避免各应用系统间数据管理混乱,出现数据容易,管理数据难的情况。
在基于数字孪生的全局数据基础之上,本系统进一步实现了一体化企业数字运营管控模式。各类主题分别集成了WPS 的高阶数据,如图12 所示,以某一时间段内测试数据为例,经常性出现成本高于上限值的情况,为成本优化提供依据,结合产品的价值流分析综合考虑相关成本的潜在问题,有效指导车间改善生产成本。
通过数字孪生平台的部署和实施,一方面实现了物理车间的数字化呈现,通过监控虚拟车间可以掌握实际车间的生产情况,调度员、计划员和班组长等各类角色可以随时查看关注自己所需信息,不用到处查、到处问,节约了大量的人力、时间,另一方面通过多业务系统数据的集成和呈现,可以全业务流程数据地贯穿管理和统一展示,管理层可以实时掌握车间真实状态并有效指导车间的管理优化及故障处理。
图10 车间可视化监控界面Fig.10 Visual monitoring interface of workshop
图11 车间数据分析界面(测试数据)Fig.11 Data analysis interface of workshop (test data)
图12 车间一体化管理界面(测试数据)Fig.12 Integrated management interface of workshop (test data)
随着制造企业各种设备种类不断增加、生产业务更加复杂的情况,如何对车间的各类设备及业务过程进行实时监控成为亟待解决的难题,本文通过构建面向生产过程的智能车间数字孪生系统体系架构,采用基于点云拟合的三维几何模型构建方法、面向数据交互的OPC UA 信息建模方法、多源异构数据集成及虚实映射数据快速匹配3种关键技术,部署实施了一个数字孪生可视化监控平台并通过在企业实际应用验证其效果,实现了车间业务的可视化实时监控,为车间各项业务的有效管控提供了更为便捷的途径,促进了数字孪生技术在制造企业的落地应用。但是数字孪生技术涉及到与大数据、物联网和5G 等多学科的融合,后续将通过挖掘生产业务中海量数据的关联关系,为数字孪生环境下实现生产业务的预测和诊断提供支撑。