基于数字孪生的生产状态可视化平台开发*

李 显,王德权,张 南

(1.大连工业大学机械工程与自动化学院,大连 116034;2.辽宁对外经贸学院大数据研究院,大连 116000)

0 引言

数字孪生技术作为物理世界数字化、虚拟化的重要技术,是实现物理信息有效融合、促进数字化转型、促进智能化升级的重要途径。各学者也在积极研究数字孪生技术在各行各业的具体应用场景,智能制造作为中国制造业未来发展的主攻方向,数字孪生技术也被应用在智能制造的各场景中。可视化技术作为数字孪生技术在工业智能制造领域重要落脚点之一,大量的研究对数字孪生模型构建、生产过程数据采集、生产可视化等问题,进行了研究与总结。

张南等[1]以数字孪生理论模型为基础提出了数字孪生车间作业监控以及可视化方法,并对系统的关键技术进行了研究,最终以生产车间为应用对象,验证了系统的有效性。方圆等[2]针对典型的航空产品装配生产线设备实时运行状态监控程度低等问题,提出了一种基于数字孪生的加工设备运行状态监控方法。杜莹莹等[3]为实现对工业机器人的透明、实时可视化监控,提出了一种基于数字孪生的工业机器人三维可视化监控系统。并开发了原型系统进行验证,证明了所提出系统的可行性和有效性。王德权[4]为实现从数据获取到数据应用的全流程管理,自主研发基Web的数字孪生的虚拟数字化工厂平台,为国内首创,实现企业全流程智能化。段明皞等[5]为实现发动机装配车间全要素、全过程、全业务数据监控,提出了数字孪生驱动的发动机装配车间数据监控方法。张南等[6]从离散制造业企业的实际需求出发,提出了生产过程实时管控系统的功能体系,在此体系下,实现了多种因素制约的生产计划动态制定。

综上所述,上述各个研究为实现生产状态的可视化提供了多维度多角度的理论基础,但是为实现产线实时数字孪生并融合图表可视化这一方向仍缺少一个可实施的具体系统架构。因此本文在对数字孪生技术研究的基上结合计算机图形学技术提出了一种基于B/S架构、多源异构数据融合的数字孪生虚拟模型及数据驱动图表的生产状态可视化平台(digital twin virtual model and data-driven chart production status visualization platform,DT/DC-VP),DT/DC-VP平台融合数据集成分析技术、实时通讯技术、虚拟模型可视化技术、图表可视化技术。

在本平台体系架构的指导下能够快速为制造业生产车间构建包含数字孪生可视化和数据图表可视化的监控方案,数字孪生可视化提供了更为全面、细致、沉浸感更强的三维虚拟实时监控方案,数据图表可视化使得将不可见的生产数据以一种更加清晰、直观的方式表达出来。整个可视化效果具有直观性、交互性、实时性的特点,使得生产状态和生产信息实时、稳定、高效、精准的呈现,提高了制造业生产车间的数字化、智能化水平,对制造业车间的监控和指导生产具有重要的意义。

1 DT/DC-VP体系架构及功能

1.1 平台体系架构

为了实现数字孪生的效果,以及生产实际可视化需求。要确保数据以较快的速度、稳定的传输通道从采集到应用,DT/DC-VP相较于其他可视化系统提出了全新的体系架构即:物理层、数据层、实时驱动层、服务层。物理层又分为控制执行和感知识别两大部分,是实际生产设备、感知识别设备的集合,是数据采集的重要源头,也是数字孪生虚拟映射的本源;数据层是用于分析处理数字孪生可视化所有数据源逻辑的集合;实时驱动层是用于实时数据驱动数字孪生模型运动以及图表可视化更新实时驱动逻辑层。服务层主要是数字孪生可视化页面中的数字孪生可视化以及图标可视化显示层。DT/DC-VP体系架构如图1所示。

图1 DT/DC-VP体系架构

1.2 系统功能

根据DT/DC-VP体系架构以及制造业生产特点和实际业务需求出发,将DT/DC-VP的功能划分如图2所示。

图2 DT/DC-VP体系功能

(1)设备生产状态可视化:将物理空间的设备运行状态、产品加工状态、机器人运动姿态等实时可视化映射到DT/DC-VP平台的虚拟设备,做到虚实设备运动、加工状态同步。

(2)生产信息图表可视化:本平台可视化不仅仅是数字孪生虚拟模型的可视化,还可以通过DT/DC-VP体系架中的数据层将来自MES、ERP、WMS等系统的生产信息、订单信息、故障信息、产量信息等进行集成并分析处理,通过丰富的图表类型将这些数据实时、清晰、有效的传达出来。

(3)多源异构数据集成:可视化使用到的数据源具有多源性和异构性,对于多源性本平台主要将数据源划分为状态数据和生产数据,状态数据即这些数据具有实时性,主要通过数据采集软件将状态数据统一处理后实时发送并驱动数字孪生模型以及图表。生产数据可以来自企业的ERP系统、MES系统、WMS系统也可以来自数据采集后需要存储以及分析的数据,这些数据本平台可以通过多接口,多格式进行收集并处理对必要的数据进行实时发送和数据库存储。

(4)实时数据高性能传输:数字孪生意在虚拟空间和物理空间实时同步映射,这对数据的传输实时性、稳定性有很大的要求。DT/DC-VP使用简单、稳定、开放、轻量级易于实现的MQTT消息协议,并将需要大量数据驱动的模型运动提前在数字孪生软件规划好绑定到一个信号的形式并导出相关运动配置文件,最后通过简单的信号驱动平台去读取已有的运动文件再去驱动虚拟模型运动降低了需要网络传输的数据量,最终保证了数据高效、稳定的实时传输。

(5) 跨平台设备访问:数字孪生可视化场景大多数需要较高配置的硬件和复杂的软件环境,这对于数字孪生可视化的展示是很大限制。本平台采用B/S架构,三维场景渲染采用基于WebGL的Three.js三维图形渲染引擎、可视化图表采用ECharts开源可视化库,结合前端的VUE、HTML、JavaScript、CSS实现了基于Web的数字孪生可视化,用户可以在任何有浏览器的设备上输入预先发布好的可视化网站的网址即可访问本平台的数字孪生可视化页面。

2 DT/DC-VP的实现

为实现准确、实时、高效的将生产过程中的设备加工状态、产线运行状态、生产信息清晰地可视化呈现,DT/DC-VP将通过多源异构数据采集、虚拟孪生场景构建、数字孪生前端可视化构建3个方面进行实时映射可视化的实现。

2.1 多源异构数据采集

DT/DC-VP所需要的数据源来源众多,需要硬件以及各软件的支撑。其所需数据源具有多源头、多结构的特征,本平台根据数字孪生可视化以及实际企业需求,提出了数字孪生可视化多源异构数据采集架构如图3所示,数字孪生可视化多源异构数据采集架构将数字孪生可视化平台的数据分为状态数据采集以及生产数据采集两大部分,这两大部分都有多源异构数据处理中心进行采集处理以及存储,将各种数据融合,解决可视化信息孤岛问题。

图3 多源异构数据采集架构

(1)状态数据采集:对于关键数字孪生设备需要运行时满足全面的实时感知要求,所以要从多维度多角度去对运行的状态数据进行采集。对于设备运行状态、传送带运动、安全门的开关、上下料等信息通过数据采集程序对PLC以及生产设备预留的接口进行采集处理分析并存储。对于工件到位状态、设备电流、工件运行速度、加工温度湿度等数据通过数据采集软件对光电传感器、电流传感器、速度传感器、温度传感器等物联传感器预留的接口进行统一采集处理并存储。对于机器人数据采集部分,主要划分为静态数据采集以及动态数据采集两大部分。静态数据采集几何形状、尺寸、位置布局等,动态数据是工业机器人在作业中是产生的数据,是实现数字孪生的关键部分,动态数据采集主要分为工业机器人各轴的速度、加速度、位置和力矩。动态数据主要通过传感器采集,通过RS485总线传输,传输频率为500 Hz[3]。

(2)生产数据采集:生产数据主要是生产信息,例如产线的订单信息、生产计划产量信息、生产节拍、OEE信息、SPC、生产节拍、故障信息、报警信息等。这部分信息主要来自企业的ERP系统、MES系统、WMS系统也可以来自数据采集后需要存储以及分析的数据,这些数据本平台可以通过对接其他的系统预留的接口进行收集并处理。

本平台设计了一种基于JSON的多源异构数据集成算法,将以上两种类型的数据处为JSON格式后实时驱动可视化模型以及图表并将必要的数据存储在数据库中。

2.2 虚拟孪生场景构建

这部分主要是对DT/DC-VP的数字孪生场景实时驱动可视化构建处理工作。主要流程分为模型预处理、孪生场景构建、设备运动学定义、工艺规划与信号绑定4部分,流程如图4所示。

图4 虚拟孪生场景构建流程图

(1)模型预处理:将整个数字孪生场景的原始模型进行模型处理,原始模型格式可以是dae、drc、glb、gltf、obj、stl等各种格式的三维模型文件,统一通过Blender平台对模型进行:模型树层级、父子级结构调整,主要是调整模型与模型、场景之间的关系以及单独设备模型自身各部位的从属和层次关系,使模型更有组织性、层次性,提高后续开发、维护的效率;模型轻量化,删除不必要的碎片化模型、使用LOD技术降低模型复杂度、几何尺寸一样的模型使用实例化技术优化等,优化整个场景的加载和渲染的速度;场景布局预处理,根据CAD场景布局图,对各设备模型的位置朝向进行大概的预布局,方便后续在平台内进行场景布局规划。最终将处理好的整个场景的模型导出为GLB或GLTF格式的文件,这两种格式的文件能够最大程度保留模型处理后的细节,方便后续加载和渲染。

(2)孪生场景构建:将处理好的模型文件导入到自主研发的数字化工厂设计软件(MesWork Data Factory)平台,构建和生产车间相对应的孪生虚拟场景。主要分为3步:第1步根据现场或规划的设备布局图,将处理好的GLB或GLTF格式的模型文件导入到场景中,对设备模型的大小、位置、布局进行调整,包括设备模型的位置、朝向、角度等最终达到模型位置与现场设备位置完全一致。第2步调整虚拟场景的相机参数,为了更好的将数字孪生场景呈现,应该调整场景相机的参数使整个场景生产的动作最优的呈现在画面中,必要时会保存多个相机参数用于相机视角跳转,用于展示布局加工生产细节。第3步对虚拟场景添加光源,可以添加环境光、平行光、点光源等,使设备的材质和光源作用,提高整个场景的可见性、增强设备材质的质感、提升孪生虚拟车间的逼真度。

(3)设备运动学定义:运动学定义是指使用MesWork Data Factory平台的运动学编辑器对原本的设备模型添加和现实中一样的运动属性,这里的运动学属性主要有连杆(link)、关节(joint)、姿态(pose)等。在模型资源树中选中需要增加运动属性的设备模型,然后选择运动学编辑器,然后选择需要添加的运动属性和各部分的关系,最终将创建好的运动学信息保存到模型中以备后续数字孪生可视化使用。

(4)工艺规划与信号绑定:当模型的运动学定义完成后,就要对整个生产工艺进行仿真,将整个生产过程中的设备动作进行工艺规划,定义各设备不同时序下的具体动作,赋予设备工艺属性。例如机器人抓取零件的路径、时间规划,传输设备传输动作的起始点、时间、速度,转台转动的角度、起始位置、角速度等,工艺规划的类型主要有机器人工艺、设备工艺、线性流工艺3种类型。当各设备的工艺都规划好后,对每个设备工艺动作进行时序排序,以单个工艺为节点,将所有工艺按时间的先后顺序放入时序编辑器中,调整时序编辑器各工艺的开始时间使得和实际生产的动作节拍一致。然后对每个工艺进行具体信号绑定,最终导出数字孪生前端可视化所用的工艺文件(用于控制设备运动逻辑)以及信号表(用于控制各工艺的开始节点)。

2.3 数字孪生前端可视化构建

为了更好的将可视化效果呈现以及考虑到跨设备访问、可视化场景易展示性,本DT/DC-VP将最终的可视化呈现部分通过前端工程展现,前端的可视化系统整体架构选用了能够满足需快速响应高性能的基于数据驱动的前端框架VUE。主要是分为数字孪生模型可视化场景实时驱动呈现、数字孪生数据图表可视化两部分。

(1)数字孪生模型可视化:虚拟孪生场景的渲染选用了功能丰富、扩展性强、速度更快的Three.js前端3D库。将数字孪生场景中的所有模型导入到前端项目中,通过THREE.JS的GLTFLODER模型加载器将模型加载到前端可视化的场景中,将MesWork Data Factory导出的场景配置文件、工艺文件、信号表导入到可视化项目中并解析。通过MQTT实时通讯协议发送和接受实时驱动信号或者实时运动数据,当前端数字孪生场景接收到了相对应的驱动信号时,对会去信号表中解析找到对应的工艺信息,根据工艺信息在工艺文件中解析出与之匹配的工艺配置数据从而驱动虚拟模型运动,达到数字孪生的效果。

(2)图表可视化:图表可视化选用了更具直观性,交互丰富,可高度个性化定制的数据可视化图表开源库Echarts,图表可视化主要是通过MQTT实时通讯协议接收所需要可视化的生产数据,将接收到的实时生产数据通过Echarts图表可视化库转化为柱状图、饼图、南丁格尔玫瑰图、折线图、仪表盘等图表。通过可视化将源生产数据映射为图形化的可视化结果,对生产数据进行了直观解释,帮助工人更有效地从数据中发现其表达地信息。

3 DT/DC-VP的应用

通过DT/DC-VP开发的生产线可视化系统经过多源异构数据采集将各种信息同格式融合,实现了高效实时展现生产线的工作的状态、设备运行状态、生产率、产量、节拍等信息。目前通过该平台开发的某焊接示范线实际生产现场数字孪生可视化系统可实时展示4台机器人实时运动状态、3台夹具工作状态以及生产数据图表可视化信息。

(1)多源异构数据采集:该可视化场景通过多源数据采集架构,采集到了4台机器人动态数据以及3台夹具的实时状态数据。机器人为ABB工业六轴机器人,主要通过服务端与机器人分别创建一个Socket对象,通过监听连接请求建立通讯,从而采集机器人的6个轴的速度、加速度、位置、力矩等,使用Socket能够保证数据的稳定、可靠、不重复、不丢失、按序到达。3台夹具动态数据采集依然采用Socket协议,主要是采集夹具的开合、转角、角速度、位置信息等。最后将采集到的数据统一处理为Json格式的数据,将处理后的数据通过MQTT协议发送给前端可视化系统用于驱动模型运动,同时将数据保存到数据库,方便后续通过数据库存放的加工历史数据实现孪生加工场景重现。通过连接现场MES系统采集到了包括焊接产线的生产计划、产量、节拍、设备故障、报警、生产可动率等生产数据。

(2)焊接线虚拟场景搭建:根据现场设备布局图(如图5所示)通过MesWork Data Factory平台对整个焊接线的虚拟场景进行了孪生场景构建:设备位置布局规划、运动学定义、工艺时序规划与信号绑定并最终导出了该焊接示范线的数字孪生前端可视化场景所需的工艺文件和信号表。

图5 焊接示范线现场布局图

(3)前端可视化系统构建:前端可视化系统以VUE为主框架再构建数据驱动式框架下,引入3D库Three.js和图表可视化库Echarts。并且在前端项目中引入MQTT通讯协议,接受实时机器人、转台、夹具状态数据和生产计划、产量、节拍、设备故障、报警、生产可动率等生产数据,分别用于驱动焊接生产线虚拟孪生场景模型运动和图表可视化展示。

该可视化场景已顺利在生产现场实施,最终的可视化页面支持多种平台访问,支持PC、手机、平板电脑等多种终端实时同步访问。大大提高了现场的数字化、智能化水平、使生产过程更加透明,做到了产线的全要素、全方位的实时监控以及可视化。

4 结束语

DT/DC-VP通过数字孪生技术,将多源异构数据进行有效采集以及融合,通过自主研发的MesWork Data Factory平台将数字孪生模型进行模型预处理、场景布局规划、运动学定义仿真、工艺规划与信号绑定并导出对应的场景,最终通过Three.js、MQTT、VUE、Echarts、JavaScript前端技术构建可跨平台的数字孪生可视化页面。

通过DT/DC-VP平台能够快速构建生产线的生产状态各要素、各工艺、各信息数据的可视化页面,所构建的实时可视化系统展现的信息更全面、设备生产状态更细致、生产数据表达更清晰直观,实现了生产状态实时、稳定、高效、精准的可视化效果。提升了企业的数字化水平,赋能传统制造业提升产品全生命周期管理效率,助力提高制造业生产过程监控管理效率,存在重大的意义。