基于数字孪生的智能生产现场管控系统

2024-11-01 00:00:00王宁刘宁蔡鹏方海旺黄金明王婧瑶
科技资讯 2024年17期

摘要:数字孪生可以如实地反映相应的物理实体,模拟其物理对应物的特征、行为、生活和性能,是实现物理世界和信息世界的交互、融合,以及智能化的桥梁。为满足生产现场管控要求,引入数字孪生技术,建立了基于数字孪生的智能生产现场管控系统框架,并从物理实体的实时数据获取、基于混合/虚拟现实的自由巡检、数字孪生人机协同智能管控3个方面对数字孪生智能生产现场管控的数据获取、可视化监管以及协同响应等关键功能进行详细阐述。

关键词:数字孪生生产现场管控混合现实虚拟现实人机协同

中图分类号:F406.2文献标识码:A

IntelligentProductionSiteControlSystemBasedonDigitalTwin

WANGNingLIUNing*CAIPengFANGHaiwangHUANGJinming

WANGJingyao

ChinaTobaccoHubeiIndustrialCo.,Ltd.,HuanggangCity,HubeiProvince,438000China

Abstract:DigitalTwincanfaithfullyreflectthecorrespondingphysicalentitiesandsimulatethecharacteristics,behaviors,life,andperformanceoftheirphysicalcounterparts,andserveasabridgetoachieveinteraction,integration,andintelligencebetweenthephysicalandinformationworlds.Inordertomeettherequirementsofproductionsitecontrol,itestablishesaframeworkofintelligentproductionsitecontrolsystembasedonDigitalTwintechnology,andelaboratesthekeyfunctionsofthesystemfromthreedirections:real-timedataacquisitionofphysicalentities,freeinspectionbasedonMixedReality/VirtualReality,andDigitalTwinhuman-machinecooperationintelligentmanagementandcontrol.

KeyWords:DigitalTwin;Productionsitecontrol;MixedReality(MR);VirtualReality(VR);Human-machinecooperation

近年来,第四次工业革命(即信息技术与工业生产的集成)正在改变工业,各国也提出了智能制造发展战略,如德国工业4.0[1]、美国工业互联网[2]以及中国制造2025[3]等。虽然各国智能制造战略都是结合自身国情与背景各有不同,但是始终围绕着解决实践过程中的一个重要的瓶颈问题,即实现实际环境和虚拟环境的交互、融合以及智能化。

生产现场的管控包含着对生产现场人员、器械等生产要素的管理与控制,决定了生产过程的效率与安全。尽管现在很多公司对产品生产线进行了智能化、无人化和数字化的改造升级,实现了自动化产线监控和健康管理[4],然而应用数字化车间[5]、生产线仿真[6]等技术方案的研究大多聚焦解决车间布局规划和生产线优化等问题,较少考虑生产现场的管控问题。现有的材料生产管控主要通过人手动观察对车间环境内的物品排列、人员行为和环境状况进行管理,但是这种管理方式存在工作时长高、生产效率低和难以统计分析等问题。给员工带来额外的工作负担和抵触情绪。同时,随着门店规模与范围扩大,生产量和巡视任务增加,会造成工件定置率、巡检满足率和响应及时性无法达到承诺水平的问题。因此急需精细化、透明化、智能化的生产现场管控解决方案。

1数字孪生体系研究现状

数字孪生的概念自2003年由GrievesM教授[7]提出以来,国内外学者对于数字孪生应用于生产车间的管控进行了深入研究。FULLERA[8]等人、TAOF[9]等人探讨了数字孪生概念,分析了数字孪生在工业中的应用的研究现状与挑战。TAOF等人[10]、陶飞等人[11]、QIQ[12]等提出了数字孪生车间的概念模式,从数字孪生理论出发,设计了数字孪生车间架构,分析了其运行模式与关键技术,并将系统分成物理层、模型层、数据层、服务层这4个主要层次进行了理论上的深入探索,提供了数字孪生的常用技术与工具。刘义等人[13]研究了基于数字孪生的智能车间管控设计了基于数字孪生智能车间的体系架构,提出了实时汇数据、智能找问题、精准做决策的生产管控设计理念,提高了管理与决策效率。

对于孪生数据的可视化方式,吴鹏兴等人[14]提出了一种基于数字孪生的离散制造车间可视化实时监控方法,并通过搭建基于数字孪生的离散制造车间达到可以实时可视化监控的方法体系架构,通过三维场景可视化车间状态与分析数据。赖传可等人[15]在船舶的数字孪生运维系统上采用了虚拟现实(VirtualReality,VR)技术并进行了深入的研究,通过对船舶的数据进行采集从而驱动虚拟船舶。实验结果证明应用虚拟现实技术后,该船舶系统的数据预测功能得到提升。

对于数字孪生的交互与协作,ROSEN等人[16]认为数字孪生系统可根据物理空间的实时变化对实际的生产空间作出改变。VACHALEK等人[17]认为数字孪生可以基于虚实空间的实时交互,更快地响应制造生产过程中的各种变化。

综上所述,国内外学者围绕基于数字孪生理论,对于生产车间的构建与管理等方面进行了深入研究,取得了很多有意义的成果,但目前仍存在以下不足:(1)目前的研究大多围绕着生产过程的管控,现在还没有针对性的生产现场管控的数字孪生框架,也仍然缺乏具体的实施方案;(2)目前的数字孪生系统中的数据显示往往是以数值分析为基础的图表分析,并主要通过电子看板显示,可视化显示不够直观,人机交互不自然,难以满足对现场情况的多层次,多细节展示上的自由巡检;(3)目前研究主要集中在物理现场到虚拟现场的映射,因此主要集中在“监测”与“管理”,而缺乏对现场的“控制”的研究;(4)现有数字孪生系统的目标聚焦在生产设备、生产场景的零部件管控上,而往往忽略了人的执行能力。

本文针对以上研究中的问题,提出了一种数字孪生生产现场智能管理系统总体架构和人机协同的智能管控的方法,构建了基于MR/VR的多层次虚拟巡检场景,实现生产现成设备的实时数据采集,MR/VR自由虚拟巡检,人机协同智能管控等要求。本文所开发的系统已进行应用验证,使生产现场设备定置率由75%提升至95%,减少了管控实体对象的放置错误,提高了管理效率与智能水平。

2智能现场管理数字孪生体系架构

本文提出的基于数字孪生的智能生产现场管控系统如图1所示,参考陶飞等人[10-11]的数字工厂的理论构架,系统由四大层级构成,分为物理世界层、孪生模型层、数据管理层,以及功能应用层。

2.1物理世界层

物理世界层是生产现场的主体,是生产现场“人、机、物、环”上所需管理控制实体的总和,具体包括生产现场工作人员,机床与加工设备,各种生产材料、运输、清洁、安全相关物品、环境相关数据等。除此之外,还有构建物联网的相关感知设备如射频识别读写器、超宽带(UltraWideBand,UWB)定位器、工业监控相机、可编程逻辑控制器(ProgrammableLogicController,PLC)以及通信器。最后,还具有远程控制功能的设备,如自动导引运输车(AutomatedGuidedVehicle,AGV)等。这些实体有机结合,承担了它们本身的功能、数据收集以及执行的管理活动。

2.2孪生模型层

孪生模型层是物理世界层的虚拟映射,所有需要管控的实体在孪生模型层中都具有它的数字对应,是现场实体几何、位置等特征、状态的真实写照,整个孪生模型层中的数字模型相互关联、协作,对物理世界层中进行的各种行为(如人员移动、物料搬运等)进行实时的反映。而生产现场管控主要关注人员、设备、环境的实时状态,因此系统着重这部分的数字孪生映射。

2.3数据管理层

数据管理层是生产工作中管控数据储存、交互、传输的中心。包含模型数据库、视觉识别等算法数据库、执行规则库等。数据管理层所管理的数据具有来源多、种类多样、差异大、数据量大等特点,依靠数据管理层的分析处理,这些数据会被进行筛选,留下可用数据作为管控生产现场的抉择依据。数据管理层是物理世界层与孪生模型层的数据桥梁,是融合互联、管理控制的关键。

2.4功能应用层

功能应用层是面向用户所需的功能应用的。通过VR技术实现用户在孪生模型构成的虚拟世界中的自由巡检,通过虚实映射过程中的数据采集,实现生产现场的状态分析,如设备、物体定置率,设备运行、充电状态,并支持管理人员根据生产现场状态进行决策控制,通知人员协同执行设备完成决策的执行。

综上所述,基于数字孪生的生产现场智能管控系统可以对人员、设备、环境实现虚拟化和互联化的数字孪生集成,这种新的生产现场管控模式为车间的管理人员提供了高效的管控、巡检、决策、交互,并将人员与设备联合起来,快速针对决策进行响应。

3物理数据获取

3.1多源异构数据采集网络

车间内的传感器设备种类和所接收到的数据类型存在大量差异,且接口传输协议也存在不同。针对此情况,该系统采用OPCUAServer作为生产现场数字孪生数据通信网络的核心。OPCUAServer支持跨平台操作,提供统一的地址空间和服务,与数字孪生数据采集任务相契合[18-19]。设备、传感器、工控机等则通过现场总线与PLC工控机连接。未连接PLC的设备,例如:智能通信器、AGV小车与RFID定位器等通过TCP/IP协议连接至工业以太网。

3.2实体数据采集

本系统主要针对人员、设备、环境等实体管控目标进行采集。

3.2.1管控人员定位信息采集

对人员信息的采集本文主要选用UWB定位器传感器来实现,其利用超宽带技术实现位置和距离测量。其原理基于发射非常短脉冲的电磁信号,并利用这些脉冲在空间中的传播特性来确定目标的位置。由于其优越的定位性能,近年来被应用于基于数字孪生的智能工厂中[20]。该方法主要由分布在生产现场的定位基站以及佩戴在人员身上的定位标签组成。

3.2.2管控实体定位信息采集

实体对象主要分为两类:一是精确设备,需要实时精确确定其所在位置;二是定置位置设备,只需要确定是否在所在位置。对于精确设备而言,需要根据所需精度水平,采用RFID定位器(米级定位精度)或者UWB定位器(厘米级定位精度)。虽然RFID定位精度较差,但是由于其可以准确的识别实体对象,且造价更加低廉,因此可以结合其他传感器来对不需要准确定位实时,而仅需知道是否归位的对象进行状态信息收集。对于定置位置设备,选用RFID定位器与霍尔传感器相结合的形式,其实现原理为首先通过RFID定位器确定设备,然后通过霍尔传感器确定设备是否在其定置位置。

对于传感器检测不到的特殊实体,则选用机器视觉识别的方法来解决。其采集思路为:识别这些实体的特征后,通过三维重建或直接调用已有的CAD模型进行特征采集,算法可以是Linemod[21]、Chamfer[22]、点云匹配[23]等,这些实体的CAD模型已经事先储存于数据管理层的数据库中,在每个区域内都调用相应的特殊数据库与算法库来对其区域中的实体进行定位识别数据的采集。

3.2.3环境信息采集

在生产车间的现场中,生产环境的数据采集是必不可少的,因为其数据量庞大的缘故,需要采用合适的方法优化采集,为解决这一问题,本系统采用了基于监控相机进行环境信息感知的方法。该方法根据设备的所在的定置区域分布对生产场景进行分割,实现分别采集。在该过程中监控相机不仅起到识别和定位的作用,还收集到了设备实时图像。每次设备进出定置区域时,监控相机都会记录并保留相关信息,以便进行设备使用时进行查找。

总体来说,本文利用OPCUAServer建立了多源异构数据采集网络,以实现数字孪生生产现场管理系统对现场关键数据的实时获取,包括人员定位信息、设备定位信息和环境信息。如表1所示,总结了不同类型实体对象的数据采集方法。

4基于混合/虚拟现实的自由巡检

从生产现场的可视化监控方式,经历了数据电子看板为主的二维数据图表、图形等的二维监控,到基于数字孪生的三维可视化监控的转变[24],然而这些三维数据的显示方式仍然是以二维显示器界面的形式展示,管理人员需要控制鼠标与方向键在这些虚拟模型中进行浏览,可视化效果不直观,交互不自然。VR的应用旨在模拟真实环境从而达到人机界面的作用,它提供了一种独特的交互方式。虚拟现实并不是一个单一的技术其更多的是一组技术,目的是通过计算机生成的虚拟环境,使用户能够沉浸其中并与之交互,以提供一种身临其境的体验。VR为用户提供了探索虚拟世界的机会,而且能够体验到在真实世界中不可能或不容易实现的事物和场景[25]。相较于二维显示器界面,虚拟现实技术所提供的沉浸感能够使生产现场的管理者更专注于巡检与管控任务。混合现实(MixedReality,MR)是一种融合了345552f245e65886e30a12c17fda0943虚拟现实(VR)和增强现实(AugmentedReality,AR)技术的新型交互体验。混合现实技术通过在真实世界中叠加虚拟对象,使用户可以在真实环境中与虚拟内容进行互动和交互。通过数字孪生技术,虚拟场景可以对物理场景进行实时的映射,然而虚拟场景对物理场景的映射取决于对现场数据的采集的对象的选择,因此无法全面地反映物理现场的所有状态,因此管控人员有时还需要在物理生产现场进行巡检,此时MR技术就为管控人员提供了数据可视化以及交互手段来支持管控。

c3400087c248d8b095cfabf1a8280cd74.1基于VR的生产现场自由巡检

VR应用到生产现场的关键问题是,如何建立一个实时反映真实场景的虚拟场景对应,使得管理者可以自由地巡检与交互。而数字孪生概念的出现正好切合了VR应用的需求,因此本文选用VR作为虚拟巡检时数字孪生模型设计的可视化方式。

巡检管控人员可以通过佩戴VR头戴式显示设备进入数字孪生虚拟场景中,并且可以通过预先写好的控制面板与当前的场景交互。在数字孪生的场景中预先设置转移点,转移点与设备管控定置区域相关,设置在区域附近方便管控,管控人员则可以在每个管控区域调用设备状态面板进行调整,观察该区域设备闲置或工作状态等信息,并实施管控操作,图2(a)为管控人员于某制造烟丝数字孪生虚拟车间中进行自由巡检来查询定置物体的实时情况;图2(b)为巡检人员在某叉车充电间的数字孪生车间中查询叉车状态的实时情况。

4.2基于MR的生产现场自由巡检

MR技术应用到生产现场的关键问题是解决虚拟场景与真实虚实注册。随着MR技术的逐渐发展,轻量、功能强大的ARHMD设备已经逐渐普及,这些设备普遍支持空间自定位功能,因此关键问题是如何设置虚拟场景与真实场景的融合基准。本文选择通过人工标记作为虚拟融合基准,这些人工标记在真实场景与虚拟场景中被设置为同一空间位置,因此每当使用ARHMD上的相机对这些标记进行扫描,ARHMD与标记的相对位置确定,同时确定ARHMD相较于真实与虚拟场景的相对位置,这样虚拟内容即可与真实场景精确重叠。

管控工作人员执行巡检时,通过佩戴ARHMD沉浸在数字孪生虚实融合现场场景中,通过手势实现与虚拟对象的交互。每到达一个管控区域,管控人员扫描区域所属的人工标记,完成虚实坐标系的统一与矫正。管控人员可以直接观察真实场景中,管控实物的状态,并可以手势交互调用区域设备状态面板,观察该区域实时与历史的管控实体定置率,各设备归位或去向、设备闲置或工作状态,并实施管控操作。

5数字孪生人机协同智能管控

所有数字孪生部件必须相互交互和协作,以解决复杂问题。数字孪生涉及3种交互协作:实对实、虚对虚和实对虚。(1)实对实交互,多个设备实体之间可以实现相互通信、协调的功能。(2)虚对虚交互,多个虚拟模型构成一个信息共享的网络。(3)实对虚交互,虚拟模型和实体之间可以相互控制调整,实现虚实互控并可以实时调整[9]。

实对虚交互所映射的是生产过程中管控中的“控制”能力,即“以虚控实”的能力。现有的数字孪生系统只注重于实对虚的控制,往往忽略到虚控实的能力[14]或者仅能够通过一些可控设备或机器人完成这种反馈控制。针对此问题本文提出一种基于人机协同的智能管控方法,如图3所示。

虚拟现场管理人员通过VRHMD在虚拟现场进行巡检,或者通过佩戴ARHMD在真实现场进行巡检,根据数字孪生场景与数据分析面板决策管理方式,如果是人为控制,则管理人员可以自由地发出控制指令;而如果是智能决策,指令则自动生成既定目标,如定置物体归位指令等。管控指令生成后,系统对管控指令进行分解,决定指令目标、对象、类型、位置等,通过三大原则来执行工作。(1)就近原则。采用与执行目标距离最近的可用执行者;(2)空闲原则。让空闲的执行者接手工作;(3)效率优先。在接到任务时,首先对执行目标进行判断,如果自动执行器能够独立完成任务,则交给该执行器,如果该执行器不能独立完成任务,则根据就近原则寻找最近执行人员协助工作,并自动生成相应的执行策略。真实现场任务相关的各执行端接收到执行指令的开始执行任务,按照指令顺序,人机协同的按照方案步骤完成控制指令内容。最后生产环境现场实时采集数据,并反馈到数字孪生虚拟场景中。

6实例验证

本文所述基于数字孪生的生产现场智能管控系统在生产现场进行落地应用验证。整个生产现场包括卷包车间卷包机组示范区域(有24类可移动物品115件可移动物)、制丝车间现场一区示范区域(有28类可移动物品102件可移动物体)内可移动物品、清洁室物品(有10类可移动物体,24件可移动物)、叉车充电间(有1类可移动物体,即叉车15辆)。主要解决生产现场物品定置问题,如图4所示为系统实际运行示意图。

生产现场管理水平的一个重要标准是物品定置率,表示已定置的物品与应定置物品数之比,它是衡量一个企业定置管理工作的定量指标,定置率(D)一般是通过个数定置率(Dg)来进行评价,假设已定置的物

品件数为Ng,应定置的物品件数为Mg,其计算公式分别为:

定置率的计算及考核方法包括两个步骤:首先,根据生产现场划分的管控区域,分别计算各区域内管控实物的个数定置率;其次,计算各区域个数定置率的平均值,并按如下标准进行考核:均值达到80%,视为合格;均值达到85%,视为良好;均值达到90%,视为优秀。

经过为期3个月的落地示范测试,现场管理水平有了极大的提升,物品定置率从原来的75%提升至95%,达到了优秀以上的水平,监管人员减少了90%,为提高生产现场的生产效率与管理水平提供了良好的应用前景。

7结论

数字孪生技术是实现物理世界和信息世界的交互、融合以及智能化的关键桥梁。本文通过引入数字孪生技术改善生产现场管控情况,提出了基于数字孪生的智能生产现场管控系统框架,并针对现在数字孪生应用于数字工厂研究中的不足与生产现场管控特点,从物理实体的实时数据获取、基于混合/虚拟现实的自由巡检、数字孪生人机协同智能管控三个方面改善了数字孪生车间的数据获取、可视化监管以及协同响应能力。通过实例验证,证明本系统能够提高生产现场的管理水平与管理压力,为提高生产现场的生产效率与管理水平提供了良好的应用前景。后续我们将在此基础上,继续进行基于数字孪生大数据的生产现场管控智能决策的研究。

参考文献

[1] CHENB,WANJ,SHUL,etal.Smartfactoryofindustry4.0:Keytechnologies,applicationcase,andchallenges[J].IeeeAccess,2017,6:6505-6519.

[2] LiJQ,YuFR,DENGG,etal.Industrialinternet:Asurveyontheenablingtechnologies,applications,andchallenges[J].IEEECommunicationsSurveys&Tutorials,2017,19(3):1504-1526.

[3] 周济.智能制造:“中国制造2025”的主攻方向[J].中国机械工程,2015,26(17):2273-2284.

[4] 魏一雄,郭磊,陈亮希,等.基于实时数据驱动的数字孪生车间研究及实现[J].计算机集成制造系统,2021,27(2):352-363.

[5] 赵荣泳,张浩,樊留群,等.数字化工厂与虚拟制造的关系研究[J].计算机集成制造系统,2004(S1):46-50,55.

[6] 宁汝新,刘检华,唐承统.数字化制造中的建模和仿真技术[J].机械工程学报,2006(7):132-137.

[7] GRIEVESM.Digitaltwin:manufacturingexcellencethroughvirtualfactoryreplication[J].Whitepaper,2014,1:1-7.

[8] FULLERA,FANZ,DAYC,etal.Digitaltwin:Enablingtechnologies,challengesandopenresearch[J].IEEEaccess,2020,8:108952-108971.

[9] TAOF,ZHANGH,LIUA,etal.Digitaltwininindustry:State-of-the-art[J].IEEETransi5ZfdQY6uOVoy4CH4Vyazw==actionsonindustrialinformatics,2018,15(4):2405-2415.

[10] TAOF,QIQ.Makemoredigitaltwins[J].Nature,2019,573(7775):490-491.

[11] 陶飞,张萌,程江峰,等.数字孪生车间:一种未来车间运行新模式[J].计算机集成制造系统,2017,23(1):1-9.

[12] QIQ,TAOF,HUT,etal.Enablingtechnologiesandtoolsfordigitaltwin[J].JournalofManufacturingSystems,2021,58:3-21.

[13] 刘义,刘晓冬,焦曼,等.基于数字孪生的智能车间管控[J].制造业自动化,2020,42(7):148-152.

[14] 吴鹏兴,郭宇,黄少华,等.基于数字孪生的离散制造车间可视化实时监控方法[J].计算机集成制造系统,2021,27(6):1605-1616.

[15] 赖传可,胡荣群.VR技术在船舶数字孪生运维系统中的应用[J].舰船科学技术,2021,43(22):211-213.

[16] ROSENR,VONWICHERTG,LOG,etal.Abouttheimportanceofautonomyanddigitaltwinsforthefutureofmanufacturing[J].Ifac-papersonline,2015,48(3):567-572

[17] VACHALEKJ,BARTALSKYL,ROVNVO,etal.Thedigitaltwinofanindustrialproductionlinewithintheindustry4.0concept[C]//201721stinternationalconferenceonprocesscontrol(PC).IEEE,2017:258-262.

[18] 柳林燕,杜宏祥,汪惠芬,等.车间生产过程数字孪生系统构建及应用[J].计算机集成制造系统,2019,25(6):1536-1545.

[19] YUK,OPPERMANNI.PerformanceofUWBpositionestimationbasedontime-of-arrivalmeasurements[C]//2004InternationalWorkshoponUltraWidebandSystemsJointwithConferenceonUltraWidebandSystemsandTechnologies.JointUWBST&IWUWBS2004(IEEECat.No.04EX812).IEEE,2004:400-404.

[20] JIANGY,LIM,GUOD,etal.Digitaltwin-enabledsmartmodularintegratedconstructionsystemforon-siteassembly[J].ComputersinIndustry,2022,136:103594.

[21] HINTERSTOISSERS,LEPETITV,ILICS,etal.Modelbasedtraining,detectionandposeestimationoftexture-less3dobjectsinheavilyclutteredscenes[C]//ComputerVision–ACCV 2012:11thAsianConferenceonComputerVision,Daejeon,Korea,November5-9,2012,RevisedSelectedPapers,PartI11.SpringerBerlinHeidelberg,2013:548-562.

[22] LIUMY,TUZELO,VEERARAGHAVANA,etal.Fastdirectionalchamfermatching[C]//2010IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.IEEE,2010:1696-1703.

[23] WANGY,ZHANGS,WANB,etal.Pointcloudandvisualfeature-basedtrackingmethodforanaugmentedreality-aidedmechanicalassemblysystem[J].TheInternationalJournalofAdvancedManufacturingTechnology,2018,99(9-12):2341-2352.

[24] 赵浩然,刘检华,熊辉,等.面向数字孪生车间的三维可视化实时监控方法[J].计算机集成制造系统,2019,25(6):1432-1443.

[25] BERGLP,VANCEJM.Industryuseofvirtualrealityinproductdesignandmanufacturing:asurvey[J].Virtualreality,2017,21:1-17.