基于数字孪生车间的虚实融合研究综述

聂文雪， 陈超， 杨梓豪， 张秋爽， 杨化林， 陈海周

（青岛科技大学机电工程学院， 山东青岛 266061）

0 前言

在智能制造业的发展过程中， 如何解决车间的物理实体与虚拟实体交互共融成为智能车间的核心问题。 数字孪生作为现实事物的数字化映射［1－2］， 该技术可实现有效的虚实融合。 因此， 数字孪生车间成为一种新型的车间运行模式［3］， 数字孪生车间的虚实融合成为一种关键技术。

近年来， 我国在数字孪生技术的研究与应用方面取得了一些进展。 一些高校和研究机构致力于研究数字孪生车间， 并在不同领域进行了一系列实践。 在汽车制造领域， 研究者们利用数字孪生技术实现了车身焊接、 装配等工艺的优化与监控。 在航空制造领域，数字孪生技术被应用于飞机的设计、 制造和维修过程， 以提高生产效率和产品质量。 国外在数字孪生车间的研究和实践方面也取得了显著进展。 在欧洲、 美国等发达国家的制造业领域， 数字孪生技术已被广泛应用于生产过程的模拟、 优化和控制。 波音公司使用数字孪生车间技术来模拟飞机装配过程， 以提高生产效率和减少错误。 德国的工业4.0 倡议中也强调数字孪生技术对于智能制造的重要性， 并在推动数字化转型方面取得了显著进展。 本文作者基于数字孪生技术对数字孪生车间的虚实融合进行研究， 并对未来车间中的虚实融合技术提出展望。

1 从数字孪生到数字孪生车间

1.1 数字孪生概述

数字孪生的起源可以追溯到1969 年， 美国NASA阿波罗计划运用数字孪生概念［4］。 后来， 学者们普遍认为这一概念由美国密歇根大学Michael GRIEVES 教授提出， 当时被称作“镜像的空间模型”。 在2006年， 又被定义为“信息镜像模型”［5－7］。 2011 年后，随着数字孪生体的首次引用， 数字孪生逐渐走进公众视野并被国内外企业接受与推广， 成为当代科技发展的重要手段［8］。 随着德国“工业4.0” 的提出， 智能化已成为当今时代发展的必然趋向。 在此背景下， 数字孪生作为物理世界的实时镜像［9］， 成为助力智能化时代发展的重要抓手。

学术界广泛认定数字孪生是以数字化形式使得物理实体的构造、 状态、 特征、 功能映射到计算机的虚拟实体［10］， 进而充分借助程序化逻辑控制器， 利用虚拟实体的数据信息预测和控制物理实体， 实现虚实结合， 从而进行虚拟实体与物理实体两者间的交互反馈， 使得各类工作得到有效的优化分析［11］。 数字孪生概念模型如图1 所示。

图1 数字孪生概念模型［12］Fig.1 Digital twin conceptual model［12］

从功能视角来看， 数字孪生技术可以实现物理实体与虚拟实体的交互共融。 首先， 数字孪生是物理实体的真实映射， 可以展现实时动态［13］； 其次， 该技术能够模拟仿真复杂系统， 使得物理系统更加优化［14］。 目前， 很多企业借助数字孪生技术进行模拟仿真、 预测分析、 质量检测、 设备维护等工作［15－16］。

1.2 数字孪生车间

基于数字孪生技术的功能特性， 国内外学者将该技术广泛应用于智能制造业， 数字孪生车间由此衍生。

传统的智能车间利用各种现代化的技术代替劳动力， 节约人力成本， 提高生产效率， 给人类的生产带来便捷。 然而， 传统的智能车间还存在盲区， 无法使车间外的管理人员及时获取车间真实生产状况， 例如设备运行是否正常、 物料供应是否充足、 完工情况是否理想、 排产计划是否合理等。

在更新型的数字孪生车间中， 以上问题迎刃而解。 数字孪生车间在各种先进技术的支持下， 通过物理车间和虚拟车间的双向真实映射与多感知实时交互， 通过几何数据、 行为数据、 特征数据、 指令数据的集成与融合［17］， 使得虚拟车间对物理车间的生产动态进行建模仿真、 预测评估、 分析优化、 精准管控等工作， 达到车间高效生产、 智能管控和服务优化的目标。 由于数字孪生车间的生产特点， 其关键技术和应用掀起智能制造业中的一番热潮， 同时引起了学术界和工业界更多人的关注。

1.3 数字孪生车间的研究应用

在学术研究层面， 数字孪生车间的体系架构如图2 所示， 它主要由车间实体、 虚拟模型、 服务系统、孪生数据4 个重要部分组成； 数字孪生车间的运行机制也重点从生产要素管理、 生产活动规划和生产过程管控3 个方面进行改进和优化； 为更好地实现数字孪生车间的功能特性， 构建虚拟模型、 获取车间孪生数据以及实现车间生产过程的实时交互是研究整个数字孪生车间系统的关键［18］。

图2 数字孪生车间的体系架构［19］Fig.2 Architecture of digital twin workshop［19］

在工业应用层面， 数字孪生车间起初用来监控和改进车间生产线的生产［20］； 后来为了提前判断工程师的决策运用在物理车间是否可行， 数字孪生车间也用来做产品研发、 优化设计等工作， 大大减少了屡次试错的成本， 并且可以不断调优； 现在很多企业甚至借用数字孪生车间来检测产品质量和进行设备维护等。

对于数字孪生车间的研究及应用而言， 目前仍需要加倍克服的难题之一就是物理车间和虚拟车间的交互共融问题， 因此， 有需要对虚实融合技术做进一步的提升， 使得数字孪生车间物理实体和虚拟实体交互共融与实时优化的问题更加完善。

2 数字孪生车间的虚实研究对象

所谓虚实相生， “实” 是客观世界中真实存在的事物， 也可化虚为实； “虚” 是主观世界中抽象存在的虚境， 也可化实为虚。 在数字孪生车间的虚实对象中， 实是指物理车间， 虚是指虚拟车间。

2.1 物理车间

物理车间是生产系统中的主体， 主要包括机器人、 机床、 专用设备、 车间工人等物理实体［21］， 它是虚拟车间数据的提供者［22］， 重点负责日常的生产加工［3，23－25］。

陶飞等人［19］提出的物理车间， 不仅具有传统车间的功能特性， 还能对海量多源异构数据进行实时感知与交互共融。 由于车间的生产要素不同， 数据来源较多， 在对物理车间的各项数据信息进行感知与获取时， 车间数据具有很大的异构性和多源性， 需要采用全要素感知设备和统一接口， 还需要规范的通信协议访问异构系统。 此后， 采集的现场数据会进行分类、清洗、 存储等处理［26］， 最终实现物理车间多源异构数据的集成与融合， 如图3 所示。

图3 物理车间多源异构数据的集成与融合Fig.3 Integration and fusion of multi－source heterogeneous data in the physical workshop

此外， 物理车间还实现了“人－机－环境” 的数据融合。 虽然物理车间存在众多不同的生产要素， 但各生产要素之间建立了广泛的联系， 便于数据信息在人－机、 机－机之间互联互通， 克服了多源异构数据和车间各类信息管理系统的通信难题， 也能够在全局最优化的前提下对自身活动进行协调管理和优化。 与以人为主导元素的传统车间相比［27］， 物理车间实现了人、 机与环境的和谐共生， 三者的深度融合达到了无缝衔接。

2.2 虚拟车间

虚拟车间是物理车间以数字化的形式映射到计算机中的虚拟实体， 其主要任务是对物理车间的运行状态进行模拟、 仿真、 监控、 评估、 优化以及各种生产动作的管控等［28］。

陆剑峰等［27］提出虚拟车间是物理车间的数字化模型， 可以直观地展现物理车间的生产动态， 包括物理车间生产要素的实体模型、 车间生产行为的真实刻画、 车间生产运行的演化规律及规则等。 虚拟车间的三维模型是将物理车间的实体模型映射到计算机中所得［29］。 物理车间的生产要素不尽相同， 为实现精准映射［30］， 虚拟车间的数字化生产要素需要多领域、多尺度融合建模［22］。 在对三维模型进行优化后， 实时状态数据被传输到虚拟模型空间中， 并且数据不断更新， 使得物理车间的生产行为活动在计算机中得以重现［31］。 虚拟车间在数据驱动下运行一段时间， 计算机会根据生产运行历史数据演化出特定的规律与准则， 用于数据管理、 状态评估、 生成计划、 运行指令和制造服务系统等。

虚拟车间不仅可以实现对远端物理车间动态生产的可视化， 还可对复杂系统进行仿真［32］。 仿真过程中可以提前发现现实生产活动存在的问题， 从而对仿真结果进行分析并改善。 同时， 其反馈也可以通过通信接口存入数据库［33］。 物理车间模型和虚拟车间模型之间会建立良好的联系， 当实际生产过程中出现冲突和扰动时， 虚拟车间能够及时检测， 并将改进方案同步反馈给实际生产线， 从而实现物理模型和虚拟模型之间的交互以及通信连接［34］。

3 数字孪生车间的虚实融合系统

要实现虚实对象的交互通信， 必然需要融合系统的支持与服务， 因此必然存在车间服务系统。 车间服务系统基于数据融合技术产生， 借助车间孪生数据平台， 可为数据驱动的车间生产提供所需的各类服务。

3.1 车间孪生数据

车间孪生数据是数字孪生车间中各种数据的集合［35］， 搭建数据共享平台的同时也推动了数字孪生车间的运转［33］。 车间孪生数据的主要组成部分为：物理车间数据、 虚拟车间数据、 车间服务系统数据等相关数据。

物理车间数据主要有生产设备相关数据、 操作工人能力数据、 物料资源有限数据、 生产行为状态数据、 生产进度反馈数据等［36］。 物理车间的数据资源通常借助物联感知设备获取， 通过统一的通信接口上传到车间孪生数据平台。 虚拟车间数据主要有三维模型数据和仿真、 预测、 评估、 优化等数据［36］。 虚拟车间数据一般通过传感器收集、 传输或直接上传到孪生数据平台。 通过以上两类数据的整合、 统计、 分析、 归并、 挖掘等操作［26］， 虚实车间融合数据以及各类智能数据由此衍生。 车间服务系统的数据是由以上4 种数据整合得到的， 具体类型主要有产品用户的订单数据、 制造商的生产数据、 生产计划调度数据、生产管控数据等。 车间服务系统数据可通过数据系统上传到车间孪生数据平台。

车间孪生数据将各种数据深度融合， 为车间所需的数据驱动提供了支撑服务， 实现了物理车间、 虚拟车间、 车间服务系统间的两两交互［37－38］。

3.2 车间服务系统

车间服务系统以车间孪生数据平台为基础， 其核心目标是在相关数据集成与融合的基础上开发智能管控车间系统的生产服务， 以及向产品用户和制造商提供相关服务［39］。

基于数字孪生的智能管控车间系统的生产服务主要包括对生产设备、 生产计划、 生产行为的管控与优化等。 首先， 要掌握生产设备的特性， 确保服务系统管控生产设备的可达性； 其次， 生产计划的服务是根据生产过程的状态信息对车间生产计划实时调度［39］，计划数据及相关的孪生数据、 预测数据均被传输到用于数据一致性分析处理的模型和算法的孪生数据平台中， 处理后将数据输送到虚拟车间进行模拟仿真； 最后， 模拟准确无误后， 通过生产计划系统传达到物理车间进行实际生产行为， 从而完成服务生产的目标［40］。 若模拟结果不理想， 车间服务系统会重新对生产计划进行评估、 修正和优化［41］。 车间服务系统中有一个高级调度模块， 可根据产品用户的订单、 交货期限、 生产周期、 生产资源的额度安排车间的生产日程， 并根据车间的实际生产情况进行调整［36］。 制造商通过车间服务系统的生产计划调度可以方便、 准确、 实时地掌握车间的生产状况， 从而计划向产品用户接单。 图4 展示了车间服务系统的工作过程。

图4 车间服务系统的工作过程Fig.4 Working process of workshop service system

车间服务系统以一种新颖的方式将物理车间、 虚拟车间、 智能数据有效地融合起来， 组成一个新型的智能管控车间服务系统。

4 数字孪生车间的虚实融合技术

虚实融合是数字孪生车间中尤为重要的一项技术， 它将物理车间和虚拟车间连接起来， 是实现两者间交互融合的有效途径。 虚实融合技术主要包括以下3 个方面： 双向真实映射、 多感知实时交互以及3R技术（VR 技术、 AR 技术、 MR 技术）。

4.1 双向真实映射

数字孪生车间的虚实融合的实现需要虚实车间的双向真实映射， 从而构建高精度模型进行仿真并反向管控物理车间。 从多维度、 多尺度建模是实现目标的正确方 向［42－47］。 冷 柏 寒 等［2］从 几 何、 物 理、 行 为、规则、 约束等关键维度对物理实体进行数字孪生模型的创建。

几何建模方面， 可以采用UG、 SolidWorks、 Pro/Engineer 等计算机辅助设计软件对车间物理实体的几何特征（外形、 公差、 尺寸） 进行确切表达［48］。 其次， 也可以借助CAESES 软件对车间物理实体进行全参数化建模及优化分析［49］。 在此基础上， 可以对构件进行运动学的定义和自由度的检查。

物理建模方面， 需要对车间实体的物理特征（材 质、 密 度、 硬 度） 进 行 精 确 描 述［50－52］。 利 用COMSOL Multiphysics 软件的CAD 导入功能可进一步实现车间实体的物理参数控制， 也可在该软件环境中任意选择物理场进行仿真， 并能对耦合现象做出分析与解释。

行为建模方面， 西门子的Process Simulate 仿真软件可以通过丰富的建模单元对车间物理实体的行为、 移动路径进行编辑， 并可实现车间生产线的全局动态仿真［53］， 图5 所示为机器人点焊引擎盖仿真。根据最优仿真结果拟定生产方案， 从而传递给物理车间进行实际生产并实时监测［54］。

图5 机器人点焊引擎盖Fig.5 Robot spot welding engine hood

规则建模方面， 构建物理车间模型需要遵循相关规则［55］。 例如： 车间的人、 机、 料要有机结合； 关联工序要保持平衡及流畅、 要尽量布置“U” 形生产线［56］； 尽可能遵守经济性合理原则， 减少占地空间等。

约束建模方面， 约束是模型必须要满足的条件［57］。 例如： 约束加工设备的运作区间， 防止设备间的干涉［49］； 约束AGV 小车的行驶路径， 避免车－车、 车－机、 车－人之间的触碰［58］； 建立约束方程创造不同时段、 不同车间的工作条件。 模型的约束不仅可以在虚拟车间实现， 也可借助新一代技术管控物理车间。

多维度、 多尺度建模技术是减少模型误差、 提高仿真精度、 确保应用性能的基础［59－61］， 是保证映射真实程度的关键， 是检验真实性的标杆。 张超等人［62］研究了数字孪生制造单元的多维度、 多尺度建模方法， 并与云协同配置方法相结合构建了软硬件集成的数字孪生车间， 实现了虚实车间的双向真实映射。 蒋泽等人［63］在船舶结构虚实融合试验中提出了多维度、 多尺度建模的关键技术， 并说明该技术是构建真实准确的虚拟场景的关键。

4.2 多感知实时交互

在虚实车间交互共融的过程中， 传感器的多感知与实时交互具有不可替代的作用。 车间传感器的主要功能是监测生产车间信息［64］， 如车间环境、 生产设备状态、 生产产品质量［65］等， 并将感知到的信息转化为电信号输出， 达到传输、 储存、 显示和控制的要求。 目前车间传感器的种类繁多， 其原理、 功能也不尽相同［66－68］。

目前， 视觉传感器已在车间感知领域广泛应用，它借助图像处理技术获得所需信息， 通常用来帮助机器人识别相关目标并执行任务。 BAVELOS 等［69］的研究表明： 视觉传感器可以帮助移动机器人导航和定位。

此外， 力敏传感器也时常用于车间设备的感知，它将感知的力学量转换成电信号， 处理分析后得到结果， 用来检测加工设备的受力情况和形变程度。DE MARIA等［70］利用力敏传感器充当触觉传感器， 用来估计与之接触的刚性物体的几何形状。

另外， 嗅觉传感器已在食品生产车间得到广泛应用， 它是通过捕捉气体进行感知分析得到结果［71］，主要用来检测车间食品的质量［72］。 SANAEIFAR 等［73］采用嗅觉传感器对不同生产阶段的葡萄酒进行质量控制， 并改进了生产过程， 提高了生产质量。

除了传感器感知， 数字孪生车间的虚实融合还需要实时交互， 即物理车间的传感器将感知到的信息转化为电信号并即刻传输到虚拟车间， 虚拟车间接收信号并在车间服务系统分析处理后将指令传达到物理车间进行管控。 随着新一代信息技术的集成， 传感器具有强大的通信接口功能。 首先， 通信接口的标准化使得数据传输更加便捷， 既提高了准确性也减少了延长时间。 其次， 数据的通信功能能直接与计算机连接，减少了数据传输时间， 提高了数据处理质量。 再者，无线传感的设计在没有其他物质做媒介的情况下， 节约了时间， 减少了成本， 使工作更便捷。 袁莉莉等［74］将传感器及无线传输的特征用于汽车智能车间，并与车间服务系统相结合， 实现了多感知实时交互。

4.3 VR、 AR、 MR 技术

在数字孪生车间虚实融合的过程中， 3R 技术将虚拟场景以可视化形式呈现［75］， 并增强了真实性。3R 技术分别以沉浸式、 叠加式、 交互式的特性将用户带入虚拟场景中［76］， 感受现场般的真实， 甚至体验现实中达不到的场景［77－78］。 3R 技术的组成如图6所示。

图6 3R 技术的组成Fig.6 Composition of 3R technology

VR （虚拟现实技术） 是一种使用户沉浸在计算机虚拟环境中的技术［79－82］。 在虚实车间交互融合的应用中， VR 借助环境建模技术真实映射了物理车间［83］， 并伴有计算机产生的多感知属性， 如视觉、听觉、 触觉等一切人具有的感知［84－88］。 VR 技术允许用户通过身体运动、 自然语言等方式与虚拟车间中的实体进行交流互动［89－90］， 用户也可借助外界设备更好地实现与虚拟车间的交互功能［81，91－94］。 周志国、 曾祥军［95］曾提出虚拟现实系统的3 个特征， 即VR 技术的沉浸感、 交互性、 构想性。 近年来， LAWSON等［78］的研究表明： 在捷豹路虎的汽车生产制造车间里， VR 技术的使用可以在产品设计中节约大量时间和成本。

AR （增强现实技术） 就是一种将虚拟元素与现实场景进行叠加的技术［96－97］。 具体说来， AR 技术能够利用三维建模技术在现实场景中增添虚拟元素［98］，两者也可进行融合与交互［99］， 但虚拟元素只会固定在某个位置， 无法被现实场景中的物体所遮挡。 借助AR 技术的特性可解决虚实车间融合过程中的众多问题。 NEE 等［100］提出在制造产品的设计、 生产、 包装、 运输等工作中， 使用AR 技术可以提前模拟车间、 改进工作方案， 并减少返工机会。 RELJIC＇等［101］的研究发现； AR 技术在制造车间的装配和维护中的应用最为突出， 并能够远程协助和培训［102－107］。

MR （混合现实技术） 融合了VR 和AR［108］， 它能实现虚拟世界和现实世界的交互共融， 并借助载体设备在现实场景中呈现虚拟场景［109］， 从而产生新的环境。 MR 技术也可通过肢体动作和自然语言获取实时数据和帮助， 无虚实界限的交流与互动［110－112］。ESPÍNDOLA 等［113］研究了如何利用MR 技术帮助车间设备维护的工作者。 目前， MR 技术还可以用于车间的多项工作， 如远程协助、 岗位培训、 维护手册、 故障预测等。

5 相关技术的支撑

随着科技水平的发展， 新一代高新技术（物联网、 云计算技术、 人工智能技术等） 也为实现数字孪生车间的虚实融合提供了有力支撑［114］。

5.1 物联网

物联网被称之为物物相连、 万物互连的互联网［27］。 它可借助多种装置和技术， 包括信息传感器、射频识别（Radio Frequency Identification， RFID） 技术、 GPS 技 术、 信 息 采 集 层 技 术、 二 维 码 技 术等［74，115］， 进行目标事物的连续监控、 物理环境的深度感知以及其他物体的实时数据采集和交互通信［116］。 该技术也可通过智能传感技术以及和其他网络的连接， 实现物与物、 人与人、 人与物的互联互通［117］。

物联网技术可为实现数字孪生车间的虚实融合提供有效途径。 构建一个基于物联网的可视化虚拟车间， 利用传感器从物理车间采集信息通过无线网络传输到虚拟车间， 可以实时感知车间环境、 观察车间生产状态、 监测车间设备、 了解完工情况等［118－119］。 在物联网支持的车间服务系统下， 可以合理安排车间的人员信息和生产任务， 使得企业实现透明化管理与生产。

5.2 云计算技术

云计算技术是一种通过网络按需要提供大量计算资源的技术［120］。 该技术将偌大的数据运算程序拆分成无数个子程序， 然后交给由多个服务器组成的庞大系统， 经过资料查询、 精准计算、 分析处理后将结果返传给用户［121］。 云计算技术是多种计算机技术融合并演进的结果［120］， 主要包括虚拟化技术、 云计算平台管理技术、 分布计算技术、 数据存储技术等， 这一技术的出现改变了信息行业的产业结构和运作模式。运用云计算技术来完成任务具有可扩展性、 可靠性、灵活性、 按需部署、 虚拟化、 性价比高等特点［122］。

在数字孪生车间虚实融合的过程中， 需要在物理车间底层采集海量数据并进行存储、 计算、 分析、 处理等。 此外， 在虚拟车间进行模拟、 仿真也会产生庞大的数据。 因此， 要实现大规模数字孪生车间的虚实融合， 需要强大的计算与存储能力的技术或工具。 而云计算技术恰好满足了这一需求， 超大规模、 高扩展性和可靠性的特点能够支持海量数据的存储和保障数据的安全， 分布式计算、 负载均衡和并行计算的混合使用能够提高数据的计算效率。

5.3 人工智能技术

人工智能技术是一种模仿人类运用知识完成特定行为的技术。 该技术是以计算机为基础， 并由多学科、 多专业交叉融合的产物［123］， 主要包括数理逻辑、计算机科学与技术、 控制论、 生物学、 哲学等多学科。 人工智能技术的研究内容大致有机器学习、 逻辑程序设计、 自然语言处理等多方面［124－125］。 而机器学习是人工智能技术的基础， 也是使得人工智能技术更加智能化的敲门砖［117］。 所以， 应该抓住机器学习这一关键点， 充分运用该技术助力数字孪生车间虚实融合的实现［126］。

机器学习是人工智能技术运用最为广泛的方法［119］， 它可以利用以往数据或经验优化计算机算法。 数字孪生的虚拟车间可以为机器学习提供模拟数据和仿真经验的需求［127］， 从而优化计算机算法并提高智能化水平［121］。 也可将机器学习的成果应用于虚实车间的融合过程中， 一方面使得生产方案一步到位， 不需要在虚拟车间反复优化分析， 加快实施了物理车间的实际生产计划； 另一方面节约了时间和生产的试错成本。

6 总结与展望

文中由数字孪生的概念引出数字孪生车间的虚实融合问题， 并进行了综述。 详尽阐述了虚实研究对象所对应的物理车间和虚拟车间的内涵及功能特性， 虚实融合系统中以车间孪生数据为基础并开发智能管控的车间生产服务、 为产品用户和制造商提供相关服务的车间服务系统， 以及虚实融合技术中双向真实映射、 多感知实时交互、 3R 技术的三大关键部分， 及其他相关技术的支撑。 期望相关工作有助于数字孪生车间中虚实融合问题的研究与发展。

数字孪生车间作为智能制造业的前沿领域， 具有非凡的研究意义和广阔的发展前景。 在现阶段数字孪生车间的虚实融合中， 对大量数据进行采集、 脱敏、转换、 清洗、 融合等操作需要较长的时间， 还需尽量保证严格意义上的实时性。 此外， 还要提高获取物理车间各类数据信息的准确性， 从而驱动虚拟实体的精准动作。 再者， 充分发挥高精建模技术也是实现虚实车间精确交互与完美融合的关键。 随着科技水平的提高， 数字孪生车间的虚实融合会日渐完善， 更加需要持续关注。