三维实景复制技术在数字化工厂建设中的典型应用

郑 忻，马英奕

（江西铜业集团有限公司 贵溪冶炼厂，江西 贵溪 335424）

1 引言

随着工业4.0概念以及《中国制造2025》的出台，以及互联网、物联网、大数据、云计算等新型技术的涌现，使得传统工厂管理模式受到了巨大挑战，数字化生产制造逐渐成为工厂生产的主要模式，传统的工厂运营模式也在向数字化工厂转型。数字化工厂将生产数据透明化，通过三维技术把生产资料及因素在特定空间做全方位的“呈现”， 形成nD（nDimension 多维）信息处理的核心。是构建数字虚拟工厂的一个重要应用方向。贵溪冶炼厂“智能工厂”一期建设中因此专门设置了“厂区实景虚拟化三维建模项目”。

近年来，得益于BIM（建筑信息模型）技术的广泛应用，三维厂房模型构建的技术难度、构建周期大为降低，但流行的BIM软件大都需要将工程项目在全生命周期中各个不同阶段的工程信息、过程和资源集成在一个模型中，也就是说，从设计阶段就要执行复杂的设计标准，存在一定的技术门槛，且操作、维护较专业，具体到贵溪冶炼厂的厂房建模，就存在以下困难：

（1）二维图纸资料多按建设子项交图，图纸资料难以支持高精度的实景复制。

（2） 反复改扩建，图纸与现场实际情况脱节，即便建成也难以维护。

（3） 大部分商业软件偏向设计环节，操作复杂，动态展示效果不理想。

受上述条件制约，本项目设计了一种全新的构建方法，旨在辅助以航拍、激光测绘等先进手段，通过三维实景复制技术，构建数字化工厂三维载体；将工厂内部的物联网、生产资料等信息进行融合，并结合人工智能以及大数据技术，进行工厂数据挖掘分析，实现工厂日常管理的辅助决策；最终将特定的业务场景以虚拟现实的数字化方式进行展现和操作，建立起以实际生产数据驱动的三维可交互数字化工厂管理数据承载平台和业务流程管理信息的窗口，可以实时、直观地了解工厂的各类信息，形成实际生产过程的“数字双胞胎”。

2 系统框架设计

本系统的实现整体采用Unity3d引擎开发，前期由专业虚拟仿真软件Autodesk3ds Max-MultiGen-Paradigm Creator建模制作3D模型，现场采用专业3D勘测设备采集点云、采集真实设备照片视频加施工图制作整体车间模型，即保证数据的真实性同时也保证数据的美观度。最终基于Unity3dy引擎构建三维实景数字化贵溪冶炼厂熔炼车间系统。

基于实景虚拟化三维建模的数字化工厂系统结构主要有三个部分（图1）。

（1）通过无人机倾斜摄影以及三维激光扫描等多维一体化工厂实景重建，实现厂区外部地空大场景快速高精度三维模型建立［1］，同时也可以保证厂区内部精细结构场景的三维重建，利用上述三维实景重建技术构建数字化工厂的三维载体。

（2）通过获取车间实时机器状态以及物联网、业务信息等多源数据，与三维虚拟场景深度融合，实现管理运营数据的整合、生产进度和质量情况的查看，使用数据驱动基于三维实景复制的数字化工厂载体［2］，为数字化工厂系统提供血液。

（3）基于深度学习以及数据挖掘智能决策方法［3］，将工厂制造领域内知识、经验与系统有机融合，结合机器学习技术为工厂管理者从海量管理和操作数据中，模拟抽取最关键信息作为决策依据，提供系统的辅助决策打造数字化工厂大脑。

图1 厂区实景虚拟化三维建设框架

基于以上三点的系统结构设置数字化工厂的系统框架如图2所示。

该系统框架从下至上依次为感知层、计算机网络层、计算平台层、应用层以及门户层［4］。

感知层位于数字化工厂系统的底层，它包括多种传感设备（摄像机、编码器、车间设备、机械臂、工业相机、环境监测、身份识别、UWB定位以及RFID）,主要功能是直接采集厂区内动态变化数据和信息传输给该区域内嵌入式控制器或直接控制厂区内设备的运行。在基于Unity3d引擎搭建的工厂三维实景环境中要将该感知层的硬件也做相应的位置部署。

网络层包含视频监控网络、基础网络和物联网网络，该网络传输结构负责数字化工厂系统的数据融合，直接将感知层感知到的多元数据经过TCP/IP协议经网络层传输给数据处理平台。

平台层实现三维虚拟场景挂载多源数据，通过将感知层感知数据进行数据接入、计算以及管理，将感知层感知到的、可以用于模型驱动的信息用统一的数据结构进行描述，实现针对三维实景模型现场信息的集成，并将该信息传输至应用层，作为Unity3D各场景的驱动信息，同时把应用层返回的决策信息解析成控制指令队列，向下分发。

应用层通过接受从平台层传输的多源数据集成信息利用虚拟现实技术进行三维数据的可视化、通过打破信息孤岛实现生产流程全周期管理、对集成数据进行分析为生产过程做辅助决策。

门户层包含展厅、监控中心和运维中心，展厅主要是基于虚拟现实对数字化工厂模型的展示，使用户体验到与数字化工厂的交互式界面交流。监控中心负责呈现该系统下每个模块的运作状态，对于错误情况及时进行预警，运维中心即对整个数字化工厂模块产生的错误情况及时进行维修保证系统的正常运作。

该系统框架通过以上五个层级的功能结合实现了三维实景复制模型作为数字化工厂载体，挂载多源集成数据作为数字化工厂的血液，并实现对数据的操作实现工厂生产运作的辅助决策，打造数字化工厂的大脑，最终以虚拟现实的方式为用户提供了数字化工厂运用的交互式界面，实现厂区实景虚拟三维系统建设。

图2 厂区实景虚拟化三维系统框架

3 厂区实景虚拟化三维系统项目的实施

3.1 快速高精度三维模型构建

为探究针对贵溪冶炼厂的外部地空大规模场景的高精度快速三维建模方式和工厂内部局部精细建模方法，本项目研究了三维激光扫描技术和无人机倾斜摄影技术相结合的方式，实现贵溪冶炼厂的外部大规模场景和内部局部精细场景的三维重建。利用激光扫描技术实现工厂实景三维建模是一种新型的建模方式，该方式为结合LiDAR技术的多站式三维实景建模方案，能够实现室内直观地、高精度地三维场景重建。倾斜摄影技术是国际摄影测量领域近十几年发展起来的一项高新技术，该技术通过从一个垂直、四个倾斜、五个不同视角同步采集影像获取到丰富的建筑物顶面及侧视的高分辨率纹理，实现工厂外部大规模场景重建。本项目中结合了两种建模方式的原理并克服各自优缺点，将两种方式进行融合，有效解决了贵溪冶炼厂的三维场景重建工作的难点。

3.1.1 基于三维激光扫描技术数据采集

（1）扫描站点布设研究［5］。

本项目采用三维激光扫描技术对贵溪冶炼厂内部场景和设备进行扫描，激光扫描设备采用先进的徕卡P20激光扫描仪，其扫描精度足以支撑获取与建筑实景高度一致的点云数据。

考虑到厂区的占地面积，采用多站式三维激光扫描仪进行冶炼厂区内部场景的扫描和三维数据匹配重建。扫描站点的布设要考虑覆盖整个厂区，同时保证每个站点之间的互补性、通视性保证扫描过后零部件的近似完整性。同时由于多站位数据间的高精度快速拼接是整体数据的重要保证，因此需要对参考站点进行靶标布设，从而获得良好的数据匹配精度（图3）。

图3 激光扫描仪站点分布

（2）扫描所得点云数据处理。

利用多站式激光扫描仪对冶炼厂区内部进行扫描获得大量的点云数据需要处理，因此要合理控制点云数据的密度进而提高软件对数据的处理速度，实现快速测量。同时为了更好的进行冶炼厂区内部三维精细化模型的建模，在获取了厂区内部三维点云数据后需要对海量的原始数据进行包括点云拼接、点云去噪、点云简化的预处理操作，实现成像结果的清晰化，采用分布式站位激光扫描仪扫描厂区内部并最终实现高精度高速度的三维点云数据获取的结果如图4所示。

图4 三维激光扫描厂区内部点云模型

3.1.2 基于无人机倾斜摄影技术数据采集

地面激光扫描数据可以实现厂区底部表面模型以及厂区内部模型高精度地重建，而针对贵溪冶炼厂区外部的大规模场景，需要对厂区高处特别是建筑顶部保证扫描的完备性，只通过地面三维激光扫描仪无法达到要求，同时考虑到激光扫描数据得到的纹理失真较为严重，因此本项目中采用无人机倾斜摄影方式进行冶炼厂的外部场景重建。无人机从空中多角度地进行俯拍得到图像，对图像进行特征提取、纹理映射，以及数据的处理最终得到具有高真实感、高分辨率的厂区外部景观三维重建模型。见图5。

图5 倾斜摄影成果展示

3.2 三维车间设备模型的动态映射

与工厂现有的生产管控系统等对接实现数据集成，实现对于现场视频监控、设备状态、生产配套、生产进度和质量情况等相关数据的集成，将虚拟与现实深度融合，确定信息数据与三维车间设备的映射关系，以现实数据驱动虚拟三维设备，实现三维动态行为监控。

3.2.1 建立实时数据库

在数字化厂房运行过程中，有大量数据需要处理，因此本项目中采用实时数据库存储数据和信息实现厂区内数据与三维模型之间的挂接。实时数据库与传统数据库具有以下几点特性区别：其支持数据库的随时改变、支持事务的定时限制、支持数据库的逻辑一致性以及支持实时驱动的优先级事务调度。对于采集到的智能设备和工件信息，均通过接收并存储在该实时数据库中。

3.2.2 数据的性能优化

在进行三维场景与多源数据融合挂接时，海量的数据处理需要占用CPU的大部分存储和计算，场景的渲染需要占用GPU的存储和计=算。因而本项目对存储和处理的数据进行了全局性能优化，加快数据处理速度减小CPU/GPU运行压力。以适应不同性能档次终端设备的浏览顺畅性的要求。

3.2.3 实时数据映射结构［6］

目前，广泛采用的数据映射方式是将厂区内定时采集的数据和信息存储在数据库中，如果想要查看厂区内某个设备的状态信息，需从数据库内调用采集时间最晚的信息，不难发现以上方式的信息显示实时性很难满足。本项目基于介入式技术开发了一种新的3D即时信息呈现框架，以满足高实时性访问的需求。该框架的实时数据映射结构如下：由基层到顶层依次为感知层、计算机网络支持层和系统功能层。感知层包含各种冶炼设备、各种传感器、质量检测系统等，主要功能就是直接采集厂区内动态变化的数据和信息传输给该区域内的嵌入式控制器或直接控制厂区内的设备运行。计算机网络层负责系统内的信息传输，是不同系统和不同网络之间实现高可靠性、高安全性和无障碍的通信是数据和信息共享的基础支撑。系统功能层负责厂区内采集到的数据和信息进行分类、整理和分析，通过图表显示关键数据和信息，存储备份数据和信息，最终实现用集成数据和信息来驱动厂区内设备映射的三维模型的运作。

3.3 数据智能分析决策

在建立了冶炼厂的三维模型并与多源数据挂载后，需要对采集的数据进行分析运用从而实现工厂生产运作过程中的辅助决策。基于深度学习及数据挖掘智能决策方法，将工厂内部专业生产制造领域的知识、经验与系统有机融合，结合机器学习和人工智能为工厂管理者从海量数据中模拟推演并抽取最关键的信息作为决策依据，从而构架基于信息系统的高效反应和决策体系，为工厂的管理提供辅助决策支持。

3.3.1 实时数据显示功能

将冶炼厂区内物联网传感器数据与三维场景相关联，在三维传感器模型上进行实时数据展示，实现全天数据的三维可视化展示，为系统的业务管理功能提供支撑。将传感器实时回传的检测数据从数据库中读取，进行设备的实时监控，遇到超出预设值时进行警告和提醒。见图6。

图6 厂区数据实时显示

3.3.2 设备管理功能

通过对设备历史故障几率、维修成本、业务影响程度分析，结合设备属性，对设备进行分类排序；根据设备历史故障大数据的分析，建立设备预知性模型，对设备健康性实时分析，提前知晓设备状态参数的微小变动，避免带来不易察觉的质量隐患。

3.3.3 监控视频数据智能分析功能

基于视频智能识别、室内高精度定位、获取人员与重要设备的历史轨迹数据，对轨迹数据进行分析，得到异常状态识别结果，确保人员安全、产品安全和财产安全等。实现更加直观的管理数据可视化过程，辅助完成设备的日常管理及监测，确保重要设备的运行状态和制造过程的实时监控。见图7。

图7 工厂实时监控功能显示

通过以上多种基于深度学习的模拟冶炼工艺流程分析，对贵溪冶炼厂熔炼车间进行三维辅助决策平台开发建设，将车间三维高精度模型、工艺流程、传感器实时数据、设备属性以及运营管理数据等进行融合，可以直观地展示冶炼车间的生产流程，实现车间生产的远程化管理控制，提高车间的运营管理效率。

3.4 基于XR的虚拟可视化

为实现突破传统的数据浏览方式，本项目中对于数字化工厂的最终呈现方式采用VR、AR、MR等多种虚拟技术。

首先确定使用VMware虚拟现实软件应用平台，掌握VMware产品的工作站，并在物理机上创建新虚拟机，及其模板部署、克隆、上传、迁移、镜像以及虚拟机的配置管理功能搭建基于虚拟现实技术的DCS仿真系统平台，同时要掌握了解虚拟现实技术框架结构，目前可以实现的控制软件有艾默生、ABB控制软件。最终开展智能虚拟化桌面和云桌面系统的平台搭建，通过实验比较、验证和确定虚拟化桌面系统传输协议，来确定采用虚拟桌面系统的终端设备来接管现有的操作站、并投入到现场运行，并最终验证测试基于多种虚拟现实数字化工厂可视化效果。

采用虚拟现实的可视化效果给用户提供一种具有沉浸性、交互性和构想性的多维信息空间，实现高效人机交互，使用户能身临其境地感受三维数字化带来的可视化效果。能够在远程指挥控制室真实感受到熔炼车间的真实生产运行状况，真正实现远程辅助决策。

4 结束语

本文概要介绍了贵冶智能工厂建设中三维智能化管控平台的设计方法和构建过程，通过项目建设，探索了一种结合激光扫描仪和无人机倾斜摄影技术采集厂房内外部实景数据的新颖技术，用以实现高质量的厂区三维实景复制，该技术同时为未来模型空间的扩建、维护提供了代价较低的解决方案；以三维实景模型为基础开发的智能化管控平台采用介入式技术融合多源实时信息，实现了二、三维数据信息的一体化和各虚拟场景的实时动态驱动。作为基础平台，进一步导入其他业务系统数据后，结合多场景融合、大数据融合、云端应用融合等技术手段，能够同时支撑地理信息、业务办公、地上/地下建筑规划管理和辅助决策，以多元数据驱动三维载体，为数字化工厂提供血液，打造数字化工厂的大脑。