基于数字孪生的协作机器人状态监控系统研究

杨乐 杨志威

通讯作者：杨志威，1995年11月，男，汉族，河南周口人，就读于上海海事大学硕士研究生。研究方向：数字孪生技术与应用、智能制造。

基金项目：港口机械与海工装备智能装配关键技术研究及其示范应用（18040501600）;临港新片区高新产业和科技创新专项项目（SH-LG-GK-2020-37）。

摘  要：当前，制造系统的复杂化越来越高，为提升制造系统中协作机器人的状态监控的实时性、准确性与可预测性，借助数字孪生技术进行协作机器人的状态监控系统架构设计，并基于一个叶片装配案例完成对基于数字孪生的协作机器人状态监控系统的开发与应用，通过系统应用提升了协作机器人状态监控的透明度，验证了系统架构的有效性。

关键词：数字孪生;协作机器人;状态监控

一、引言

当前，随着制造业信息化的快速发展，尤其是数字化、智能化程度的提升，传统的技术已经不能适应当前制造业的智能化发展需求[1]。同时随着“工业4.0”和“中国制造2025”等智能制造战略的实施，对于制造业在物理与虚拟空间的融合要求越来越高[2]。

制造业的制造环境正在变得越来越复杂，生产工厂随之成为智能化装备应用的高度复杂集合体[3]。特别是在智能化市场的背景下，导致新的智能化装备涌现出来，智能化裝备与技术正不断在生产过程中普及与应用。

当前的制造工厂正不断探寻智能化装备的最优生产效益，正普遍使用称为协作机器人的新一代工业机器人。然而，随着生产过程智能化水平的提高，系统往往变得复杂，尤其是在产品装配等复杂的生产过程中，对于协作机器人的状态监控仍然存在不足。

对于协作机器人在复杂装配过程应用的研究，为了提升协作机器人状态监控的透明度与实时性，同时为了进行后续的设备故障预测，同时避免对协作机器人实体频繁操作验证产生的寿命等损害，通过在虚拟空间进行快速设计、集成开发协作机器人三维可视化状态监控与仿真系统成为了最优方法[4]。在此，数字孪生成为了协作机器人状态监控开发与应用的新方法，借助数字孪生的概念实现对协作机器人物理行为状态的监控[5-6]。

本文的重点是关于数字孪生如何解决协作机器人的状态监控问题，本文基于一个装配案例，描述基于数字孪生的协作机器人状态监控系统的开发并研究其实用性。这个案例是一个叶片装配问题，因为叶片装配是一个复杂、繁琐并且危险的工作，将协作机器人应用于叶片装配过程减轻人员的工作强度。

二、理论背景

（一）制造系统物理空间与信息空间的融合

在制造环境中，系统主要由生产要素、生产活动、生产过程三部分构成[7]。

系统使用者面对的系统困难程度可以称为系统复杂性[8]，制造系统复杂性中的重要一方面是关于物理空间与信息空间之间的交互与融合。制造系统发展的复杂性按照信息与物理空间的融合程度可以分为以下四个阶段。

第一阶段，制造系统全部由制造设备实体组成，生产设备在人员的监视下运行。

第二阶段，信息系统开始出现，信息系统为物理生产过程进行指导，制造系统的复杂性相对较低。

第三阶段，计算机与信息技术在制造活动中的应用越来越频繁，各个设备之间通过网络连接，此时能够通过信息空间对物理制造设备进行控制，这也是目前制造系统处于的阶段。

第四阶段，信息与物理之间的交互与融合变得更加深入，对于制造系统的可预测性也更强，制造系统的自治性、调节性与柔性更强。

复杂的制造系统具有复杂的信息处理与交互过程，随着智能化装备在制造业的广泛应用，复杂系统往往在监控中存在弊端，系统随之变得难以监控与预测，特别是如果系统有人的参与时系统监控的不足可能是致命的[9]。因此，在对复杂生产系统的过程监控上需要更加实时、准确与透明的方法。

（二）数字孪生理论与优势

数字孪生通过将物理实体在虚拟空间进行创建与驱动完成孪生，通过数字化技术创建与物理实体所完全对应的虚拟映射模型，该虚拟映射模型被称为孪生体[10]。数字孪生是物理实体的动态数字表示，数字化技术、物联网技术和虚拟现实等技术的进步使数字孪生成为可能，它可以更加逼真地反映物理系统的实时运行状况[11]。

当前为解决智能制造在实现过程中遇到的物理与信息空间融合瓶颈问题，数字孪生技术借助自身优势受到国内外企业和学者的广泛关注。数字孪生通过构建与物理实体一致的孪生模型，通过数据交互实现对物理空间与信息空间之间的融合，孪生体不断借助历史数据对物理实体的运行状态进行优化[12]。

在国内，北航的陶飞等人提出了数字孪生车间的概念，提出了数字孪生车间五维模型[13]。郑守国等人提出基于数字孪生的飞机总装生产线车间建模框架，进一步提升了飞机总装生产线车间在物理空间与信息空间的实时交互与深度融合 [14]。张素明提出一种基于数字孪生技术的火箭测试与发射过程健康管理系统设计方案，该方案通过建立运载火箭测试与发射阶段数字孪生模型，实现对火箭测试和发射过程的天地镜像仿真，依托数字孪生模型，对运载火箭健康管理功能进行了设计和优化[15]。

国外的研究中，从学术研究来看，Greyce N Schroeder于 2014年发布了第一份关于DT的白皮书，并指出DT将加强产品设计和制造之间的循环[16]。在企业领域，Siemens公司将数字孪生技术应用到小型工控机设计中，完成了Nanobox PC的开发[17]。PTC公司采用数字孪生技术完成了物理与信息空间的实时交互，通过虚拟模型发现物理对象潜在的问题，并生成最优的应用结果[18]。

（三）数字孪生建模要素

数字孪生技术在制造过程中的实际应用，需要从几何，物理，行为和数据等维度对物理车间进行数字孪生模型创建，数字孪生建模架构如图1所示。

1.几何模型

数字孪生体是物理空间实体的真实映射，首先在孪生体的创建上需要从外观、尺寸等方面建立与物理实体的一致性，基于实体的几何尺寸、外观与材质等方面进行三维模型创建与渲染，通常采用三维建模软件用于对车间中的所有实体要素进行三维建模。

2.物理属性

在孪生体的物理规则上需要建立约束关系，后期对于模型的数据驱动不会出现偏离与实践运行过程不一致的状况，借助虚拟现实软件中物理引擎对物体添加物理属性来完成对现实中运动、旋转和碰撞等模拟。

3.行为规则

物理空间的生产过程是由多类生产要素构建的行为与规则集合，在数字孪生虚拟空间中各个模型在行为上的衔接、切换需要遵从物理空间的特性，主要涉及各个设备的运动状态切换规则。

4.数据

数据是驱动数字孪生虚拟空间进行实时同步的关键，同时数据能够将几何，物理，行为等维度进行连接，从而实现三维模型对物理空间实体真实性映射，针对物理空间数据的多样性，需要借助数据库等工具进行管理，同时也便于处理与调用。

三、基于数字孪生的协作机器人状态监控系统架构设计

基于数字孪生技术理论，将数字孪生技术在协作机器人上进行运用，通过三维模型设计、物理属性设置、行为规则建模与采集传输协作机器人的数據，从而完成协作机器人工作环境的孪生，并借助实际运行状态数据在数字孪生虚拟空间完成状态监测与过程监控，同时提供仿真操作虚拟环境，方便操作人员进行预测模拟，设计基于数字孪生的协作机器人状态监控系统架构如图2所示。

（一）物理对象

物理对象即为孪生对象，数字孪生的实现以物理对象为基础，孪生体借助数据驱动完成对物理对象行为的模拟并保持同步运转，从而实现孪生映射过程。

（二）虚拟孪生体

虚拟孪生体是根据物理对象的四个维度构建的，即从几何、物理、行为和数据进行映射。虚拟孪生体能够进行过程监控、生产优化、运行指导等，虚拟孪生体在实时数据的驱动下，保证虚拟模型跟随物理实体对象同步运行，从而实现各大功能。

（三）数据管理

数据管理是对孪生模型创建中数据维度的管理，通过数据管理完成数据采集与存储，实现数据远程访问。数据管理依据数据库进行创建，通过编目、分库创建实现对不同设备、不同时刻、不同类型数据的存储，通过数据整个数字孪生系统运转。

（四）实时状态监控

基于虚拟孪生体完成的三维可视化场景创建、物理属性设置、行为规则模拟，再借助数据驱动，可以实现实时数据驱动行为建模。监控内容包括所有生产过程的实时同步映射，所有物理空间的生产流程都通过直观的三维实时虚拟场景显示。

四、基于数字孪生的协作机器人状态监控系统创建

基于系统架构，系统创建应从几何建模、虚拟场景开发、物理属性设置、行为规则与数据管理几个维度进行创建，最终进行集成开发与应用，基于数字孪生的协作机器人状态监控系统创建流程如下图3所示。

基于数字孪生的协作机器人状态监控系统创建的流程表述为：首先基于协作机器人实体尺寸、外观等设计协作机器人三维模型;其次借助虚拟现实开发引擎进行虚拟场景创建，同时将设计好的三维模型导入到虚拟场景中;再之在虚拟场景中进行物理属性设置，同时进行控制脚本的开发;接下来依据物理空间协作机器人标准行为流程在虚拟环境中进行行为模型创建与脚本开发;最后实时采集状态数据，同时在虚拟环境中对模型进行驱动，下面针对五大部分进行研究与分析。

（一）协作机器人几何建模与正运动学分析

协作机器人几何建模是指三维模型的创建，本文采用的是UR5协作机器人，其UR5协作机器人几何参数模型如图4所示。其中，依据尺寸使用SolidWorks进行三维建模，到3dsMax中进行渲染处理，并以FBX格式导出。

由UR5协作机器人几何参数模型可知，轴一、五、六处于竖直方向，轴二、三、四处于水平方向，轴二、三、四相邻3轴平行，满足机器人运动学的Pieper准则，其中，UR5机械臂DH参数如表1所示。

本研究用D-H变换矩阵表示轴i坐标系在轴i-1坐标系中的位置和角度，由此完成正运动学求解。根据D-H法建立坐标系的原则，D-H变换矩阵表示为：

（二）虚拟场景创建

系统要求创建的虚拟场景具有良好的真实感和沉浸感，因此，采用虚拟现实开发引擎Unity3D作为数字孪生虚拟空间的开发软件，可以减少系统底层开发的工作量，提高系统开发效率。基于Unity3D的虚拟场景开发流程如下图5所示，主要包含三维模型导入、模型布局、环境设置、脚本开发、终端发布五大过程。

（三）物理属性设置

Unity3D中包含多类物理引擎，物理引擎的作用是模拟当有外力作用到对象时的按照真实物理行为作出的合理反应，通过物理引擎，在虚拟场景中物体之间的发生接触与作用后产生影响与效果展现的更加真实。其中，Rigidbody（刚体）可以模拟对象在受力下作出与现实世界中一致现象或行为的模拟;碰撞体与刚体一起促使物体碰撞的发生以及对碰撞后反应动作的而模拟。

（四）基于FSM的虚拟环境行为规则模型

在虚拟环境中定义模型运动动作时，考虑到物理协作机器人的状态都是离散变化的，针对不同状态的切换需要进行消息的监听，从而作出对应状态下的动作。因此，本文采用基于有限状态机（Finite State Machine，FSM）实现行为规则模拟。有限状态机FSM由状态、事件、转换和活动组成[19]。

以物理空间UR5协作机器人对物体进行识别完成抓取动作为例设计有限状态机模型如图6所示，该模型由来自物理环境采集指令与数据构建的有限输入集合;由物理环境机械臂行为构建的有限状态集合，每一个状态由物理环境机械臂的实时动作数据驱动;以及有限输出集合。

（五）數据驱动

可通过TCP/IP通信获取UR5协作机器人实时状态信息与数据，通过UR5协作机器人的相关IP地址与端口对相应数据的读取与解析，进而实现数据存储与显示。UR5协作机器人的实时与历史数据使用MySQL数据库进行存储与管理。

在Unity3D虚拟环境中使用C#编写数据库访问脚本并将获取的数据传递给UR5协作机器人的几何变换属性参数，从而实现模型的驱动，Unity3D中协作机器人模型数据驱动流程如图7所示。

五、案例分析

汽轮机叶片转子试验台是进行多功能叶片振动试验的主要场所，在汽轮机叶片试验台上装备UR5协作机器人帮助完成叶片的装配工作，叶片试验台UR5协作机器人物理环境如图8所示。

针对物理空间中的UR5协作机器人实体创建三维模型，在3dsMAX完成渲染后，导入到Unity3D创建的虚拟化环境中，同时进行灯光与材质的设置，建立好的UR5协作机器人状态监控虚拟场景如下图9所示。

为了完成UR5协作机器人的工作空间的限定，通过碰撞检测判断是否接触到地面等其他周围物体，给整个UR5协作机器人三维模型添加Box Collider碰撞器。

系统通过封装好的数据库接口读取实时数据传递给模型几何变换与物理属性的参数从而完成动态驱动过程。在对UR5协作机器人采集数据时，通过Socket对UR5协作机器人的实时反馈端口进行访问，该端口自动返回机器人状态与消息，采样周期为8 ms，因此响应速度较快，能够保证数据的实时性。

在虚拟环境中通过脚本获取机械臂状态数据并传递给UR5机械臂模型几何变换参数中的变换属性，实现各个关节的转动。由于虚拟状态监控环境采用1∶1的三维模型设计，同时使用实时采集的数据完成位置与角度的驱动，因此保证了UR5协作机器人的驱动状态与物理实体的一致性。

依据汽轮机叶片转子试验台的物理机械臂实体对叶片抓取的标准过程，物理UR5协作机器人的叶片抓取过程状态为：机器人处于初始位置;机器人移动到叶片放置位置;机器人抓取叶片;机器人移动到装配位置;抓手释放安装叶片;回到初始位置。基于有限状态机的行为规则模拟，在状态转换与控制上依据实时数据作为响应事件的输入变量，进一步保证了模型驱动的精度。

在虚拟环境中完成叶片转子试验台的三维模型设计，并完成导入与布局，从而获取实时采集的UR5协作机器人运行数据，构建状态输入变量集合，完成数据接收，并结合机械臂物体识别与抓取行为规则状态机程序逻辑按照抓取行为规则进行状态的切换，虚拟环境中UR5机械臂叶片抓取装配驱动如图10所示。

基于数字孪生技术的UR5协作机器人状态监控系统的开发，通过系统应用表明，相对于以往的汽轮机叶片转子试验台大大提升了整个叶片装配过程的透明度，较其他机器人监控平台存在以下优点。

一是解决了传统二维监控面板的沉浸感不足，基于数字孪生的三维虚拟监控环境与物理空间的保真度更高，对于物理空间的观察更加直观与真实。

二是解决了传统机器人不具备的远程监控能力，提升了远程监控时的延迟性，基于数字孪生实时数据驱动的状态监控响应更加快速。

三是解决了传统机器人采用摄像机监控存在的死角，实现了全方位的状态监控。

六、结论

本文将数字孪生技术应用到协作机器人的状态监控领域，对基于数字孪生的协作机器人状态监控系统进行研究，设计了系统架构，同时对系统开发所使用到的软件与开发内容、开发流程进行了研究，并基于一个叶片装配案例完成对基于数字孪生的协作机器人状态监控系统的开发、应用与验证。通过实际应用表明，该系统能够实时对协作机器人的状态进行监控，同时能够实现对抓取装配过程的仿真，通过数字孪生三维可视化监控帮助完成了对机械臂实际运行过程中的分析，能够为协作机器人运行方案的改善提供支持与优化。

参考文献：

[1]陶飞，刘蔚然，刘检华，刘晓军，刘强，屈挺，胡天亮，张执南，向峰，徐文君，王军强，张映锋，刘振宇，李浩，程江峰，戚庆林，张萌，张贺，隋芳媛，何立荣，议旺民，程辉.数字孪生及其应用探索[J].计算机集成制造系统， 2018，24（01）：1-18.

[2]陶飞，刘蔚然，张萌，胡天亮，戚庆林，张贺，隋芳媛，王田，徐慧，黄祖广，马昕，张连超，程江峰，姚念奎，易旺民，朱恺真，张新生，孟凡军，金小辉，刘中兵，何立荣，程辉，周二专，李洋，吕倩，罗椅民.数字孪生五维模型及十大领域应用[J].计算机集成制造系统， 2019，25（01）：1-18.

[3]A. Bilberg， A.A. Malik. Digital twin driven human-robot collaborative assembly， CIRP Annals - Manufacturing Technology ， 2019，68（1）： 499–502.

[4]S. Choi， K. Jung， S. Do Noh. Virtual reality applications in manufacturing industries： Past research， present findings， and future directions[J]. Concurrent Engineering， 2015，23： 40–63.

[5]J. Cheng， H. Zhang， F. Tao， et al. DT-II： Digital twin enhanced Industrial Internet reference framework towards smart manufacturing[J]. Robotics and Computer-Integrated Manufacturing ， 2020，62： 101881.

[6]R. Stark， C. Fresemann， K. Lindow. Development and operation of Digital Twins for technical systems and services[J]. CIRP Annals， 2019， 68： 129–132.

[7]陶飞，张萌，程江峰，戚庆林.数字孪生车间——一种未来车间运行新模式[J].计算机集成制造系统， 2017，23（01）：1-9.

[8]Kleba John Bernhard， Reina-Rozo Juan David. Fostering peace engineering and rethinking development： A Latin American view[J]. Technological Forecasting & Social Change， 2021，167.

[9]M. Grieves， J. Vickers. Digital twin： Mitigating unpredictable， undesirable emergent behavior in complex systems[J]. Transdisciplinary Perspectives on Complex Systems， Springer， 2017：85–113.

[10]YOU Minglei， LIU Qitao， SUN Hongjian. New communication strategy for spectrum sharing enabled smart grid cyber-physical system[J]. IET Cyber-Physical Systems： Theory and Applications， 2017， 2（3）：136-142.

[11]Uhlemann T， Schock C， Lehmann C. The digital twin： demonstrating the potential of real time data acquisition in production systems[J]. Procedia Manufacturing， 2017， 9（4）：113-120.

[12]秦晓珠，张兴旺.数字孪生技术在物质文化遗产数字化建设中的应用[J].情报资料工作， 2018（2）：103-111.

[13]陶飞，刘蔚然，刘检华.数字孪生及其应用探索[J].计算机集成制造系统， 2018，24（1）：1-18.

[14]郑守国，张勇德，谢文添，樊虎，王青.基于数字孪生的飞机总装生产线建模[J/OL].浙江大学学报（工学版）：1-12[2021-06-06]. http：//kns.cnki.net/kcms/ detail/33.1245.T.20210519.0835.002.html.

[15]张素明，岳梦云.基于数字孪生的火箭测试与发射过程健康管理技术研究[J].计算机测量与控制， 2021，29（05）：8-14.

[16]Greyce N， Charles S， Carlos E. Pereira. Digital twin data modeling with automation ML and a communication methodology for data exchange[J]. IFAC Papers On Line， 2016，49（30）：124-127.

[17]Schleich B， Anwer N， Mathieu L. Shaping the digital twin for design and production engineering[J]. CIRP Annals-Manufacturing Technology， 2017，66（1）：33-35.

[18]Ferguson S， Bennett E. Digital twin tackles design challenges[J]. World Pumps， 2017，17（4）：26-28.

[19]桂前進，姚昕，汪李来，邵竹星，杨贺钧，郝振宇.基于分层有限状态机的检修工作票智能防误技术[J].合肥工业大学学报（自然科学版）， 2021，44（04）：458-463.