面向人机交互的数字孪生系统工业安全控制体系与关键技术

李 浩，刘 根，文笑雨+，王昊琪，张玉彦，李 客，马文锋，孙春亚，罗国富，黄荣杰

(1.郑州轻工业大学 河南省机械装备智能制造重点实验室，河南 郑州 450002；2.中信重工机械股份有限公司，河南 洛阳 471003)

0 引言

数字孪生(Digital Twin, DT)是实现智能制造的关键使能技术之一，其通常被定义为构建等价于物理实体的虚拟模型，通过物理实体和虚拟模型之间的虚实交互反馈、数据融合分析、决策迭代优化等，为物理实体增加或扩展新的能力[1]。数字孪生概念最早由Grieves教授在美国密歇根大学的产品全生命周期管理课程上提出，当时被称作镜像空间模型[2]，后被定义为信息镜像模型和数字孪生[3]，其实现依赖于诸多先进技术的发展和应用，其技术体系分为数据保障、建模计算和沉浸式体验等[4]。

目前，数字孪生的研究和应用已经从工业产品扩展到智慧城市、电网系统和智能建筑等多个领域，涉及人们日常生活的方方面面，但是不同领域对数字孪生应用的重点并不完全相同。例如，数字孪生城市强调为城市的建设、运转和规划提供一套完整的数字基础设施，最终目的是实现“城市大脑”，提高人的生活质量[5]；在智能建筑中，数字孪生致力于模拟人与建筑环境的互动，以改善居住体验[6]；电力系统数字孪生的研究对象是高维度长时间跨度的时空数据块，研究核心为人工智能安全监测[7]。

在不同的应用对象和领域中，数字孪生的基本理念均建立于与真实活动等价的虚拟数字化表达，而在智能制造、智慧城市、电网系统和智能建筑等领域，人是大部分活动的核心，人机交互是数字孪生研究与应用中必不可少的一环。然而，人为失误、人为恶意攻击、人的故有行为习惯等均会导致人机交互安全风险，如何提高不同数字孪生系统中人机交互的安全控制能力是亟待解决的问题。现有数字孪生系统中的人机交互具有跨系统、多层次和高时效等特征[8]，这些特征虽然扩大了人机交互的可行范围，但是也增加了信息处理与安全控制的难度，主要体现在以下3方面：

(1)人机交互安全控制体系有待完善 相比于传统工业互联网平台，面向人机交互的数字孪生系统是一个“人—机—环境”一体化系统，人与机器、人与环境、机器与环境之间的可变因素都能导致安全隐患，如何揭示其工业安全特征并建立完整的人机交互安全控制体系是研究的难点。

(2)缺乏有效的人机交互安全控制机制 数字孪生环境下，信息交互包括分散在不同地点的机器与系统、机器与人以及系统与人之间复杂的信息传递，国内有关面向人机交互的数字孪生系统工业安全控制框架与机制的研究相对较少。

(3)安全控制关键技术亟需突破 未来的智能制造系统是一个基于工业互联网的复杂人工智能系统，面向人机交互的数字孪生系统中的人机远程操控安全、人机协作安全、环境不确定性安全等问题更加突出，亟需突破这些工业安全与控制问题的关键技术。

针对以上不足，本文研究了面向人机交互的数字孪生系统工业安全控制体系与关键技术。总结了面向人机交互的数字孪生系统特征，建立了数字孪生系统工业安全与控制三维体系架构；提出数字孪生系统工业安全与控制机制；重点研究了人机远程安全操控技术、人机协作作业安全控制技术、仿真模型与数据安全技术、数字孪生系统安全态势感知与监测预警技术；最后，给出智能设备远程人机交互与安全操控原型系统和汽车焊接装配工作站人机协作安全控制的案例。

1 相关研究现状

1.1 数字孪生与人机交互

近年来，数字孪生技术在国内外工业制造领域发展迅速。最典型的是，西门子公司在德国“工业4.0”的框架下构建了整合制造流程的智能生产系统模型，提出基于数字孪生的信息交互模式，并在西门子工业生产流程中进行了应用验证[9-10];庄存波等[11]研究了产品数字孪生体的内涵、体系结构及其发展趋势；陶飞等研究了数字孪生车间的概念、系统组成、运行机制、特点和关键技术，设计了数字孪生车间的参考系统架构[12]，并提出数字孪生五维模型[13]，为相关领域践行数字孪生理念与技术提供了重要的参考；李浩等[14]研究了数字孪生技术在复杂产品设计制造方面的应用及其关键技术，提出基于数字孪生的复杂产品设计制造一体化开发框架；王昊琪等[15-16]研究了基于数字孪生的系统设计方法；苗田等[17]研究了数字孪生技术在产品全生命周期管理中的应用；Zhu等[18]将增强现实技术引入数字孪生，实现了数字孪生体的可视化显示；赵浩然等[19]研究了数字孪生车间的三维可视化实时监控方法，提出一种多层次的三维可视化监控模式和实时数据驱动的虚拟车间运行模式；吴迎年等[20]针对智能制造生产线中的机器人抓取需求设计了视觉伺服抓取系统，实现了数字模型与物理模型的信息同步、互操作，以及数字模型对物理模型状态的预测；刘庭煜等[21]针对人员宏观行为数字孪生模型构建问题提出一种三阶段级联卷积神经网络的深度学习算法，对车间现场视频中的人员进行识别和定位；Xu等[22]提出一种基于数字孪生的工业云机器人控制框架，该框架包括物理工业机器人、数字工业机器人、数字孪生数据和工业云机器人控制服务系统；Liu等[23]以结构的风险因素为研究对象提炼索力、位移等安全行为原始数据，并基于数字孪生技术进行力学分析、施工仿真和监测数据等信息的融合研究；Jiang等[24]构造了异构离散制造系统统一逻辑建模方法和虚实模型互连接、数据互交互实现机制，提出一种“消息中间件+内存数据库+关系数据”的数据交互机制，以实现物理系统、服务系统和仿真系统之间的互操作；Zhuang等[25]提出一种基于数字孪生的复杂产品装配数据管理与过程追溯方法；Wang等[26]提出基于数字孪生数据驱动的智能定制框架，该框架由定制化产品、生产系统和产品使用环境3部分组成；Liu等[27]提出一种基于生物拟态的数字孪生建模方法，该方法能够自适应地构建加工过程的多物理数字孪生体；Yu等[28]开发了一种通用的数字孪生架构参考模型，以经济高效的方式实现情境感知的产品族设计优化，并以一个动态环境下的产品族重配置案例证明所开发参考模型在情境感知中的决策辅助能力；陶飞等[29]提出数字孪生车间的概念，阐述了数字孪生车间的系统组成、运行机制、特点、关键技术等，并探讨了基于车间孪生数据的车间物理世界和信息世界的交互与共融理论及其实现方法；Li等[30]研究了面向数字孪生车间的制造任务语义建模和制造服务动态推荐框架；Luo等[31]为了实现数控机床可靠、准确的预测性维护，研究了一种数字孪生模型—孪生数据融合驱动预测性维护方法。

综上所述，数字孪生已从概念研究向关键技术研究和多领域融合运用转变，其中孪生模型构建方法、基于数字孪生的可视化显示和监控等的研究较多，针对数字孪生环境下人机交互的工业安全与控制技术研究较少。人机交互主要研究人机界面中人对机器的操作方式和交互方式，人机界面是人与机器接触的部分，其包括手机和电脑的软件界面，以及各种设备的控制面板[32]。张凤军等[33]回顾与分析了虚拟现实的人机交互范式，总结了三维交互、手势交互、手持交互、语音交互、触觉交互、多通道交互等虚拟现实和增强现实交互技术的主要研究成果与发展趋势；刘会聪等[34]将应变传感器集成至人体传感手套用作人手的手势检测，将弯曲传感器集成至软体机械手用作软体机械手的姿势及运动控制，实现了通过传感手套控制软体机械手的人机交互功能；Erol等[35]研究了一种新型的基于情感的协作式人机交互感知体系结构，通过识别人的情绪状态来实现人机协作。数字孪生只有进行大量人机交互，才能使基于数字孪生的智能制造系统通过智能化和集成化的手段来增强信息交互的柔性和自组织能力，快速响应市场需求变化[36]。目前大多数远程人机交互均依赖不同的制造软件，如企业资源计划系统、高级计划与排程系统、制造企业生产过程执行系统[37-40]，单纯的工业软件并不能解决远程人机交互中的有效操作和安全控制等核心问题[41-42]，而且数字孪生环境下的人机交互技术需要应对不断迭代运行的“虚实交互”环节，给人机交互技术设计带来了新的挑战。结合数字孪生环境的特点及人机交互技术的最新研究进展，本文将深入研究面向人机交互的数字孪生系统安全控制关键技术。

1.2 数字孪生系统工业安全

数字孪生系统的应用推进了工业化发展，在提高生产效率和产品质量的同时也带来了许多工业安全问题，生产事故频发使工业安全受到了越来越的关注。为确保数字孪生有效落地的同时保证工业安全，国内外学者展开了相关研究。王婷等[43]针对工业整体安全情况，提出工业安全监控与管理系统的设计解决方案，通过整合气体、温度、流量、压力等多种信息，并配合集散控制系统(Distributed Control System, DCS)、蓝牙、移动互联等通信手段汇总信息，实现对工业安全的动态监控及预警；赵飞等[44]针对普通四工位刀架无法进行刀具状态监测的问题，运用数字孪生技术进行新型四工位刀架设计与开发，实现了对刀具健康状态的监测，保证了刀具生产的安全性和可靠性；张连超等[45]针对卫星数字孪生车间中有轨无轨混合环境下的移动工具碰撞问题，提出一种时间可控的混合环境下的路径规划方法，结果表明，该方法能够有效解决混合环境下路径规划时间不可控的问题，避免移动工具碰撞，提升了工业环境的安全性；张文杰等[46]针对航天器试验过程中与其他制造环节海量数据共享困难的问题，提出基于数字孪生和多智能体的智能试验体系架构设计方法，并通过试验表明该方法可有效解决数据冲突问题，提升生产过程中的数据安全，而且将产品试验与工装设计精度提升了15%；Grieves等[47]利用数字孪生系统解决了复杂工业系统中的不可预测问题和突发情况，使工业安全得到提升；Mandolla等[48]将区块链技术用于构建增材制造中的数字孪生，并将所提解决方案用于飞机工业领域进行案例分析，发现所设计的方案能够为建立安全互联的制造基础设施提供概念和理论支撑。

可见，随着数字孪生技术的研究越来越深入，数字孪生系统工业安全已经引起学术界和企业界的重视，特别是针对需要在高温、极寒、高压和高频振动等恶劣环境下运行的系统工业安全的研究，但是面向人机交互的数字孪生系统的工业安全研究较少，尚缺乏完善的人机交互安全控制体系架构和有效的人机交互安全控制机制。

2 面向人机交互的数字孪生系统工业安全与控制体系架构

2.1 面向人机交互的数字孪生系统特征

与传统工业互联网平台相比，工业数字孪生系统是一个人、机和环境互相融合，动态变化的复杂虚实迭代系统，系统中的人机远程操控安全、人机协作安全、环境安全等问题的重要性超过传统工业互联网平台。工业数字孪生系统中的人机交互方式和技术较多，常见的有人机协作、个性化的生物识别、全方位感知等，这些新方式与技术的应用，使得面向人机交互的数字孪生系统呈现出以人为中心、系统具有不确定性、亟需安全管控等特征。具体描述如下：

(1)人机环境交互 面向人机交互的数字孪生系统是一个“人—机—环境”融合的动态系统，不仅包括基本设备、工业环境，还包括人机远程交互操作、人机协作等可能的交互过程，虚拟现实(Virtual Reality, VR)/增强现实(Augmented Reality, AR)/介导现实(Mediated Reality, MR)、手势交互、语音交互等新技术的应用逐渐普及，形成一个“人—机—环境”协调运行的虚拟系统。

(2)以人为中心 由于面向人机交互的数字孪生系统不是一个以自动化、程序化为主，而是以人的行为为主的系统，个性化的生物识别、全方位感知、可穿戴动作捕捉、光学视觉动作捕捉、VR/AR/MR等与人交互的技术将大量应用。系统运行和决策过程需要考虑人的工作状态，以及不同人的熟练程度、甚至情感感知等不确定性因素，生产节拍要考虑人的不确定性，从而形成数字孪生系统中的柔性控制。

(3)系统不确定性 由于人的行为和状态变化、机器运行失控以及环境动态变化会导致数字孪生系统具有不确定性，如人的疲劳或情感导致工作节拍异常、各种工作环境中的突发情况，需要从人员、设备、环境和网络体系等方面进行全面综合的态势感知与监测预警，建立系统不确定性风险预警、识别与快速反应机制，以确保物理系统和数字孪生系统稳定运行。

(4)运行安全管控 系统运行安全管控是面向人机交互的数字孪生系统的重要研究内容，不仅面临系统被破解、被入侵等安全风险，还要应对人机远程操控安全、人机协作安全、机机协作安全等工业现场安全因素，需构建数字孪生系统的安全管控体系，研究人—机交互安全预警与控制方法，以确保系统运行安全可控和人机安全。

2.2 数字孪生系统工业安全与控制体系架构

数字孪生系统工业安全与控制体系如图1所示，图中的三维体系为安全防护层次、安全管理与控制机制、安全防护保障措施。

(1)安全防护层次 主要包括人、设备、控制、网络、应用、模型/数据六大防护对象，形成人的安全、物理安全、信息安全和功能安全四大类安全保护。与传统工业互联网平台安全防护层次相比，更强调人的安全和物理安全，形成以人机安全为核心的数字孪生安全保障体系。

(2)安全管理与控制机制 安全管理与控制机制是工业安全与控制体系的重要组成部分，包括风险评估机制、应急计划管理和安全控制机制等，需要制定满足业务场景需求的风险评估机制和安全控制机制，并依据策略机制制定应急计划管理流程，是数字孪生系统稳定可靠运行的基础。

(3)安全防护保障措施 安全措施是为了保障数字孪生系统中人、机、环境的安全而采取的保护举措与行动，包括安全防护技术、态势感知、监测预警和处置恢复等。

2.3 安全防护层次与关键技术支持体系

面向人机交互的数字孪生系统体系架构是一个云、边、端协同的“人—机—环境”分布式系统。由于面向人机交互的数字孪生系统呈现出以人为中心、系统具有不确定性、亟需安全管控等特征，使得其对安全防护层次和关键安全控制技术的要求比传统工业互联网平台更高。数字孪生系统安全防护层次与关键技术支持体系由安全防控层次对象、系统安全管理与控制机制、工业安全与控制关键技术构成，如图2所示。安全防控层次对象如下：

(1)人员安全 人机协作过程中，如何确保人员不被设备误伤，研究基于数字孪生的人机协作安全控制方法与技术。

(2)设备安全 设备运行过程中，针对人为因素、复杂工况因素、自身故障等可能造成的安全威胁，构建设备安全检测和预防体系与技术。

(3)控制安全 指远程设备操控过程中的控制，包括人员识别、多级验证、控制协议安全、控制软件安全和控制功能安全。

(4)网络安全 包括承载工业智能生成和应用的工业内部网络、外部网络及标识解析系统等的安全，具体指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然或恶意而遭到破坏、更改、泄露，系统连续、可靠、正常地运行，网络服务不中断[49]。

(5)应用安全 包括数字孪生系统安全与工业应用程序安全，如系统的访问控制、入侵防范、攻击防范、行为管控、来源控制等。

(6)模型/数据安全 包括模型与数据采集、传输、存储、处理等各个环节的数据以及用户信息的安全。数字孪生模型可以直接操控物理设备，进而影响到人与设备的安全。

在工业互联网平台的网络安全和应用安全等通用安全技术基础上，数字孪生系统安全控制的关键技术还有一些特殊技术，如基于数字孪生体的设备远程安全操控技术、人机协作作业安全控制技术、模型/数据安全技术、安全态势感知与监测预警技术等，这些技术支撑着系统安全可靠地运行。

3 数字孪生系统工业安全管理与控制机制

工业安全管理与控制机制是工业安全与控制体系的重要组成部分，主要包括风险评估机制、应急计划管理和安全控制机制等。针对工业数字孪生系统，需要制定满足业务场景需求的风险评估机制和安全控制机制。数字孪生系统工业安全与控制机制主要包括两个方面：①针对数字孪生系统中远程信息传输的保密问题，构建人与设备进行远程交互的信息安全机制；②针对制造现场人与机器交互时的人身安全问题，构建数字孪生系统中人机交互作业安全控制机制。

3.1 数字孪生系统远程交互信息安全机制

本文构建了数字孪生系统远程人机交互的信息安全机制体系，整个安全架构包括用户操作层安全、逻辑控制层安全、系统控制层安全、工业网络层安全和硬件执行层安全(如图3)，形成一套完整严密的安全控制机制。

整个安全架构采用智能模块单元体系架构，每一个智能模块单元均具备独立的安全控制能力，当系统中的某一智能模块单元出现问题时，不会扩散到其他智能模块单元。

(1)用户操作层 针对用户操作的安全威胁，采用固定IP和端口、APP电子签名、动态登录密码等方式防止虚假界面盗取用户信息、篡改APP。

(2)逻辑控制层 针对逻辑控制过程中的越权操作、非法指令、夹带非法信息等威胁，采用指令审查、多级审批等方法保证非法指令、越权操作不被执行。

(3)系统控制层 针对窃取用户信息、渗透入侵、非法访问、不合理操作等安全威胁，采用设备状态的实时监控、操作行为记录审计、系统用户权限分配、非法访问拦截、非法操作和系统异常报警等方式来预防。

(4)工业网络层 针对网络监听、数据包的截获破译与篡改等安全威胁，采取防火墙、安全超文本传输协议、安全套接层协议和安全交易技术协议等对网络传输过程中的数据包进行加密和身份认证，并对数据包进行电子签名。

(5)硬件执行层 针对存在的设备端口入侵、设备不合理操作和设备故障异常等安全威胁，采用端口禁用、权限控制、通信安全协议、设备端操作审查、设备故障预警与自修复等方式进行安全防护。

3.2 数字孪生系统中的人机交互作业安全控制机制

机器人具有高强度、大负载、高速度等特点，工作时需要较大的运动空间，当与人共同作业时，遇到紧急情况很难像一般自动系统一样采取人为急停措施，容易造成安全事故，人机协作过程中的工业安全问题亟待解决。为此，研究了基于数字孪生的人机交互作业安全控制方法，如图4所示。

在实际操作前，数字孪生模型能够进行安全操作训练，即在虚拟环境中帮助操作人员熟悉作业环境，避免因违规操作导致安全事故；在实际操作过程中，数字孪生模型能够实时得到由机器反馈的状态数据，然后根据控制算法，以最小化危险度为目标规划机器人的运动，或根据已有的工人操作习惯数据对可能发生的碰撞进行预警；在操作完成后，将本次机器数据和工人操作数据保存为训练数据，建立安全知识库。所保存的数据为结构化数据，数据保存为两种格式，格式1为实体1，关系，实体2，格式2为实体1，属性1，属性值1，属性2，属性值2,…。例如将工人的操作习惯数据保存为工人1，合法进行，A操作，工人1，A操作，true，B操作，true，C操作，false，…。

知识库的构建过程为：首先从一次完整操作中提取实体和非实体数据，例如工人和设备为实体数据，工人和设备间的关系为非实体数据，然后将实体数据和非实体数据保存为上述格式，形成结构化的数据集，这些结构化的数据集组成安全知识库。当某种操作被执行前，知识库系统程序遍历知识库，基于字符串识别进行简单的语义分析并判断该操作是否合法[50]。随着日常操作经验的积累，安全知识库更加完善，其中的语义漏洞将逼近于零，这种基于知识库的安全判断准确率会越来越高。

4 数字孪生系统工业安全与控制关键技术

4.1 人机远程安全操控技术

人机远程安全操控技术是一种多学科交叉的技术，涉及机械、电子、自动控制、传感器、通信和人工智能等学科[51]。数字孪生系统中的人机远程安全操控技术指操作人员通过虚拟设计的孪生模型与远程物理设备进行交互的信息安全控制技术[52]。在远程控制过程中，控制信号经过较长网络链路和大量节点的转发，带来破解、被入侵等一系列信息安全问题[53]，包括信息拦截、数据恶意篡改、保密信息被监听、越权操作和非法指令等，如图5所示。为解决上述安全问题，综合运用非对称加密技术、对称加密技术、数字签名技术和多级审批技术对设备远程安全操控数据包进行强化保护，以保证非法指令、越权操作不被执行，使系统具备防篡改和防监听的能力。

单一的安全操控技术难以解决整个系统的安全隐患，需要将这些前沿关键技术有机组合，形成基于数字孪生体的设备远程安全操控体系。利用非对称加密技术中基于大整数质因数分解的不易性，可以确保保密信息不被中间环节破解和监听，在此基础上本文引入数字签名技术来解决操作者身份被仿冒和数据包报文被中途修改的问题。同时，基于数字孪生体的设备远程安全控制能够集成运用对称加密和非对称加密技术，在保证信息安全的同时节约计算资源。如图5所示，甲要向乙发送一条信息，甲乙首先各自生成一对密钥，甲方生成的密钥用来签名和验证签名，乙方生成的密钥用来进行非对称加密通信，然后在步骤3将自己的公钥发送给对方保存；在步骤4，甲设置一个用于对称加密的密码，用乙的公钥加密该密码并发送给乙，乙用私钥解密；步骤7中，甲用自己的私钥对要发送的报文进行签名，然后将签过名的报文用对称密钥加密后发送给乙，乙收到该报文用对称密钥解密；最后乙用甲的公钥验证数字签名，从而保证信息安全。

4.2 人机协作作业安全控制技术

面向人机交互的数字孪生系统以人的行为为主，人的安全是系统安全的核心。与远程控制不同，人机交互中的操作人员和设备需要近距离协作，作为新一代共融机器人技术的基础难题之一，人机协作安全问题不仅能够增强人与机器及非结构物理环境接触的安全要求，还将加剧人与机器人协作作业在安全方面的矛盾[54]。因此，如何有效保障操作人员的自身安全是一个难题，特别是在人机协作作业过程中，使机器人逐渐具备感知学习能力和决策能力，从而进行主动反应与避让[55]。

数字孪生环境下的人机协作安全控制系统需要具备实时、多源、异构数据的感知、接入和融合能力。在图6所示的人机协作安全控制技术示意图中，通过相机监视整个人机协作场景，并通过计算机处理得到图像后，分别基于标签识别算法和人体关键点识别算法检测出机器人和工作人员。在此基础上，根据双目测距原理计算人体各个关键点和机器人各个关节点的空间坐标(x,y,z)，并设计人机距离算法来确定最小人机安全距离。然后，根据操作人员接近机器人的距离评估碰撞风险，触发相应的控制策略，包括正常工作、减速工作，以及让机器人紧急停止并发出强烈的警告信号。人机协作安全控制系统运行数据还能通过局域网传输给本地服务终端，工作人员可实时对该系统进行监管与控制。

4.3 仿真模型与数据安全技术

除了人机远程操控安全和人机近距离协同作业安全外，模型和数据安全可靠也是保证数字孪生系统整体安全的关键因素，特别在数字孪生技术与智能制造加速融合过程中，封闭系统向开放系统转变势在必行，模型和数据风险将集中出现[56-57]。数字孪生系统是一个由模型和数据联合驱动的动态复杂系统，虚拟系统和物理系统存在互为映射和驱动控制的关系，虚拟系统中的模型可实时驱动与控制物理系统运行。模型安全和数据安全是保障物理系统按照预定设置精准可靠运行的前提，两者联系紧密且各具特点。模型安全包括物理模型安全和虚拟模型安全：前者指设备服役过程是否安全可靠，与设备的设计、制造、运维等因素相关；后者的本质是数据安全，其重点是考虑数据的恶意篡改、丢失等问题。数据安全强调虚实交互中数据存储、传输、接收等过程中的安全风险，以及增加信息维度带来的数据安全风险等。因此从模型和数据两个维度分别探讨相关的关键技术，整体框架如图7所示，其中包括多种潜在风险及应对技术，具体分析如下：

(1)模型安全风险 模型包括物理模型和虚拟模型。物理模型安全建立在制造精准、制造误差可控的基础上，制造过程中产生较大偏差会引发物理系统不稳定，并随设备使用时间的增长，其振动幅度越来越大，从而引发设备故障或事故。例如轴径超过允许的误差范围后，轴在转动过程中会对轴承产生周期性冲击，冲击幅度逐渐增大，造成轴承破损，引发系统故障。数字孪生系统下，模型安全依赖于精准设计、可靠制造等关键技术。虚拟模型在本质上是数据，其安全也是数据安全的一部分，虚拟模型中数据的误改动、传输过程中的数据丢失、模型库的非法入侵等都会带来模型安全风险，需要建立可靠的安全防控体系来确保模型安全，降低外来入侵者操控模型的风险。

(2)数据安全风险 数字孪生系统的应用涉及传感器的大量铺设、数据采样频率和物理系统复杂度的提升等，因此拥有多物理量、多尺度、多源异构等特点的大数据。数据的采集和传输、知识库的建立等过程都隐藏着巨大的安全风险：①中心化的存储方式会加剧泄露风险，虽然攻击难度增加，但是攻击目标明确、成本低；②多样性的数据蕴藏着极敏感和高价值信息，所面临的不再是单一窃取者，而是多层次的窃取者；③随着数据中所蕴含信息维度的增加，扩展了安全防御边界，安全预防的应对方法和遭受攻击的解析过程愈加复杂，安全管理范围逐渐扩大；④因果关系的线性分析转变为复杂的多变量非线性分析，智能的数据分析结果对决策者的影响逐渐增大，且随数据分析真阳性的增多，决策者将失去判断，如果模型中的参量被篡改，或者分析系统被控制，则将是灾难性的；⑤数据的提供者和维护者日益庞杂，为攻击者提供了多种窃取路径，攻防双方力量的非对等性呈下降趋势，数据挖掘和分析技术的进步，伴随着攻击者窃取手段的不断更新，技术壁垒的作用在降低。

基于上述分析，需要采用全面而又前沿的安全防控技术来降低安全风险。为此，本文提出以下应对安全风险的技术手段：

(1)模型构建与封装技术 采用密文计算技术(同态加密技术、安全多方计算技术、可验证计算技术、密文检索等技术)对虚拟模型数据进行封装和加密，避免非法入侵恶意修改数据。

(2)个性化生物特征识别 利用可信认证与生物认证等技术，剔除假冒对象与数据，从源头上确保数据源安全可靠。

(3)传输加密 利用高速网络传输加密、跨域数据交换、威胁监测等技术，确保数据在动态传输中的机密性和完整性。

(4)分类存储 在隔离存储的基础上分级分类存储，落实安全存储和访问控制，对高价值数据，如元数据、密集度高的数据或被高频次访问的数据，通过数据同步、数据复制、数据镜像、冗余备份和灾难恢复等技术手段来确保数据完整。

(5)安全销毁技术 通过删除元数据、缓存数据和磁盘残留信息来避免非法信息残留。通过删除元数据和业务数据、多次读写等方式，使数据销毁流程形成闭环，确保数据删除得干净彻底。

4.4 数字孪生系统态势感知与监测预警技术

态势感知是一种基于环境且动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，最终为系统的安全防控决策和措施提供依据[58]。面向人机交互的数字孪生系统是一个“人—机—环境”相互融合的动态复杂系统，因此，对数字孪生系统的工业安全控制进行研究需要从人员、设备、环境和网络体系等方面进行全面综合的态势感知与监测预警，并建立一个综合评估模型，以评估出不同等级的系统安全态势。图8所示为数字孪生系统的态势感知与监测预警框架，利用数据采集设备从孪生系统中抓取“人—机—环境”数据，并借助算法分析感知系统态势，最终根据感知结果进行实时监测预警，具体分析如下：

(1)人的态势感知与监测预警

人的安全是数字孪生系统安全的核心，然而人的工作环境、工作状态、熟练程度、情感等多种因素随时间变化，出现紧急突发状况时，不能保证人可以随时快速响应并进行正确处理。利用态势感知与监测预警技术时刻监测人员的安全情况，可以最大地降低安全风险，保障人员安全，例如可以通过工人的脑电信号监测其作业疲劳程度[59]，采用心率监测分析工人的生理疲劳情况[60]，基于多模情绪相关信号识别工人的情绪[61]。本文研究一种框架，利用个性化的生物识别、全方位感知、可穿戴动作捕捉、光学视觉动作捕捉、VR/AR/MR等技术，识别人的情绪、疲劳程度、周围环境的变化，例如采用神经机制模型[62]对动态情绪面孔进行深度加工可以判断人是否发生焦虑，利用语音语调识别方法可以判断人的情绪是否发生变化[63]，利用视频流分析技术[64]可以实时感知环境变化，达到在发生安全风险前发出提醒和告警，防患于未然的目的。

(2)设备的态势感知与监测预警

设备是数字孪生系统的执行单位。在长期运行中，由于高速、高温的工作环境，以及大负载、冲击等恶劣工况，设备发生故障不可避免，若不能及时发现潜在的故障，则会使故障恶化，并因部件间耦合形成故障传递而引发事故。态势感知与监测预警利用数据处理、信号分析、机器学习、概率统计等技术和方法从数据中挖掘早期特征，时刻感知数字孪生系统中设备的态势，在出现早期故障时及时发出预警，从而保障设备安全。

(3)环境的态势感知与监测预警

数字孪生系统下的环境具有动态性和不确定性，需要时刻感知环境变化，对潜在的安全隐患发出预警。为了分析环境的变化，可利用视频监控技术，依赖图像处理、深度学习、图像分割、模式识别等技术，对视频流进行处理，并利用高性能服务器提高响应速度，实现感知环境、快速分析和及时预警。

(4)数据的态势感知与监测预警

数字孪生系统中的数据价值高、不可泄漏，对数据的安全态势进行感知与预警可保障系统的可靠性。本文通过安全态势感知技术对平台系统和数据流转过程的安全势态进行探测、分析和可视化，从时间和空间维度对安全威胁情报和各类安全态势信息进行大数据分析，帮助管理人员掌握数据安全现状，实现对数字孪生系统的精细化运维和管理。同时，利用监测预警技术为数据源、大数据平台和大数据流转提供全方位、全视域的威胁甄别与预警，通过主动行为发出安全防护信息，如威胁监测识别、危险入侵预警、威胁信号推送等。

5 案例

5.1 智能设备远程人机交互与安全操控原型系统

根据所提面向人机交互的数字孪生系统安全操控技术，开发了智能设备远程人机交互与安全操控原型系统，初步实现了远程控制、多级权限操作、安全控制等功能。

在原型系统构建中，需要实现硬件执行层、网络层、系统层、逻辑控制层和用户操作层5层架构模型，如图9所示。通过树形网络将系统切分为若干单元，各单元通过安全网关与交换机进行多类型设备在物理上的连通，形成智能设备互联平台；然后，通过网关和防火墙接入互联网，对硬件执行层中的PLC、电机、加工中心、数控机床系统和机器人等进行远程管控与关键参数修改。另外，OPC Server和系统页面部署在工业网络中的服务器主机上，系统层和业务逻辑层的大部分软件代码都运行在服务器主机上。在用户操作层，通过客户端的浏览器访问系统页面监控系统状态，用户可以通过内部的智能设备互联平台或浏览器直接登陆系统，进行远程控制、权限管理与在线验证和审批等。

根据系统整体的框架和层次模型，针对各层面临的不同安全威胁部署相应的应对策略，如图10所示。在安全验证和操作流程审批模块中，用户向系统发出未经加密处理的连接请求；系统收到用户请求后，查找安全模块的设备互联网协议(Internet Protocol，IP)与地址和媒体存取控制位(Media Access Control, MAC)名单，如果在名单内，则进行下一步，否则拒绝接入请求；找到安全模块设备之后，要求用户提供自己的身份证明，用户收到该报文以后，向系统发送自己的证书文件，身份证书核对无误后进入下一步，否则拒绝用户接入；然后系统要求用户提供用户名、密码和验证码等信息，与用户开始加密通讯，用户将用户名、密码和验证码发送给系统；系统核对无误后将用户接入系统的Java服务器页面(Java Server Pages，JSP)。

5.2 汽车焊接装配工作站的人机协作安全控制技术验证

在某汽车焊接装配工作站人机协作安全控制案例中，采用ABB-IRB1600机器人，采用身高为173 cm、身体质量指数 (Body Mass Index, BMI)小于25的男性为人体模型。人机协作区域由两个双目相机监控，其中一个像机位于机器人正前方3 m处，另一个位于机器人左方或右方3 m处，两个双目摄像机对人—机协作场景进行冗余拍摄，使该场景中无监控盲区。

图11基于Unity 3D建立了与物理空间真实人机协作对应的数字孪生环境，并开发了对应数字模型的C#脚本，同时采用MySQL数据库存储采集到的物理场景实时数据，通过Unity 3D平台接口与模型实时通讯，达到物理空间与虚拟空间同步的目的。在数字孪生环境下，通过向设计人员提供重要的感知线索并进行多模式反馈，能够增强人们对协作场景和机器人运动的感知能力，设计人员可以近距离从不同角度直观地观察人机协作场景，检查各个设备的位置，如果有需要，则可通过控制器手动调整设备位置，在此基础上，分别基于机器视觉和级联金字塔网络检测机器人和操作人员的关键点。其中，基于机器视觉可识别粘贴在机器人各关节上的标签坐标，这种方法具有较好的通用性[65]；利用开源的级联金字塔网络能够快速精确地识别人体关键点[66]。为了保证人机协作过程安全，设置了不同的安全阈值，当人机之间的距离d≥30 cm时，机器人以正常速度工作；当30 cm

6 结束语

本文针对面向人机交互的数字孪生系统中，人机交互安全控制体系有待完善、缺乏有效的人机交互安全控制机制、安全控制关键技术亟需突破等问题，提出面向人机交互的数字孪生系统工业安全控制体系架构，分析了数字孪生系统工业安全管理与控制机制，研究了数字孪生系统工业安全与控制的关键技术，并给出两个系统开发案例。

目前，数字孪生的理论和技术研究仍处于初级阶段，鲜有在企业应用成熟的数字孪生系统。当数字孪生系统在实际车间运行时，由于实际工况的复杂性及越来越高的工业安全等级要求，跨系统集成、人机交互、安全控制等技术成为数字孪生系统开发与实施的难点。随着数字孪生理论与技术研究的不断深入，本文提出的体系架构、安全控制机制和关键技术将会被不断地完善和拓展。