面向无人机作战的虚拟孪生系统设计方案

纪广， 郝建国， 张振伟

(国防科技大学 智能科学学院, 湖南 长沙 410073)

0 引言

无人机(UAV)凭借其操作便携高效、行动灵活多变、伤亡有效避免的卓越性能，近年来一直是军事领域的研究热点之一，面对缺少实战体验的作战仿真体系和复杂多变的真实战场环境，传统的作战仿真技术难以支撑智能化作战需求，主要原因在于，传统作战仿真对战场要素的构建仅仅依据一定的现实条件做出想定，多取决于人为想法，与实际作战条件没有直接联系，模型精度高低基本取决于建模人员的知识储备，且传统作战仿真多采取离线仿真形式，仿真推演结果只能为现实作战场景提供借鉴，无法根据作战态势实时响应，不过分注重仿真推演画面增强的方式也很难在仿真作战中带给指挥员高效的体验感。无人机作战虚拟孪生系统的建立有助于加强真实战场和仿真体系之间的信息融合，借助人工智能的强大推演能力，创建更加全面的数据库，辅助指挥员做出科学合理的指挥决策。

作为2020年重大科学问题之一，虚拟孪生技术的提出本质上是基于数字孪生技术，提出的宗旨意在智能制造等现实领域突破物理世界与信息世界交互与共融所面临的瓶颈。对无人机作战仿真系统而言，虚拟孪生技术的内涵是指利用战场传感器、互联网、虚拟现实、数据挖掘、知识图谱、神经网络等技术，对无人机真实作战环境各实体对象的行为、特征、性能和行为过程等进行描述和建模的过程和方法。

就军事应用领域而言，虚拟孪生和数字孪生在技术内涵上是统一的，都以打造精准的交互式高逼真度数字模型为核心理念，并力求构造一个与现实世界作战元素一一对应的虚拟仿真世界，在作战行为过程中，虚拟孪生与数字孪生在实时性、同步性和交互性上的追求保持一致，但是虚拟孪生更强调对智能实体的关注，如无人机等在仿真作战环境下的智能化军事应用与开发。与数字孪生强调的基于物理实体的多维度多尺度数字孪生体构造不同，为了能够满足对新型军事武器装备的创造性设计和便携式调试，物理实体之于现实世界的存在也可以后于数字孪生体之于仿真世界的存在，通过在高置信度仿真环境下对新型军事武器装备数字孪生体的精细打磨以及仿真对抗运行，指导现实世界的实装生产，提升装备开发效率。相比数字孪生，虚拟孪生更能满足智能实体的设计与开发。

虚拟孪生技术的运用对于无人机作战仿真系统的研制发挥着重要作用，而人工智能各项技术的合理规划与运用又对虚拟孪生技术的进展有着巨大的推动作用，如何有效利用虚拟孪生技术对无人机作战仿真中物理战场和孪生战场进行高效的融合与拓展，并对新型武器装备等进行预研与开发，成为当前无人机作战领域的一大创新点。本文以陶飞等提出的数字孪生五维模型为理论基础对无人机作战虚拟孪生系统架构进行设计和分析，陶飞等将数字孪生系统根据规模分为个层级，即单元级、系统级和复杂系统级，本文提出的作战仿真系统论规模可以理解为虚拟孪生技术支撑下的系统级系统。

针对作战仿真和辅助决策支持系统的研究，国外方面，影响力较大的是美国对“深绿”计划的启动，其主要依赖于动态数据驱动应用系统(DDDAS)提供的技术支持，该技术是Darema于2000年3月的一次专题学术讨论会上正式确立的。与2002年国际建模与仿真会议上Fujimoto等提出的共生仿真(S3))不同，从作战仿真和指挥决策支持系统的角度而言，DDDAS强调对真实战场或战场的建模精准度，S3强调指挥员的决策对于仿真系统的有效反馈。国内方面，最早由王飞跃提出平行系统方法，其在作战研究方面意在提供更加有效和逼真的战争模拟，平行仿真技术的提出让仿真系统和实际系统的平行执行成为理论上的可能，面向指挥决策支持平台的平行仿真系统研究也取得一定进展，能够实现在线仿真辅助决策。平行系统和平行仿真概念存在区别，平行系统强调仿真系统中任何现象应该视为现实中可能出现事件，即“虚”与“实”的地位平等，而平行仿真强调动态数据的实时更新，并实现模型和参数的演化调整。对于在2016年—2018年连续三年被世界著名咨询公司Gartner列为十大战略科技发展趋势的数字孪生技术，其理念最早可追溯到美国国家航空航天局(NASA)于1969年在阿波罗项目中提出的在轨装配技术。之后Grieves等对该技术深入研究，丰富了数字孪生的内涵要义。2010年, 美国国家航空航天局 (NASA) 在太空技术路线图中首次引入数字孪生概念，旨在刻画和映射物理系统的全生命周期过程，有效实现对物理系统运行状态、使用寿命、任务可行性的诊断和预测，基于此，数字孪生技术在发展中逐渐成型，其也可以被视为平行系统的特例或子集。相较于DDDAS和S3，数字孪生技术能够实现虚实交互和数据映射功能，更能够满足无人机作战仿真系统的实时性要求。相较于平行系统和平行仿真，数字孪生的核心要义在于多维度多尺度的数字化建模，更能够满足无人机等装备模型的精准化要求。

虽然现阶段数字孪生技术还没有运用到军事作战领域，但邓烨等提出了数字孪生战场的建设方案，从数字孪生的内涵要义出发，构建了相应的体系架构，对数字孪生运用于军事领域进行了初步探讨。在无人机作战领域，数字孪生技术的应用同样还没有相关研究与应用，但美国NASA和美国空军研究实验室曾合作提出未来飞行器的数字孪生体范例。国内，广东工业大学介绍了一种关于多旋翼无人机的数字孪生仿真平台，利用Unity、Ros、MATLAB等工具软件实现对无人机的多尺度仿真。吴东阳等对四旋翼飞行器的数字孪生系统做出初步设计，对系统可行性进行了分析，从工程应用上体现了数字孪生技术对无人机飞行仿真的重要作用。这些研究为无人机的数字孪生体构造及其系统开发提供了有效的借鉴。

随着虚拟孪生技术的提出，其在军事领域的应用相较于数字孪生而言，更能体现对无人机等智能实体的兼容性与创造性，结合人工智能相关先进技术的融合，拥有较为广阔的发展前景。本文基于虚拟孪生技术，针对无人机作战仿真系统的设计进行探讨。

1 无人机作战虚拟孪生系统框架

根据虚拟孪生技术的相关要义，其在框架设计原则上遵循数字孪生对系统框架的虚实交互以及数据映射等要求，并利用五维模型原则，设计无人机作战虚拟孪生系统框架如图1所示，其主要由物理层、虚拟层、数据层和服务层4部分组成。五维模型中涉及的连接，在本文系统框架下可以等价为各模块之间的数据流。

1.1 物理层

物理层是系统构成的基础。物理层中，以真实无人机战场为主模块。必要前提是搭建较为完善的战场传感器系统，能够实时捕捉战场关键信息，并将其及时传递给数据层中基于神经网络的目标识别系统，进行数据上的初步处理。无人机作战档案库基于历史作战数据构建，能够将数据传递给基于图神经网络的态势评估系统，并实时更新系统新的态势评估。

物理层的构建高度依赖物理设施的完善性，相较于文献[20-21]等对无人机的数字孪生系统构造方案而言，本文方案除了注重对实体无人机的仿真构建，还强调对无人机作战战场的孪生构建，意在打造要素全面的仿真系统。

1.2 虚拟层

虚拟层是在物理层基础上构建的虚拟对象。以虚拟孪生无人机战场为主模块，其在无人机虚拟孪生仿真系统的支撑和增强现实模块的渲染下，能够将增强式可视化战场场景传递给战场指挥员，提升指挥员的作战体验。战场决策仿真库能够存储服务层实时传递的智能化决策和作战计划智能化生成模块生成的实时方案，并实时传递给仿真环境搭建系统进行推演平台的实时更新。同时，作战计划智能化生成模块在获取新的智能化决策以后，实时将数据传递给孪生仿真环境进行驱动更新。

虚实环境交互主要基于增强现实技术。增强现实(AR)的三大特征是虚拟世界与现实世界的信息融合、虚拟与现实实现实时交互、三维空间上虚拟物体的添加。增强现实的引入主要用于两个方面：

图1 无人机作战虚拟孪生系统框架Fig.1 Virtual twin system framework for UAV combat

1)无人机战场场景下，利用Gazebo等仿真软件构造全景仿真场景，不仅提供面向无人机作战目标、作战任务、作战环境的全景仿真能力，而且实现实装、模拟器与仿真模型的互联互操作，从而不断提高无人机受训人员驾驶操控能力和指挥员随机应变判断力。提供无人机模拟作战的仿真平台较多，如ROS，该平台强大的交互能力有望为构建更加贴近实战的作战场景提供借鉴。除此以外，对于无人机作战场景的数字孪生构造，可以从数字孪生智慧城市发展建设的理念中，借鉴其利用GIS打造大数据融合的孪生城市、利用综合性的感知设备支撑数字孪生系统运行、利用区块链建立数字孪生系统的大数据平台等思路，从现实世界出发，分别就战场三维地理特征、城市感知设备和数据网络连通进行设计，为虚拟孪生技术下军事仿真战场的开发与应用提供技术支撑。

2)无人机作战场景下，重点实现现实世界与虚拟世界的实时交互，无人机作战场景要求全面可靠的真实战场信息与数据。经过处理采集到的战场信息后，将真实战场的重点军事行为对象信息与虚拟孪生战场的模型信息相互融合，为虚拟孪生战场提供更加饱满的信息量。最后，通过可视化的手段将作战场景信息以更具冲击效力的三维空间表达方式传递给指挥员，不仅能够帮助指挥员掌握更加全面的战场信息，而且有利于帮助指挥员捕捉因机器数据处理局限性而忽略的一些关键信息，以更形象化的方式增加指挥员决策的科学性与可靠性。

与现阶段数字孪生系统构造方案相区别的是，本文方案的虚拟层强调引入增强现实等技术加强对虚拟环境的仿真构造，意在提升指挥员的作战体验。通过身临其境的作战体验，强化指挥员的作战意识，提升作战效率。

1.3 数据层

人工智能的手段已经广泛运用于各领域，数据层意在借助研究前沿的人工智能技术增强系统运行可靠性，主要包含数据处理、仿真引擎和数据挖掘3个模块。

数据处理模块主要包含基于神经网络的目标识别系统和基于图神经网络的态势评估系统，图神经网络是可以有效揭示深层拓扑信息的模型，基于图神经网络的链路预测问题即给定一些点和边的特征，从而学习一个预测边的模型。其核心思想是将知识图谱中的点或边映射为向量空间的点，从而对向量空间中的点做处理。图神经网络的引入，能够充分挖掘无人机操控专家知识图谱拓扑结构的特征信息，并就预测链路问题作出相应的态势评估。目标及事件识别作战数据库能够为系统提供较为丰富的作战模型资源，提升数据处理模块识别精准度和效率，基于图神经网络的态势评估系统意在识别战场目标，并就双方形式作出评估；仿真引擎模块主要包含仿真环境搭建系统、推演系统和无人机虚拟孪生仿真系统，在仿真环境搭建和仿真系统运行下，使推演系统生成人工大数据，并驱动无人机虚拟孪生仿真系统的运行，该模块意在充分运用实时数据推动战场景的演化；数据挖掘模块主要包含关联规则及序列模式挖掘系统，该模块将战场传感器系统采集的实时数据和基于神经网络的决策知识系统产生的决策数据传递给数据挖掘层形成小数据库，关联规则及序列模式挖掘系统将从战场实时采集的小数据进行离散化处理，并挖掘仿真推演系统生成的人工大数据，将挖掘的数据传递给关联规则及序列模式库，意在将结果不断用来优化无人机操纵专家知识图谱。

知识图谱在补充挖掘知识的基础上，可以为图神经网络提供非欧几里得结构特征信息，提高数据的准确性和可解释性，图2所示为基于数据挖掘与知识图谱的行为学习流程。

图2 基于数据挖掘与知识图谱的行为学习流程Fig.2 Behavior learning process based on data mining and knowledge graph

数据层引入的知识挖掘、神经网络等人工智能技术，是在数字孪生技术基础上，虚拟孪生技术对仿真系统构造的扩展与补充，其对数据的处理效率和精度高于传统数字孪生系统建设方案，对系统的可靠性具备更强的支撑作用。

1.4 服务层

服务层中，知识决策模块主要包含人机操纵专家知识图谱和基于神经网络的决策知识系统，无人机战术库与行为规则库对无人机操纵专家知识图谱做初始化处理，并驱动无人机虚拟孪生系统的运行，同时将知识分类传递给基于神经网络的决策支持系统，决策知识库为决策知识系统提供具体的数据支撑。该模块意在态势评估的基础上智能辅助决策，并将智能化决策实时传递给战场指挥员，为其提供决策较优方案。除此以外，服务层还提供定制化服务的接口，能够根据作战需求定制编队训练、意图识别、路径规划和态势感知等智能化作战服务。

决策支持系统采用深度神经网络模型进行搭建。决策知识库包含数据库、模型库、方法库和知识库4个子库，在前期态势评估和知识图谱决策的基础上，基于神经网络的决策支持系统经过演算并根据决策知识库已有知识做出最终决策，并由智能化决策生成模块作为人机接口与指挥员交互。图3为决策支持系统流程图。

图3 决策支持系统流程图Fig.3 Flow chart of decision support system (DSS)

与文献[20-21]等面向无人机仿真的单一服务相区别，本文设计方案的服务层支持面向用户的多功能服务开发，提供标准交互接口，具备一定的普适性。

2 案例研究

以单兵作战四旋翼无人机作战过程为例，分析其在虚拟孪生系统下的运行流程，为虚拟孪生系统开发多样化的军事作战需求提供可行性思路。

2.1 设计方法

为了实现对虚拟孪生系统的有效开发，本文案例基于机器人操作系统ROS进行研究。具体方法步骤为：

1)对硬件架构进行设计，基于现实条件搭建物理实体，通过调试，保证物理实体的有效运行与控制。基于系统开发需求，选择支持二次开发的飞行控制硬件，并在架构逻辑上支持指挥员对系统的操作控制；

2)基于ROS操作系统的相关功能支持，对软件架构进行开发，以传感器采集的数据为输入，以智能化辅助决策为输出，软件架构的各功能模块需要依据需求单独进行设计；

3)通过对系统的基础运行，验证系统相关功能。

2.2 硬件架构

考虑现实作战需求，硬件架构的构建需要满足：

1)无人机应当配备摄像头，以满足日常巡航，及时发现敌情；

2)无人机应当携带一定载荷，以实现作战任务；

3)无人机应当支持开发，以满足不同功能的作战需求。

硬件层是虚拟孪生系统下孪生模型构建的物理对象，如图4所示。根据以上需求分析，选择深圳市大疆创新科技有限公司生产的DJI F450型自组装无人机，其中组件包含电机、电调、飞控、GPS、螺旋桨、电池等。无人机上还将搭载信号接收与传送装置，包括电台和遥控接收器。地面电台连接地面控制设备，指挥员可以通过地面控制设备监测无人机状态、观察孪生无人机同步运行界面、给无人机定制化功能下达指令，同时也可以通过无人机操纵遥控控制无人机机动动作。

图4 硬件架构Fig.4 Hardware architecture

采用该硬件架构的优势在于：1)自组装无人机的飞控开源，能够有针对性地进行开发，以实现相关任务需求；2)该组装无人机成本较低，能够节约作战开支；3)该组装无人机体积适中，能够较为轻松地满足编队化作战需求；4)该组装无人机方便组装摄像头，也能够在支架上安装弹仓，携带小量载荷。

2.3 软件架构

在硬件架构的基础上，软件架构的构建应当满足：1)支撑硬件的建模与仿真运行；2)能够实现无人机作战虚拟孪生系统框架的各项功能；3)能够为指挥员实时输出智能决策。

软件层涉及到虚拟孪生系统下孪生模型的构建、数据处理、仿真环境搭建、数据挖掘、智能化辅助决策、可视化界面显示等。如图5所示，系统输入为传感器在战场实时采集的数据，经过各软件模块对数据的处理，最终单兵作战四旋翼无人机作战过程中的可行性辅助决策将传递给战场指挥员，同时指挥员能够根据可视化仿真环境界面观察孪生无人机同步运行情况。

图5 软件架构Fig.5 Software architecture

2.3.1 孪生模型构建方法

孪生模型的构建是对实体无人机的孪生构造，需要从几何、物理、行为和规则等多个方面进行模型构建。几何模型是对无人机三维几何特征的可视化描述，可利用Solidworks等建模软件进行建模；物理模型是对无人机动力学仿真的描述，可采用常规四旋翼动力学模型；行为模型是对无人机回路控制的描述，可采用常规PID控制回路；规则模型是对无人机执行各项任务的规则描述，可根据任务进行构建。

2.3.2 数据处理方法

数据处理模块主要对无人机采集图片进行预处理。无人机巡航过程中实时航拍上传画面，对不同时刻图像按帧进行批量化导出，借助已建数据库标定可疑作战对象，通过卷积神经网络进行目标检测，并利用图神经网络进行态势评估。

2.3.3 仿真环境搭建及界面显示方法

仿真环境是对无人机作战可视化环境的虚拟构造，可利用ROS支持的仿真软件如Gazobo、UE等进行仿真构建，同时能够满足系统的调用，并提供基础仿真运行界面，以实现对无人机作战过程的可视化显示。

2.3.4 数据挖掘技辅助决策方法

基于数据挖掘与知识图谱的行为学习流程如图2所示，通过对数据的后期处理，并基于一定的人为构建规则，可以为系统挖掘更多智能化决策方案。并通过神经网络和决策知识库的筛选，为指挥员实时输出智能决策。

2.4 虚拟孪生系统下无人机作战流程

通过对无人机硬件架构和软件架构的构建，完成了对案例系统的初步设计方案，将该系统运用于无人机作战，其流程如图6所示。指挥员在地面控制设备划定作战路线，地面控制设备将规划航线实时上传给无人机，实体无人机将航拍得到的情报实时传递给系统，系统及时识别敌情并作出态势评估，经过数据挖掘处理，将知识传递给知识决策模块，最后输出智能化决策，孪生无人机与实体无人机同步运行，数据传递给仿真推演系统，仿真推演系统同时接收实体无人机和孪生无人机的数据，在进行数据融合以后，将仿真预测结果传给数据挖掘系统。仿真系统下的运行同时也通过三维可视化传递给指挥员。

图6 虚拟孪生系统下无人机作战流程Fig.6 UAV combat process under virtual twin system

2.5 相关功能及数据分析

现阶段工作中，已经对实体无人机和孪生无人机的基础运行进行了联合实验，能够从可视化仿真界面获取孪生无人机虚拟的状态运行显示界面，即完成了无人机作战虚拟孪生系统下的数据处理模块和仿真引擎模块。相关数据挖掘模块和知识决策模块下的模型构建还有待在后续工作中进一步开发与实现。

从2.4节无人机作战流程来看，本文案例实现了下行支线功能，满足了无人机作战虚拟孪生系统的基础运行，如图7红框所示，具体实现的功能包括战场环境的虚拟构建、孪生无人机仿真运行、指挥员远程监测等。

图7 虚拟孪生系统实现功能Fig.7 Implementation of virtual twin system

2.5.1 战场环境的虚拟构建

功能需求上首先对无人机作战虚拟孪生系统仿真环境进行搭建。本文案例战场虚拟环境基于Gazebo软件构建，该软件包含一些基本环境元素模型，也支持导入自建环境模型，具有较强的兼容性，支持对虚拟环境的可视化输出。

如图8所示，从视觉效果和维度特征上可以判断出仿真环境存在较高的逼真度。尽管相比真实环境而言，虚拟环境无法做到完全意义上的细节构建，但对重点要素能够基本呈现。

图8 虚实环境对比图Fig.8 Comparison of virtual and real environments

2.5.2 孪生无人机仿真运行

在ROS系统下导入孪生无人机模型以后，指挥员可在指令窗口启动系统。通过对实体无人机状态信息进行获取，孪生无人机可基于虚拟环境同步仿真运行。

相关运行界面如图9所示，可以显示无人机在孪生战场下的相关视图，为指挥员提供可视化操作界面，并支持通过对孪生体的运行控制，达到对实体无人机反馈精准控制的目的。

图9 仿真运行界面Fig.9 Simulation operation interface

2.5.3 指挥员远程监测

无人机在操作运行的过程中，可以通过ROS系统对无人机的数据状态进行监控，某架无人机相关数据运行如图10所示，通过数据状态监测无人机运行健康状态，方便对无人机方案的实时调整和数据推演。从数据状态来看，无人机空间位置和姿态值较为稳定，系统对无人机的控制较为精准。

图10 某无人机数据运行图Fig.10 Data operation diagram of a UAV

从案例各项功能实现可以看出，单兵作战四旋翼无人机在虚拟孪生系统技术支撑下，能够实现对孪生体的虚拟驱动，并且具备较为精准的控制效果，可视化界面的输出也增强了指挥员对无人机的实时控制体验感与便携度，无人机作战虚拟孪生系统具备基本的可行性。

2.6 方法比较

针对无人机作战的虚拟孪生系统研究比较少，但针对无人机的数字孪生仿真系统有学者进行了相关研究，如文献[20]介绍的关于多旋翼无人机的数字孪生仿真平台和文献[21]对四旋翼飞行器的数字孪生系统相关设计。设计方法上的区别在于：

1)相比于文献[20-21]基于数字孪生技术设计，本文提出利用虚拟孪生技术进行仿真系统的设计，从内涵要义上，虚拟孪生是对数字孪生的扩充与完善；

2)相比于文献[20-21]面向无人机的数字孪生仿真系统开发，本文设计系统是面向军事领域的无人机作战应用；

3)相比于文献[20-21]对旋翼无人机的仿真研究，本文设计系统在数字孪生体可建的前提下，可选择一种或多种无人机进行配合仿真研究。

通过研究比较，可以得出本文方法的优势在于：

1)本文设计方案更具有普适性，能够满足对各类型无人机的仿真运行与推演；

2)本文系统从基本原理上也实现了对孪生无人机的仿真运行，并在此基础上利用虚拟现实、数据挖掘、知识图谱、神经网络等人工智能相关技术，能够扩展对无人机作战过程中的仿真推演和可视化输出，以此达到对战场指挥员辅助决策的目的；

3)本文设计系统具备较强的二次开发性能，能够针对无人机的不同作战需求，开发定制化服务内容，从而提升系统的利用率。

3 结论

本文以无人机作战为问题需求，通过研究虚拟孪生技术内涵，提出面向无人机作战的仿真系统设计方案。借助人工智能的手段，推演战场态势，辅助指挥员指挥决策，并通过案例研究初步实现了系统功能。得出以下主要结论：

1)本文案例中相关功能的实现及数据分析表明，所提方案对无人机作战仿真研究具备较高的精准度，能够为指挥员提供可靠的实时仿真工具，提升指挥效率。

2)本文研究无人机作战的虚拟孪生技术，是适应当前人工智能技术发展背景下，打造智能化军事的战场新兴技术，其内涵相比数字孪生技术，更能适应动态战场的构建与仿真。

3)本文虚拟孪生系统设计方案对虚拟现实、数据挖掘、知识图谱、神经网络等技术的应用，极大程度地提升了仿真系统对数据的处理能力，其作战效能优于传统作战仿真系统。