增强现实与数字孪生混合驱动的航天复杂装备维修辅助技术研究

钟珂珂 洪海波 宋 倩 郭 宇 魏士松

1.上海航天精密机械研究所；2.南京航空航天大学

装备维修保障是部队战斗力生成、保持、增强及再生的重要手段，直接影响着作战的进程与结局。随着航天装备信息化、集成化、综合一体化程度大幅提升，列装型号种类多、装备模块可视化程度低、战时保障前后端衔接不足、人员训练量化评估考核手段缺乏、维修大数据难以挖掘和复用等突出矛盾已成为制约武器装备战时快速保障能力构建的重大瓶颈。原有基于机械化装备维修特点与规律的维修保障方式已经难以适应未来信息化战争条件下装备维修的需求。

增强现实（AR）是利用可视化技术和虚实配准技术，通过在现实场景中融合虚拟场景信息，为用户提供一种身临其境的“虚实结合”环境和更加直观灵活的操作方式[1]。数字孪生（DT）以数据与模型的集成融合为核心，通过在数字空间实时构建物理对象的精准数字化映射，实现全流程的闭环优化。在航空维修领域，美国波音公司率先将增强现实技术应用于飞机制造中的电力线缆连接和接线器装配，完成了世界上第一套实用化的增强现实系统；美国洛克希德·马丁公司将这一技术应用于F-22 和F-35 战斗机的制造与维修中，在工程师视野中显示螺栓、电缆等零部件的效果图与编号，替代了传统纸质说明书，使工程师的工作效率提高了30%，装配准确率提高了96%[2]。

随着新一代信息技术的发展，增强现实、数字孪生、人工智能等新技术与传统国防工业进行了深度融合，已经成为催化航天复杂装备保障能力实现“飞跃”的重要途径。本文通过系统剖析新形势下航天复杂装备维修保障瓶颈，从数据、诊断、诱导、协作、考评等方面切入，提出一种基于增强现实技术、数字孪生内核驱动的典型武器装备维修保障与人员训练系统框架，结合功能模块介绍与原型系统展示，阐述航天复杂装备维修辅助平台开发的集成要点与应用的初步成效。

一、当前航天复杂装备维修保障面临的挑战

随着新军事战争形态和联合指挥体制的确立，装备保障能力的生成模式发生了深刻变化，对装备维修保障信息化建设提出了更高要求。航天复杂装备作为“高精尖”机电一体化产品，其维修保障流程复杂、涉及领域多、难度大，目前，维修保障模式存在以下瓶颈问题。

一是原理复杂，故障影响因素多，故障现象、原因及维修措施等数据及知识积累不足，故障难以准确定位，诊断周期长[3]；二是航天复杂装备结构复杂、装配精密，维修规范性要求高，装备模块及维修过程直观显示程度低，维修效率低，难保证一次合格；三是装备部署范围大、疆域广，传统“保姆式维修”效率低，军地协同远程故障诊断及维修辅助手段欠缺，战时保障前后端衔接不足；四是维修能力评价方法及标准体系尚未建立，人员维修训练量化评估开展不便，难以支撑武器装备维修保障能力的快速提升。

二、基于增强现实的航天复杂装备辅助维修系统整体技术框架

基于增强现实的航天复杂装备辅助维修系统整体技术框架如图1 所示。

图1 基于增强现实的航天复杂装备辅助维修系统整体技术框架

一是构建航天复杂装备多要素孪生模型，形成适用于多种型号、维修流程诱导、协同维修的模块化精确数字孪生模型构建方案，为航天复杂装备维修指导和维修训练提供精确模型支撑。

二是形成航天复杂装备故障在线诊断与维修策略匹配机制，通过航天复杂装备故障维修触发—航天复杂装备故障根源定位—航天复杂装备维修方案获取的故障在线诊断路径，对维修过程知识进行绑定，构建航天复杂装备维修三维案例库，支撑航天复杂装备维修引导。

三是解决航天复杂装备维修流程诱导难题，形成位姿跟踪注册、维修指令虚实融合、维修防错检测的解决方案，降低维修错误率，提高维修效率和质量；同时开展航天复杂装备远程协同维修，形成远程协同系统体系框架和远程专家实时空间标注解决方案，实现远程高质量协同维修和知识沉淀[4]。

四是满足航天复杂装备维修定量考核评估，从维修考核评估方法、维修考核机制、综合维修能力评估等方面，构建一套维修人员考核方法和评估体系，解决航天复杂装备维修人员训练量化评估开展不便的难题。

五是实现增强现实的航天复杂装备数字化维修辅助系统集成，实现“故障在线诊断”“维修流程诱导”“协同维修支持”“维修能力评估”“维修大数据管理”等5 个关键模块的有机融合。

三、基于增强现实的航天复杂装备辅助维修系统关键技术途径

1. 面向故障维修的数字孪生模型构建

面向航天复杂装备故障维修的数字孪生模型构建可以分成异构模型构建、模型集成、模型实时可视化3 个部分。

首先，基于Unity 3D/复杂事件处理（CEP）/自动化标识语言（AutomationML）等工具方法分别完成航天复杂装备几何、逻辑与数据模型的高保真构建，如图2 所示。解决航天复杂装备故障维修过程中用于模块直观显示的三维模型问题，从而为后续用于航天复杂装备故障维修流程诱导和远程协同维修提供模型基础。

图2 航天复杂装备高保真孪生基础模型构建

其次，将本体与几何、逻辑、数据元模型进行结合，构造各元模型元素与本体概念间的语义匹配与映射，形成基于本体的语义知识库，实现异构模型间信息共享和交互[5]，从整体上打通所有异构模型的集成问题，如图3 所示。

图3 基于本体的航天复杂装备孪生模型关联与映射

最后，结合航天复杂装备实际维修过程的实时信息，通过孪生模型对实际维修部分进行实时可视化显示，从而实现航天复杂装备整个维修过程的透明化。

2. 大数据驱动的航天复杂装备故障在线诊断与维修决策

大数据驱动的航天装备故障在线诊断与维修策略研究可以分为案例知识库构建、故障在线诊断/根源分析/策略匹配、案例知识库更新3 部分，从整体上形成知识库构建、知识库应用、知识库更新的技术路线，如图4 所示。

图4 故障在线诊断与维修策略匹配

面向构建完善的案例知识库目标，通过检测设备和维修过程记录获取面向航天复杂装备维修的多源数据，采用数据融合技术提炼知识，并构建三维故障诊断/溯源/维修策略模型库，绑定维修过程知识，形成完整的维修案例知识库。

在航天装备故障诊断环节，以案例知识库和现场状态数据为基础，从故障诊断—故障根源定位—故障维修方案3 个维度分析，采用语义推理技术，实现故障类型的确定和维修策略的制定[6]。

动态完善三维案例知识库是确保诊断精准性的必要基础，随着时间的推移，维修知识不断积累，将新增诊断案例知识和维修策略知识融合至三维案例知识库，从而提高故障维修质量。

3.面向过程的增强现实维修流程诱导与远程协同

通过面向复杂维修场景的位姿跟踪、基于情景感知的维修指令虚实融合交互、基于时序信息的维修质量检测等模块，形成“以人为中心”的维修流程诱导，如图5 所示。

图5 增强环境下的航天复杂装备维修流程诱导

基于孪生模型与事件匹配的装备维修实时可视化仿真[7]成为维修流程诱导、远程协同维修等过程中信息交互的基础。从数字孪生模型中获取可以裁剪的诱导信息，通过基于视觉的位姿跟踪注册，获取目标对象和增强现实头盔的三维位姿[8]；通过情景感知和手势指令、语音指令、眼动跟踪等输入手段减轻用户的交互压力，根据相机和惯性测量单元（IMU）信息进行深度信息重建[9]，呈现高逼真度的诱导指令。

在维修质量检测环节，从航天复杂装备的三维装配模型的配合关系出发，构建基于YOLO 算法的目标检测算法[10]，对维修零件的位姿进行检测，快速发现漏装、错装、出现多余物、间隙过大等问题，减少维修完成后的检测耗时和返工率。

一线维修人员遇到无法解决的问题时，通过增强现实设备将语音描述信息和现场画面传给远程的专家，通过基于即时定位与地图构建（SLAM）的三维空间标注方法，将二维标注信息转换为三维模式[11]，实现标注信息的三维精准化展示。

4. 基于多维信息的维修过程定量考核与维修能力评估

针对航天复杂装备维修过程存在诸多模糊性、随机性，以及客观评判性差的特点，构建基于层次分析法的维修定量考核评估体系，如图6 所示。

图6 基于多维信息的维修定量考核评估

通过力反馈手套、增强现实系统和数字孪生系统的交互反馈，建立一种基于虚实反馈信息的维修考核机制[12]，该机制由虚拟维修考核和实操维修考核两部分组成，为维修人员综合能力评估提供数据来源。基于TabNET 神经网络强大的非线性逼近能力[13]，克服维修中的主观因素的影响，构建综合维修能力评估模型，提高评估的准确度。

四、航天复杂装备辅助维修系统原型系统构建

整个原型系统分为业务功能层、应用服务层、数据层和设备层。业务功能层重点围绕实际训练的科目，按照典型场景进行聚类部署，以单人增强现实维修操作为客户端，依托应用服务层的相关服务，将数据层的多项数据结合实物展示进行内容呈现及管理[14]；应用服务层主要基于微服务框架，将本系统常用的业务功能组件进行耦合，形成各功能独立并具备访问接口的微服务；数据层主要保存建模场景、孪生模型、人员能力、训练规则、故障数据、个性化评估等数据，为业务功能层提供数据支撑[15]；设备层为训练系统的人机交互窗口，为训练中的交互、显示、系统运行提供软硬件支撑。

五、结束语

增强现实与数字孪生混合驱动的航天复杂装备维修技术是将增强现实的人机交互优势与数字孪生的数据模型优势进行了充分融合[16]，通过一种基于孪生模型与事件匹配的维修实时可视化仿真方法，将维修活动的变化以空间或时间敏感的形式反映在虚拟空间中，采用“条件—事件—行为”路径来实现事件驱动的智能维修流程。本文阐述的航天复杂装备维修辅助系统具备故障在线诊断、维修流程实时诱导、远程协作维修指导、维修定量评估与考评、维修大数据集成等功能，为实现靠前保障、快速保障目标，缩短故障诊断时间，弥补战场阵地与后方维修技术保障之间的鸿沟，解决面向多型号、高难度、强协同的装备维修保障快速响应难题，提升我军装备信息化、智能化维修能力提供了可行的技术路径和工程实现手段。