军事装备虚拟维修训练系统设计*

姚 恺 黄少罗 王晋生

（1.陆军工程大学石家庄校区 石家庄 050000）（2.陆军步兵学院石家庄校区 石家庄 050000）

1 引言

目前，我军正处于基本实现机械化、信息化不断深入的关键阶段，在此形势下，武器装备信息度、集成度、复杂度都明显增加，同时也对维修人员的维修能力提出了更高的要求。因而，在装备维修工作中，了解武器装备构成，熟悉其运行原理，提高维修保障人员维修水平成为维持装备良好的战技性能、提升单装作战能力的重要影响因素［1］。面对装备内部大量的零部件以及相互间的复杂约束关系，常规去情况下，维修保障人员依靠随装出厂的维修手册以及个人的修理经验开展装备维修工作，但装备故障存在耦合性，任何载体资料都不能尽述全部故障［2］。在此基础上，提出基于混合现实理论的装备虚拟维修训练系统框架。

2 维修训练系统框架设计

2.1 混合现实理论

根据虚拟环境与真实环境的交互层级，虚拟现实技术分为虚拟现实（VR）、增强现实（AR）和混合现实（MR）三类。虚拟现实是完全的数字虚拟世界，所有操作皆通过虚拟指令或操作完成，不会与真实世界产生交互；增强现实是将简单的2D图片或文字叠加至真实环境，也是在真实环境基础上增加部分虚拟环境的做法，同样无法与真实世界产生交互；混合现实处于虚拟现实和增强现实之间，它是计算机、人、真实环境的交互混合仿真系统，具有沉浸感强、实时交互的特点。1996年加拿大学者Milgram提出的“虚拟-现实连续体”（Virtuality Continuum）框架很好地定义了混合现实，这也是学术界普遍认可的一种定义方式，如图1所示［3］。

图1 虚拟-现实连续体框架

在上述框架中，数字世界和实体世界分处连续体两个极端，分别代表纯粹的虚拟世界和真实世界，混合现实是数字世界和真实世界之间的混沌区域，换言之，混合现实并没有严格的界定，应用技术更靠近虚拟世界为增强虚拟（AV），反之更靠近真实世界则为增强现实（AR）。

2.2 维修训练系统功能结构

如图2所示，虚拟维修系统主要由跟踪注册、人机交互、数据管理和引导信息4个模块组成［4］，基本思路是用装备的数字模型替代实体模型，用基于虚拟技术开展的维修训练代替实装维修训练。其中，跟踪注册模块采集维修人员头部位姿信息，融合虚拟设备信息并清晰的呈现在屏显界面；人机交互模块采用语音、手势以及触控笔等交互方式使得系统准确理解维修意图并做出及时正确的反馈；数据管理模块用于存储用户信息、维修数据等；引导信息模块融合维修人员操作指令及维修数据资料后形成维修引导式信息，经过渲染后呈现在维修人员视野中。

图2 虚拟维修系统功能模块组成

针对上文虚拟维修系统的功能要求，笔者设计了基于混合现实技术的维修系统体系结构［5］，如图3所示。

图3 维修系统体系结构

硬件层：系统以高性能计算机工作站为仿真主机，以微软Windows xp操作系统为客户端系统，包含实现人机交互所需各类硬件设备。

软件层：维修系统采用3Dmax软件进行场景建模，使用unity引擎驱动场景，实现语音、手势以及触控指令的输入和反馈，跟踪、确定维修人员在虚拟场景中位置，存储大量维修文本资料、维修模型资料以及拆装序列信息等数据。

应用层：系统具备维修训练、维修引导两大功能模块。

用户层：维修人员训练过程引导、提示，反馈结果通过操作界面呈现在用户面前。

3 系统组成模块设计

3.1 混合注册模块

跟踪注册技术准确定位实体世界中的目标模型，并将虚拟系统生成的数字物体稳定、真实地融入实体环境中，是混合现实技术的核心［6］。常用的跟踪注册技术为同步定位和建图技术（SLAM），理论思想是基于计算机视觉的注册算法与基于硬件传感器的注册算法相结合，如图4所示，基本框架包括传感器、前端、后端、回环检测和建图5部分内容。

图4 SLAM系统组成

传感器读取相机图像信息并进行预处理；前端视觉里程计预估相邻图像间的图像采集器的运动；后端接收摄像机位置和在不同时间测量的循环检测的信息，并为获取布局一致的轨迹和地图进行非线性优化；回环检测主要判断相机是不是经过当前位置，并消除累计误差；建图即根据估计的轨迹建立地图。除传感器数据可以通过相机摄像头采集，其余内容均通过算法在PC端完成。

3.2 人机交互模块

考虑到维修系统的实用性以及经济性，系统设计两种工作模式，分别为维修训练模式和维修引导模式［7］。日常虚拟环境下的维修训练采用第一种工作模式，主要借助触控笔在多点式触控屏幕上完成交互操作，系统采集操作指令并通过声音、震动、文字等方式予以反馈；故障现象不明导致无法做出正确维修决策的情况下采用第二种工作模式，前端视觉传感器自动识别故障部件，维修人员利用语音、手势与后台数据库产生交互，利用故障推理技术选择合适的排除方法，技术允许的情况下，也可远程连接相关专业维修人员进行远程维修引导。

3.2.1 触控笔交互

触控交互指令基于射线碰撞监测原理产生，以触控笔为媒介进行交互，维修人员通过触控笔前端的射线选择物体或部件，当射线碰撞虚拟环境并产生碰撞，维修人员通过长按相应的按钮实现虚拟环境的选择、缩放，图5为触控笔的外观示意图［8］。

图5 触控笔外观示意图

3.2.2 语音交互信

准确辨识维修人员话音内容是有效交互的前提和关键，本质是基于语音特性参数的模式识别，即模式匹配原理。换言之，通过学习，系统可以根据特定的模式对输入的语音进行归类，然后根据特定的匹配模式找到最佳匹配结果［9］。如图6是基于模式匹配原理的话音辨识系统框图。

图6 话音辨识系统框图

现有语音识别功能多数利用特定平台API实现，必须依赖网络进行，且识别并不是很好。因此，正文采用微软自带的Microsoft Speech SDK实现话音辨识，预先制定8条指令，包括：开始维修、光标上（下、左、右）移、上一步、下一步、提示、连接后台、确认、返回。系统采集维修人员语音指令信息，确认开始维修后，自动识别故障设备，弹出故障列表，维修人员通过上述指令进入特定故障维修引导界面。

3.2.3 手势交互信息

通常，维修环境存在大量噪音干扰，导致系统无法检测到维修人员语音指令，此时应将指令方式自动切换至手势指令输入。笔者设计采取视觉融合惯性的方法识别维修人员的手势。建立手势指令样本集，提取并处理样本集特征，通过训练建立手势库；将监测到的维修人员手势与训练结果进行比对，判断识别出的最可能的手势并输出指令结果，图7为手势识别流程框图。

图7 手势识别流程

基于Hololens核心手势，设计虚拟维修常见的手势指令，包括：选择、放大（缩小）、移动等常见手势。图8为放大（缩小）的手势变化，正向为缩小手势，反向为放大手势。

图8 放大（缩小）手势变化

3.3 引导信息模块

维修引导模式下，综合考虑成像效果、佩戴舒适感以及经济性等因素，引导信息模块硬件采用光学透视型头戴显示器Hololens作为混合现实显示设备，软件通过在Windows环境下运行OSG（Open-SceneGraph）框架渲染语音、文字、图像等引导信息并完成输出。维修训练模式下，通过立体投影或分屏技术，将维修人员的虚拟交互过程投影到其他3D/2D显示设备中，便于开展演示互动分享。

3.4 数据管理模块

虚拟维修系统的数据库资料包含维修文本资料和维修模型资料。维修文本资料根据不同型号装备可进行补充完善，按照故障类型、对象信息、维修流程、注意事项等进行分层分类管理。维修模型资料包含维修对象3D模型、维修工具3D模型、环境模型、纹路和贴图等数据。

图9 引导信息生成原理框图

虚拟系统不仅可以针对特定型号装备进行虚拟维修训练，也可在紧急情况下实现引导式维修，因此对3D模型进行有效组织管理至关重要。维修过程本质是维修人员拆卸与装配目标对象的过程，在建模中则应重点考虑零部件间的拆装信息关系，确保相互之间能够精准匹配。基于此，本文构建层次化的拆装关系模型，包含零件信息、拆装序列、拆装路径和拆装约束4个方面的信息［10］。表1为各要素包含的相关拆装信息。

表1 拆装模型要素信息表

4 目标拆卸技术分析

拆卸与装配是装备维修过程中的重要环节，装配可以看作是拆卸的逆过程，此环节对拆卸进行研究。根据目标的分解程度，拆卸可以分成完全拆卸和目标拆卸。具体来说，完全拆卸是将具体装备或单体设备分解至独立不可拆解的零件为止，主要应用于结构原理研究；目标拆卸是在明确拆卸目标的基础上，解除目标零件的所有约束，按拆卸序列逐步拆解，最后完成拆卸目标的过程，主要用于具体零件的更换或维修［11］。基层级换件维修的过程即为目标拆卸的应用过程。因此，研究维修训练重在对研究对象进行目标拆卸建模研究。

4.1 目标拆卸基本原理

利用图论进行目标拆卸序列规划的基本原理是：首先，根据目标对象部件的定向连接图，计算其完整的剖面集矩阵。然后，从矩阵中提取连续字符的行以分离图形，并计算分段图形的秩。如果秩只是减少1，则对应于行的边缘是组合的定向切割集。每个这样的部件切割集将定向部件的原始连接图形分成两个子图，所有部件装配序列就都可以循环分割得到［12］。

假定目标部件的连接关系为

公式中，V表示包含在目标组件中的一组可移除零件，E表示被移除的目标零件之间的一组关联连接。如果集合L可以分成两个对应联通的子图，存在：

且满足：

目标拆卸的割集合Ecut可以表示为

根据上述拆卸原理，目标组件的限制部分可以被逐一释放，并且兼顾单次拆卸和步骤最少原则，这样，就可以获得定向图表示的拆卸目标序列。

4.2 轴承架拆卸序列生成

以军事装备中常见传动齿轮轴承架为例，图10为轴承架三维模型零件编号图。按照上文所述拆卸原理，运用目标拆卸约束解除法，获得拆卸序列对应的与或分割有向图，见图11。

图10 轴承架三维模型零件编号图

分析虚拟拆卸结果，该传统齿轮轴承拆卸序列编号如图12所示。整个拆卸序列生成10个割集Ecut，按照拆卸约束解除规则，10个割集对应10个拆卸步骤。在目标拆卸中，没有发生零件碰撞和穿透，没有破坏性拆卸，拆卸步骤少，拆卸效果好，符合实际拆卸要求。

图11 轴承架有向拆卸分割图

图12 轴承要拆卸序列

5 结语

本文提出基于混合现实理论的军事装备虚拟维修训练系统设计方法，能够同时满足日常维修训练、突发情况下引导维修的需求。系统采用桌面显示和头戴显示两者模式，通过语音、手势指令实现了维修人员能与虚拟维修环境的有效交互，运行平台技术成熟，二次开发成本低，开发周期短，对不同类型装备的虚拟维修训练、虚拟操作训练系统的开发具有借鉴指导意义。