混合现实军事装备维修系统综述

王 崴，雷松贵，刘海平，李淘金，瞿 珏，邱 盎

(空军工程大学防空反导学院，西安，710051)

随着军事科技日益先进和战场环境日益复杂，军事装备维修面临巨大的挑战，军队迫切需要解决传统的维修与教学训练方式所存在的成本高、危险大、效率低等问题。混合现实(Mixed Reality，MR)具有虚实场景结合、实时自然交互、真实沉浸感[1]的技术特点，支持半实物训练、无实物训练和内部结构可视化，有效解决了上述问题。本文整理近年来国内外MR军事装备维修的应用及其关键技术，指出了存在的问题与发展趋势。

1 混合现实维修概述

1.1 MR概念

Milgram和Kishino[2]提出的现实-虚拟连续体框架明确了MR的定义，如图1所示。

图1 现实-虚拟连续体

在此框架中，真实环境与虚拟环境被放在二维连续体两端，现实与虚拟在两端点间不同程度地结合在一起。在应用中如果真实物体的比例高于虚拟物体，则可以归类为增强现实(Augmented Reality,AR)；若虚拟物体占主导地位，则可以归类为增强虚拟(Augmented Virtuality,AV)，两者共同构成MR。

1.2 MR维修系统结构

MR维修系统一般可以分为人机交互、跟踪注册、数据管理、虚实融合4个模块[3]，如图2所示。

图2 MR维修系统结构

人机交互模块能够使系统理解用户意图并且做出正确的响应；跟踪注册模块能够获取用户的位姿信息以及维修对象的图形信息，使虚拟物体稳定地在用户视野中显示；虚实融合模块负责处理交互指令，结合数据库生成图片、文字、动画等引导信息，并且渲染在用户的视野中；数据管理模块用于管理用户信息和维修信息。

1.3 混合现实维修关键技术

MR维修系统的关键技术主要包含显示技术、跟踪注册技术、人机交互技术以及故障推理技术。

1.3.1 显示技术

显示技术是MR的基础，通过MR显示设备，用户能便捷地观看到虚实融合的场景。头戴显示设备(Head-Mounted Display，HMD)方便携带、沉浸感强，在MR维修系统中使用最广泛。根据显示原理可将其分为视频透视型(Video See-Through，VST)和光学透视型(Optical See-Through，OST)2种[4]。前者将摄像头采集到的真实场景视频与计算机生成的虚拟物体在屏幕上合成虚实融合的视频。后者则是将真实场景的实时画面与虚拟物体在成像平面上合成虚实融合的实时影像。OST显示设备佩戴舒适、不易产生3D眩晕、交互自然，在MR维修系统中使用最多，常用的设备如图3所示。

图3 4种MR显示设备

OST显示设备主要由微型显示器和光学元件组成，其中光学元件主要包括Birdbath、虫眼、光波导等。Birdbath和虫眼光学元件都是将微型显示器的光线投射到分光镜上，从分光镜上反射的光线与透射的真实世界光线融合进入人眼，从而形成虚实融合视野，此类设备有联想Mirage AR、Ned Glass、Meta 2等。光波导则是利用第一全息光栅的衍射效应使经过准直的微型显示器光线满足全反射条件在基板中向前传播，当光线到达第二全息光栅时全反射条件被破坏，光线进入人眼成像[5]，如图4所示。光波导元件尺寸小、清晰度高、不易产生重影，是当前MR显示设备的研究前沿，代表设备有Hololens、Magic Leap One等。

图4 光波导原理

1.3.2 跟踪注册技术

跟踪注册技术是MR的核心技术，它在现实世界中准确定位虚拟物体，使计算机生成的虚拟物体能够稳定融入到真实空间中。基于视觉的跟踪注册方法在MR维修系统中应用最多，根据先验知识的类型可分为基于先验知识(标志物、自然特征、模型)和视觉同步定位与建图(Visual Simultaneous Localization and Mapping，VSLAM)2类。

基于先验知识的方法通过计算机对相机采集到的真实场景先验知识(标志物、自然特征、模型)进行处理来获取特征信息，并通过特征信息对比计算相机位姿，然后进行变换坐标，最终将虚拟物体准确地叠加在真实场景中，流程如图5所示。此类方法实现相对简单、效果较好，但在先验知识无法获取或获取不完整时会导致跟踪注册失败。

图5 基于先验知识的跟踪注册流程

与前者不同，VSLAM技术无需先验知识，搭载特定传感器的主体通过自身的运动就可以确定环境模型[6]。VSLAM框架主要包含5个部分：传感器数据获取、前端处理、后端处理、回环检测和建图。前端即视觉里程计通过摄像机获取到的信息估算相机的运动和局部地图的雏形。回环检测判断摄像机是否经过已到达过的位置，检查到回环则将信息提供给后端。后端负责对前端和回环检测数据进行优化和降噪。建图即根据轨迹建立任务需要的地图。VSLAM跟踪注册效果稳定、抗干扰，但是涉及的算法多且需密切配合，是一个复杂的系统工程。

1.3.3 人机交互技术

人机交互技术让用户能够自然高效地与虚实融合内容进行交互。在MR维修中最常使用的交互技术有手势、语音和交互式电子手册(Interactive Electronic Technical Manual，IETM)。

MR手势交互按照输入设备的不同可分为基于传感器和基于视觉2种[7]。前者采用传感器不断获取人手节点特征的三维坐标，从而计算出人手的空间位置及运动轨迹信息，最终完成手势的识别。该方法能够直接获取手势信息，识别准确率高，但需要额外设备支持。后者则利用摄像头采集手势图像，通过计算机处理分析，最终识别手势。该方法交互自然，不会影响用户的正常操作，但算法较为复杂，识别率和实时性相对较差。

MR语音交互主要可分为语音识别、语义理解和语音输出3个子系统。其中语音识别系统将输入的声音转换为音素，采用语音特征模型进行分割，然后进行识别；语义理解系统将语音识别的结果进行修正并组合成符合语法结构和语言习惯的词语和句子；语音输出系统结合数据库进行语音反馈[8]。

IETM将传统的纸质技术手册转化为文字、图片、多媒体等形式，按照标准格式统一集成在计算机系统中[9]。MR维修系统中的IETM主要提供图纸、模型、动画等信息给用户[10]，用户通过手势语音等交互方式与系统进行沟通，如图6所示。

图6 交互式电子技术手册

1.3.4 故障推理技术

故障推理技术是MR维修系统准确提供指导信息的关键。它主要依靠专家系统，通过模拟专家的思维方式，以人工智能技术和计算技术为基础，知识库和推理机为核心，对设备故障进行诊断[9]。按照知识结构和推理方式，专家系统主要分为基于规则、基于案例、基于神经网络、基于模糊推理以及融合多种推理方式的专家系统。

传统基于规则和基于案例的方法在处理小规模和复杂程度低的问题时效果良好，但是无法解决大批量复杂问题。基于模糊推理的专家系统引入隶属函数的概念，模糊逻辑，适合处理不确定信息和不完整信息，缺点是知识获取困难，学习能力差。基于神经网络的方法实现了并行推理和自适应学习，克服了传统专家系统知识获取难、推理速度慢的缺点，适合处理训练样本充足的领域，但对样本集要求较高，没有增量学习能力，也无法解释推理过程。目前故障推理专家系统正朝着数据挖掘、多信息融合、多系统互补、智能推理方法等方向发展。

2 混合现实维修应用

随着关键技术的发展，MR已经被应用于航天航空、船舶、汽车、通信等军事相关领域的维修以及相关人员培训中。

2.1 教学培训

MR维修训练以低成本、低风险、不受气候和场地限制、不受军事装备占用限制等独特优势受到了各国军方的重视。欧盟WEKIT项目[11]采用“幽灵轨迹”来记录专家的位置运动与声音解释，以“全息幽灵”的形式手把手指导新手完成飞行前维护、国际空间站复制模块中临时载物架的安装等任务，如图7所示。

图7 WEKIT项目

波兰空军技术学院开发了基于MR的地空导弹故障诊断模拟器和虚拟指控台，通过HMD以声音指令、文本说明、三维动画等形式训练部队执行诊断程序和选定作战行动，有效解决了无法使用实装训练的问题[12]。美国Lockheed Martian公司将MR技术运用于F-22和F-35的制造与维修中，在工程师视野中显示螺栓、电缆等零部件的效果图与编号，替代了传统纸质说明书，使工程师的工作效率提高了30%、装配准确率提高了96%。另外该公司通过Hololens眼镜与相关软件配合，使新钻孔工艺的培训时间由8 h缩短到45 min，将NASA“猎户座”航天器钻孔、面板插入等操作耗时由6周缩短到2周左右[13]。

与欧美军事强国对比，国内关于MR军事装备维修的研究还比较分散，还处于原理与方法的探索阶段。国内苏群星等[14]为大型复杂军事装备设计了虚拟维修系统，对虚拟样机建立与虚拟维修流程进行研究，采用维修知识描述网MKDN对维修知识进行描述，系统功能在某型导弹装备虚拟维修训练中得到了验证；方传磊等[15]在此基础上开发了导弹装备虚拟维修训练系统通用平台，使用EON studio开发了面向某装备的原型系统，使用ACESS进行数据管理，实现了教学演示与自主训练功能；张王卫等[16]开发了面向军事装备维修的虚拟拆卸系统，对建模、拆卸序列和路径规划等关键技术进行了研究，系统成功应用于某型装备传动箱的拆卸维修训练；杨鹏等[17]基于虚实结合的思想设计了半实物防空导弹武器系统全任务维修训练模拟器，并提出了将维修训练融入操作训练的模式，通过动态设置故障突出实战化要求；刘桂峰等[18]提出了基于Vega Prime的交互式实时虚拟维修系统，成功应用于某型舰艇减摇鳍虚拟维修中。梅朝等[19]基于Unity 3D设计了军事装备虚拟维修训练系统，通过层次分析法和GAHP法对学员训练效果进行全面评价，并在传统系统的基础上增加了半实物排障模块，进一步丰富了系统功能。

2.2 战场抢修

在现代化战争中，军事装备故障时有发生，MR维修系统提供了全新的战场保障手段。美国空军的ARMAR项目旨在提高军事装备维修水平，采用了机会控制的交互策略，即在操作人员触摸到维修对象时，系统能够识别位置标识物，调出当前维修对象的虚拟菜单，提示操作人员使用手势选择操作流程。基于该项目研究人员开发了美海军陆战队装甲运输车LAV-25AI炮塔MR维修原型系统[20]。借助该系统机械师能够在狭窄的装甲车转塔内完成安装和拆卸紧固件、指示灯以及连接电缆等18个野外条件下的常见任务，如图8所示。美军开发的Adroit AR系统[21]可以扫描并识别维修目标，与远程数据中心通信，接受必要的数据和指令，可视化坦克内部结构，提供动画、语音形式的操作指引，协助战场维修小组在极度紧张的战斗环境中完成MIA2主战坦克的抢修。

图8 ARMAR项目

意大利空军利用Hololens开发了用于维修C4I系统的应用[22]，专家通过专用网络对维修人员进行远程指导，如图9所示。西班牙空军与空客合作开发了基于无人机和MR技术的军用飞机检查技术。搭载在无人机上的高清相机能够在数小时内扫描待检修的飞机外部，并传输到HMD上显示，帮助维修人员快速识别故障并执行维修操作[13]。

图9 意大利空军使用MR维修C4I系统

白柯萌等[23]设计了一种多传感器式诱导维修系统，采用基于PST跟踪仪和三轴陀螺仪、地磁感应计、加速度计的多传感器系统实现了稳定的跟踪，采用OSG进行图形开发，使用自制HMD进行增强显示。实验表明在更换某型装备电磁铁的任务中(如图10)，使用该系统指导维修所用时间较传统纸质手册和手持终端分别减少36.9%和20.4%。

图10 多传感器诱导维修系统

崔波等[3]设计了混合现实军事装备诱导维修系统，并且成功应用于军用汽车发动机的维修实际中。该系统采用模块化设计，便于维护与升级；采用语音和手势实现了多通道人机交互；采用数据管理模块对维修文档进行标准化集中管理。基于此框架使用Ned Glass开发的诱导维修系统已经应用到了液压设备的维修中，如图11所示。罗又文等[24]为系统设计了基于Faster R-CNN的进程识别自动交互方法，利用神经网络自动识别维修过程中拆卸下的零件，从而判断步骤是否正确，实验表明该交互方法使系统交互平均时间由语音的0.6 s和手势的1.1 s降至0.3 s。

图11 MR诱导维修系统

胡江南等[25]提出了军事装备远程虚拟故障诊断支援系统，通过北斗卫星通讯系统传输故障信息，采用MR技术进行远程故障诊断，并能根据战场实时态势调度保障力量，开辟了作战保障的新途径。

2.3 智能维修

随着军事装备技术含量的不断提升，传统MR维修系统渐渐无法满足日常训练与维修任务，智能维修系统是未来保障工作的迫切需要，研究者们正朝此方向探索。法国米兰理工大学的Aransyah等[26]将计算机维修管理软件(Computerized Maintenance Management Software，CMMS)集成在MR维修系统中，系统通过Hololens上的摄像头检测附加在设备上的标志，从而识别机器ID，接着自动调取CMMS数据库中该设备的信息提供指导，如图12。当发生故障时，用户通过语音输入故障名称，系统将可能的原因显示在操作者视野中，用户逐一排查，检查到原因后，系统自动调取说明文本和视频指导用户进行维修操作。新西兰坎特伯雷大学的Westerfield等[27]将MR与智能辅导系统(Intelligent Tutoring Systems，ITS)进行结合，通过ITS自适应指导手工装配任务的培训，系统功能在计算机主板装配中得到了验证。

图12 集成CMMS的MR维修系统

Sun等[28]提出了一种应用在MR装配中的智能交互系统。该系统设计了一种内含多个振动传感器的立体标志物模块，虚拟零件覆盖在标志物上，当发生碰撞时模块会产生振动提示操作者进行纠正。与之类似，德国的Webel等[29]将腕部触觉传感器应用于MR维修培训中，在不妨碍用户自主探索的同时提供更直接的反馈，如图13所示。德国汉堡科技大学的Eschen等[30]尝试将MR应用于飞机发动机燃烧室的故障检查，通过提高裂纹可视化水平来进行判断。当前的MR智能维修系统都处于原型阶段，仅能实现故障诊断与人机交互的初步智能化，还没有实现智能故障识别。

图13 MR触觉交互

3 存在的问题与解决思路

根据现有的研究进展分析MR军事装备维修系统中存在的主要问题，并给出具体的解决思路。

1)系统实用性问题：现有系统架构与系统功能性方面存在着较大的不足，可提供维修指导的故障数量十分有限，功能限制在单一的维修训练、原理演示、诱导维修中，系统集成度不高。深层次原因是军事装备设计资料库、模型数据库、故障数据库等关键信息的收集整理不到位，维修系统的开发者往往需要逆向建模和收集故障。对此解决思路是开发者与军事装备的设计生产工业部门、部队使用者建立联系，使用统一的格式对上述信息进行收集整理，系统功能集成模型静态展示、原理动画演示、故障维修练习、现场故障抢修、训练成绩量化考核于一体，为军事装备全寿命周期服务。

2)显示设备问题：一是与单兵军事装备结合不紧密，无法在战场环境中很好地保护士兵；二是弱化了士兵对真实环境的感知能力；三是使用温度、续航时间、视野范围等性能参数无法适应严峻的战场环境。对此，解决方法是将MR显示设备与战术头盔通过模块外挂、导轨安装、直接集成等形式进行结合；采用单眼显示、不使用时将显示设备向侧面或者向上折叠的方式来最大限度减少虚拟物体对士兵环境感知能力的干扰；与工业部门深度合作，定制专用显示设备，在战场环境测试中不断改进。

3)跟踪注册问题：一是基于视觉的跟踪注册技术在户外易受到光照、油污、灰尘等环境条件的干扰；二是士兵经常需要快速旋转和移动头部，导致跟踪目标的丢失。对此，解决思路是预先剔除不稳定因素或者采用多种方法取长补短；开发适应户外环境条件的大场景跟踪注册方法；提升硬件传感器的精度与稳定性；使用相关滤波算法和深度学习技术进一步提高实时性和鲁棒性。

4)人机交互问题：一是常用的手势和语音交互方式在战场中会因为噪音和双手占用变得无效；二是现有系统缺少力反馈，在安装零件、拧紧螺栓等情况下无法提示该使用多大的力量；三是系统中大量的信息显示与高度紧张的战场环境增加了认知负荷，可能导致士兵的思维混乱[22]。对此解决思路是采用深度学习技术提高现有交互方式的准确率与鲁棒性；研究眼动、触觉和肌电、脑电、表情等生理信号交互方法，并将它们有机结合以实现多通道交互；结合力传感器与触觉传感器来建立力反馈机制，通过手部的振动更直观地指导士兵；通过脑电、瞳孔变化等生理信号测量认知负荷，在负荷过大时采用自适应人机界面方法减少显示信息量、增大显示文字，最终降低认知负荷。

4 加强我军混合现实军事装备维修系统应用建设的措施建议

根据MR相关技术的发展现状，可以总结出MR军事装备维修系统的未来发展趋势：①智能化：主要体现在故障现象识别智能化、故障推理专家系统智能化、维修信息显示智能化、维修过程记录智能化等方面；②标准化：设立专门机构建立统一的硬件和软件标准并进行推广，降低开发与学习成本，便于技术交流与发展；③模块化：包含硬件和软件的模块化，系统升级或修改系统内容时仅对对应模块进行操作，系统故障时更换上相关模块的冗余备份，实现快速维修，进一步提高系统可靠性。

我军对系统的运用与欧美军队相比还存在较大的差距，为了避免差距被拉大，本文提出以下建议：①引入有实力的地方企业和高校院所参与系统开发，实现深层次军民融合；②推动系统走出实验室，应用于部队维修实战，根据部队反馈进行针对性改进；③推进系统硬件和软件国产化进程，替换大量使用的国外产品(如Unity引擎、3DMAX软件、Hololens眼镜等)，避免被欧美国家技术封锁，在系统未来发展中掌握主动权；④与北斗系统、5G技术等我国优势技术融合，实现范围更广、延迟更低、贴近实战的分布式军事装备保障体系。尽管当前MR军事装备维修系统还存在许多问题，但是随着相关技术的发展，未来成熟的系统仍是值得期待的。