浅析增强现实技术在航空装备维修保障中的应用

汪时交 梁志帅 宋海方 张喆

0 引言

维修保障工作是航空装备保持良好状态、完成预定任务的基础和保证。在武器的全寿命费用中，使用和维修保障费用往往占到装备全寿命费用的70%～80%。与此同时，装备维修质量对于装备安全也至关重要，维修问题已经成为引发航空事故的主要因素之一。装备维修质量和效率不仅关乎装备运营成本和安全，还会影响作战节奏甚至战役结果。航空业是较早引入增强现实（Augmented Reality，AR）技术的行业，AR技术在改善维修保障过程引导和提高维修保障质量等方面具有独特的优势，在装备维修和保障过程中具有广阔的应用前景。

1 AR技术概述

AR技术是在虚拟现实（Virtual Reality，VR）技术的基础上发展起来的，与VR技术营造的完全虚拟的环境不同，AR技术的“增强”，指的是通过在真实世界中叠加计算机生成的信息，从而在视觉、听觉、触觉甚至味觉和嗅觉上“增强”用户对真实世界的感知能力。AR的这种“增强”主要体现在三个方面：一是空间穿透。通过虚实融合，使用户可以在视觉上穿透现实空间环境，让“不可见”变为“可见”，让“遥远的”变为“眼前的”；二是时间折叠，通过将历史和实时信息的叠加，使得用户可以回溯再现历史，也可以自由组合呈现不同时刻的信息；三是知識叠加，通过自动识别环境中的实物对象，将其关联的信息、知识等实时叠加到该对象上，从而为用户全面深入了解现实环境提供辅助信息和知识。AR的这三个特点为用户对复杂现实环境的准确感知和分析决策提供了一种重要的技术手段。

为了提供给用户沉浸式的虚实融合体验，从技术领域的角度，增强现实系统需要解决三大关键技术，即三维注册、真实感绘制和人机交互。其中：1）三维注册技术将虚拟场景绑定到现实场景的坐标系中，随着用户的移动和视角的变化，计算出虚拟场景在该视角下的投影信息，融合到真实场景的影像上，保证了虚拟场景与现实场景的几何一致性。2）真实感绘制是在几何一致的基础上，将虚拟景物或信息进行视觉呈现与融合，例如，不仅要使计算机生成的虚拟对象在着色、贴图上与真实物体一致，在光照等方面也要保持一致。3）人机交互的目的是利用各种设备或界面，与虚拟或现实的目标进行互动，通过信息交换完成确定的交互任务。

AR的基本原理和工作过程如图1所示，系统首先通过摄像头捕获现实场景图像，通过对视频帧图像的处理，标记识别场景对象和位置，然后通过对摄像机位姿的估计，再将虚拟对象渲染到特定的位置，从而实现对现实世界的“增强”显示的效果。

AR的跟踪注册方法分为基于标记的方法（Marker-based）和无标记（Marker-less）的方法。基于标记的方法是在场景中预先布置标记物（通常是二维码），摄像机通过识别标记物完成跟踪注册，这种方法的优点是便于系统开发和移植扩展。缺点是对于航空装备的一线维修保障而言，在装备上添加标记物需要经过复杂的论证和审批。无标记的跟踪注册方法直接对场景中的物体进行识别跟踪，这种方法的优点是无需放置标记物，但是跟踪注册过程耗时较多，一般需要在联网环境下进行，开发难度也相对较大。

2 在装备日常检查中的应用

日常检查是装备维修中最常见的维修保养方式，也是装备维护保障的基础，对于装备完好性和装备安全性具有重要的意义。日常维修检查包括装备使用前、使用后或达到一定的时间和使用次数时进行的外观检查、清洁、润滑、保养和简单的修复工作，也包括燃油、润滑油（脂）、气体的添加补充等工作。为了确保装备日常检查的可靠安全，维修人员一般在纸质或电子的技术文档指导下完成工程，但是纸质或电子文档的使用并不方便，同时基于文字或简单的图表引导并不能为维修人员提供无歧义的维修引导，AR技术可以为装备的日常检查过程提供新的引导方法。图2表示的是一个使用AR技术的日常检查场景，通过在实际装备上叠加图片、三维模型和动画等信息，对操作过程进行引导，并对风险信息进行提示。

AR显示器可以是头戴式设备，也可以是平板或其他手持式终端。通过在实际场景中叠加虚拟信息的方式，可以避免纸质文档的引导歧义，使维修人员更好地理解维修过程，从而有效地降低维修差错。

3 在装备拆装中的应用

无论是日常检查还是故障排除和损伤修复，拆装工作都是装备维修中必不可少的步骤和基础。空客公司在2010年开发了“MOON”项目（“MOON”是“asseMbly Oriented authOring augmeNted reality”即“面向装配的增强现实内容编写”的简称），该项目使用工业化数字样机（industrial Digital Mock-Up，iDMU）和AR技术，并应用于空客A400M运输机的辅助装配过程中。“MOON”项目的一个使用案例如图3所示。

“MOON”项目使用平板电脑作为信息显示终端，在装备拆装过程使用平板电脑意味着维修人员的双手受到束缚，为了解决这个问题，空客A330飞机的研发团队又开发了基于谷歌智能眼镜的可穿戴式的AR系统。使用谷歌眼镜的AR系统的应用案例如图4所示。

基于智能眼镜的可穿戴AR系统可以使维修人员更多地关注维修工作本身。随着智能眼镜越来越轻量化，可以显示的内容越来越丰富，使用智能眼镜的维修指导系统将越来越多地应用到装备维修过程中。

4 在远程维修指导中的应用

航空装备维修是一个专业性很强的领域，很多维修特别是排故工作并不能依靠现场维修人员独立解决，需要依靠维修专家的指导和帮助，但是由于维修专家数量有限，且大多数情况下难以随时到达维修现场，于是如何将维修专家的知识、判断和经验及时有效地传递到维修现场，就成为一个重要的问题。

在传统的方法中，通过诸如电子邮件或电话之类的方法实现远程通信。这种方法允许发送非结构化的文本或对话。因此，要确保他们发出的消息是情境感知的就更加困难。图5表示了一种基于HoloLens头戴式显示器的远程维修辅助系统架构。

该系统由三部分组成：1）配有虚拟接口、供远程专家使用的桌面计算机；2）存储数据的云服务器；3）使用HoloLens AR应用的头戴式设备。系统的（供远程专家使用的）服务端和（供现场维修人员使用的）客户端应用程序均使用Unity 3D游戏引擎进行开发，同时使用Vuforia开发AR程序。

现场的维修人员通过头戴式显示器上的摄像头等传感器，将维修现场的图像通过有线或无线网络传递给远程服务器端的应用。服务器端的应用程序可以使异地的专家实时接收现场视频，并确定需要维护的设备，通过使用动态填充的CAD模型下拉菜单，专家可以从远程资产存储库中选择相应的3D模型，并通过拖动和旋转等操作，将需要进行的维修作业步骤传递给现场的维修人员。如果要实施的步骤非常复杂，还可以通过预置动画等方式，以更加直观的格式将专家知识传递给维修现场人员。维修现场的技术人员借助头戴式显示器，将专家创建的3D内容叠加到现实装备上。Vuforia可以定位图像目标，并将指定的零件放置在正确的位置上。

远程维修指导系统开发的重点是在服务器端进行预置模型和动画的编写，以及预置内容的传输。随着图像处理和语音识别技术的进一步发展，以及深度学习、云计算和5G技术的发展，基于AR技术的智能和远程故障检测与诊断系统也将得到应用。

5 在装备维修保障中应用AR技术的优势和不足

在装备维修保障中应用AR技术的潜在优势包括：一是可以有效弥补当前维修力量的不足。近几年，装备维修领域普遍存在维修人员数量不足、有经验的维修人员比例低等问题，使用AR技术便可有效地传递维修知识和经验，帮助维修人员快速熟悉维修过程。二是使用AR技术可以有效降低维修差错，提高维修质量。维修差错已经成为引发航空事故的主要原因，维修人员数量和经验的不足进一步加剧了这一现象。以美军为例，在2013—2017年间，尽管飞行训练的时间减少了，但是这期间的航空事故却增加了40%，维修差错是引发美军航空事故的主要原因。AR系统在现实场景中叠加提示和警示信息，可以有效避免维修过程的“错、忘、漏”的发生。三是借助AR技术可以提高维修训练效率。维修训练工作是装备维修保障工作的重要组成，传统的维修训练由于资料限制，难以将理论学习和动手实践有机结合，借助AR技术，可以将理论与实践最大程度结合起来，做到边学边练、边讲边练的效果。

尽管AR在装备维修保障领域有着广阔的应用前景，但是AR技术在装备维修中的应用也存在一些不足：一是AR显示设备的使用便捷性和舒适性需要进一步改善。无论使用头戴式显示器还是手持式显示器，都存在着一些固有的限制：使用平板设备意味着对双手造成了束缚，使用头戴式设备需要考虑长时间佩戴对人体的影响，以及头戴式设备交互方式的便捷性。二是AR的跟踪注册技术需要进一步适应装备维修保障场景的需求。例如，使用有标记的方法难以适应装备维修保障的政策以及实际场景条件；使用无标记的方法又受到摄像头的角度和光照条件等的限制。三是AR的内容编写需要建立统一的技术规范和标准。AR的内容编写是AR技术应用的主要工作之一，AR内容的标准化是AR技术应用推广的重要环节，可以参考当前的交互式电子技术手册（Interactive Electronic Technical Manual，IETM）标准和规范，制定相应的AR内容标准，从而为AR的应用打下良好基础。

总体而言，AR作为一种知识表达和传递的新技术，在装备维修保障领域有着广阔的应用前景。随着深度学习、云计算以及便携式显示设备等技术的发展，当前一些制约AR技术应用的问题也将会得到解决，AR的相关内容有望成为装备维修保障的有机组成。

参考文献

[1]. 鲍虎军，章国峰，秦学英.增强现实：原理、算法与应用[M].北京：科学出版社，2019.

[2]. Riccardo Palmarinia， John Ahmet Erkoyuncu， Rajkumar Roy， et al. A Systematic Review of Augmented Reality applications in Maintenance. Robotics and Computer-Integrated Manufacturing [J]， Vol. 49， February 2018， pp.215-228.

[3]. Sabine Webel， Uli Bockholt， Timo Engelke， et al. Augmented Reality Training for Assembly and Maintenance Skills [C]. BIO Web of Conferences 1， 00097 （2011）. DOI： 10.1051/bioconf/20110100097.

[4]. R. Silva， J. C. Oliveira， G. A. Giraldi. Introduction to Augmented Reality [J]. pdf document is available on： https：//www. researchgate.net/publication/277287908_ Introduction _to_augmented_reality.

[5]. Jonathan A. Schlueter. Remote maintenance assistance using real-time augmented reality authoring [D]. Iowa State University， 2018.

[6]. G.O.C. Prado， P.A. Silva， F.M. Simomura， et al. SHM with Augmented Reality for Aircraft Maintenance [C]. 31st Congress of the International council of the Aeronautical Sciences， 2018

[7]. Terry R. Hebert Jr. The Impacts of Using Augmented Reality to Support Aircraft Maintenance [D]. Air Force Institute of Technology， 2019.

[8]. M. M. L. Changb， S. K. Ong， A. Y. C. Nee. AR-guided Product Disassembly for Maintenance and Remanufacturing [C]. The 24th CIRP Conference on Life Cycle Engineering， Procedia CIRP 61 （2017） 299 – 304.

[9]. Henderson， S. J.， & Feiner， S.. Exploring the benefits of augmented reality documentation for maintenance and repair[J]. Visualization and Computer Graphics， IEEE Transactions On， 2011，17（10）， 1355–1368.

1 美空軍中，战术飞机维护专家的任务是在飞机落地后对飞机进行维修和保养，以确保随时可飞。

2 F-35A航空电子专业将传统航空电子、电子环境以及通信和导航专业进行了合并。

3 维修人员的技能水平等级分为助手（1级）、学徒（3级）、技师（5级）、工匠（7级）和主管（9级）。其中，3级、5级和7级人员执行具体维修任务，9级维修人员从事管理工作。