AR设备在直升机保障领域的应用研究

陈 鑫， 辛 冀

(航空工业直升机设计研究所，江西 景德镇 333001)

随着现代直升机技术的不断进步，直升机已出现在各国的装备列表中。其作为一种重要的民用装备或军用装备，已体现出如运输、通信、搜救、反潜、救护、武装、电子战等方方面面的作用，并且展现出越来越重要的社会价值、经济价值和军事价值。为保证直升机能够充分发挥作用，其维修与保障能力是基础，这种能力对直升机的完好率、再次出动能力等战斗力指标的影响巨大。而随着直升机的功能日益增多，装备越来越复杂，直升机的维修保障能力已凸显出一些不足之处，基于增强现实技术(Augmented Reality，AR)的维修辅助设备的出现可以有效解决这个问题[1]。

AR作为虚拟现实技术(Virtual Reality，VR)的一个重要分支，近年来已经成为科技进步过程中研究的热点[2-3]。通过计算机将图形图像和数据交互技术结合构建虚拟模型，再将虚拟模型映照入现实场景中，AR技术保证了使用者在实际应用中可以将两种来源的信息互相补充，增强了使用者对真实信息所感知的信息量与理解程度，从而可以获得更多的信息来辅助工作[4]。这种技术对于直升机的现场维修保障能力的适用性强，能有效地帮助机务人员对装备原理进行了解和快速上手维修保障。

欧美等发达国家对增强现实技术的研究较早。美国波音公司的Tom Caudell和其同事在20世纪90年代初期首次提出将AR技术应用到辅助布线系统中，之后又用于飞机制造中连接器的装配和电力线缆的连接[5]。曾有报道显示，DART 510型航空发动机由于应用了AR技术，其维修时间减少了56%。NASA在JPL实验室中提出过使用仿真图像在视频图像上叠加增强的方法来克服操作中时延的问题，经验证节约了50%的操作时间。2013年，新加波Zhu等[6]开发了可编程的环境感知AR系统(Authorable Context-Awareaugmented Reality System，ACARS)。2015年6月，NASA将微软的AR产品Hololen眼镜纳入Sidekick项目的关键工具，它能够让宇航员在太空快速掌握空间站维修的能力，缩短训练时间，适应空间站的环境[7]。意大利Univet公司在2017年发布了Univet5.0增强现实眼镜，实现了镜片的可替换性。

国内AR技术由于起步较晚，目前还未在军事领域中广泛使用，但在一些民用复杂设备的维修和工业生产方面取得了一定进展。2000年，王涌天等[8-10]将AR技术成功应用于圆明园景观数字重现。2017年，李佳宁[11]对AR系统中VSLAM技术的应用进行了深入的研究。白柯萌等[12]利用PST跟踪仪和AR头盔，结合手势识别和语音技术，研发了一套基于多传感器融合式AR系统。2019年，陈丽等[13]利用AR技术在没有实验条件的情况下实现了“对平板电视检测与维修”这一知识点的教学并获得成功。2020年，崔海青等[14]基于Hololens设备开发了一套数字化飞机增强现实教学平台，提升了教学效果和学生的积极性。

AR技术在国内逐渐趋于成熟，其在军用直升机维修与综合保障领域的前景一片大好。本文结合AR维修辅助设备所需的关键技术，根据直升机保障现况阐述了AR维修辅助设备将应用于哪些直升机维修与综合保障的场景；根据保障场景的构建，阐述了目前AR设备在直升机维修保障方面的优势；最后对AR维修辅助设备的不足与未来发展趋势进行了分析。

1 AR维修辅助设备关键技术

1.1 跟踪注册技术

跟踪注册技术是AR维修辅助设备中最难实现的技术、目前AR技术的发展大都是围绕着跟踪注册技术发展。所谓跟踪注册技术，是指将虚拟物体并入真实环境的坐标系中，让使用者能够通过AR设备看到虚拟物体的存在，并且随着使用者的视角转换，虚拟物体能够自然实时准确地融入到现实场景中。随着计算能力的提升和摄像头的便携化，基于视觉的跟踪注册方法逐渐成为主流，以此为基础产生了3种算法原理不同的位姿跟踪和估计方法，即基于平面标志的跟踪注册、基于视觉定位与地图构建的无标志跟踪注册(Visual Simultaneous Localization and Mapping，VSLAM)和基于三维物体的跟踪注册。

早期实用化和商业化AR维修辅助设备中的跟踪注册技术为基于平面标志的跟踪注册技术。如2007年美国空军为探索和评估AR系统在装备和维修保障中的可行性，开发的维修保障AR研究计划ARMAR原型机，以及2013年在阿尔及利亚先进技术发展中心，针对光伏太阳能水泵维修问题，开发的基于AR的光伏水泵维修系统ARPPSM等。这些设备都采用了平面标志和传感器相结合的跟踪方法，根据标志物特定的几何或光谱特征来识别跟踪现实场景。另外基于ARToolKit、FLARToolKit、SLARToolKit、ARTag等开源平台开发的AR应用系统，也均为利用封装好的复杂标志物图像处理和数字符号处理数据库，来实现现实场景的快速跟踪注册[15]。但基于标志物的跟踪注册技术具有一定的局限性，即标志物必须一直在现实场景中放置，以便于记录其与对象的相对关系，在视角范围内，标志物必须全程可见，一旦离开，就不能继续进行跟踪注册工作[16-17]。

Klinker等[18]在2011年提出了PTAM算法，开始了对无标志跟踪注册技术的研究。无标志跟踪注册主要指，在摄像机与现实场景的相对运动过程中，通过对摄像机拍摄的连续图像视频来提取现实场景的自然特征并匹配，实时地计算出摄像机与现实场景的位置和姿态，从而调整虚拟物体在使用者眼中的状态，进行虚实融合。这个过程一般采用VSLAM技术来实现。其流程如图1所示，包括离线处理和在线注册两个阶段。如微软的HoloLen眼镜就是通过单目和RGB-D的VSLAM算法来准确显示虚拟界面的。

此外，基于三维物体的跟踪注册技术主要应用于运动场景，用于对三维物体进行检测、识别和跟踪[19]。目前主流的方法是在模板上提取物体边缘方向，之后与待检测图像进行比对的模板匹配方法。随着计算机技术的发展，现在也出现了通过深度学习的神经网络方法来区分图像较高层次特征的方法，以此进行物体检测和识别[20]。基于此种原理的跟踪注册方法基本不会用在直升机后勤保障过程中，此处不多赘述。

图1 无标志跟踪注册过程

1.2 维修引导及人机交互技术

在用于维修辅助作业的AR维修辅助设备中，维修引导信息主要是指融入进现实场景中，为用户提供信息提示的注册内容，包括标志、文字、图像、音频、视频等[21]。这些注册的信息内容主要来自于交互式电子手册，包括二维和三维两种信息模式[22]。二维信息如文字、图片和视频等在AR用户界面中以二维的文字贴图方式叠加渲染，为使用者提供包括设备名称、用途、维修所需工具、维修流程、注意事项等内容[23]。三维信息主要包括维修操作对象设备模型和操作工具模型，在AR维修辅助设备中以三维模型的方式在现实场景中进行叠加渲染，为使用者提供除所需的二维信息外更详细直观的内容，如工具设备的几何模型、空间位姿信息和用户的引导路径信息。

AR维修辅助设备的人机交互方式主要分为两种，分别为人体动作识别方式和语音识别方式[24]，针对直升机设备工具的维修可更加细化为裸手动作识别和语音识别，两种方式应该都为可用状态，以使使用者选择更舒适的方式[25]。裸手动作识别，可以对维修引导信息进行翻页、选择、拉伸、旋转、缩放等操作[26]，同时，不影响使用者手部的自然操作，对使用者的触觉感知不产生干扰。裸手识别因为涉及到指尖、腕部等不同部位的动作识别，因而是一个复杂的模式识别问题。单摄像头可以识别用户简单的手势交互，双摄像头或多摄像头通过三维视觉以及内部算法可以提取手部的三维特征，从而对使用者复杂的手势操作进行识别，解决部分遮挡问题，并添加现实场景深度信息。

1.3 交互式电子手册(IETM)技术

面向使用者展开的维修引导界面以及人机交互界面的信息主要来自于所需要维护的设备及工具的维护手册、器材目录或者生产试验的样机数据等，这些数据各有其不同的来源和类型[27]。如目前的建模软件就包括了CATIA、Solidworks、Pro/E、CAXA等[28]，不同软件的模型文件也各不相同，为了让使用者能够正确读取并应用这些文件，必须将维修所需的技术资料按照统一的格式存储在数据库中[29]，使杂乱的信息得到管理，并能顺利与使用者进行交互，这种技术就是交互式电子手册技术(IETM)[30]。当使用者通过维修引导界面进行信息检索时，通过IETM技术，能够将使用者所需要的信息如文字、图像、音频、视频、图纸、三维模型等以最优的方式呈现出来[31]。目前，IETM技术已经相对成熟，已在直升机产品和其他军用产品中广泛应用，使用者可直接采用现有的研究成果。

1.4 实时反馈与使用评价技术

AR系统实时反馈技术是AR维修辅助设备在应用中必不可少的一部分。使用AR维修辅助设备进行设备维修辅助过程中，难免存在一些问题，如电子手册中维修引导内容与实际维修设备不一致、所需维修信息缺乏、维修引导方式用户不适应等。当发现这些问题时，需要将问题反馈给设计人员进行更改调整，可选用在线反馈和离线反馈两种方式。在线反馈可将问题实时反馈给设计方，但不能解决军工系统中的保密问题。因此，可以选用离线反馈。在用户界面中设置反馈通道，将问题实时记录，待设备使用完毕后，通过专用途径反馈相应问题。

针对AR设备本身的性能优劣评价也是AR关键技术之一，如ARMAR系统原型机就曾通过直观度、满意度和舒适度来衡量一个AR系统的性能优劣。我国赵守伟等[4]为研究这一关键技术，通过实验室搭建了一套AR系统，从直观度、舒适度、满意度和故障排除时间等方面，对AR系统进行了主客观评价，从而可以定量描述AR技术在复杂装备中的维修效果，但目前还存在故障样本不具有广泛性、参评人员不足等问题。这些关键问题，还需要随着AR设备的普及化，逐渐攻克。

1.5 4种技术的内在联系

AR维修辅助设备在服务于直升机维修辅助人员的过程中，需要有跟踪注册技术、维修引导及人机交互技术、IETM技术和实时反馈与使用评价技术这4种技术的支持。4种技术各有其应用范围，也有其内在的联系，它们相互支撑，缺一不可。4种技术的内在联系如图2所示。

图2 4种技术内在联系

根据使用过程将AR维修辅助设备划分为3个层次：基础层、应用层和现实层。IETM技术位于基础层，是AR设备的基础，也是其他技术应用的数据来源。使用者或管理员需要预先将所需维修设备的详细数据信息以规定的格式录入其中，以便其他技术应用时进行数据提取。IETM与使用者之间的联系桥梁是通过跟踪注册技术和维修引导及人机交互技术来实现的。跟踪注册技术是最难实现的技术，它可以将现实世界中的物体与数据库中的记载联系起来，并随着使用者视线的移动实时跟踪。在此基础上，维修引导技术以使用者眼中的跟踪目标为核心展开该目标的维修方式，展开方式则由人机交互技术来实现。与此同时，维修方式中所注明并在现实场景中出现的维修工具设备，会由跟踪注册技术再次跟踪，循环往复，直到使用者维修工作结束。

目前国内AR辅助维修设备发展还不成熟，因此实时反馈与使用评价技术的存在是必要的。作为其他3种技术的监督机制，它可以为厂家反馈使用者遇到的问题和困难，从而对AR设备其他3项技术进行改进，以便对维修保障工作提供更强大的技术支持。

2 直升机维修保障中的使用场景假定

直升机基层级维修检查按照飞行时间划分，主要分为日常检查和定期检查。AR维修辅助设备可贯穿于整个维修保障过程中，辅助使用者的整个维修保障过程。此外，还可以协助进行维修人员的培训。下面以某型直升机为例进行具体分析。

2.1 日常检查

直升机日常检查以飞行的时间为分界线，一般可以分为3个阶段：飞行前检查、再次出动准备检查和飞行后检查。这3个阶段的日常检查以目视检查为主。AR维修辅助设备的使用者，通过在眼前显示的用户界面，选择相应的维修辅助过程。如选择飞行前检查，使用者眼前会出现飞行前检查所需要的全部程序，包括状态检查、安装固定检查、泄露检查、部件间隙检查、清洁检查、管路检查，以及各项检查所需要的站位等。使用者用手点击用户界面中的不同选项，会显示不同的内容：

① 状态检查项。显示状态检查的内容，指导使用者通过目视检查直升机的零部件状态，确认相对于初始状态的变化：其表面有无明显变形、裂纹、刮伤、破损、磨损、腐蚀和烧蚀的情况出现。

② 安装固定检查。指导使用者检查部件的安装点与锁紧状态。

③ 泄露检查。指导使用者确认液体的损耗或渗漏的痕迹。

④ 部件间隙检查。指导使用者判断间隙。

⑤ 清洁检查。指导使用者检查直升机外表情况，有无潜在污垢、杂物、油液渗漏和污迹。

⑥ 管路检查。指导使用者检查管路、套管连接处和卡箍卡紧情况。

使用者也可选择按照站位进行检查，在检查的过程中，实时显示使用者进行直升机日常检查时的站位和检查的先后顺序，一旦从头到尾按照设备提示完成检查，则可表示该项日常检查结束。同时，在使用者使用AR维修辅助设备的过程中，交互界面实时显示各项检查所需要关注的注意事项，和过去使用者关于各个检查项目的备注情况，以便检查更加方便快捷。AR维修辅助设备还具有备注与反馈功能，将使用者的心得体会记录于设备交互界面与数据库中，待管理者审核。若审核通过，则可作为注意事项留在AR维修辅助设备的总数据库中，反之则删除备注。

2.2 定期检查

直升机的定期检查主要分为S检、T检、G检、A检、C检等，各有其不同的间隔时间。总体来说，定期检查比日常检查所涉及的项目更多，操作更复杂。此时则更凸显出AR维修辅助设备的重要性。

以某直升机主桨叶后缘调整片的裂纹、脱胶和腐蚀的修理为例。在使用者进行维修过程之前，首先装备好相应的AR维修辅助设备，调整到该项维修的选项。交互界面应按照程序列出准备工作、保障设备、消耗品、备件、维修程序等条目。点进准备工作条目，可以得到该维修项目的准备工作，包括核实环境湿度及温度、确保产品合格、确保主桨叶在拆卸状态等。之后进入保障设备条目，显示所需要的保障设备包括钳子、铆接钳子、手持铆枪、钻头、铆锤、空气钻孔机、打孔机、不锈钢卷尺等；进入消耗品条目，显示需要的消耗品为防腐蚀胶、清洗剂、棉纱布、砂纸等；进入备件条目，显示需要的备件为沉头铆钉、平头空心铆钉等。显示的保障设备、消耗品、备件均以图片和文字的形式列出，供使用者参考。之后进行维修程序，在AR维修辅助设备的维修辅助帮助下，使用者可以通过交互界面得到使用各类保障设备、消耗品和备件的流程与使用方式。随着维修流程的进行，有些位置的维修可能变得微小且麻烦，AR维修辅助设备可以通过调用数据库中的产品模型，从而以三维立体的方式呈现在使用者眼前，帮助使用者实时地理解与应用各种工具，直至维修过程结束。

2.3 维修人员培训

AR维修辅助设备可参与到维修人员的培训过程中。教学中，老师在讲完课本中的内容后，通过佩戴AR维修辅助设备，学员可以看到需维修设备的三维全貌，而不是单纯的文字堆积。图文结合，二维三维协同教学，可使学员在学习时印象更为深刻。

3 AR维修辅助设备优势分析

AR维修辅助设备能够给维修活动带来很大的便利，但由于设备尚未完全市场化，其相较传统维修方法更有优势的数据只能从一些实验室原型机中得到，国外两种AR维修辅助设备原型机使用效果及提升程度如表1[1]所示。

2013年，新加波Zhu等开发了可编程的环境感知AR系统，面向维修任务进行场景实体建模，并在开发后通过专家打分的方式对原型机和纸质手册进行评价，其中项目最高为5分，最低为1分，如表2所示。

表2 ACARS原型机各项打分评价表

我国赵守伟等[3]2016年在实验室搭建了ARSAM原型机用来考察AR维修辅助设备的维修效率，主要由视频透射式头戴系统、内置增强现实软件和维修引导数据库的计算机组成。原型机完成后，对其进行了打分评价，由表3所示。由于打分法带有一定的主观性，表2和表3不进行合并。

表3 ARSAM原型机各项打分评价表

不论何种原型机，都显而易见地对设备的维修工作产生了积极作用。通过走访试飞基地地机务人员，结合AR设备实际情况，总结出AR维修辅助设备相对传统纸质手册的维修方式具有以下优势。

3.1 高效性

直升机的后勤保障，如果采用传统的纸质维护手册的方式进行维护，维护流程为：

① 前往办公室查询或携带维护手册；

② 根据维护手册中的内容去工具/备件库(一般在机库或机库附近)中匹配维护所需要的工具/备件/耗材等；

③ 在机库对直升机所需维护部位进行维护，维护过程中可能需要翻阅维护手册内容。

熟练的机务人员对维护手册较为熟悉，会省去第一步的过程，但这对于新任机务人员不是非常友好。引入AR维修辅助设备，将会极大提升维修操作的效率，从而提高直升机型号的整体进度。其在高效性上的优势主要体现在以下几个方面。

① 完全抛弃过去所用的维护手册和工卡。其完全作为电子版存入AR维修辅助设备的IETM中，以便维修人员通过交互的方式查阅。纸质版维护手册和工卡只作为备用。由此，在需要了解维修信息时，只需要阅读AR维修辅助设备提供的信息即可，节省了原本用来前往办公室翻阅维护手册和工卡的时间，即时浏览；解放了双手，可以一边看流程一边进行工作；在维修过程有问题时可以随时记录问题所在，避免遗忘的同时提高了反馈机制的效率。

② 不需要强行记忆维修流程。人是有遗忘机制的，就算有些维修人员技术较为熟练，对维修过程中的某些细节如力矩值、穿接方向等难免遗忘。AR维修辅助设备以数据库的方式帮助维修人员减少了再次翻阅维护手册的时间。

③ 拍照留证。在维修人员操作过程中出现问题时，可通过AR维修辅助设备上安装的摄像头随时进行拍照留证，数据留存在专用的局域网中，提高了维修人员描述问题时的可信度与详细程度。

④ 机组人员专用。AR维修辅助设备的定位为下发到机组维护人员的设备，由机务人员使用，因此避免了如便携式维修辅助设备(PMA)等设备虽也有查阅维护手册的功能，但需要机组人员临时申请才可使用的尴尬境地。

3.2 防差错

在传统的使用纸质手册维护的过程中，经常发生相似件错认、维护位置错认的情况，谨慎的机务人员会复查维护手册，粗心的维护人员可能会因此对直升机造成一定隐患或损伤[32]。

引入AR维修辅助设备，如果设备的精确度足够高，那么就可以避免一系列人为操作失误的问题，主要体现在以下几个方面。

① 不会错认。一方面，对于某些相似件，如在维修旋翼、桨毂、拆卸发动机、拆卸桨叶的过程中，看到的两种螺钉，一种为7 mm，一种为10 mm，可立即用文字或标志的方式提醒使用者，提高了辨识度。另一方面，对于新手维修人员来说，翻阅工卡可能看错；对于老练的维修人员，长时间不操作会遗忘，也会产生误判。AR维修辅助设备则完美解决了这种问题。

② 快速识别位置。使用AR维修辅助设备，所需要维修的设备及其关键点会在使用者看到的现实场景中以文字或标志的方式直接显示，对于某些隐蔽性较强的位置一目了然，避免了维护人员长时间的寻找。

3.3 可作为培训辅助设备

传统的培训采用的是授课加实操的方式，在授课的过程中，学员们面对的是维护手册上的文字和图片，以及教师的讲解[33]。若将AR维修辅助设备作为维修人员的培训设备，有非常良好的使用效果，主要体现在以下几个方面。

① 培训过程中，学员通过佩戴设备可看到更加动态化和清晰化的维修流程，学习内容中的图像和文字更加生动形象[34]、易于理解。

② 对学员上机实操过程中遗忘的维护内容与设备信息可实时提醒，对第一次见到的设备工具也有实时说明讲解，理论和实际相结合。

③ 机上一些位置可能空间较小，维修人员无法深入，通过AR设备则可更直观地看到[35]。

4 AR维修辅助设备的不足与发展趋势

4.1 鲁棒性问题

AR系统的视觉识别目前过于依赖图像本身特征，当出现图像特征不够丰富的情况时，仅从图像无法复原相机的运动，也就无法识别使用者头部的运动轨迹。若通过直接法复原相机的位姿，需要构建稠密的网格，这带来了大量的计算量，也对AR维修辅助设备的实时性产生了影响。未来可能会出现基于图像的边缘、平面等更为高层的图像信息作为设备识别的特征，以此缓解设备的特征点依赖问题，来提高系统的鲁棒性。也可以通过结合其他传感器进行优势互补，来实现设备鲁棒性快速跟踪定位。

4.2 实时性问题

目前的AR维修辅助设备还存在着延迟较高的问题。一方面，由于设备本身运算过程可能导致使用者在实际体验中使用体验不佳，跟踪注册图像会延迟于现实场景出现。另一方面，使用者在使用AR维修辅助设备的过程中，经常会快速地移动或者旋转头部，从而导致跟踪注册的图像丢失，重新定位程序频繁启动。因此，如何提升AR维修辅助设备的计算速度，降低延迟是贯穿AR技术的主题，也是未来的发展趋势。近年来，随着深度学习技术的不断进步，深度学习技术将在图像匹配和检测过程中发挥巨大作用，是降低延迟，提高重定位能力的关键所在。

4.3 交互性问题

AR技术近年来已经取得了较大进展，但在交互性方面，还存在一些不足之处。目前主流的AR维修辅助设备采用了视频透射式头戴显示器，由计算机提供现实场景与注册信息叠加的图像，在保证足够的场景沉浸感的同时，设备有一定重量，使用起来较为困难，使用者长时间佩戴易产生不适。另一种AR维修辅助设备为光学投射性头戴显示器，使用者可同时看到现实场景和注册信息，长时间佩戴不易眩晕。该设备重量较轻，但因无自带处理模块，有一定延迟。此外，这些设备在触觉等其他感官的方面交互性也有所欠缺。要提高AR维修辅助设备的交互能力，需要减轻设备重量，提高匹配与注册精度，增加可视范围，增加肢体运动感知、触觉感知等。

4.4 维修人员依赖性

维修人员对AR维修辅助设备容易产生依赖性。虽然采用了机器辅助记忆的方式，减少了人脑记忆的工作量，但也正因如此，一旦脱离了AR设备，维修人员就可能无法继续维修工作，或回到翻阅维护手册的状态。随着科技的发展，这方面也需要保持一定的平衡，防止设备不在身边导致的维修人员失去对设备进行维修保障的能力。

4.5 需要其他设备配合进行问题定位

AR维修辅助设备是一种维修辅助设备，它的定位是维修人员在维修保障过程中进行辅助的工具，与故障诊断相结合是其未来的发展趋势。目前的故障诊断方式主要为各类技术人员进行排查，如通过直升机健康与使用监控系统(HUMS，Helicopter Health & Usage Monitoring System)、飞参识别等其他类型设备进行问题定位，或者两者相结合的方式进行确定。将来AR维修辅助设备纳入直升机维修保障工作后，可以通过打通各类设备进行数据交换，以达到故障处理结果实时分析、实时显示的效果，以此进一步提升直升机的后勤维修保障能力。

5 结束语

随着我国科技实力的不断加强，各类以计算机技术为核心的现代技术不断应用在军事领域中。现代直升机越来越趋向于智能化、复杂化、信息化，AR维修辅助设备的引入是必然趋势。我国目前AR维修辅助设备还处于发展阶段，随着相应理论、软件、硬件能力的不断提升，AR维修辅助设备的广泛应用必然能显著提高直升机的维修保障效率，对于军队的作战能力和信息化水平有着重要意义。对AR维修辅助设备关键技术进行了分析，对应用在直升机后勤维修保障场景的优缺点与未来发展趋势进行了阐述，希望对我军直升机的智能化和信息化维修保障系统建设提供参考。