增强现实在航空装备舰基修理中的应用

摘" 要：针对航空装备舰基修理过程中时间紧、难度大和人员培养慢等问题，基于增强现实技术设计开发AR辅助维修引导系统。以移动智能终端为硬件平台，利用ORB-SLAM2方法实现运动跟踪，结合触摸屏技术、语音识别、震动反馈实现人机交互，并以某型光电雷达的电子部件拆卸步骤为例，进行功能验证。分析结果发现，系统在缩短维修时间和减少差错次数方面表现较好，能够为航空装备舰基修理能力的生成起到一定的促进作用。

关键词：增强现实；航空装备；舰基修理；人机交互；运动跟踪

中图分类号：TP391" " " 文献标志码：A" " " " " 文章编号：2095-2945（2025）05-0027-05

Abstract： To address the challenges of limited time， complexity， and slow personnel trainning in the ship-based repair of aviation equipment， an AR-assisted maintenance guidance system is developed based on augmented reality technology. Taking a mobile smart terminal as a hardware platform， the ORB-SLAM2 method is used to achieve motion tracking， based on touch screen technology， voice recognition， and vibration feedback to achieve human-computer interaction， and taking the dismantling steps of electronic components of a certain type of optoelectronic radar as an example to perform functional verification. The analysis results show that the system performs well in shortening maintenance time and reducing the number of errors， and can play a certain role in promoting the generation of ship-based repair capabilities of aviation equipment.

Keywords： augmented reality; aviation equipment; ship-based repair; human-computer interaction; motion tracking

作为航母战斗力生产的关键，如何保持舰载机在驻舰期间的状态完好已经成为航空装备维修保障领域的重要课题之一。传统陆基维修保障模式采用三级维修体制，而对于执行远海任务的舰载机，在驻舰期间更加依赖舰基修理力量[1]。而且远海条件下，能够用于维修保障的资源有限，空间局限，技术受限，加之可能出现的疑难故障、战场抢修、复杂工艺等情况，使装备修理的难度直线上升。这事实上也对维修保障人员能力水平和维修手段方法提出了更高的要求。但目前维修能力与保障需求之间还存在差距，具体表现有人员培养周期长；技术要求高；维修易出错。常规的维修方法依靠查阅使用说明书、电子手册、故障汇编等技术资料，但大多效率不高，无法满足舰基修理的现实需求。

近年来，基于增强现实（Augmented Reality，AR）的辅助维修技术逐渐被运用在复杂装备的维修工作中。通过计算机[2]对虚拟的图形数据进行实时处理，再与真实场景相匹配。维修人员通过屏幕既能观察现实世界，又能掌握虚拟的维修信息，起到了信息增强的效果。国外团队对于增强现实技术的研究起步较早，1968年，美国哈佛大学研发的The Sword of Damocles系统第一次使用光学透视头戴式显示器，展示了在真实世界中叠加虚拟物体的画面。1990年，美国波音公司研究员Tom Caudell在美国达拉斯召开的SIGGRAPH会议上，明确提出了增强现实这个概念，随后在制造DART510型航空发动机过程中，利用AR技术辅助飞机的装配工作，能够节省56%的维修时间[3]。2015年，NASA尝试将AR技术用于宇航员的空间站修理能力训练，成果降低了学习成本[4]。目前国内AR技术研究也取得一定成果，2017年李佳宁[5]团队着重研究了AR系统中的VSLAM关键技术。2023年崔海清等[6]基于HoloLens增强现实眼镜开发了维修指导系统。这些研究成果证明，AR技术在辅助维修方面潜力巨大。但是目前应用的案例大多针对工业生产领域和部分传统军事装备，应用于舰基修理方面的研究较少。本文以某型光电雷达舰基修理为例，尝试将增强现实技术与舰基修理相结合，设计开发AR辅助维修引导系统。通过虚实结合的方式，可为维修人员面对复杂、紧急的维修任务时提供辅助引导，从而提高维修效率。

1" 系统设计

1.1" 总体思路

AR辅助维修引导系统采用模块化设计，总体包含运动跟踪模块、数字资源管理模块、人机交互模块和数据存储模块4个模块。

运动跟踪模块：运动跟踪是不断跟踪增强现实设备的位置和姿态，其是虚实模型与现实场景结合的基础，是影响使用者增强现实观感最关键的因素。该模块可持续跟踪设备相对于周围环境的位置和姿态变化轨迹，负责建立虚拟世界与真实事件的统一几何空间。

数字资源管理模块：数字资源是以增强现实形式展现的虚拟场景，是辅助维修的重要信息，包括文字、视频、语音和3D模型等。该模块负责将不同格式的数据进行统一管理，按照不同的维修阶段呈现对应的维修信息。

人机交互模块：人机交互是维修人员对虚拟维修信息的交互控制。传统的交互方式是采用鼠标和键盘输入指令，增强现实技术更加注重交互的视、听、触觉体验，除了构建可漫游的虚拟场景，还能对场景进行编辑，交互的方式有手势、触摸屏、语音和震动反馈等。

数据存储模块：数据存储是将每次维修的相关数据进行记录，包括设备编号、维修日期、维修情况等等。这类数据是重要的维修辅助资料，分类存储在系统本地，还可以通过数据传输共享至其他终端。维修人员可以通过查询数据快速掌握待修设备的履历记录，同时还能进行故障统计分析，为预防性维修提供参考。

1.2" 框架设计

针对某型光电雷达舰基修理的检查和维修两方面的需求，本文设计了AR辅助维修引导系统的框架结构，如图1所示。

用户层是维修人员直接操作的界面，主要展示各项功能，要求简洁、美观、易用。通过点击、滑动屏幕或者用语音等方式，控制系统完成不同功能，界面呈现相应维修信息。

业务层是系统的主要功能，按照需求划分为4个部分：信息查询允许维修人员通过编号查询光电雷达的基本信息，初步掌握设备基本情况、维修历史等，功能类似电子履历本；日常检查是在接收光电雷达以后，按照系统提供的操作清单，逐项检查待修光电雷达的状态；维修引导是系统的核心功能，根据故障现象选择对应检查的部位，系统能够以增强现实的方式显示维修信息；日志记录是在维修结束以后，将排故的具体情况记录在案，便于后期故障数据分析。

工具层为业务层各项功能提供软件支撑，涉及数字资源管理、交互控制和数据库操作。

服务层是系统各项功能实现的基础，负责提供底层服务，例如运动跟踪的算法、图像渲染的标准图形库、传感器的信号输出等，该层更加贴近设备硬件。

2" 系统实现

2.1" 功能模块交联关系

从舰基修理的实际应用场景出发，考虑到设备便携性要求，开发平台选用华为移动智能终端，运行环境为HarmonyOS系统。为避免可能出现的电子干扰、电磁压制等特殊情况的影响，系统设计了离线单机独立运行的模式，不依赖远程支援。系统各个模块之间的相互关系如图2所示。

2.2" 底层技术

2.2.1" 运动跟踪

增强现实对运动跟踪要求很高，包括准确性、实时性、鲁棒性和可移动性等，优秀的运动跟踪能力是增强现实沉浸感的关键。目前增强现实完成运动跟踪可以采用光学、惯性和混合测量等[7]。本系统采用ORB-SLAM2实现运动跟踪，基于PTAM框架，在无标志场景中根据摄像头拍摄的视频实时计算移动智能终端姿态。由于ORB-SLAM2能够处理环境光线影响，经过跟踪、建图和回环检测3个程序，其环境适应性较好。

2.2.2" 人机交互

1）本系统硬件平台集成有电容式触摸屏，因此触摸屏技术作为主要的交互手段。用户通过触摸屏选取兴趣点，配合点击、输入、滑动等操作，实现控制系统进行工作的目的。此外基于触摸屏的命中检测是人机交互的重要部分。将屏幕中的兴趣点映射到现实空间中的兴趣点，命中检测可使维修人员通过点击屏幕选取现实空间中的兴趣点，从而实现与虚拟物体的交互操作。

2）为辅助触摸屏操作，增加语音识别功能。目前有多款成熟的语音交互技术解决方案，如Google语音识别、百度语音识别、科大讯飞语音识别等。从离线运行的需求考虑，本系统采用了科大讯飞语音识别方案。科大讯飞语音交互技术包括语音识别、自然语言处理和语音合成等，在人工智能技术的推动下，语言交互技术的准确性和响应速度有了质的飞跃。

3）触觉反馈技术能通过作用力和振动等增加使用者的触感，是智能设备交互中一种重要的反馈形式。借助本系统硬件平台集成的震动马达实现震动触觉反馈。目的是在虚拟场景中营造“真实”的体验感，能够更有效地增强现实。利用触觉反馈充分调动人的感官，在视觉或听觉受到干扰时，能够有效帮助使用者获取信息。

2.2.3" 虚实结合

虚拟场景的构建需要借助三维图形绘制技术，借助于高性能计算机已经可以渲染出清晰、逼真的虚拟环境。目前主流的三维图形绘制技术有多个方案可选，结合本系统的开发平台，需要考虑移动智能终端硬件计算能力。OpenGL ES是针对嵌入式、移动平台设计开发的标准三维图形标准，具有开发、灵活、跨平台等优点。本系统采用OpenGL ES绘制虚拟场景，着重解决绘制的真实感问题，即如何保持虚拟物体与真实环境的一致性。从两方面考虑：一是几何一致性问题，虚拟物体与真实环境之间要考虑遮挡关系[8]；二是光照一致性问题，虚拟物体要呈现正确的光照效果，确保明暗效果与现实物体保持同步。

2.2.4" 电子手册

除了基础的运动跟踪和显示处理等技术，与维修相关的需重点考虑的问题是修理工艺问题。复杂装备的修理包括分解、清洗、检查、修理、装配、调试和质量检验等流程，其中涉及大量的维修信息。对维修信息的组织管理和展现形式是增强现实维修的重要一环。目前基于电子信息技术开发的交互式电子手册，在装备维修领域应用较多，其可以将文字、图片或者视频等信息统一保存和管理，并提供维修数据的快速查询，但无法主动根据当前维修步骤自动给出操作提示。因此，需要对传统交互式电子手册技术重新设计，使其与增强现实修理过程进行耦合。本系统基于鸿蒙系统开发数字资源管理模块，用于统一存储和管理维修相关信息。

3" 应用与效果评价

3.1" 应用步骤

系统以某型光电雷达整体组件中的电子部件拆卸为例进行功能验证。电子部件是光电雷达整体组件的重要组成部分，能够根据探测器的测量信号计算目标的方位和俯仰坐标，其与整体组件之间共有3种连接关系：通过螺丝进行固定连接；通过搭铁线进行搭铁连接；通过插头插座进行电气连接。组成结构如图3所示。

本次任务为拆卸电子部件，点击维修引导系统首先进行环境扫描。按照维修信息的指引，拆卸遵循三解除原则。第一步，解除外围。使用一字解刀拧下固定螺丝，取下搭铁线。第二步，解除连接。用手握住插头，逆时针拧松并取下插头。第三步，解除固定。使用十字解刀，沿对角方向依次拧下固定螺丝，取下电子部件。维修引导信息及提示信息同步显示在屏幕中，效果如图5所示。

3.2" 效果评价

为了检验AR辅助维修引导系统在提升维修效率方面的有效性，分别从维修工厂和基层单位选取6名维修人员进行测试，其中入职1年以下和1年以上各3名。将12名测试人员按照入职年限分为2组，入职1年以下的为A组，入职1年以上的为B组。操作中分别使用纸质维修工卡和AR辅助维修引导系统，以电子部件拆卸为例，记录维修时间和差错次数[9]，结果见表1和表2。

另外，参考赵守伟等[2]提出的评价方法，从满意度、直观度、舒适度3个方面对系统进行了主观评价。评价分数针对5级态度“很满意”“满意”“一般”“不满意”“很不满意”，分别赋分5、4、3、2、1，最终2种维修辅助方式平均分比较，见表3。

根据维修结果，A组使用AR辅助维修引导系统以后，维修时间缩短了10.9%，差错次数减小了45.4%。B组维修时间缩短了4.2%，差错次数减小了25.4%。这说明AR辅助维修引导系统能够在一定程度上缩短维修时间并有效降低差错次数，而且在入职年限较短的维修人员中表现更加明显。同时通过对比2种方式主观评价指标，可以看出使用AR辅助维修引导系统进行维修，更加直观和舒适。

4" 结束语

本文从舰基修理的需求出发，设计并实现了AR辅助维修引导系统。系统通过虚实结合的方式，可为维修人员提供一种新的辅助维修途径。从实验验证的结果分析，一方面系统初步实现了缩短维修时间目的，同时能够有效降低维修差错次数；另一方面，借助增强现实技术，维修引导信息能够直观展示，减轻了维修人员认知负荷。因此系统适用于复杂装备紧急条件下的维修，对于舰基修理能力的生成具有促进作用。但目前系统只设计开发了离线工作模式，在故障智能诊断方面能力不足，还需结合人工智能算法进一步开发和完善。

参考文献：

[1] 张帅，糜玉林，孙媛，等．基于备件短缺数的舰载机修理级别分析[J]．电光与控制，2015，22（7）：115-119.

[2] 赵守伟，王凯，张勇，等．增强现实辅助维修系统的评价方法研究[J]．火炮发射与控制学报，2016，37（2）：82-87．

[3] TECCHIA F．Fundamentals of wearable computers and augmented reality，second edition[J]．Presonce： Virtual and Augmented Reality，2016，25（1）：78-79．

[4] 靳冬冬，王崴，刘晓卫，等．增强现实诱导维修在外军的发展现状和趋势[J]．现代防御技术，2014，42（6）：134-139．

[5] 李佳宁．基于RGB-D摄像机的增强现实系统关键技术研究[D]．杭州：浙江大学，2017．

[6] 崔海青，张旭鹏，詹湘琳，等．基于HoloLens的飞机维修远程指导系统[J].计算机测量与控制，2023，31（5）：214-220.

[7] 张雷，马金盾，郭理彬，等．增强现实在装甲装备基层级维修中的应用[J]．兵器装备工程学报，2020，41（12）：268-274．

[8] 郑毅．增强现实虚实遮挡方法评述与展望[J]．系统仿真学报，2014，26（1）：1-10．

[9] 白柯萌，王崴，瞿珏，等．多传感器式诱导维修系统的设计与实现[J]．火力与指挥控制，2017，42（2）：102-108．