AR技术在飞机部件虚拟维护中的应用

杨思力 陈闵叶 单琦 孙乐萌

摘  要：传统的飞机维修培训是基于现有故障飞机进行人员培训，但存在培训时间不确定及培训成本高等问题。为基于此类培训问题对培训方法进行改进，使用可视化维护技术对整个流量控制阀组件拆装过程进行分析及模拟，通过虚拟现实等多种方式提升航空机务人员的维修水平与熟练度，可起到弱化培训限制、缩短培训周期与降低培训成本的作用。结果表明，可视化虚拟维修可随时进行对应部件维修的培训，解决了培训时间不可控的问题且培训成本也下降至对应的虚拟维护设备的价格。

关键词：可视化维护;虚拟维修;流量控制阀;Unity应用;AR

中图分类号：V267    文献标识码：A

Abstract： Traditional aircraft maintenance training is based on the existing faulty aircraft personnel training， but there are problems such as uncertain training time and high training cost. Based on such training issues to improve the training methods， use the visual maintenance technology of the whole flow control valve components disassembling process analysis and simulation， through a variety of ways such as virtual reality promote the maintenance level of aircraft crew and proficiency， has weakened restrictions， shorten training cycle and reduce the training costs. The results show that the visual virtual maintenance can carry out the training of corresponding parts at any time， which solves the problem of uncontrollable training time and reduces the training cost to the price of corresponding virtual maintenance equipment.

Key words： visual maintenance; virtual maintenance; flow control valve; Unity application; AR

0  引  言

本文以A320流量控制閥组件作为维护对象，搭建一个包含虚拟现实、增强现实内容的跨平台可视化维护训练系统。本文将对A320流量控制阀组件进行三维实体建模，并借助Unity引擎实现该组件在多个平台上的维护环境构建，让受训人员可以通过VR设备、移动智能设备及普通PC使用该可视化维护系统。使用本文所构建的可视化维护环境进行维修要素分析与训练，能有效加强机务人员对A320流量控制阀组件的结构组成、拆装过程、维护要点的理解，提高维修效率与排故水平。

1  A320流量控制阀结构与关键零部件建模

1.1  流量控制阀组件结构

A320客机的流量控制阀组件是其空调系统的重要组成部件，其功用为控制从发动机压气机流入空调系统的热引气流量[1]。每架客机共有左右两个流量控制阀组件，分别位于机身中下段腹部的左右两侧，可以通过机腹表面的检修口盖对其进行维护作业。如图1所示，是流量控制阀组件的外部整体构造。

1.2  流量阀建模及简化

由于实现可视化维护的后续工作只需要进行关键零件的碰撞检测，因此不涉及的零部件可以忽略，进行统一建模，如图2所示。关键的零部件可以通过削减面片数的方法进行简化操作，从而获得减少计算时间和计算量同时保持较高计算精度的简化模型。模型简化前后对比如图3所示。

2  总体流程及关键技术

2.1  系统框架的总体设计

本文所设计可视化维护系统使用Unity引擎作为开发平台，以A320流量控制阀组件作为维护对象，在配备VR设备的计算机、移动智能设备和普通PC上分别搭建可视化维护环境。通过在多个系统平台对流量控制阀组件虚拟维护功能的实现，满足了持有不同硬件设备的可视化维护系统使用者的差异化需求，使每一个使用本系统的训练者都能对阀体零件的结构特征、拆装步骤和维护要点有一个直观而清晰的理解，提升训练者的飞机零部件维护技能水平。

本系统的层次结构，分为交互操作、零件模型数据和核心仿真逻辑三个层次。在硬件种类不同的可视化维护系统的承载平台上，交互操作层面的逻辑均各不相同，而零件数据和核心逻辑都是共通的。如图4所示，是A320流量控制阀组件可视化维护系统结构层次。

2.2  零部件碰撞技术

要实现对可视化维护环境中零部件的仿真模拟，除了要保证零件在运动参数上和真实的阀体零件拆装时的运动状态量要尽量贴合，还要添加零件对象之间的仿真碰撞检测机制，才能保证在可视化维护的过程中，最大限度的避免零件之间相互穿透的“穿模”现象出现。而直接分析三维零件的碰撞检测较为复杂，大部分碰撞检测理论的做法是将不规则的三维零部件分割成规则三维几何体，再从维度上进行压缩，先对三维几何体的规则二维几何截面进行碰撞检测，再通过追加Z轴的方法进行二次碰撞判定[2]。本文也将遵循这一规则，对可视化维护环境中零部件的碰撞检测理论进行分析。

首先需要解决的是二维截面的碰撞检测问题，典型二维截面包括矩形、圆、三角形和扇形，在机械零件的规则截面中，又以矩形、圆的截面居多，因此对于可视化维护环境中涉及到的二维截面碰撞检测，只需要着重研究两个矩形之间、两个圆之间和矩形与圆之间的三种碰撞检测问题。

两个零部件的矩形截面是否会碰撞主要应用了德摩根定律，设两个矩形截面中心点坐标为x，y与x，y，长与宽分别为c，k、c，k：

x-x≤                                             （1）

y-y≤                                            （2）

當且仅当式（1）与式（2）同时满足时，两个零件的矩形截面会发生干涉碰撞。

两个零部件的圆截面是否会碰撞则更为简单，应用勾股定理进行判定，设两个圆形截面的圆心为x，y与x，y，半径为r、r：

x-x+y-y≤r+r                                        （3）

满足式（3）时，两个零件的圆形截面会发生相互干涉。

一个零件的矩形截面和另一个零件的圆截面是否会碰撞则比较复杂。不能简单判定两个截面的边缘线是否相交，必须分两个独立的阶段进行判定：

第一阶段，将矩形截面边线向外进行等距扩张，扩展的宽度等于圆截面的半径，形成一个几何中心不变、长与宽都等于原来长宽分别加上圆截面直径的矩形截面。如果扩展后的矩形截面包含了圆截面的圆心坐标，则进入下一阶段的判定;若不包含，则两个零部件的截面一定不相交。

在第二阶段判定中，若圆截面的圆心在扩张前的矩形截面外，且处于扩展后的矩形的四个角落的正方形中，且圆截面内未包含扩张后矩形的任何一点，则两个零部件的截面一定不相交，不满足判定条件则说明发生了两个截面会碰撞。如图5所示，是将矩形零件截面向外扩张圆形截面的半径r进行碰撞检测。

解决了二维截面的碰撞检测问题，之后就是对截面追加Z轴，使之成为规则的三维几何体，对于图中的两个矩形来说，其判定条件追加为：

（4）

对于球体零件，则为：

x-x+y-y+z-z≤r+r                                   （5）

以上两种规则三维几何体之间的碰撞检测流程也代表了Unity中大部分对象物体的碰撞检测方式。为了模拟真实的流量控制阀零部件在可视化维护环境中的碰撞结果，上述过程将在每一帧的运算上都进行判定，一旦发生了阀体零件之间的碰撞，那么就立即调整零件的位置参数至上一帧的状态，归零零件对象的运动学参数，并以提示的方式告知可视化维护系统的训练人员发生了零件之间的位置干涉。

2.3  其他场景仿真技术

即使完成了流量控制阀的所有零件的运动方式和碰撞体积仿真，整个可视化维护场景仍然相对真实的维护环境有一定的差距。要对维护场景的真实度进行进一步提升。强化场景真实方法主要有增强可视化维护场景中的透视效果和光影效果。

无论通过传统的显示器还是VR眼镜，可视化维护场景中的三维零件模型是以“视景体”（View Frustum）表现在电子屏幕上的[3]，这样才能在平面中表现出透视的纵深感。如图6所示，是视景体的x轴坐标变换关系。

假设现在虚拟维修空间中有一视觉原点，其坐标为0，0，0，真实世界中的显示器平面与其距离为D，那么该空间中任意一点Px，y，z，和在显示器平面上对应显示的一点Px，y，z将有如下的关系：

（6）

通过可视化维护空间内点与屏幕上像素点对应关系，不难推导出线、面乃至完整的三维模型在虚拟三维空间与屏幕显示的对应关系。Unity正是用此方法构造了其核心三维图像引擎[4]，虽然这样的视景体模型在人类双目视觉的观察下是存在误差的近似模拟，但用于可视化维护系统的透视效果是足够的。

如果可视化维护场景中缺少合适的光源，那么该场景中的所有阀体零件和其他的场景物体都将是黯淡而模糊的，因此需要以合适的算法来模拟虚拟场景中的光照。不管是工业仿真影视渲染、计算机游戏，在没有光线追踪硬件的情况下，一般采用预烘焙的方式为物体对象添加具有光阴效果的贴图。对于可视化维护场景中的阀体零件来说，使用Unity的全局光照功能事先烘焙零件光影细节[5]，是较为合适的光影仿真手段。

3  可视化维护系统设计及实现

3.1  可视化维护系统的实现

流量控制阀组件可视化维护系统的实现过程包括各项虚拟拆装关键技术的实现、可视化维护各个功能模块的设计以及将整个可视化维护系统发布到各个平台的过程。对于A320流量控制阀组件可视化维护的三个平台版本来说，只有涉及虚拟现实拆装的版本额外使用了HTC VIVE一代作为虚拟现实硬件[6]，PC版和移动版可视化维护系统除了作为承载硬件的计算机和手机、平板外，不需要额外的设备。如图7所示，是部件拆装训练模块逻辑流程图。如图8所示，是可视化维护系统主界面。

3.2  系统关键技术的实现

可视化维护系统的各项功能建立在虚拟拆装的基本动作和场景在Unity中的实现。可视化维护系统的基本动作包括对阀体组件的拾取、移动、安装和拆卸，实质就是使用者与场景中涉及零件拆装的对象物体的交互动作;而场景实现包括对虚拟维护环境中所有不受训练者操控、不发生直接交互动作的背景对象的设计实现与位置摆放。流量控制阀组件可视化维护过程中，对某一个零件对象进行虚拟维护操作的过程要素包括：操作这个交互过程的对象[7]、被操作的阀体零件对象以及交互过程开始与结束的信号事件。如图9所示，是虚拟维护操作流程要素。

对于通常认知中的维护操作来说，标志着交互过程开始触发的信号就是操作者在虚拟环境中的手或工具与零件对象发生了接触。在Unity引擎中，交互发起对象与被操作零件对象一般采用碰撞事件作为触发信号。将可视化维护的相关逻辑代码写入该事件，一旦有阀体零件发生体积干涉，则会执行该事件内的维护拆装相关代码。按照上文阀体零部件碰撞检测的原理，在Unity中為所有参与可视化交互过程的零件对象附加长方体或圆柱体的碰撞体积，并勾选启用该触发器[8]。

完成了被维护对象的碰撞触发器设定后，需要设置可视化维护环境中操作者的碰撞体，也就设置是交互发起对象的碰撞设定，这里根据交互方式的不同，虚拟环境中部件拆装操作者的操控方式有键鼠操作、触摸操作和VR硬件操作三类，分别对应承载可视化维护环境的普通PC、移动智能终端和虚拟现实设备。对于使用键鼠操作的虚拟维护使用者来说，将会以鼠标指针作为原点、以屏幕所示方向，即Unity中摄像机当前帧的朝向为指向，作一条视觉上不可见、且具有刚体属性和碰撞体积的射线。任何与该直线相碰撞的被维护对象，即已添加碰撞体积的流量控制阀零件都会与其触发碰撞事件。对于使用安装在移动设备上的可视化维护系统，并主要以触摸方式进行交互式拆装的使用者来说，生成刚体射线的逻辑基本相同，将会以最先接触到屏幕的手指接触面中心替代鼠标指针作为射线原点。如图10所示，为零件对象添加碰撞触发器（图中淡绿色轮廓）。

对于使用VR设备硬件的可视化维护训练者来说，可以采用上述普通设备中生成碰撞触发射线的逻辑，以VR手柄的中心点作为原点，以虚拟环境中控制阀组件拆装训练者手臂朝向为方向，生成该射线[9]。这种方式对于抓取训练者视线范围内可见、但距离自身位置较远的阀体零件和选择虚拟环境内菜单命令时较为方便。但此方法是可视化维修交互操作中受限于传统二维显示方式下一种间接碰撞触发方法，对于能够在虚拟三维空间中直接接触阀体组件对象的VR手柄来说，还有碰撞效果更为直接的方法：直接在VR手柄的本体上添加碰撞刚体，让使用者可在虚拟环境中将此手柄碰撞体作为自己双手或者持握工具的延伸。此时若将手柄在可视化环境下的显示模型改为手部模型或适当的工具模型，当训练者在使用手柄与阀体零件进行交互动作时，就会产生一种正在使用双手或者工具对流量控制阀组件进行操作的感觉。

上述过程只是解决了训练者与单个零件交互过程在何种时机以何种方式开始的问题，一个完整的交互过程需要在整个操纵步骤动作中保证被操作的零件实时对训练者的动作作出正确反应[10]。在使用虚拟现实设备的情况下，VR手柄在可视化环境下拥有自己的位置坐标，在触发交互过程开始的事件信号后，就将零件位置移动到手柄位置，再附加一个位置坐标偏移量，利用前文所述虚拟环境中零件物体向任意方向运动的原理实现零件与手柄的位置跟随，即可在整个流量控制阀组件可视化维修过程中营造出零件跟随操作者手或工具一起运动的效果。如图11所示，是VR手柄发射的激光指向需要移动的零件。

在使用普通PC和移动设备的情况下，由于鼠标指针和触摸点只有二维坐标，因此本系统将阀体零件的Z轴坐标固定在合适的位置，再让其X坐标与Y坐标跟随鼠标指针或触摸点位置进行移动，实现控制阀零件的移动效果[11]。

单个零件与操纵者的交互过程中最后一个需要解决的问题是何时终止该交互过程。在通常的维护步骤中，当一个零件被完全拆下或是安装完毕后就会进行下一个零部件的拆卸或是安装工作;而在本系统中，完全拆下和安装完毕判定取决于虚拟空间中零件坐标位置和其起点或终点位置的距离远近。在可视化零件拆卸步骤中，零件在被移动前的位置被记为x，y，z，而在每一帧的运动中它的位置都x，y，z将与起点位置进行比较，若该距离大于一定值k，即满足不等式组：

（7）

此时，就判定该控制阀零件已经被完全拆下，将发出终止该零件与训练者交互过程的信号，该零件处于已被拆卸的状态;类似的，在虚拟空间内的阀体零件安装过程中，其每一帧的位置坐标将与安装的目标位置进行距离计算，若小于一定的数值即可判定其已安装完毕，将转入下一个零件的虚拟安装交互过程[12]。这些阀体零件的起点或终点位置坐标以文件的形式预先存储在可视化维护系统的硬件平台上。

A320流量控制阀组件的部件拆装具有严格的先后顺序，在可视化维护系统中，这些零件对象按照飞机维护手册的图示都被赋予了内部编号。如果在零部件拆装的过程中，触发交互过程的阀体零件对象出现选择错误或顺序错误，从该对象的内部编号上就能对该拆装错误进行识别，中止错误的零部件交互过程。

在可视化维护系统维护步骤分析模块中，主要以阀体组件三维动画配合AMM手册相关章节的文字内容进行维护部分的拆装过程分析[13]。阀体零件以高对比度的强烈色彩作为其材质的渲染纹理，目的是在流量控制阀维护步骤分析中让使用者能轻松分辨不同的阀体零件[14]。使用者通过查看阀体零件的维护分析运动动画来掌握正确的流量控制阀维护过程。如图12所示，是流量控制阀拆装演示动画制作界面。

流量控制阀组件维护过程的动画由Unity引擎自带的动画引擎编辑。在实际制作零件动画时，需要在阀体零件对象上附加动画组件[15]，并在选中零件对象的前提下打开动画制作界面。通过动画属性添加按钮，可以将零件对象的位置、姿态、缩放以及材质等属性作为关键帧的要素。通过在该界面新建不同的零件动作关键帧，并改变其对应零件的参数[16]，动画系统会自动插值计算阀体零件对象在两个关键帧中的渐变过程，从而就生成了一段流量控制阀部件的动画[17]。将多组动画进行排列组合，并设置好依此触发的条件，就完成了整个零件对象的维护步骤分析演示动画[18]。在训练者的视野范围内，还有复数个提示板会显示阀体零件的拆装步骤说明文字，这些说明文字会根据控制阀组件维护步骤动画的进行而实时显示。如图13所示，是流量控制阀维护步骤分析模块界面。

在可视化维护系统的拆装训练模块中，训练者可通过多种交互方式進行流量控制阀组件的拆装练习[19]。为了提示未掌握控制阀组件维护步骤的训练人员，在拆卸零件对象时，需要拆卸的零件将以亮橙色材质突出显示，其余控制阀组件以深蓝色显示;而在安装阀体零件时，训练者手持的零件将是亮绿色的，而在该零件对象的正确安装位置，将会出现一个与该零件外形一致、无碰撞体积的亮黄色零件对象，用于提醒训练人员。

4  系统跨平台发布的实现

A320流量控制阀组件可视化维护系统是一个跨平台的可视化维护系统，借助Unity引擎的跨平台特性，可以快速将可视化维护系统发布到包括配备VR设备的计算机、移动智能设备及普通PC上[20]。这三个版本的核心可视化维护逻辑代码和控制阀组件对象数据都是共用的，只需分别替换承载可视化维护环境的不同硬件所对应的交互代层脚本就可以完成全部的修改工作[21]。如图14所示，是跨平台发布选项设置界面。

在Unity引擎的发布命令菜单，分别选择不同的支持系统平台，即可进行针对该平台的可视化维护环境设置[22]。可选择的发布选项包括设置零部件可视化拆装的默认分辨率、移动设备的控制阀拆装界面的横屏与竖屏选项以及该平台上展示的可视化维护程序图标等。

5  结束语

针对传统飞机维护需要根据飞机状况进行集中培训，耗时耗力，且培训成本高的问题，本文提出一种基于AR的可视化飞机部件维护培训方法。利用AR技术，结合对应部件的工卡维修步骤，在培训设备上进行交互式展示及培训。结果表明，该项技术不仅解决了传统培训时间不确定的问题，同时培训成本也下降，只需要花费对应培训设备的维护使用成本。该项技术可以对培训人员进行反复培训，在成本降低和时间可控的基础上还可以达到更好的培训效果。本文目前只对一个部件进行了展示，今后将在此基础上制作其他飞机部件的虚拟维护过程。

参考文献：

[1] 王文举，李光耀. 虚拟维修仿真技术的研究与进展[J]. 系统仿真学报，2011，23（9）：1751-1757.

[2] 何涛. 虚拟维修在航空装备维修领域的应用研究[J]. 信息与电脑（理论版），2017（17）：31-32.

[3] 甄燕. 虚拟维修技术在通用航空维修中的应用分析[J]. 科技资讯，2017，15（33）：92，97.

[4] 王恺. 虚拟维修技术在民航中的应用分析[J]. 山东工业技术，2019（6）：50.

[5] 李斌，马麟龙. 虚拟维修技术在民机维修性设计中的应用研究[J]. 科技信息，2012（24）：360.

[6] 李飞，聂挺. 虚拟维修技术在通用航空维修中的应用[J]. 科技信息，2011（10）：528，530.

[7] 曲玉琨，毕嗣民，周全. 航空维修训练模拟系统关键技术研究[J]. 航空计算技术，2016，46（3）：128-130，134.

[8] 杨徐晗，徐国标. 虚拟维修技术在民航中的应用初探[J]. 四川兵工学报，2015，36（5）：159-163.

[9] 翟晓沛，史永胜. 飞机维修计划制定过程的协同可视化方法研究[J]. 飞机设计，2016，36（2）：70-73，77.

[10]  Mizell D W. Virtual reality and augmented reality in aircraft design and manufacturing[C] // WESCON/94. Idea/Microelectronics'. Conference Record， 1994.

[11]  Antonino Gomes de S？觃， et al. Virtual reality as a tool for verification of assembly and maintenance processes[J]. Computers and Graphics， 1999，23（3）：389-403.

[12]  Jeenal Vora， Santosh Nair， Anand K Gramopadhye， et al. Using virtual reality technology for aircraft visual inspection training： presence and comparison studies[J]. Ergonomics， 2002，33：559-570.

[13]  Abate A F， Guida M， Leoncini P， et al. A Haptic-based Approach to Virtual Training for Aerospace Industry[J]. Journal of Visual Languages & Computing， 2009，20（5）：318-325.

[14]  Marion Nicolas， Septseault Cyril， Boudinot Alexandre， et al. GASPAR： Aviation Management on an Aircraft Carrier Using Virtual Reality[C] // Cyberworlds， 2007. CW '07. International Conference on， 2007.

[15]  Sharma S， Otunba S， Jingxin Han. Crowd simulation in emergency aircraft evacuation using Virtual Reality[C] // Computer Games （CGAMES）， 2011 16th International Conference on， 2011.

[16]  Sharma Sharad， Otunba Stephen. Collaborative virtual environment to study aircraft evacuation for training and education[C]

// Collaboration Technologies and Systems （CTS）， 2012.

[17] 崔佩羽，譚磊，白克勤，等. AR技术在发动机行业的应用研究[J]. 工程建设与设计，2020（20）：251-252.

[18] 焦进，迟小羽，赖秋，等. 应用于增强现实变电运检三维场景重建的增量八叉树算法[EB/OL]. （2020-11-06）[2020-11-20]. http：//kns.cnki.net/kcms/detail/23.1191.U.20201028.1622.002.html.

[19] 刘青松，严华，卢文龙. 基于AR-RNN的多变量水位预测模型研究[J]. 人民长江，2020，51（10）：94-99.

[20] 董琼，李斌，董剑，等. 面向头戴式眼镜的增强现实装配语音交互实现[J]. 制造业自动化，2020，42（10）：77-80.

[21] 瞿进，谢文杰，邓春，等. 基于增强现实的汽轮机检修辅助系统[J]. 山东电力技术，2020，47（10）：57-60.

[22] 赵丹鸣，崔皆凡. Ar气压强对磁控溅射制备Ag薄膜光电性能的影响[C] // 中共沈阳市委、沈阳市人民政府. 第十七届沈阳科学学术年会论文集，2020.