混合现实技术在飞行训练中的应用

陈亚青,王盛杰,曹玮琦,杨 实,赵辰旭,黄智豪

(1.中国民用航空飞行学院民航飞行技术与飞行安全重点实验室,四川 广汉 618307;2.珠海翔翼航空技术有限公司,广东 珠海 519015)

0 引言

混合现实(Mixed Reality,MR)是虚拟现实科技的发展,其结合了虚拟现实(Virtual Reality,VR)与增强现实(Augmented Reality,AR)的优点,通过在真实环境中构建虚拟的三维场景数据,在真实世界、虚拟世界与使用者间,搭建人机实时互动反馈的数据信息回路,从而提高使用者感受的真实性。 用户在开放的空间环境中,可以看到真实物体与虚拟建模物体在现实空间中叠加的状态。 这些虚拟对象既可以是图形、文字、符号,也可以是具有逼真细节的3 D 模型。 通常情况下,用户可以通过凝视、手部动作(手势/触摸虚拟对象)和声音命令与虚拟对象进行交互。 混合现实设备融合了当前计算设备、可视化技术、人体工程学研究和人工智能的顶尖技术。 在飞行训练中,使用具有反馈特性的混合现实技术产生的虚实结合三维画面,能够创造出更为真实的飞行训练场景。

1 飞行模拟训练现状

飞行模拟器用于训练飞行员已有80 多年的历史。 在这段时间里,航空技术有突飞猛进的发展。 通常情况下,飞行模拟器将飞机的真实驾驶舱部分安装在六自由度运动平台上,允许飞机驾驶舱部分在飞行员的操纵下实现6 个维度的运动状态[1]。 安装视频显示器,可实现对外界环境的视景可视化。 在飞行训练中,飞行模拟器允许学员在飞机驾驶舱内通过操控系统完成与模拟机的交互。 利用模拟机训练的方式既能节省燃料,又能减少飞机和发动机的损耗,还可以通过模拟危险的飞行环境和系统故障,锻炼学员在复杂危险情况下的应急操作能力,不会将飞行员置于危险之中[2]。 同时,传统的飞行模拟器体积重量巨大且造价高昂,一台全动飞行模拟器的售价超过1 200万美元[3]。 随着更多新型号飞机的推出和量产,老款型号的飞行模拟器将被批量淘汰,其结果是飞行员培训成本变得极高。

全动飞行模拟器(Full Flight Simulator,FFS)是一种技术先进的模拟器,它在运动、视觉、通信和空中交通等领域使用了当今先进技术[4]。 例如:FFS 可以模拟沿机身的空气摩擦状态,让飞行员进行飞行环境定向训练,并可以提供特定机场周边环境的超180 度卫星高清质量视图。 飞行员可以在模拟器中精确地计算出机场的进离场飞行程序[5]。 飞行训练器(Flight Training Device,FTD)没有全动模拟机的虚像视景系统,所以视景效果不尽人意,大多数情况下用于飞行程序的训练。 VR 设备带来的沉浸式体验则是无与伦比的,其在环境和视觉体验上甚至优于全动模拟机的视景系统,但VR 飞行训练设备存在很大的弊端,在飞行程序中,飞行员对仪器仪表的操纵动作,很难与虚拟的座舱操纵仪表盘进行高精度的匹配交互,即便是戴上VR 手套触摸虚拟座舱,也会影响飞行学员对操纵杆的握感体验[6]。 基于以上特点,利用MR 设备可以把虚拟场景与现实硬件设备结合起来,飞行训练人员通过操纵真实设备,来观察虚拟飞行视景。 这种混合现实的训练设备将是未来发展的重要方向。

飞行学员使用虚拟现实培训系统的训练效果,在航空业中仍存在一定分歧。 一些观点认为,市场上的新型飞行模拟器无法完全取代经过试验和测试的传统飞行模拟器。 飞行员在真实驾驶舱中的训练是至关重要的。 当模拟机舱失火时,驾驶舱内开始被烟雾覆盖,飞行学员可以训练佩戴氧气面罩,并通过驾驶舱座位的抖动感受飞机振动变化[7]。 目前,虚拟现实技术已经越来越多地被空军和私立飞行培训学校用作视频教程的替代品。

如今,虚拟现实(Virtual Reality,VR)技术即将迎来全新的专业飞行员培训时代,这将对航空业产生深远的影响。 虽然一直以来,所有的飞行学员都是利用传统的飞行模拟器接受训练[8],但随着基于混合现实技术的飞行训练模拟器即将改变试点培训学校的教学方式,这将不仅是技术上的一次突破,更是飞行训练行业内的一次技术变革。 基于混合现实的飞行员训练系统将显著降低飞行训练成本,有效提高训练效率。

2019 年4 月,美国空军推出了一门有30 名学生参加的“下一代飞行员培训”课程。 使用虚拟现实头盔和先进的人工智能生物识别技术,13 名飞行员在短短4 个月内便获得了飞行资格认证,而使用传统的飞行员模拟培训系统则需要大约一年的时间。 虚拟现实飞行训练成本仅为每台1 000 美元,而传统模拟器的成本通常需要约450 万美元。 学生们在使用HTC 的Vive 虚拟现实头盔时完全沉浸在驾驶舱中,同时生物识别技术监测心率和瞳孔变化信息,让飞行教练准确地了解学生在学习体验中的沉浸程度,这是传统飞行模拟器无法做到的[9]。 混合现实飞行训练的另一项突破性技术,是可以基于一套混合现实设备,开发多种不同机型模拟仿真环境的能力,一名学生从驾驶T-6 教练机型切换到驾驶F-22 战斗机机型只需要10 s[10]。 2021 年4 月欧盟航空安全局(European Aviation Safety Agency,EASA)首次正式对基于虚拟现实的航空训练解决方案进行认证[11]。 这要求飞行培训学校和企业对飞行学员的培训必须利用更科学的技术方案,以提高飞行训练的可靠性、安全性,并在提高训练效率的前提下,降低投入成本。

目前,国内飞行训练使用虚拟仿真技术应用方面大多数都停留在界面图像级别,没有引入MR 技术实现沉浸式混合现实仿真,普通虚拟现实仿真不能体现训练环境的沉浸感。 因此,本项目研究基于微软公司HOLOLENS 2 设备的混合现实训练方案(和获得欧盟航空安全局认证的VR 训练器方案相同),掌握国外先进技术的同时,研究国产替代解决方案[12]。

2 飞行模拟训练难点

飞行学校教师任职培训的本质属性,就是要求培养的人才在进入工作岗位后必须会干、能干、有用,这意味着飞行学校的教师培训工作需要在“训”字上下功夫,并强调通过实践培养学员的飞行能力。 目前,飞机学校的教学方式仍然以经验知识传授为主,学员飞行技能的虚拟训练存在欠缺,学生独立训练的时间较少,导致在实际飞行过程中容易发生多种多样的问题。

2.1 理论教员缺乏飞行经验

在培养飞行员的过程中,学校的理论基础教师没有实际飞行经验,只能从教学理论角度讲解飞行教学知识。 目前,学校的理论基础教师大多是刚毕业的研究生,大多数教师缺乏系统的高教基本理论训练,包括高教基本理论、教育心理学、课程教学法和教育经济学等教育理论知识,同时还缺乏实际飞行经验,也没有与飞行工作有关的职业教育基础理论训练,因此很难满足将飞机任职培训理论和实际教学一体化的需要。 学校还缺少培训教师实际技能的平台和体系,安排教师在飞行相关基层工作的举措虽然具有一定效果,但涉及面较小,实操时间也比较短,这不利于提高教师的教学水平。

2.2 训练阶段缺乏模拟设施

由于市场对飞行员数量的需求越来越多,学校针对飞行学员的飞行教育缺少充分有效的模拟训练系统。 学生没有自由实践的平台,飞行技能课程和岗位对飞行员的要求均规定学生应当具备扎实的实践能力。 飞行员基本技能素质的养成仅通过理论知识的传授是无法实现的,即使在飞机培训中可以通过实际飞行训练来提高学生的实际操作技能和素质,但由于训练飞机的架次和飞机教员的数量不足,学生在真机上独立驾驶的时间非常少。 尽管许多学校配备了飞行仿真设备,但其规模还比较有限,扩展性和可调性也不够,大大影响了学生自由练习的时间,不利于提高学生的独立试飞水平。

2.3 模拟机成本高昂

模拟机培训价格昂贵。 在培养民航驾驶员的过程中,飞机训练模拟器是至关重要的组成部分。 传统模拟机的弊端显而易见,体型笨重,结构烦琐,驱动复杂,采购、安装、维护等费用昂贵。 各种型号飞行器需要配置相应型号的模拟机。 鉴于当前国产化模拟机技术起步较晚,理论基础薄弱,硬件设施技术滞后,大部分国内飞机公司和院校所用的飞机模拟机优先购置于海外,成本巨大。 许多飞行学校缺少必要的模拟机设备,这也是造成飞行培训质量较低的关键因素。

2.4 缺乏多机型模拟器

特别是在通用航空飞机市场上,民用飞机由于固定翼航空器和直升机数量都很多,且为其配套的真实感和沉浸性俱佳的D 类飞行模拟器也远超过普通航空器的价值,故在通用飞机市场上C 类或D 类飞行模拟器的数量十分稀缺。 通航运营企业推出低端的飞机训练器。 这类训练器不具备运动平台,且视景技术采用实像设计,展示效果不好。 这些问题都降低了飞行培训的效率和效果。 在飞机训练器中,结合混合现实功能,配合相应的移动平台设计,将在大幅减少飞机训练器费用的同时,明显地提高飞行的沉浸性,这提升了飞行培训质量。

专业飞行培训学校开展以教育为基本、以能力教学为中心、以岗位服务为主要目的、以训练学生岗位工作能力为基本价值方向的教学与实践活动,其最明显的特征是以能为本。 飞行专业的教学工作应当突出基础能力训练,并优先适应岗位的工作要求,这一属性决定了飞行教学应当以传授基本理论知识为基础、以提高学生素质为核心、以训练创新能力为重点,利用有限的飞行时间集中强化训练,从而使培养对象具有胜任飞行职业要求的综合实力。

3 混合现实飞行训练优势

基于混合现实技术的飞行训练模式创造了飞行学员与虚拟飞行场景的交互界面,并将真实场景和数字元素融合在一起,促进了现实和虚拟世界的互动。它同时具备了虚拟现实和增强现实的特性,但又提供了物理操作平台。 因此,它在飞行训练中具备极强的应用价值。

3.1 适应实战化训练需要

通过混合虚拟现实技术,在虚拟空间中模拟出真实的飞行场景,教员们即可将训练场由机场停机坪移至实验室内。 同时,也可以根据需要,将虚拟的训练场地叠加不同的地理环境、气候条件等,并能够根据不同学员的不同能力做出针对性的训练设置。 在训练方面,基于混合现实的训练设备能够重复且连续使用,从而持续不间断地开展既定课程的培训,极大提升了学生的实战化技能。

3.2 提供能力提升平台

混合现实飞行训练系统可以为老师和学生创造飞行教学和飞行学习能力提高的平台。 通过创建虚拟仿真的飞行培训平台,突破培训空域、时间的局限,能够在极大程度上降低培训成本,同时能够重复使用,也避免了实际飞行的危险性。 这种功能特性可以根据学员按照自身的能力要求完成所有必要的模拟训练,同时也能够通过虚拟实训找到实际飞行中存在的问题,并从虚拟实训中寻求解决问题的办法,从而充分调动学生的主观能动性,提高学生自主发现问题、处理问题的综合能力。

3.3 提供实践性教学设施保障

使用模拟设备进行教学,对教学条件、教师教学资源的依赖性较大。 目前,飞行专业教师配套的教学设备比较落后,新技术装备严重不足,教学模拟器材建设也未能形成一定的系统,严重制约着实验式教学法的发展。 采用虚拟现实技术的飞机训练平台具备高度真实、低功耗、高扩展的特点,且创新与迭代过程相对简单,更容易建立大规模体系。 特别是针对当前飞机信息化装备的虚拟仿真,虚拟现实技术具备优越性,已成为当前飞机训练专业的理想选择。

3.4 单机功能扩展性强

在性能上,与传统的飞机模拟器相比,采用混合现实的飞机模拟技术器具有无可比拟的优越性。 采用了混合现实技术的飞机模拟器,配备了驾驶舱等硬件设施,结合虚拟现实的仿真飞行环境建模,提供了一种全新的飞机训练环境。 能够很简便地做到单机多能,即可以使用同一种训练平台同时进行多个机型飞行任务的演练。 目前,飞行模拟器的视景控制系统通过使用混合现实硬件设备的摄像头,将座舱实景画面嵌入虚拟环境中,实现硬件操控平台与虚拟飞行环境相融合。

中国民航围绕“持续安全理念”,稳步推进“民航强国”战略建设,需要培养应用型、复合型、创新型的新时代民航专业技术人才。 国家民用航空飞行学校,作为中国民航人才培养的主力学校之一,将主动变革人才培养模式和教学内容,以提升教育质量与培养品质,适应“民航强国”人才建设。 基于混合现实技术以其高度逼真性、交互性,为提高飞行学校任职培训能力开辟了一条可行途径。 运用虚拟现实技术开展实践性教育,遵循了“以模代实、以软代硬”的教育培训开发理念,能够为飞机学院的任职培训人员提供一个教学环境现实、教学内容真实、练习形式新颖、学习方法完善、内容资料丰富的复合型实践教学培训模式,从而打破了传统飞机培训资金、时间、空间上的束缚,大大减少了实践飞行培训的难度与风险,从而大幅度降低了飞机院校的教育培训成本,在飞机任职培训领域有着更广泛的发展前景。

目前,混合现实已经成为一项世界领先的培训技术手段,通过这种技术的有效运用,可以进一步指导新培训模式的形成,进一步明确了飞机教师和测试人员对培训要求的正确把握标准,而培训结果可成为飞行员技术安全生命周期管理系统的关键部分,为“大数据+空中培训”战略服务,引领全球航空运输培训的创新发展,向全球民用提供空中培训管理工作的“国家智力”和“中国标准”,有力支持建设协调高效、开放发展的新时期具有中国特色的飞行训练培训体系。

4 混合现实飞行训练设计与实现

基于微软HoloLens 设备的混合现实飞行训练系统技术框架如图1 所示,其中混合现实平台是系统的核心。 系统通过HoloLens 采集真实环境中的信息和用户交互信息后,进行同步空间扫描定位,将交互信息与数据库信息进行匹配,然后在HoloLens 设备上进行混合现实显示。

图1 混合现实飞行训练系统技术框架

头显设备采用微软的HoloLens 全息眼镜,不仅能将虚拟影像与现实环境很好地结合,其除了是头显设备外还是一台独立的运算设备,能流畅运行Windows 10 系统,不需要借助外接设备便能实现空间定位,同时还支持手势识别、语音识别、无线互联等。 图形工作站主要运行多机型模型以及复杂的培训系统流程模型,实时存储采集的数据,提供列表、曲线、图形等多种方式显示监控数据。

基于HoloLens 的混合现实技术,在使用系统过程中,用户不需要电脑、冗杂的数据线、手柄和鼠标等外围设备,只需佩戴HoloLens 眼镜结合手势就可实现所有的操作。 用户进入系统后,可选择学习模式和训练模式进行试验学习。

培训人员可以通过手势与HoloLens 互动,实现观察视角的变换,借助MR 演示技术,创造沉浸式的体验。 综合管理系统软件开发数据存储功能模块,可将网络数据进行综合存储,以方便后期数据回放、数据处理和训练效果评估,数据存储和采集采用无损旁路采集模式。 原有的通信链路为透明传输,对仿真平台不产生延时,以免影响仿真效果。 开发流程示意如图2 所示。

图2 开发流程

此案例为中国民用航空飞行学院设计的一种基于MR 的绕机检查训练方法及装置,流程包括以下步骤。

步骤1:建立飞机结构模型,得到飞机结构模型检查训练文件。

步骤2:基于UNITY 引擎开发,在项目中设置符合AR 设备的开发环境。

步骤3:搭建绕机器检查的周边环境背景模型,得到背景模型检查训练文件。

步骤4:模拟缺陷案例,体验时间及检查训练模式得到综合配置文件。

步骤5:将1 至4 相关文件传输至MR 训练装置中,进行模拟测试。

基于混合现实技术的虚拟仿真飞行训练系统设计研究是以虚拟仿真技术为依托、计算机仿真为支撑,借助MR 设备硬件平台,通过三维建模以搭建仿真模型,构建虚拟现实的沉浸式虚拟维修训练的培训方法。 虚拟维修培训是一种新型的培训方式,虚拟维修培训和真实维修培训相结合,两者互相配合,互相补足短板。 虚拟仿真培训具有突破真实培训条件局限的优势,具有更好的通用性、灵活性、层次性和资源共享性,可根据培训需要以构建故障类型和故障内容,在虚拟环境系统中进行飞行训练模拟仿真操作,有效提高培训效率、降低培训成本。

5 地面绕机检查训练科目案例

基于HoloLens 研发的混合现实设备,根据飞行员地面绕机检查科目,笔者运用此设备设计了一款混合现实地面绕机检查案例。 绕机检查主要检查部位包括机头、前后机身、起落架、机翼、发动机、机尾等部分,规范化检查路线如图3 所示。

图3 绕机检查规范路径

图4 案例的模块连接流程

使用者佩戴并启动HoloLens2 混合现实眼镜,通过接收软件设计的固定绕机检查路线,根据语音提示移动到航空器三维模型中的各个待检查部位,采集待检查部位的图像数据和使用者对该位置的操作手势,并上传至服务器。 服务器接收图像数据和手势数据,将接收的数据与预设数据库进行特征点比对,得到当前检查部位的检查规范和检查结果,并将当前交互的飞机部位检查结果传输至HoloLens2 混合现实眼镜。HoloLens2 混合现实眼镜接收到使用者交互飞机部位的检查结果,弹出提示,引导使用者沿着预定的绕机检查路线前往下一个检查部位继续检查;直到完成飞机所有待测部位的检查,将智能眼镜采集到的所有数据上传至服务器进行存储。

在进行学员地面绕机检查时,HoloLens2 设备的微型摄像头可作为数据读取模块,通过获取待检查机型的各位置信息,根据该机型信息从服务器中调取相应机型的数据库与预定检查路线;在服务器的数据分析模块中,数据处理系统会预先对各种不同机型的基础数据信息建立仿真数据库,其包含机型各待检位置对应的异常图像、正常图像特征检测数据库,以用于进行后续的特征对比;通过HoloLens2 头部显示模块反馈给使用者,得到检查结果。

特征检测数据库的图像数据来源包括:通过拍摄获取大量航空器地面绕机检查正常(无损伤)图像数据,用于异常(有损伤)图像的对比分析参考;对于航空器上一些常见的损伤或外观异常类型通过实验加工的方式建立仿真物理上的模型或模仿故障或异常现象﹐获取图像数据(如模拟机翼渗漏滴油、地面油痕迹、模拟机体表面撞击凹痕等图像);在航空公司、机场或飞机修理厂采集不同机型航空器的地面绕机检查异常图像数据。 通过大量航空器正常图像和异常图像建立特征图像数据库。 服务器还存储了针对不同机型、不同部位的历史检查数据,方便工作人员根据历史数据设计相应的绕机检查路线并发送至混合现实眼镜。 部分案例实现效果如图5 所示。

图5 部分绕机检查案例效果

确认牵引杆固定好后,驾驶员应移除或者固定行李箱内任何未固定的物品,每次飞行前应检查行李箱门是否关好。

工作人员应定期检查前缘、上部、下部和外缘表面有无损坏;检查移动升降舵以确认其活动灵活无卡阻,连接正常;向上扳动升降舵时检查驾驶杆向后移动,注意避免触碰升降舵的塑料边缘;检查两个静电刷连接正常;检查调整片连接是否紧固,升降舵配平处于起飞时会扳动升降舵至水平安定面角度;检查调整片与升降舵角度。

检查邮箱的步骤是打开燃油箱盖,目视检查油量,确认油箱口盖正确盖好。

地面绕机检查虚拟仿真系统设计研究是以虚拟仿真技术为依托、计算机仿真为支撑,借助MR 平台,通过三维建模以搭建仿真模型,构建虚拟现实的沉浸式虚拟训练的培训方法。 基于混合现实技术的培训是一种新型的培训及训练方式,其可以与真实维修培训相结合,两者互相配合,互相补足短板。 基于混合现实的虚拟仿真绕机检查训练具有突破真实培训条件局限的优势,具备更好的通用性、灵活性、层次性和资源共享性,可根据训练需要以构建故障类型和故障内容,在虚拟环境系统中进行地面绕机检查操作,这有效地提高培训效率、降低培训成本。

6 结语

混合现实技术有很大潜力。 无论是使用混合现实技术在飞行训练中进行人机交互,还是增强训练过程的效果,都表明其应用前景广阔。

5G 是增强移动连接的网络工具,有助于提升混合现实技术应用的效果。 随着网络连接速度的提高和延迟的减少,当飞行学员在场景中走动时,他们能够方便地使用混合现实眼镜,而不会因为传输速度慢而错过信息。 混合现实技术将数字世界和物理世界结合起来,为飞行模拟训练带来前所未有的机遇。