基于综合视景的直升机近地引导技术

齐小谦, 吴云章, 关珍博, 周兴, 谷金波

(1.中国电子科技集团公司第五十四研究所, 石家庄 050081; 2.陆军航空兵研究所, 北京 101121; 3.河北省智能化信息感知与处理重点实验室, 石家庄 050081)

直升机等旋翼飞行器需要全天时、全天候在超低空贴地等复杂环境下执行低空突防、隐蔽突袭等多样化机动飞行任务,面临着飞行高度低、地形地势多变、起降条件恶劣、视觉能见度不良等多种安全隐患。受复杂环境干扰和直升机自身结构特征影响,飞行员目视感知能力通常会受到严重限制。现有机载对地探测和辅助引导能力有限,致使飞行员无法快速有效了解外部环境,在恶劣视觉和复杂环境下难以对直升机飞行路径上的危险目标和障碍物进行有效的识别和规避[1],给直升机的飞行安全带来诸多不确定性因素,对生存安全提出了重大挑战。

美国国防部发布的航空安全技术报告显示,在直升机飞行安全事故中,因环境感知引发的事故占到26%。近年来,中国多种型号直升机都曾因环境感知问题,发生过撞山、撞高压线等事故。低能见度和复杂地形环境条件下,直升机飞行员迫切需要获得有效、全面、实时的舱外场景感知能力。为提高直升机低空活动安全性,支持在恶劣天气条件、威胁区域进行地形跟踪飞行,研究为飞行员连续、精确提供可视化近地引导指示的技术具有重要意义。

综合视景(combined vision,CV)是一种先进的飞行场景复合型、虚拟化显示技术,已成为避障和近地引导应用的一个重要方向。该技术能够根据飞行器当前位置进行图形处理与图像生成,渲染合成三维地形或影像,并将机载成像传感器(红外/可见光/微光传感器、激光成像雷达等)实时获取的外部景象进一步融合,在多功能显示器上呈现可靠的飞行环境视觉信息。机载成像传感器可以不受限于明暗和能见度的影响获取机外环境的实时图像,两者融合不仅增强了视景的精确性,达到在复杂地形、夜间、恶劣天气和烟尘环境中的高逼真观察能力,同时为视景中障碍物数据、引导符号生成提供可靠补充。特别是在近地阶段,通过近距离地形障碍等威胁和远距离地形冲突识别[2],提供清晰且易于理解的图像输出与可靠的飞行指示信息,增强了飞行员的情景感知能力。

在综合视景技术应用领域,国外目前在研究的主流降级视觉环境(degraded visual environment,DVE)系统,通常基于毫米波/激光雷达、前视红外传感器等信源,在头盔显示器(helmet-mounted displays,HMD)和多功能显示器(multiple functional displays,MFD)中增加地形障碍物和飞行航路融合显示,从而构建出完整的三维可视化避障与引导数据。以美国陆军、德国国防部等为代表的国外机构已多次开展DVE演示验证,经过近二十多年发展,部分成熟技术已从实验室走向产品。2006年,美军研制的直升机着陆增强系统通过在地形图中叠加符号的方式,在着陆过程中表达出地形和障碍物特征,但在直升机进入低能见度环境后,不能有效显示潜在的地形或障碍物危险信息。2009年,美国空军研究实验室开展针对三维辅助着陆系统的研究工作,构建了在降级视觉环境下的着陆解决方案,从而为飞行员提供着陆过程中的环境感知能力。2013年,霍尼韦尔公司设计的试验机安装了毫米波雷达及SmartView系统,通过地形生成、红外成像分析与雷达图像融合,能让飞行员看到未在数据库中存储的障碍物形状。美国内华达山脉公司设计了一套直升机自主着陆系统,支持直升机在退化视觉环境下完成起飞和着陆等操作[3]。2019年,德国联邦国防军装备、信息技术和现役支援办公室通过在H145(bk117d-2)直升机上集成DVE系统和试飞评估,证实了DVE的避障与盲降辅助功能有效提升了对舱外环境的感知能力[4]。国内综合视景技术和对直升机近地引导避障相关的研究相对起步较晚,西安电子科技大学对综合视景显示仿真进行了深入研究,获得了仿真程度较高的座舱综合显示画面。2010年,上海飞机设计研究院在综合视景方面开展了相关研究工作,将综合视景技术与空中隧道技术结合,提高了飞行员的情境认知能力。四川大学基于机载的视频图像数据,开展了综合视景系统的原型设计工作。2012年,西北工业大学研究团队基于传感器和数据监测技术、信息融合技术和三维建模与纹理映射技术,设计了综合视景样机平台,提高了驾驶员在低能见度情况下的态势感知能力。航空工业集团等研发的综合视景原型系统,能够为直升机在雾霾等降级视觉条件下提供辅助着陆视景信息,但是多为单色图像输出,辅助引导显示仍以传统二维符号为主,缺少适合近地飞行引导的三维彩色增强现实应用。2019年,北京航空航天大学开展了直升机周边障碍物检测与地形提示告警技术研究,初步具备一定的合成视景导航能力,但未结合近地飞行场景进行机载实装应用。

综合来看,现有综合视景技术存在一定不足,仍属于较新的研究领域。国内相关工作主要集中在虚拟仿真环境下的综合视景显示技术,实际性能有待验证。基于光电、激光雷达等传感器飞行环境综合展示在单一功能、性能、总体设计方面仍需进行迭代优化,增强现实显示及三维保形符号输出需尽早开展工程化应用设计和功效验证。

为提升直升机在降级视觉环境下的综合感知能力,现从直升机飞行安全技术保障能力视角,对综合视景系统的内涵与专业领域知识进行深入分析。以综合视景中飞行环境综合展示为基础,通过对地形数据库和红外/可见光/微光传感器、激光雷达等多源航电数据进行综合处理,完成异源图像融合、识别、场景融合和引导计算,输出增强的现实场景,直观展示前向综合态势;在飞行过程中能够对周边威胁地形和障碍物信息进行智能监测和及时告警,增强直升机的威胁感知能力;在近地阶段和着陆过程中,引入三维彩色增强现实显示技术,为直升机提供航迹规划提示和飞行状态可视化功能,实现有效的飞行引导,对保障飞行安全和提升直升机复杂环境生存力具有重要意义。通过在某民用直升机训练教学课题中进行试飞验证,证明所提方法可有效降低直升机飞行员操作负荷,辅助飞行员快速决策,大幅提升直升机飞行安全保障水平。

1 总体架构设计

针对直升机飞行员在复杂地形及恶劣视觉环境下提升外部威胁感知与安全驾驶能力需求,以内置综合视景数据库为基础,使用载机的多源探测图像、姿态数据与地景数据进行匹配生成三维地理环境。通过预置三维基础数据、模型数据,结合载机位置、飞行航线进行实时计算,完成地形障碍物告警提示与近地可视化引导符号输出。

总体技术架构采用标准的基础支撑、中间件、数据资源、应用软件四层架构,如图1所示,支持高度综合化,便于扩展。

图1 综合视景近地引导技术总体架构Fig.1 The overall framework of ground proximity guidance technique based on combined vision

基础支撑层包括高性能服务器、通用操作系统、图形数据库,是存储计算、通信服务的执行单元。采用通用标准LINUX等操作系统,支持跨平台应用。

中间件层提供典型视觉智能应用系统中涉及的3种类型中间件:一是图形库和引擎,支持图像实时渲染;二是异构平台程序框架和通用并行运算平台,使编写的程序能够运行于多种类型处理器;三是计算机视觉库,涵盖了常用的图像处理、计算机视觉和机器学习相关方法。

数据资源层提供丰富的数字地图库和地图处理工具,支持形成机载格式的任务区数字地图(即综合视景数据库),部署到机载高性能计算平台上使用。

应用软件层实现综合视景融合与可视化引导等核心应用功能,包括地景地形显示、起降场显示、地形提示与告警、多源图像预处理、综合视景融合、障碍物显示及告警、引导指示计算、视景图像显示、可视化近地引导等功能单元。

2 主要功能设计

综合视景近地引导技术设计实现主要包括飞行环境综合展示、危险地形及障碍告警、可视化近地引导等关键技术,通过各项技术的有机结合、一体联动,从视景仿真、危险告警、飞行控制等方面为直升机提供连续、精确的飞行引导和安全着陆辅助。

(1)飞行环境综合展示。机载三维引擎加载综合视景数据库和直升机飞行航线,预读直升机当前坐标所在固定范围的周围地形数据并存入内存,提供载机当前所处环境直观的综合视景展示,复现舱外场景。这种直观的场景来源于地形数据库中的图像与多源传感器信息的叠加与融合,包括载机状态数据(高度、指示空速、地面速度、真空速、垂直速度等)、载机红外/可见光/微光传感器探测图像、防撞雷达与激光雷达探测图像及数据、机场/着陆区提示与飞行管道等飞行指引信息。

(2)危险地形及障碍告警。以综合视景和深度学习的障碍物识别为基础,以地形数据库和雷达数据为来源,根据载机的离地高度、速度等进行危险接近告警提示。在所有飞行阶段显示并突出标绘对飞行安全存在威胁的地形和障碍[5],具体内容包括地形(山脉、湖泊、河流、铁路、公路)、地面障碍物(桥梁、电力线、电力塔、移动信号塔、建筑)等内容。

(3)可视化近地引导。主要功能包括目标引导位置的生成、提示,以及飞行通道的标记。根据航路规划生成配套引导提示符号,将相关符号在综合视景中叠加显示,在综合显示设备输出最终可视化图像,直观地将飞行通道和引导信息提供给飞行员,作为其操纵直升机的目标指示,在近地阶段提供有效的飞行引导,辅助规避威胁并安全着陆[6]。

以上3项技术紧密关联、互为补充,飞行环境综合展示是基于综合视景实现直升机近地引导的基础,在降级视觉环境和近地盲降阶段提供辅助飞行决策。危险地形及障碍告警技术能够根据直升机当前位置实时检测周边环境威胁,为飞行环境综合展示提供视觉告警数据支撑。可视化近地引导技术为飞行环境综合展示提供预期航迹,并根据危险地形及障碍告警检测结果进行引导避让提示。通过3项技术的有机结合,从视景仿真、危险告警、飞行控制等方面为直升机提供连续、精确的飞行引导和安全着陆辅助。

2.1 飞行环境综合展示

将全球的地形数据(区域可选)存入系统,建立完善的地形数据库。利用机载三维引擎加载综合视景数据库、地形和地面各种物体模型,设置场景大气光照等气象环境,规划基础视角和机场/起降场的位置关系。场景加载后,自动搭配对应的模型和材质贴图等数据,使用配套的场景脚本来驱动场景输出,在脚本中对预设的点位置进行机场标记建模和更新渲染。

在飞行过程中根据直升机位置姿态数据及机身朝向信息,对红外/可见光/微光传感器、激光雷达等多源传感器数据进行图像配准,对预置综合视景数据库进行匹配加载与渲染,完成驾驶员视角的前方三维图像生成,信息流程如图2所示。

图2 飞行环境综合展示信息流程Fig.2 The comprehensive display information process of flight environment

地景地形显示模块通过加载综合视景数据库生成三维地形网格,地形材质用颜色表示直升机与地形的实时相对高度差;计算预置显示范围内(如20 km×20 km)所有地形高度与载机的高度差,将地形叠加安全等级颜色进行威胁标识显示。在地形视景渲染过程中,使用OpenGL着色器语言所设计顶点着色器和片元着色器,在顶点着色器中计算视角与地形顶点的海拔高度差,在片元着色器中根据高度差使用预设的颜色值进行插值来着色[7]。对于超出视野范围的视景信息从内存中移除,保证三维引擎渲染能够以有限资源呈现尽量多的丰富细节。

利用直升机位置的三维数据与地形数据库中提取出的航线前方地形、障碍物地理数据进行对照,实时计算前方视景中最高点与直升机当前位置的高度差值ΔH,并且与允许安全飞行高度差范围做比较,来综合判定潜在的相撞危险。根据当前面临的安全等级,在片元着色器中根据高度差使用预设的颜色值进行插值来着色,使用如表1所示的配色方案对不同安全区域进行配色显示。在综合视景画面生成过程中,通过定期计算载机与机场、起降场之间的空间距离,并根据机场与视点位置关系来控制机场、起降场高精度模型与标识是否显示。

表1 安全等级配色方案Table 1 The color scheme of safety level

对于距离超过设定距离(如3 km)范围时,使用机场轮廓线状模型与机场灯光影像图进行显示。

当距离进入设定距离区间内时,动态加载机场、起降场高精度模型,并根据地景数据库中预置的跑道信息,采用蓝绿色实线显示跑道轮廓线[8],采用蓝绿色虚线显示跑道长度轮廓线延长线,采用绿色虚线标识机场着陆引导灯等目标。

2.2 危险地形及障碍告警

在飞行过程中,融合机载大气数据系统、导航系统、高度表等设备提供的各项参数,计算直升机最新位置三维数据、飞行速度、航向。通过设置飞行过程警戒提示包线,对地形及障碍物完成实时检测、告警判断及告警提示,使得飞行人员能够精准感知地形地貌特征,信息流程如图3所示。

图3 危险地形及障碍告警显示信息流程Fig.3 The information flow of dangerous terrain and obstacle warning display

根据直升机飞行状态,选择不同警戒包线判断视觉告警状态,在危险接近时进行充分的提前预警。

对于直升机在保持一定的无线电高度之上飞行时,选用120 s和60 s警戒包线来判断当前告警状态。以最新前向速度计算前方120 s航时距离、左右方向60 s航时距离范围内地形、障碍物高度差,触发120 s航时阈值应提供注意级提示,触发60 s航时阈值应提供告警级提示。

当直升机处于下降状态并且下降速率超过允许安全值时,选用60 s和30 s警戒包线来判断当前告警状态。若60 s航时包线内地形、障碍物均低于载机高度,无告警信号输出;若60 s航时包线内存在等于或高于直升机高度的障碍物,但30 s航时包线内不存在,应输出对应视觉(琥珀色信息)提示信号[9],若存在等于或高于直升机高度的地形,应显示琥珀色区域标识;若30 s航时包线内存在等于或高于直升机高度的障碍物时,应输出对应视觉(红色信息)告警信号,若存在等于或高于直升机高度的地形,着重显示红色区域标识。

当直升机进入进近着陆阶段,选用40 s和20 s航时警戒包线来判断当前告警状态。距离障碍物、威胁地形约40 s航时,定义为达到注意级别提示,应显示琥珀色障碍物轮廓线;距离障碍物、威胁地形约20 s航时,定义为达到告警级提示,应显示红色障碍物轮廓线并持续闪烁。

2.3 可视化近地引导

可视化近地引导是基于安全飞行通道和飞行引导符号相结合的方式,在近地、着陆过程中呈现规避地形威胁和障碍物的组合符号和数字显示,并驱动视景仿真,保障引导载机向近地目标位置安全飞行,信息流程如图4所示。

图4 可视化近地引导信息流程Fig.4 The information flow of ground proximity guidance

2.3.1 安全飞行管道

在加载目标位置飞行航线基础上,根据飞行任务、最大航程、最小航段、地形、障碍物、威胁区等一系列约束条件,规划直升机前方一定距离内(如5 km)预期航迹,生成安全飞行通道显示的避障辅助信息。安全飞行管道是以避障航路为中心线,由跟随航路变化的左右限定框组成,在综合视景中进行显示。

加载飞行航线信息作为虚拟中心线,不直接在综合视景中显示,为安全飞行管状通道计算和飞行引导指令解算提供基础依据。

根据载机状态的数据参数,计算安全飞行管状通道中的虚拟航路点,同时从目标位置到载机处绘制红色连接线当作分段距离引导线。

根据各虚拟航路点及该处的航迹弧度,以虚拟航路点为中心计算垂直于航路的矩形平面端点坐标,形成左限定框和右限定框。依次连接左限定框和右限定框中的所有端点,将限定框各端点坐标转换为屏幕坐标,得到本航段二维安全飞行通道形状,给予飞行员直观的航迹提示。

2.3.2 飞行引导符号

飞行引导符号设计是进行近地飞行场景中的安全驾驶引导符号集生成、分布和表示,基于最小转向速度、飞行速度、运行高度等自身动力学性能约束[10],动态计算沿预期航迹飞行的时间周期内分段路径,并生成配套的安全操作引导指示位置,以符号集来指示引导飞行员安全驾驶。

根据载机位置姿态,计算沿安全通道飞行的各项关键点,按照时间次序标识沿安全飞行通道飞行10 s后的预期位置,转换为屏幕坐标进行叠加显示,在飞过之后清除上次显示通道信息。

在飞行过程中,根据当前飞行姿态,计算载机当前应飞航向、应飞高度、应飞速度等诸元信息。将已计算生成的应飞航向、高度、速度等转换为飞行符号,使用深绿色线状符号显示,在飞过之后清除上次显示信息。

通过视景信息对比,辅助飞行员确认驾驶直升机的飞行航迹与引导符号的位置关系,在误差区间内可辅助判定为直升机实飞航迹与规划通道的重合,实现可视化航迹跟踪与安全飞行引导。

3 飞行试验应用

在某民用直升机飞行教学训练过程中,为保证全天候条件下安全驾驶引导,结合飞行计划和本场周边环境,选取高度差有明显变化并且满足最高巡航速度20 min以内场景范围,针对典型飞行剖面如图5所示,在起飞、下降、进近等阶段,对障碍告警与近地引导等技术进行了功能整合与有效性验证。主要试验过程如下。

(1)加载目标区域5 m高程精度数字高程模型(digital elevation model,DEM)数据、1 m像素数字正射影像图(digital orthophoto map,DOM)数据、矢量地图和等高线等图层信息,构建基础地图库,范围是30 km×30 km。提取50 m以上障碍物数据,生成建筑、桥梁、高压线塔、电线杆、烟囱等立体模型。

(2)直升机起飞后,选择仪表导航信号、飞行员头盔朝向和全球定位系统(global positioning system,GPS)位置信号作为数据源,实时计算飞行员导航视场范围,在多功能显示器上输出飞行员视角前方区域的三维视景,为飞行员提供了清晰的舱外地形地貌。

(3)飞行过程中,不断获取最新飞行姿态数据,调用地景地形显示、综合视景融合模块调整场景范围并更新显示安全区域配色。基于已提取的50 m以上障碍物数据和直升机离地高度、速度等,判断地形及障碍物与直升机的实时位置关系,适时检测告警包线的触发情况,如图6所示。

(4)下降飞行时,根据直升机当前地速和航向,触发预计前向60 s航时、左右30 s航时距离范围警戒包线检测,在当前视景中提取等于或高于直升机高度的地形区间,对产生的威胁地形叠加红色区域突出显示,并以叠加黄色区域突出显示告警地形,如图7所示。每一次下降飞行时,将重复执行本次地形告警处理过程。

图7 综合视景地形告警显示Fig.7 The display of comprehensive visual terrain warning

(5)通过机载雷达探测到实时障碍物后,提取、生成高压线塔等目标,进行分类信息、使用位置预先生成并存入障碍物列表。分类信息包括物体类型、相对高度、方向、反射面积,不包括物体的轮廓外形,因此在渲染中采取固定外形、动态标高的形式展示障碍物。所谓固定外形是每一种障碍物都采取预先建模的方式处理,通过挤压或者拉伸X、Y、Z方向使之适应测量数据。探测到的地表障碍物使用位置信息是相对直升机而言的,需要根据地形特征将障碍物嵌合进去,并使用大地坐标、地形高度替换障碍物坐标、海拔高度,得到新的位置信息并将障碍物标记在该位置,防止悬浮、陷入地下等不良视觉情况。

(6)根据当前直升机地速,计算预计40 s和20 s航时的距离,分别记作L20和L40。首先,遍历障碍物列表,对于每一个障碍物计算其与直升机的距离,记作Ld;若Ld>L40,障碍物从场景内存移除,并卸载它占用的资源;若Ld>L20且Ld

图8 障碍物告警视景显示Fig.8 The display of obstacle warning

(7)近地着陆飞行时,结合当前飞行速度、高度、航向,动态生成了前方10 s航时安全通道指示,如图9所示,叠加显示应飞速度、高度、航向指示符号等信息,输出了易于理解的外部地形环境感知、威胁信息提示。通过重复执行本次步骤,安全飞行通道与引导符号可随飞行过程变化,进行引导信息多维图形化生成,更新综合视景,实现清晰的飞行驾驶操作指示。

图9 近地飞行可视化引导视景显示Fig.9 The display of the visual ground proximity guidance

以上应用过程表明,提出的技术方法能够实现基于载机位置、姿态的多源图像匹配,为飞行员呈现前向视角下的综合视景[11],并产生相应的地形障碍告警显示,让飞行员可视化感知地形等与载机的相对水平位置、垂直位置以及随载机相对高度差的变化,有效缩小飞行过程中航迹偏差,减轻飞行员操作负担。

4 结论

综合视景是融合了多种先进技术的航空电子解决方案,已成为避障和近地导引解决方案的一个重要载体。能够提升飞行员在复杂环境中的情景感知与信息交互能力,辅助飞行员快速准确决策,为直升机低空飞行训练提供安全保障,满足多种飞行过程应用。

通过深化研究直升机综合视景近地引导的基本原理与使用场景,介绍了一体化高分数据与直升机多源航电数据深度融合的设计思路,规划了飞行环境综合展示、危险地形及障碍告警显示、近地引导信息提示等关键功能,系统性设计了总体技术架构、信息处理流程。结合直升机飞行教学训练典型应用场景,全方位地展示了直升机综合视景近地引导技术的特点。

研究成果表明,在应用高分地理信息库基础上,借助先进的图像融合以及地形视景渲染等技术,利用机载导航数据和飞行航线,能够提供高精度、易感知的视景图像以及地形和障碍物告警。通过典型试验,证明了所设计方法合理可行且具有时效性、精确性和稳定性。后续仍需深入研究直升机近地避障的全方位应用需求场景[12],深化与机载综合航电信息融合处理,支持更多高精度引导视景数据输出,大幅提升威胁目标检测和复杂环境下综合态势感知能力,并推广到多种应用场景,例如复杂山区、密集城镇环境紧急着陆引导,为飞行员安全训练水平提升奠定基础。