基于多传感器融合的无人机应急着陆功能研究

张炯，牛欢，陈雪

中国商用飞机有限责任公司北京民用飞机技术研究中心 中国商飞人工智能创新中心，北京 102209

近年来，无人机作为一种新型飞行器，在城市空中交通领域得到了飞速的突破和发展。其中，电动垂直起降（eVTOL）无人机因具有低碳环保、运行成本低等优势成为当下研究的热点。空客公司硅谷创新中心于2016 年年初启动Vahana 项目，并于2018 年年初实现首飞；波音公司于2017 年11 月收购了美国Aurira Flight Sciences 公司研发的自主载人飞行器（PAV），并于2019年1月实现首飞[1-3]；亿航的ES216-S型无人驾驶航空器系统于2022年2月9日取得了中国民航局颁发的专用条件，成为全球首款获得监管机构型号合格批准的无人驾驶航空器[4]。

随着城市空中交通领域内无人机的大量涌入，无人机的运行管理成了亟待解决的问题，尤其是对城市空域内无人机运行的安全性提出了更高的要求。为满足不断增长的无人机运营需求，在美国联邦航空局（FAA）的牵引下，美国国家航空航天局（NASA）设计了一套无人机空中管理系统（UTM），通过地面以及空中一系列服务设施和工具来安全、经济、高效地管理各个无人机系统，保障某一空域内大规模无人机运行安全[5]。

为满足无人机飞行任务中安全性、自主性方面的需求，自主着陆（包含非应急状态下的自主着陆和应急状态下的自主着陆）逐渐成为无人机设计研发过程中需要考虑的基础功能。自主着陆功能的核心是对可着陆区域的识别定位，当前识别定位可着陆区域的方法主要包括:（1）有地面标识可着陆区域识别定位方法；（2）无地面标识可着陆区域识别定位方法。有地面标识可着陆区域识别定位方法针对预设着陆地标的目标区域进行检测，识别可着陆区域，常见的有基于无线电和激光引导的自主着陆方法、基于二维码定位的自主着陆方法等[6]，以上方法，需要预先设置地面标识，以及提前设定目标点，其不足之处在于:无法在未知环境下对目标区域进行识别，并完成对无人机自主着陆的引导。

无地面标识可着陆区域识别定位主要利用无人机搭载传感器进行主动识别定位，常见的有:（1）搭载激光雷达获取地面点云数据识别可着陆区域。激光点云识别技术虽能获取地面不平度信息，但缺乏对地面物体类别的判断，而且受点云分辨率和激光探测精确度及探测范围影响，不能应用于高空飞行场景。（2）搭载摄像头获取地面图像[7-9]，基于图像分割识别可着陆区域。图像分割技术基于单一图像信息进行分割操作，缺少或忽略了地面的三维信息，寻找目标区域的安全性和鲁棒性不足。（3）基于多传感器融合协同技术[10-15]，处理同一时段内的、不同类型传感器采集的信息，基于特定的特征信息进行不同传感器之间的匹配，丰富对所处环境的感知内容，识别可着陆区域。如视觉和激光雷达融合、视觉和毫米波雷达融合、定位信息与外置传感器信息融合等，不仅可以增强无人机的感知能力，还可以提高其在执行任务过程中的安全性和鲁棒性。以上可着陆区域识别方法仅针对某一高度空域，不能同时应对高空、中高空、低空不同高度飞行场景，缺乏应用的普遍性。如激光雷达点云在高空场景探测效果较差，相机图像在低空检测范围较小，视觉与激光雷达融合仅支持中高空与低空场景下的识别，缺少针对高空、中高空、低空全飞行高度阶段的可着陆区域识别筛选方法。

本文基于无人机下视相机和雷达传感器数据及其融合算法，根据不同飞行高度采取不同可着陆区域识别筛选策略，获得城市未知场景下可着陆区域位置，在无人机通信链路丢失、电量不足以抵达备降点等紧急情况下，实现自主控制无人机应急着陆。该无人机应急着陆方法有效提高了无人机环境感知能力，可应用于不同飞行高度空域，增强了无人机城市空中交通运行的安全性。

1 应急着陆功能应用需求

一般来讲，为了保证无人机在运行过程中的安全性，通常会选择良好天气进行飞行，同时在规划航线时，会避开人群密集区域以减少安全性风险，不仅如此，部分航线飞行过程中要求附近设置多个备降点保证整个飞行过程安全。然而针对城市空中交通运行场景下，无人机在通信链路丢失、电量不足无法到达备降点等安全预警情况下的安全着陆需求，应设计其应急着陆功能，使其在当前未知环境下识别判断可着陆区域，实现安全着陆，进一步增强飞机运行的可靠性和安全性。

基于UTM系统对无人机运行安全性方面的考量，依托无人航空器管理体系现状，应急着陆功能的核心需求应包括以下两个方面。

（1）应急着陆功能的覆盖性

覆盖无人机在高空、中高空、低空的全飞行阶段，为不同高度空域下的未知环境安全着陆提供合适的解决方案。同时可应对无人航空器通信链路丢失、电量不足无法到达备降点、突发恶劣天气等紧急情况。

（2）应急着陆功能的安全性

能够以较高准确度识别判断未知环境地面物体类别和地面条件，在对公共安全不产生影响、着陆后不损害无人航空器机体，以及不违背现有法律法规的情况下，实现应急着陆。

无人机的应急着陆功能通过加装机载传感器的方式，增强自身外部环境感知能力，利用人工智能手段对运行场景进行多维分析，当出现紧急情况时应急着陆功能可以快速响应，及时探测地面可着陆区域，引导无人机完成紧急情况下的着陆操作。

2 无人机应急着陆阶段场景划分

无人机加装下视相机和下视激光雷达对外界环境进行主动感知，在执行航线任务时，不同的飞行高度会决定周围的态势环境，同时也会影响实际加装传感器的探测性能。因此，根据无人机响应应急着陆功能的在飞高度以及现有传感器的探测距离及精度等因素，通常需要对飞行高度进行剖面分析,可分为高空场景、中高空场景和低空场景三种情况。在高空场景中，因激光雷达探测范围有限，主要任务由视觉与惯性测量单元（IMU）融合完成，中高空和低空场景中进一步融合激光雷达点云信息，增加地面三维点云信息融合处理可提高整体应急着陆任务的安全性和可靠性。

（1）高空场景

无人机飞行高度较高，超过现有下视激光雷达实际最大探测距离，因此基本没有点云信息可供参考。下视相机可以满足对地面场景的观测，但受限于高空场景且下视相机捕获图像分辨率，地面不同区域在图像中所占像素区域较小，虚拟仿真场景示意如图1所示。

图1 高空场景下仿真环境图示Fig.1 Diagram of simulation environment in high altitude scene

（2）中高空场景

无人机飞行高度适中，下视相机观测到的地面区域分割明显，下视激光雷达可探测到足够点云数量，当将激光雷达点云投影到图像上时，可以通过图像像素对激光雷达进行匹配，实现图像区域到点云系统的映射功能，同时激光雷达点云信息能够满足对地面不平度进行初步估计要求，虚拟仿真场景如图2所示。

图2 中高空场景仿真环境图示Fig.2 Diagram of simulation environment in mid high altitude scene

（3）低空场景

无人机飞行高度较低，下视相机观测到的地面区域相较中高空场景区块更小，便于观测地面动态和小像素目标障碍物，对于躲避着陆区域内的障碍物有较好作用，而且下视激光雷达可探测到的地面点云数量更加细致，便于通过点云拟合的方式对地面场景进行三维重建，实现指引无人机着陆未知环境的功能，虚拟仿真场景如图3所示。

图3 低空场景仿真环境图示Fig.3 Diagram of simulation environment in low altitude scene

以上所述的高空场景、中高空场景和低空场景主要由机载传感器工作性能进行区分，对于一般的激光雷达传感器来讲，探测到的点云数量与传感器的可信度成正比，当飞机高度越高时，下视相机捕获地面图像的细节缺失也会越严重，因此根据以上依据对飞机飞行剖面高度进行划分，见表1，以便针对不同飞行高度场景采取不同的传感器融合探测方案。

表1 飞行器飞行高度剖面划分Table 1 Aircraft flight altitude profile division

应急着陆功能根据不同的触发场景，将会采用不同的感知方法，具体的功能逻辑见表2。同时根据不同的着陆区域检测结果，三种场景可建立切换联系，功能处理逻辑如图4所示。

图4 不同场景应急着陆功能处理逻辑图Fig.4 Logic diagram of emergency landing function processing in different scenarios

表2 不同场景应急着陆功能触发逻辑Table 2 Triggering logic of emergency landing function in different scenarios

3 应急着陆功能实现方法

根据飞行器触发应急着陆功能时所在的高度场景不同，有以下三种处理过程。

（1）高空场景下的应急着陆处理过程

受限于高空场景下的传感器性能，在该场景下激光雷达传感器无法探测到地面的点云信息，因此当应急着陆功能被触发响应时，飞机的首要任务是根据当前的地面场景找到更多的候选可着陆区域。下视相机和飞机本身的位置、姿态等传感器的信息融合，可以给飞行器提供后续的位置引导。当找到较多合适的候选着陆区域之后再下降高度进入中高空场景进行判断。

一般来讲，根据无人机的着陆地点安全性要求，认为农田区域、草坪区域和道路等铺砌路面区域作为可着陆区域优先考虑区域，通过图像语义分割可将该类候选可着陆区域分割出来，根据可着陆区域在当前图像上的位置引导飞机进入候选可着陆区域内并且降低高度，便于添加激光雷达点云信息进一步融合处理，寻找更佳的着陆区域，处理过程如图5 所示。在该场景下的图像分割处理后，通过可着陆区域合并，依据式（1）建立可着陆区域二值化图像，之后计算每个多边形区域内的像素面积，判断当前视角下的可着陆区域是否满足飞机着陆要求。

图5 高空场景下应急处理过程Fig.5 Emergency treatment process in high altitude scene

式中，f(u,v)计算结果表示在图像坐标系下(u,v)点的二值化的数值。

（2）中高空场景下的应急着陆处理过程

在中高空场景中，下视相机对地面的观测能力提升，便于识别图像中像素占比较小的元素，同时对于下视激光雷达来讲，由于该场景中激光雷达对地面探测的点云数量也达到要求，因此可以通过激光雷达点云和图像融合的方式对地面环境进行感知，同时根据飞行器自身的IMU设备校正传感器感知的实际位置。该场景应急着陆功能的处理过程如图6所示。

图6 中高空场景下应急处理过程Fig.6 Emergency treatment process in mid high altitude scene

首先通过下视相机获取的图像数据进行语义分割识别，将同风险的可着陆区域进行合并，通过可着陆区域图像轮廓提取计算占地面积，估计区域大小是否满足飞行器尺寸要求，通过式（2）计算激光雷达点云和图像匹配关系，确定图像上满足着陆地点的像素位置在激光雷达坐标系中的对应关系。

（3）低空场景下的应急着陆处理过程

在低空场景下，图像可以针对地面物体有更清晰的识别能力，对地面障碍物以及动态的行人车辆有更准确的识别特征，同时激光雷达反射到地面上的点云数量和密度能够更高地拟合出地面的三维物理信息，可更好地用于地形估计和最佳着陆位置筛选工作。因此在该场景下的应急着陆处理过程如图7所示。

图7 低空场景下应急着陆处理过程Fig.7 Emergency treatment process in low altitude scene

当处在较低高度时，无人机基本已经处在可着陆区域之中，但仍需要通过激光雷达点云判断当前可着陆区域的地面不平度信息，根据飞行器物理尺寸筛选合适的着陆中心点位置，确定着陆位置后发送给无人机引导系统用于安全着陆。

4 应急着陆功能测试

针对本文研究内容，采用仿真平台对无人机应急着陆方法进行测试，一方面需要模拟高空环境，另一方面需要更真实的虚拟仿真环境，因此采用微软公司开源平台AirSim[16]进行测试，AirSim仿真平台依托UE4虚幻引擎，具备非常丰富逼真的视觉仿真效果，同时具有摄像头、激光雷达、GPS、IMU 等多种传感器，能够模拟无人机在各种场景下的飞行控制及传感器数据捕获。利用ROS 平台将无人机飞行状态和传感器探测数据发布到统一平台，提供给测试模块进行使用，为本文研究内容提供了验证平台。

4.1 测试场景

本研究选取城市环境场景的仿真场景对应急着陆方案进行测试试验，该仿真场景地面包括铺砌路面和草坪等可着陆区域，房屋建筑、树林区域、水域等不可着陆区域及汽车、电线杆等危险障碍物，能够满足应急着陆算法测试需求。基于AirSim的城市环境场景如图8 所示。下视相机捕获的图像场景如图9所示，利用ROS平台的RVIZ软件对测试过程的图像和点云信息进行图形化显示，显示界面如图10所示。

图8 虚拟仿真测试场景Fig.8 Virtual simulation test scene

图9 下视图像捕获场景Fig.9 Scene captured by down view image

图10 ROS RVIZ软件显示Fig.10 Display by the ROS RVIZ software

4.2 测试过程

本文研究内容仿真测试场景采用上述场景，将天气设置成默认良好情况，设置无人机平台传感器时添加下视相机、下视激光雷达以及飞机自身GPS 和IMU 传感器，其中针对激光雷达传感器约束最大探测范围，并同时增大垂直角度探测范围以更好地利用点云信息，设置完成后启动虚拟仿真场景。

当虚拟环境完成加载后，选择合适的航线并通过程序控制飞行器在虚拟环境中飞行，当无人机飞行高度到达指定高度时，手动触发响应应急着陆功能，进行功能测试。设置仿真激光雷达对地高度探测最大距离，并根据实际真实雷达探测距离增加线性可信衰减函数区分不同场景激光雷达传感器性能，如式（4）所示。

式中，Γ为激光雷达在当前高度信赖度，当大于1时认为完全可信；Hmax为雷达可探测到的最大距离；a为常数，用来调节信赖度结果；H为当前飞行器对地高度。

应急着陆程序可通过传感器信息判断当前飞行场景。同时程序可根据当前相机和激光雷达点云数量确定传感器数据可信度，当处于高空场景时，仿真结果示意如图11 所示。在该场景下无人机飞行高度较高，受传感器自身探测距离因素影响，当前激光雷达点云数量基本为空，无人机主要通过图像语义分割的方式对地面有效的可着陆区域进行识别，计算当前视角下的可着陆区域范围，若满足设定阈值，则根据可着陆区域计算无人机下一阶段目标点，同时下降高度完成飞行场景的转换。

图11 高空场景仿真结果示意图Fig.11 Schematic diagram of high altitude scene simulation results

无人机下降高度同时对地面点云数量进行统计，当满足中高场景下的激光雷达点云数量要求时，利用图像分割的方法和激光雷达点云投影到图像上的方式，获取候选可着陆区域内的点云进行处理，如图12所示。此时的点云数量可以通过和相机的转换矩阵进行对应，同时根据飞机设定的物理尺寸大小，对地面可着陆区域进行筛选，候选可着陆区域的选择顺序是铺砌路面优于草坪区域。最终确定符合着陆区域的位置，并同时降低高度进行以点云处理为主的应急着陆区域筛选。

图12 中高空场景仿真示意图Fig.12 Schematic diagram of mid high altitude scene simulation results

无人机根据之前的识别过程选择可用于着陆的位置，此时传感器观测到的信息如图13 所示。在当前飞行器下视相机的视角下，激光雷达点云信息比较稠密，因此可以通过点云平面拟合的方式对当前预着陆的地形进行重建工作，利用无人机设置的着陆空间范围对点云平面进行滑动窗口切割计算，若拟合平面梯度和地面不平度满足实际着陆要求，计算当前区域中心点，并通过激光雷达点云信息找到对应中心点的实际相对飞行器距离，并结合GPS和IMU的信息对着陆位置进行估计，引导飞机飞向安全区域。

图13 低空场景仿真示意图Fig.13 Schematic diagram of low altitude scene simulation results

在实际测试过程中，图像语义分割和雷达点云处理同步进行，在高空场景下的测试结果如图14 所示，当前仿真测试对地高度约为150m，此时激光雷达可信赖度较低，小于可接收阈值，其中图14（e）中点云映射到图像上的点云颜色随飞机高度进行变化，靠近地面颜色为红色，离地面越远绿色比重越多。高空场景下输出的图像和候选可着陆点的实际位置数据见表3。此时当前飞机可找到候选着陆位置，因此将候选着陆位置发送给飞机引导系统，降低高度切换场景实现更细致的感知。

表3 高空场景输出可着陆区域坐标信息（部分）Table 3 Candidate landing area locations in high altitude scenarios（excerpt）

图14 高空场景实际仿真测试图Fig.14 Actual simulation test diagram of high altitude scene

待飞机完成引导功能并进入中高空场景后，机载相机和激光雷达传感器对地面的观测视角更加明晰，通过对同步后的数据进行图像语义分割和激光点云处理，可以得到新一批的候选可着陆区域坐标位置，可视化后的图像如图15所示，测试截取图片时飞机当前高度约为80m，图15（e）中点云棕色代表红色占比逐渐增多，离地面越来越近，输出的可着陆点位置信息见表4，同时根据可着陆位置附近的激光雷达点云进行分析，计算标准差并检测高度变化，选择合适坐标位置发送给飞行器引导程序。

表4 中高空场景输出可着陆区域坐标信息（部分）Table 4 Candidate landing area locations in mid high altitude scene（excerpt）

图15 中高空场景实际仿真测试图Fig.15 Actual simulation test diagram of mid high altitude scene

当飞行器接近地面进行着陆时，具体测试结果如图16所示，当前高度约为20m，通过图像语义分割显示结果可观察到飞行器视角内大部分都是可着陆区域范围，此时激光雷达投影到图像上的点云颜色也已经基本为红色，说明到地面的距离逐渐变小，如图16（e）所示，可着陆位置信息见表5，最后再融合多源传感器数据，以及飞行器相对候选可着陆位置的欧式距离，计算出最终的着陆位置结果信息，并引导飞行器着陆。

表5 低空场景输出可着陆区域坐标信息（部分）Table 5 Candidate landing area locations in low altitude scene（excerpt）

图16 低空场景实际仿真测试图Fig.16 Actual simulation test diagram of low altitude scene

4.3 测试结果

根据以上的测试过程得出结果如下:（1）良好天气下，无人机可以通过传感器融合的方式进行主动感知，完成飞行器的应急着陆功能；（2）在高空场景下，无人机可通过图像语义分割的方式对地面区域进行预筛选，可以快速定位下一阶段中高空场景的中心位置；（3）在中高空场景下，无人机可利用相机和激光雷达融合的方式对地面进行探测，并可根据传感器结果输出着陆区域位置；（4）在低空场景下，无人机主要通过相机对地面如车辆、电线杆等危险障碍物进行识别躲避，同时可根据丰富的点云信息对地面信息进行三维重建，引导无人机实现在当前场景安全着陆。

5 结论

本文研究了无人机在不同飞行高度阶段场景下的应急着陆处理程序，结果表明，采用基于多传感器融合的方式可以实现无人机在未知场景下的应急着陆功能，同时针对不同传感器性能要求，对无人机飞行剖面进行切分判断，能够充分发挥各个传感器的优势特点，实现不同场景的有效切换，快速找到可供着陆的最佳区域。真实无人机的运行场景会相较仿真场景有更多的不确定性，因此需要针对无人机真实场景进行数据采集和语义分割模型训练，同时针对非测绘用激光雷达垂直视角与图像视角不匹配的问题，应采取多帧点云拼接的方式实现下视图像的点云覆盖。因此，针对以上真实场景的问题，应首先选择合适的传感器硬件，优化合理布局机载传感器系统，不断更新算法，增强无人机的稳定性。

基于多传感器融合的应急着陆功能是一项新技术，对于无人机在飞任务的安全性和可靠性有了进一步的提升，同时增强了无人机的自主感知能力，可通过周围态势环境执行响应的飞行工作，对推动无人机运行安全性的发展起到重要推动作用。