基于多传感器融合的无人机可降落区域识别方法研究

刘飞 单佳瑶 熊彬宇 方正 杨正权

摘要：当无人机遇到电量低、丢失遥控信号、失去GPS信号、天气突变等需要迅速降落的紧急情况时，依靠机载的传感器实现无人机自主降落到安全区域显得非常重要。为保证无人机在遇到紧急情况或者收到降落指令后，能够自动识别安全的降落区域，实现安全自主降落，本文提出一种基于多传感器融合和深度学习网络框架的无人机可降落区域识别方法。首先，使用基于无人机机载图像信息搜索安全降落区域；然后利用孪生网络对安全降落区域进行跟踪。当无人机降落到一定高度时，利用机载激光雷达进行近地面环境實时建模与语义分割，确定安全的可降落区域；最后，通过实时建立的可降落区域点云模型，计算出精确的可降落区域位姿信息，供飞控系统实时着陆控制使用。在仿真环境和实际环境中的试验研究表明，基于多传感器融合的方法对可降落区域的识别准确率达到90%，位置识别的误差为5cm，着陆过程地形高程估计误差为2cm，能够满足无人机自主安全着陆的要求。通过对可降落区域识别方法的研究，实现无人机对下方可降落区域的识别，进而引导无人机实现安全自主着陆。

关键词：自主泊降；深度学习；多传感器融合；三维激光雷达；语义分割

中图分类号：TP391.4文献标识码：ADOI：10.19452/j.issn1007-5453.2022.04.004

基金项目：航空科学基金（20184123011，201941050001）

无人机的自主降落问题是其安全飞行最重要的问题之一，而无人机对可降落区域的精确识别是解决这一问题的关键。在过去的十几年里，有大量研究者[1-2]开展了该领域的研究。按照使用传感器的区别，这些研究可以分为三类：基于单目相机的着陆区域识别、基于双目相机的着陆区域识别和基于三维激光雷达的着陆区域识别。

基于单目相机的着陆区域识别方法总体上可以分为两种思路。一种是C. S. Sharp[3]、S. Bosch[4]和Y. Cheng[5]等通过无人机搭载的相机传感器拍摄得到无人机所在位置下方地面环境的单帧图像信息，然后利用自身搭载的处理器根据单帧图像序列确定该地位置是否可用于着陆，实现可降落区域的识别；另一种是A. Johnson[6]、V. R. Desaraju[7]和C. Forster[8]等利用运动的单目相机得到的图像数据通过动态立体视觉算法建立密集的三维环境地形点云地图，然后计算着陆区域，实现可降落区域的识别。 C. Theodore[9]、M. Meingast[10]、M. Garg[11]和M. Mittal[12]等利用基于双目相机的着陆区域识别往往可以直接通过双目相机的外参数据和双目图像的差别估计地面图像的深度信息，然后根据深度信息判断着陆区域，最终实现无人机可降落区域的识别。S. Scherer[13]和D. Maturana[14]等利用基于激光雷达的着陆区域识别方法往往首先利用激光雷达建立较稠密的三维点云地图，然后再从三维点云地图中识别着陆区域，最终实现无人机可降落区域的识别。

近年来，随着无人机技术与产业在国内的发展，国内对于无人机着陆区域识别的研究也越来越多。南京航空航天大学韩家明等[15]提出了一种基于视觉的无人机着陆标识的检测方法；复旦大学李睿康等[16]提出了一种针对旋翼无人机在无准备的崎岖地表上的自主安全着陆系统。西北工业大学李靖等[17]提出了一种基于视觉的无人机着陆地标实时检测跟踪方法。

由上文可知，针对无人机可降落区域识别的研究往往只通过单一的传感器来完成，这些方法虽然在某些特定的场景下有不错的表现，但在一些更复杂的场景或光照较差的情况下很难准确且稳定地完成可降落区域的识别。因此，本文提出一种基于多传感器融合的无人机可降落区域识别方法，充分利用相机所拍摄图像的色彩信息和激光雷达的深度信息，通过无人机搭载的处理器实现对其下方可降落区域的识别与跟踪，引导无人机实现安全自主着陆。

1系统架构

无人机想要实现自主降落，必须具有自主的环境感知能力，从而能够实现在复杂环境中的地形识别与建模，自主选择适合着陆面，在降落过程中自主避开障碍物并实现特定着落面的精准降落。针对这一问题，本文提出一种基于三维激光和视觉融合的无人机自主着陆地形识别及着陆点识别的方法，使得无人机能够在遇到紧急情况下或者收到降落指令后，利用基于多传感器实现低空多维信息建模和基于深度学习实现语义层次地形信息分类，自主识别安全的停机区域，实现安全自主降落。整体系统架构如图1所示，图中软件系统中的蓝色部分代表可降落区域识别与跟踪模块，黄色部分代表低空三维环境的建模模块，橘黄色部分代表着陆决策模块。

1.1系统硬件

该系统主要由DJI Matrix600 Pro无人机平台、Manifold2-C和Manifold2-G机载处理器、RoboSense Bpearl三维激光雷达、RealSense D435i和RealSense T265相机等传感器组成。

DJI Matrix600 Pro无人机平台具备很高的扩展性，可以部署各类外加机载处理器和传感器，其标配有高精度GPS、LightBridge2视频传输模块。该系统在这些硬件的基础上面添加了Robosense Bpearl三维激光雷达作为地形数据库的获取模块，RealSense D435i相机作为可降落区域的识别模块，RealSense T265相机作为无人机姿态估计的辅助模块，Manifold2-C作为无人机上面的运算系统和飞控系统的中间处理单元模块，主要处理三维激光雷达点云数据和无人机飞行控制数据，Manifold2-G作为无人机上面可降落区域的识别和跟踪的处理单元。

1.2系统软件

系统软件方法主要由基于图像的可降落区域搜索与跟踪、基于点云的三维环境建模、基于点云的三维环境语义分割、实时落点搜索。各个模块实现的细节详见第2节。

2系统实现

2.1基于图像的可降落区域搜索

图像语义分割能够将相机传感器拍摄图片或者视频流的每一个像素点都打上对应的类别标签，这样就可以知道图片或者视频流中可降落区域的位置，为下一步对可降落目标区域的跟踪提供一个初步的识别。由于本文提出的方法需要在移动计算平台上对输入的图像进行实时处理，因此首先需要考虑语义分割网络的实时性。在本文中，我们基于快速图像语义分割方法fast_scnn[18]搭建了适合本系统快速语义分割方法，并设计了其网络框架，该网络由4个模块组成，其结构模型如图2所示。

第一个模块为学习降采样模块，其目的是提取图像低层次的特征。第二个模块为全局特征提取模块，其目的在于捕获图像分割所需的全局环境信息。第三个模块是特征融合模块，其目的是将学习降采样模块得到的特征和全局提取到的特征直接相加。第四个模块是分类器模块，其目的是将得到的特征张量输出具有标签的图片。通过这4个模块就可以将输入的图片标注上对应的类别标签，最终得到无人机的可降落区域，为后续引导无人机自主降落创造基础条件。

为了实现对无人机下方可降落区域的识别，基于图像的语义分割方法在航空语义数据集Aeroscapes进行模型的训练，训练之后的模型识别精度可以达到80.6%，速度在dji Manifold2-G上面可以达到10FPS，满足无人机对下方可降落区域识别的要求。

2.2基于图像的可降落区域跟踪

基于图像的可降落区域跟踪，主要任务是将上一步通过可降落区域搜寻算法得到的可降落區域，作为初始的跟踪目标，进而在后续的连续的图像帧中，通过找到图像中与初始区域的相似度最大的区域，作为后续帧中的可降落区域。

在本文中，可降落区域搜寻算法的输出作为可降落区域跟踪算法的输入，用4个坐标（x，y，w，h）来表示一个矩形框。其中，x， y表示矩形框的中心点像素坐标；w，h表示的是矩形框的宽和长。该矩形框中包含的即是要跟踪降落的区域。此部分算法输出是无人机飞行控制量，表现形式是通过坐标差（目标像素坐标-实际像素坐标）进行映射得到的无人机飞行的目标控制量。

考虑到机载端搭载的处理器性能以及整个识别算法对深度学习算力的需求，跟踪部分的算法应该尽可能地轻量化，所以为了能够在保证实时性的同时拥有较高的准确性，本文基于siammask[19]网络结构搭建了适合本系统的孪生网络结构进行图像目标跟踪，基于图像的可降落区域跟踪算法使用孪生网络（Siamese Network）作为整体网络的基本架构。孪生网络也可以叫作“连体的神经网络”，其网络结构由两个相同的分支组成，如图3所示。两分支分别接受不同的输入，而后经过相同的特征提取网络，从而提取高维的图像特征。在提取特征时，两分支的网络是共享权值的。然后，两分支得到的高维特征可以通过与真值数据构建损失（loss），可以损失最小化的方式来训练网络，使得网络可以学习两个分支最相似的特征。整体的算法结构如图4所示。

该算法在1660Ti的GPU上运行可以达到50ft/s（≈15.24nm/s）左右，实时性足以满足需求。除此之外，该算法还对跟踪的目标区域进行了前景和背景的分割，最终的输出结果通过掩膜（mask）的形式呈现，矩形框通过掩膜进行旋转矩形拟合得到，对于项目中存在的可降落区域几何形状可能不规则的情况有较好的表现。图5是该算法在俯视地形数据集上的部分输出结果，其中红色区域是要跟踪的平面区域，可以看到该算法可以很好地得到不规则区域的外包矩形框，精准程度大大提高。

由于目标跟踪算法更倾向于对两帧之间的目标进行相似度的匹配，所以其模型训练好后具有很强的泛化能力，所以通用的目标跟踪数据集就可以满足无人机对可降落区域跟踪的需求。本文提出的目标跟踪算法在VOT2016数据集和VOT2018数据集上的结果见表1。其中，平均重叠期望（EAO）指对每个跟踪器在一个短时图像序列上的非重置重叠的期望值，是VOT评估跟踪算法精度的最重要指标。准确率（Accuracy）指跟踪器在单个测试序列下的平均重叠率（两矩形框相交部分面积除以两矩形相并部分面积）。鲁棒性（robustness）指单个测试序列下的跟踪器失败次数，当重复率为0时即可判定为失败。算法的运行速率为56FPS。

2.3基于点云的三维环境建模

对于无人机系统来说，对所处周围环境进行感知和建模至关重要，没有周围环境的信息，就无法进行后续的智能决策。在本文中，需要实现无人机的自主着陆，这首先就需要无人机系统对飞行中的周围环境进行感知，给予无人机相关环境物理信息，使得无人机对环境进行判断，找到可降落区域，完成自主降落。由于无人机需要准确的空间信息，需要建立精确的三维地图，因此我们采用激光雷达作为主要传感器，建立环境的三维激光点云地图，使得无人机获得准确的周围环境信息，从而执行后续任务。

在本文的激光建图算法中，基于LOAM[20]使用激光雷达获取环境信息，并且结合惯性测量组件（IMU）进行测量，以提高自身运动估计的精度，从而建立精确的环境地图。首先，对激光点云数据进行处理，结合IMU数据消除点云存在的运动畸变，并且提取点云中的特征点集，得到环境的主要特征描述。而后，基于特征点云估计无人机的运动姿态，得到运动里程计。考虑到无人机着陆环境为室外空旷区域，周围环境中可能缺乏足够的环境特征，使得仅使用激光雷达进行运动估计会存在失败的情况。为此，算法中考虑结合GPS数据提供无人机运动的空间位置信息，给无人机运动姿态的估计增加位置约束，从而增强无人机运动估计的鲁棒性，提高运动估计的精度。最后，对无人机位姿进行点云拼接，同时将激光点云和地图点云进行匹配，优化无人机的状态估计，建立一致的点云地图。三维环境建模算法框架如图6所示。

2.4基于点云的三维环境分割

基于二维图像的语义分割的方法往往难以准确地估计出被识别对象的三维空间位置。对于无人机来说，若想更稳定、更安全地完成降落任务，就需要获取周围环境的三维信息，实时准确地理解周围场景的三维语义信息。因此，需要实现三维点云的语义分割，本文通过传感器标定得到的相机与激光雷达之间的变换矩阵将激光雷达的点云数据投影到相机坐标系中，再通过相机的内参坐标系投影到相机的图像坐标系中。由于我们已经获得了带逐像素语义类别标签相机图像，此时通过最近邻搜索法搜索投影到相机图像坐标系的点云中每个点最近的图像像素，图像像素对应的语义类别标签就是该点的语义标签。最后，将点云转化回激光雷达坐标系就得到了带语义标签的点云数据。

2.5实时落点搜索

通过对点云的语义标签进行筛选，可以得到候选的降落区域，但考虑到语义特征提取的鲁棒性等因素，该候选降落区域中并非所有区域都可以作为无人机的可降落区域。为了确保算法选择着陆区域的正确性与稳定性，本文提出的方法在语义特征的基础上加入点云的几何特征作为约束项，以实现对可降落区域的精确检测与识别。

实时落点搜索算法结构如图7所示，首先搜索带语义标签的点云地图中地面的地形，选择最适合着陆的地形所在区域作为可能着陆区域，并提取该区域对应的点云。根据无人机在不同地形环境中着陆的难易程度，地形的优先顺序通常为铺装地面、硬质土地、草地与沙地。考虑到实际可着陆环境中可能存在斜坡、凸起、凹陷等地形，这些地形往往不利于无人机进行自主着陆，而上述基于深度学习的方法难以准确、稳定地识别这些地形信息。因此，我们在利用点云的几何特征作为约束项选择最合适的着陆点。

利用0.05m的体素网格对点云进行下采样，得到稀疏的可能着陆区域点云地图。假设无人机最终的着陆区域为矩形，并将点云中的每个点设为可能的无人机候选着陆区域的中心点。对于每一个可能中心点，提取该点在原始点云中对应的近邻点云。该点云可以反映候选着陆区域的地形。采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形。首先，统计点云中点的数目，若点云数目不够则说明这部分区域没有被充分检测到或存在水面等不适合着陆的地形，不适合作为着陆区域；然后，计算点云中每点的z坐标值的标准差，若标准差过大则说明候选着陆区域可能为倾斜面或存在凹凸不平的情况，同样不适合作为着陆区域。最后，为了进一步确定候选着陆区域是否为水平面，尝试使用RANSAC算法从点云中拟合平面，若无法拟合出平面或拟合出的平面坡度过大，则说明候选着陆区域不适合作为着陆区域。采用平面法线与z坐标轴的夹角来计算平面的坡度，即

3仿真、試验及分析

3.1 Gazebo仿真试验

利用Gazebo仿真工具搭建虚拟三维场景及具备虚拟传感器的虚拟无人机，结合无人机飞行模拟器构建仿真环境，以验证系统各环节的有效性，进而使用真实的无人机对整个系统的方法进行验证。

在模拟传感器数据方面，Gazebo中可以实现常见的传感器导入，其中包括模型的导入以及传感器数据的仿真。在本文中我们使用了相机以及激光雷达，所以在Gazebo中也对这两种传感器进行了搭建。仿真环境中的传感器如图8所示，对应的传感器数据可以在rviz中实时查看，如图9所示。并搭建相应的仿真环境，如图10所示。

仿真环境搭建完成之后，便可以对本文提出的算法进行仿真环境下的定性测试。图11展示无人机从高空中到低空降落过程中对可降落区域进行基于图像的语义分割和跟踪的测试试验结果。图12（a）展示了无人机在下降的过程中，对下方区域进行基于点云的三维环境建模的结果，图12（b）展示了在建立的三维点云地图上融合图像的语义分割信息得到的基于三维点云语义分割的结果。在进行仿真测试的过程中，无人机可以实时得到可降落区域的识别和跟踪结果，能够引导无人机实现自主泊降。

3.2真实场景测试

整体算法在仿真环境中验证后，在实际的无人机从高空到低空的环境中进行测试，实际搭载识别系统的无人机如图13所示。本文分别做了基于图像的可降落区域搜寻、基于图像的可降落区域跟踪、基于点云的三维环境建模、基于点云三维环境的分割试验。

3.2.1基于可降落区域搜寻与跟踪

针对图像的可降落区域搜寻，我们在M600 Pro无人机上做了实际环境的测试，无人机对可降落区域进行实时语义分割，识别出可降落区域，并把可降落区域对应的像素坐标发给基于点云的三维环境语义分割模块，方便后续将图像的语义分割后的结果通过图像和激光雷达的外参矩阵得到每个三维激光点的类别信息。

依据无人机高空对图像语义分割的结果，对可降落区域实现基于图像的目标跟踪，使无人机由高空缓慢降落到低空。基于图像的可降落区域识别与跟踪的结果如图14所示。由图可以看出，该系统能够很好地跟踪可降落区域。

3.2.2基于点云的三维环境建模

针对点云的三维环境建模，在M600 Pro无人机上通过实际环境数据的采集，对采集的激光雷达点云数据做出处理后建立实际环境的三维模型，实际环境三维模型如图15所示。

3.2.3基于點云的三维环境分割

基于着陆区域三维语义环境模型的着陆地点精确识别结果如图16所示。从图中信息可知，着陆区域检测与识别算法给出了着陆区域的位置（红色部分），该着陆区域位于预设的适合着陆区域，坡度为3.4°，粗糙度为0.29，符合无人机对着陆地点的要求。

由此可知，本文提出的算法在真实环境中同样可以根据着陆区域的三维语义环境模型实现着陆地点的精确识别。

4结束语

本文针对传统的无人机着陆点识别方法中存在的只利用相机或激光雷达等单一传感器的数据进行识别导致的准确率较低、适用范围较窄且鲁棒性较差的问题，提出一种融合多传感器的无人机着陆区域检测与识别方法，在很大程度上摆脱了单一传感器数据为自主着陆系统提供的信息不足、数据不准的问题。首先，通过对相机拍摄的图像数据语义分割，以确定可能的降落区域大致位置；然后，通过图像跟踪算法持续跟踪该区域并引导无人机飞向该可能的降落区域，然后对激光雷达、IMU和相机等传感器的数据进行融合得到降落区域的精确三维位置信息。我们还将点云语义特征与利用传统几何方法提取的点云特征相结合，以进一步提高算法的准确性与鲁棒性，实现对无人机着陆区域的精确鲁棒识别。

参考文献

[1]姜延欢，杨永军，李新良，等.智能无人系统环境感知计量评价研究[J].航空科学技术， 2020， 31（12）：80-85. Jiang Yanhuan，Yang Yongjun，Li Xinliang，et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology，2020，31（12）：80-85.（in Chinese）

[2]夏路，王琳，梁颖茜.基于PNP的多尺度目标视觉智能辅助降落系统[J].航空科学技术，2020，31（10）：21-29. Xia Lu，Wang Lin，Liang Yingxi. PNP-based multi-scale target visionintelligent-assistedlandingsystem[J]. Aeronautical Science & Technology，2020，31（10）：21-29.（in Chinese）

[3]Sharp C S， Shakernia O， Sastry S S. A vision system for landing an unmanned aerial vehicle[C]// IEEE International Conference on Robotics andAutomation. IEEE， 2001.

[4]Bosch S， Lacroix S， Caballero F. Autonomous detection of safe landing areas for an UAV from monocular images[C]// 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2006： 5522-5527.

[5]Cheng Y. Real-time surface slope estimation by homography alignmentforspacecraftsafelanding[C]//2010IEEE International Conference on Robotics and Automation. IEEE， 2010： 2280-2286.

[6]Johnson A， Montgomery J， Matthies L. Vision guided landing ofanautonomoushelicopterinhazardousterrain[C]// Proceedings of the 2005 IEEE International Conference on Robotics andAutomation. IEEE， 2005： 3966-3971.

[7]Desaraju V R， Michael N， Humenberger M， et al. Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing[J]. Autonomous Robots， 2015， 39（3）： 445-463.

[8]Forster C， Faessler M， Fontana F， et al. Continuous on-board monocular-vision-basedelevationmappingappliedto autonomous landing of micro aerial vehicles[C]// 2015 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2015： 111-118.

[9]Theodore C， Rowley D， Ansar A， et al. Flight trials of a rotorcraft unmanned aerial vehicle landing autonomously at unprepared sites[C]// Annual Forum Proceedings-American Helicopter Society， 2006.

[10]Meingast M， Geyer C， Sastry S. Vision based terrain recovery for landing unmanned aerial vehicles[C]// 2004 43rd IEEE Conference on Decision and Control （CDC） （IEEE Cat. No. 04CH37601）. IEEE， 2004.

[11]Garg M， Kumar A， Sujit P B. Terrain-based landing site selection and path planning for fixed-wing UAVs[C]// 2015 International Conference on Unmanned Aircraft Systems（ICUAS）. IEEE， 2015： 246-251.

[12]Mittal M， Valada A， Burgard W. Vision-based autonomous landing in catastrophe-struck environments[J]. Robotics， 2018.

[13]Scherer S， Chamberlain L， Singh S. Autonomous landing at unprepared sites by a full-scale helicopter[J]. Robotics and Autonomous Systems， 2012， 60（12）： 1545-1562.

[14]Maturana D， Scherer S. 3D convolutional neural networks for landing zone detection from lidar[C]//2015 IEEE international conference on robotics and automation （ICRA）. IEEE， 2015： 3471-3478.

[15]韓家明，杨忠，陈聪，等.无人机视觉导航着陆标识检测与分割方法[J].应用科技，2020，47（4）：1-7. Han Jiaming， Yang Zhong， Chen Cong， et al. Detection and segmentation method of UAV visual navigation landing mark[J]. Applied Science and Technology， 2020， 47（4）：1-7.（in Chinese）

[16]李睿康，黄奇伟，冯辉，等.崎岖地表上的旋翼无人机自主安全降落系统[J].机器人，2020，42（4）：416-426. Li Ruikang， Huang Qiwei， Feng Hui， et al. Autonomous safe landing system of rotary-wing UAV on rugged surface[J]. Robot， 2020， 42（4）： 416-426.（in Chinese）

[17]李靖，马晓东，陈怀民，等.无人机视觉导航着陆地标实时检测跟踪方法[J].西北工业大学学报，2018，36（2）：294-301. Li Jing， Ma Xiaodong， Chen Huaimin， et al. Real-time detection and tracking method of UAV visual navigation landmark[J]. Journal of Northwestern Polytechnical University， 2018， 36（2）： 294-301.（in Chinese）

[18]Poudel R P， Liwicki S， Cipolla R. Fast-scnn： fast semantic segmentationnetwork[C]//ProceedingsoftheIEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[19]Wang Q， Zhang L， Bertinetto L， et al. Fast online object trackingandsegmentation：aunifyingapproach[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[20]Zhang J， Sanjh S. LOAM： Lidar odometry and mapping in realtime[C]//Robotics： Science and Systems Conference， 2014.

Research on the Identification Method of UAV Landing Area Based on Multi-sensor Fusion

Liu Fei1，Shan Jiayao1，Xiong Binyu1，Fang Zheng1，Yang Zhengquan2

1. Northeastern University，Shenyang 110819，China

2. China Aircraft Strength Institute，Xian 710065，China

Abstract： When the UAV encounters the emergency situation of low power， loss of remote control signal， loss of GPS signal， sudden weather change and so on， it is very important to rely on the airborne sensor to achieve the autonomous landing of the UAV to the safe area. In order to ensure that the UAV can automatically identify the safe landing area and realize the safe and autonomous landing in an emergency situation or after receiving landing instructions， we propose a method for the UAV landing area identification based on multi-sensor fusion and deep learning network framework. Firstly， the safe landing area is searched based on the airborne image information of the UAV. Then the safe landing area is tracked using twin networks. When the UAV lands to a certain altitude， airborne liDAR is used to conduct real-time modeling and semantic segmentation of the near-surface environment to determine the safe landing area. Finally， the accurate position and pose information of the landing area is calculated by the realtime landing area point cloud model， which can be used for real-time landing control of the flight control system. Experimental studies in simulation environment and actual environment show that the identification accuracy of landing area based on multi-sensor fusion method reaches 90%， the error of position identification is 5cm， and the estimation error of terrain elevation during landing is 2cm， which can meet the requirements of autonomous safe landing of the UAV. Through the research on the identification method of landing area， the UAV can recognize the landing area below， and then guide the UAV to achieve safe autonomous landing.

Key Words： autonomous landing； deep learning； multi-sensor fusion； 3D lidar； semantic segmentation