基于深度学习的无人机自主避障方法研究

贾俊良， 孙 哲

（北京电子科技职业学院机电工程学院， 北京 100176）

0 引言

随着科技的不断进步，无人机技术得到了快速发展，因其具有体积小巧、飞行灵活、机动性强的特点，在航拍航测[1]、施药植保[2]、交通巡查[3]、地质勘探[4]和灾害救援[5]等领域被广泛应用。 用无人机代替传统人工巡航飞行具有成本低、效率高的优势，但由于飞行中存在诸多不可预知的障碍，如人、树木、电线和建筑等等，在飞行中如不能及时识别与躲避障碍，则会造成飞行任务失败，甚至出现无人机损坏和人员伤害等危险情况的发生[6-8]。因此，无人机自主避障技术[9]成了无人机领域研究的热点问题。

近年来，人工智能在图像识别方面的快速发展，使机器对周围环境的感知与判断变得更加快速与精准， 尤其是深度学习在物体识别方面的技术进步， 突破了传统图像处理算法在特征提取上的技术瓶颈问题[10-12]。 深度学习技术已广泛应用在人脸识别[13]、人体动作检测[14]、物体检测[15]和图像语义分割[16]等方面。 深度学习采用数据驱动方式进行特征提取，通过对大量图像目标样本的学习，获取数据集特定的特征表示， 其对数据集的表达更加高效和准确， 是实现无人机在复杂环境下对障碍物进行快速精准识别的重要技术手段。 在物体定位方面，随着飞行时间深度感知技术[17]的不断成熟，在不同距离的测量精度上相较于传统三角定位法有了大幅提升，成为了3D 视觉定位领域中极具发展前景的技术方法。

为此， 本项目拟采用深度学习目标检测技术与飞行时间深度感知技术相结合的方法， 探索无人机自主飞行的智能化、自动化解决方案，提升无人机自主避障能力，为推动无人机自主飞行技术及相关研究提供技术支持。

1 国内外研究现状分析及存在问题

国内外目前环境感知方法主要包括声学传感、 激光传感、红外传感、机器视觉和毫米波雷达，或者这些方法组合而成的复合方法[18]。 Roberts 等[19]将多个超声波传感器安装在无人底部与侧面， 分别获取无人机飞行高度信息和无人机与墙面距离信息，通过对数据的分析与处理，完成对周围环境的评估与感知， 实现了无人机室内环境下的避障飞行，但受限于超声波传感器的探测精度，无法适应室外复杂环境的避障需求；李海林等[20]采用激光列阵传感器对植保无人机周边环境进行实时检测， 建立了基于机器学习的树木与电线杆两个类别的分类器， 在户外环境下对障碍物检测和识别效果进行了验证， 结果表明对两种障碍物识别的平均准确率为97%， 实现了植保无人机田间自主避障飞行，但整体价格高昂，且易受环境天气影响；杨福增等[21]研究了基于机器视觉的障碍物定位方法，该方法通过安装两个摄像头实现双目立体视觉，在进行视觉标定后可获取无人机与障碍物之间的距离，识别准确率为96%，平均耗时小于100ms，户外试验取得了较好的避障效果。但该方法受光照变化影响较大，且有效识别距离小于2m，因此仅能执行低速飞行任务的避障工作。 孙学超等[22]研究了一种基于毫米波雷达的茶园环境感知方法，该方法将毫米波雷达安装在无人机下方，实现了地面仿形功能， 在飞行过程中能够在起伏地形上保证无人机与地面恒定高度，但整体体积与耗能过大，导致应用场合较窄。

由上述可知， 单一类型传感器对障碍物进行检测具有各自优缺点，不能完全满足复杂环境的自主避障需求，而基于多传感器融合技术的环境感知方法， 将充分发挥不同传感器的长处并弥补不足[23-24]。 Fasano 等[25]将一个波段雷达、 两个彩色相机和两个红外相机组成一套环境感知系统（DS&A 系统）。 波段脉冲雷达作为主要传感器，四光电相机（两个接收可见光波段，两个接收红外波段）作为辅助传感器。通过设计一个逻辑硬件体系结构，将各传感器获取的数据进行融合， 最终实现了复杂环境下障碍物的识别与跟踪。

Yang 等[26]为实现无人机的精准避障，将彩色相机和红外传感器相结合， 提出了一种基于中间感知的避障轨迹预测方法。 该方法主要包括三个步骤， 第一步是以NYU v2 RGB-D 数据集为基础，将飞行轨迹分为直行、左转、右转、左前、右前5 个类别，即将轨迹预测问题转换为深度学习的分类问题；第二步进行中间感知，通过深层神经网络预测彩色图像对应的深度图和表面法向量 （障碍物与无人机之间的几何特征）；最后一步是将步骤二中生成的深度图和表面法向量输入到一个分类卷积网络中，得到最终的飞行轨迹。实验表明，该方法较单独对彩色图像进行轨迹预测的精度高出20%。

综上所述， 多种类型传感器复合使用的方式能够提升无人机环境感知和避障防撞能力， 国内外都在开展基于多传感器融合技术的无人机避障方法研究， 但如何实现无人机精准避障并最终实现自主飞行， 仍是一大技术难题。 本研究紧紧围绕复杂环境下无人机环境感知技术展开探索研究， 将深度学习目标检测方法引入到障碍物识别中，赋予无人机更高层次的感知能力，通过彩色信息与深度信息相结合的方式，提升障碍物定位信息精度，并依据障碍物类别制定无人机飞行策略， 为无人机实现智能自主避障提供更为丰富的决策依据。

2 障碍物图像采集与数据集建立

本研究以多旋翼无人机为研究对象， 采集飞行中典型障碍物（人、树木、电线和建筑）照片。 通过在无人机上搭载摄像头的方式，采集不同高度、角度的障碍物图像。无人机飞行路径中障碍物的类别与属性不同， 且环境具有不确定性，为提高深度学习模型泛化能力和鲁棒性，降低光照变化、 物体遮挡和阴雨雾霾等天气对障碍物检测的影响，分多批次在变化光照强度、物体遮挡、阴雨雾霾天气等环境下采集障碍物照片。

在此基础上，采用空间滤波的方式对数据进行增广，保证获取新数据样本的同时， 保留原始图像的主要特征和信息。 将采集的原始图像和数据增广获取的图像进行随机混合，建立无人机飞行障碍物数据集，并对不同障碍物照片进行人工标注。 部分样本示例，见图1。

图1 样本多样性示例Fig.1 Examples of sample diversity

3 障碍物识别模型建立

采用深度学习目标检测算法， 对深层神经网络进行训练与优化，建立障碍物识别与分类的视觉模型，见图2，将带有标签的图像输入到模型中，通过对模型的训练，完成不同障碍物的特征识别和信息提取， 并通过对网络结构及参数的优化，提升障碍物的识别精度。 在此基础上，使用迁移学习的方式， 将MS-COCO 数据集的训练权重对本网络模型进行初始化， 提升模型的收敛速度与识别性能。 最后，在无人机飞行的真实环境中进行对比试验，选取最佳检测模型， 实现基于机器视觉的多种障碍物精准识别。

图2 Faster R-CNN 模型结构Fig.2 Faster R-CNN architecture

4 图像匹配与障碍物定位

为保证无人机飞行任务的顺利进行， 需要获取飞行路径中障碍物与无人机在空间中的相对位置， 确保无人机能有足够的空间躲避障碍物， 本研究将深度信息与障碍物类别属性信息相结合， 制定无人机飞行方案与避障策略，以满足无人机飞行避障需求。

彩色相机与深度相机采集的图像分别用于障碍物的检测和距离测定， 但由于深度相机与彩色相机的安装位置、相机参数和视角的不同，深度图像与彩色图像视场存在较大差异，为将两种图像信息有效融合，需对其进行图像匹配。本研究以彩色图像为基准，对深度图像进行视场匹配， 使障碍物在两种图像中处于相同位置。 在此基础上，提取彩色图像障碍物检测框内的深度信息，对其进行模糊、滤波与去噪处理，提升障碍物与无人机相对距离的测量精度。 如图3 所示为障碍物定位原理图。

图3 障碍物定位原理图Fig.3 Schematic diagram of obstacle positioning

5 避障策略制定与轨迹规划

无人机飞行环境中存在多种障碍物， 障碍物的准确识别与分类是制定避障策略的关键， 本研究利用深度学习目标检测方法， 训练深层神经网络， 获取目标分类模型，通过实时采集无人机飞行中的图像，判断飞行路径中的障碍物种类及其数量。

根据飞行路径上障碍物与无人机之间的相对距离，将二者之间的区域划分为安全区、预警减速区和避障区。当无人机处于安全区 （即无碰撞风险或碰撞风险极低的区域），无人机正常执行飞行任务；当障碍物与无人机距离达到设定阈值，则进入预警减速区，无人机根据障碍物类别与属性，做出减速飞行并进行悬停避让、拉升避障、绕飞越障的飞行策略判断； 当减速到安全飞行速度并进入避障区，无人机执行相应避障策略，避障飞行期间，根据深度信息持续判断碰撞风险，当触发高风险碰撞警报，则悬停请求人工接管， 降低撞机造成的无人机损坏和人员伤害风险。 最后通过仿真和试验， 对整个系统进行优化，提升无人机在复杂环境下的感知与避障能力。

图4 测试结果Fig.4 Test result

6 结论

多种障碍物的精准识别与位置信息获取技术。 户外环境复杂，视觉系统常受到光照变化、物体遮挡和阴雨雾霾等影响， 采取深度学习算法和飞行时间深度感知方法相结合的方式实现障碍物的精准识别定位。

基于障碍物类别与属性的避障技术。 针对无人机飞行中遇到的不同障碍物，制定最优避障策略，提高无人机自主避障的智能化程度。