低空旋翼无人机全景视觉障碍物感知关键技术研究

摘要：旋翼无人机以灵活性和高效性的特点被广泛应用于植保、空中测绘、搜救等任务，但在这些任务中，环境往往是复杂的、未知的，导致无人机时刻面临各类障碍物的威胁。针对低空旋翼无人机在未知户外环境中的避障任务，总结了当前主流的基于全景视觉技术的全向障碍物感知中的关键技术，从无人机姿态感知、3D环境感知、目标感知、障碍物感知等方面展开详细说明，指出制约避障技术发展的关键因素，并讨论了其发展趋势。

关键词：无人机全景视觉障碍物感知避障

ResearchonKeyTechnologiesofOmnidirectionalVisionObstaclePerceptioninLow-AltitudeRotorcraftUAVs

JIANGXiaoyanDUJinpingWUXiaofeiDUXinBAIJunpingHUAJieZHANGGuohua

HebeiInstituteofMechanicalandElectricalTechnology，Xingtai，HebeiProvince，054000China

Abstract：Withthecharacteristicsofflexibilityandefficiency，low-altituderotorcraftunmannedaerialvehicles（UAVs）arewidelyusedinplantprotection，aerialmapping，searchandrescueandothertasks.However，inthesetasks，theenvironmentisoftencomplexandunknown，resultinginthethreatofvariousobstacles.Aimingattheobstacleavoidancetaskoflow-altituteUAVsinunknownoutdoorenvironment，thispapersummarizesthekeytechnologiesofomnidirectionalobstacleperceptionbasedonOmnidirectionalVisiontechnology，elaboratesfromUAVattitudeperception，3Denvironmentperception，targetperception，obstacleperceptionandotheraspects，pointsoutthekeyfactorsrestrictingthedevelopmentofobstacleavoidancetechnology，anddiscussesitsdevelopmenttrend.

KeyWords：UAV;Omnidirectionalvision;Obstacleperception;Obstacleavoidance

低空无人机在自主飞行过程中需要依靠机器视觉感知环境，并快速提取障碍物的大小、移动方向等信息。但实际的视觉图像包含了大量的冗余信息，将图像传输到地面站进行处理，非常耗时，这对机载处理器的计算能力和相应的可视化算法提出了更高的要求。

全景视觉系统通常追求较大的视场，从普通相机到鱼眼相机，视场的增加会在视觉成像中引入严重畸变，需通过相机标定、畸变矫正等措施消除几何形变，其效果直接影响后续的特征提取、特征匹配、全景图拼接、障碍物检测定位等图像算法的有效性与准确性。因此，采用哪种全景视觉系统架构以获得高成像质量和大视场的全景图像就显得尤为重要。全景视觉系统一般由图像传感器、图像处理和全景成像等模块组成。根据视觉传感器的数量，其可分为单目全景和多目全景；根据视觉传感器结构不同，其又可分为普通多目全景、鱼眼全景、折反射全景等。近年来，随着技术的突破和硬件的发展，全景视觉在无人机领域得到了迅速的发展和应用。例如：EVOII和Mavic3配备了高分辨率视觉传感器用以辅助实现避障和导航，但是，EVOII在实现全方位避障时在4个对角线方向仍有盲点，Mavic3在颜色纯粹的表面、光线变化快的环境、尺寸小的障碍物、能见度低的场景等情况下效果较差。

针对无人机在低空域复杂环境中的应用，本文回顾和总结了全景视觉障碍物感知中关键技术的研究与应用现状，讨论了存在的瓶颈问题，并拟定下一步研究方向。

1飞行姿态感知

无人机的飞行姿态包括高度、速度、加速度等。目前，主流的基于视觉的姿态感知方法包括光流和视觉SLAM。

1.1光流

光流是指给定像素在连续帧之间的移动速度矢量。Parrot在2010年发布的ARDrone是最早使用光流进行速度估计和定位的无人机产品[1]，它使用超声波测距，有效范围约为4m，可以在室内精确悬停和跟踪。目前，市场上很多低空无人机都采用光流模块辅助状态估计。

1.2视觉SLAM

视觉SLAM是一种通过视觉传感器获取周围环境的三维稀疏地图，以及无人机在其中的位置、姿态等信息的技术。自2003年帝国理工学院开发出第一个实时视觉SLAM系统[2]以来，其理论框架逐渐成熟。单摄像头SLAM系统具有较好的通用性，但无法准确获取现实世界中的相机轨迹和三维点云[3]。使用两个或多个相机可以克服这个问题，但相对而言，需要更多的计算量。高端无人机往往使用专用的视觉计算芯片来加速视觉SLAM算法

23D环境感知

3D环境感知的目标是利用视觉图像信息恢复场景的3D密集地图。

2.1视觉深度估计

视觉深度估计的目的是估计场景的深度，即场景中每个点到相机成像平面上对应像素点之间的垂直距离。

2.1.1基于主动视觉的方法

该方法通常使用投射到被测物体的表面的结构光[4]，其特点是主动视觉系统主动改变内部参数（焦距、光圈等）和外部参数（位置、方向、光源条件等），与环境进行主动交互，获得更有价值的视觉数据。在低空无人机的应用中，源功率限制了投射强度和投射距离，因此可以测量的深度是有限的。另外，室外场景中存在大量的红外波段光，导致红外图案容易被污染，从而使该方法失效。

2.1.2基于被动视觉的深度估计

与主动视觉相比，基于被动视觉的方法不存在光源干扰的问题，不受室内和室外限制。其典型方法是双目视差估计[5]、典型应用是ZED双目摄像机[6]，其准确性取决于双目图像中特征点的正确匹配度。当纹理缺失或光照较差时，匹配难度较大。近年来，基于深度学习的双目视差估计方法在解决该问题时取得了很好的进展[7]，但过度依赖GPU计算单元的性能，难以保证实时性。

2.23D地图表示与更新

3D地图表示的一种简单方法是将场景地图划分成小方块，根据落在方格内的三维点的数量，给出每个方格被占领的概率（称为占据图[8]）。在3D空间中，方格越精细，消耗的内存就越多。考虑到全局地图中存在大量占用概率为零的空白方格，提高存储效率的一种解决方案是只保存非空白方格，并采用八树的数据结构进行管理，以便快速检索[9]。

3障碍物感知

为了保证低空无人机在复杂环境下的自主、安全飞行，自主快速识别和躲避障碍物的能力至关重要。

3.1基于视觉测距的障碍物感知

利用3D地图获取场景深度，进一步重建局部三维障碍物图，用于障碍物检测和定位，规划飞行路径。目前，主流避障方案大多采用该方法，其缺点是视觉测距的精度和范围相对有限。此外，可视化算法的运行需要大量的计算资源，这对实时避障是一个挑战。

随着硬件的发展，障碍物感知算法的性能和计算效率有了很大的提高。第一种思路：基于形态Haar小波[10]，首先定位障碍物候选区域，其次提取生成候选区域的HOG特征，最后利用支持向量机实现障碍物的识别和分类。该方法特征提取过程复杂，不能全面提取有效特征，甚至出现无效特征。第二种思路：基于区域建议的典型R-CNN级数算法[11]，结合空中目标的特点，FasterR-CNN[12]算法在光照变化和复杂背景条件下对小目标、多目标和被遮挡目标的检测取得了理想的效果。第三种思路：不带区域建议的目标检测模型只需要前向传播操作即可完成目标检测，典型算法如YOLO[13]系列检测算法。

3.2基于光流法的障碍物感知

当物体移动时，视觉系统获得变化的信息，通过神经系统的处理，确定障碍物与自身之间的碰撞时间（Time-To-Collision，TTC）[14]。因此，该算法旨在从光电流中提取TTC以进行避障飞行。目前，基于TTC的避障技术已成功应用于辅助驾驶中。在低空无人机上实现基于光学电流的障碍物感知存在两个难点。

3.2.1光流计算的质量和效率

Lucas-Kanade方法[15]虽然计算效率高，但只能计算稀疏特征点处的光流，存在遗漏障碍物的风险。然而，传统的密集光流算法涉及大量优化[16]，在CPU计算能力有限的情况下，无法满足实时性要求。基于神经网络的光流计算部署在低空无人机上，在GPU计算能力足够的情况下，可以达到实时性。

3.2.2从光流中获得准确的TTC

QUANQ[17]基于前向飞假设计算TTC，YANGG等人[18]通过分析局部区域的面积尺度计算TTC。后者对无人机飞行模式的依赖较小，但两种计算方法都是近似计算方法，误差较大。

4瓶颈归纳

以上关键技术各有优缺点，在特定任务和特定场景中取得了很好的检测效果。但在实际应用中，一些共性难点的存在仍然制约着基于全景视觉的障碍物感知技术的发展与应用。

首先，机载处理器的算力瓶颈是实现全景视觉避障系统的最大挑战。由于负载和功耗的限制，加之避障系统所采用的视觉算法消耗了大量的CPU计算资源，目前，在低空无人机中，能够满足视觉感知系统的机载计算单元的产品很少，大部分产品使用NVIDIAJetson系列模块。近年来，研究人员提出了许多基于深度学习的方法。从视觉SLAM方法[19]可以看出，在纹理丢失和强光条件下，神经网络对提高视觉感知能力非常有帮助。然而，基于深度学习的方法依赖于大量的真值数据进行训练，耗时且费力。

其次，恶劣环境对避障算法的影响。针对雾、雨、雪等特殊自然环境，HEKM等人[20]、FUXY等[21]和LIUYF等人[22]分别设计了提高实时图像质量的算法，通过采集恶劣环境下的数据，训练得到了相应的神经网络模型。WANGRZ等人[23]利用无人机的动力学特性来辅助自我状态感知。另外，从硬件层面来说，红外传感器可以增强在黑暗中的感知能力。事件相机[24]作为一种仿生视觉传感器，能够感知场景的亮度变化，具有高fps（高达100万帧）、低延迟（微秒级）、高动态光照范围、低功耗等优点，非常适合应用于轻型和小型无人机。

5结语

构建高度智能的视觉感知系统是低空无人机在复杂三维空间中实现灵活飞行的关键。随着深度学习和机器视觉的快速发展，在特定的环境下，基于全景视觉的障碍物感知已经有了相应的解决方案，但仍存在计算效率低、环境条件影响等技术瓶颈。下一步，基于本文的工作，本课题组将在全景图像拼接、实时障碍物检测（尤其是小型动态目标）、有效避障策略等方面开展创新实践研究。

参考文献

• BRISTEAUPJ，CALLOUF，VISSIÈRED，etal.ThenavigationandcontroltechnologyinsidetheAR.DronemicroUAV[J].IFACProceedingsVolumes，2011，44（1）：1477-1484.

• DAVISONAJ，REIDID，MOLTONND，etal.MonoSLAM：Real-timesinglecameraSLAM[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2007，29（6）：1052-1067.

• TRIGGSB，MCLAUCHLANPF，HARTLEYRI，etal.Bundleadjustment—Amodernsynthesis[C].VisionAlgorithms：TheoryandPractice，1999，1883：298-372.

• SALVIJ，PAGESJ，BATLLEJ.Patterncodificationstrategiesinstructuredlightsystems[J].PatternRecognition，2004，37（4）：827-849.

• SCHARSTEIND，SZELISKIR.Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms[J].InternationalJournalofComputerVision，2002，47（1）：7-42.

• FIRDAUSAR，HUTAGALUNGA，SYAHPUTRAA，etal.Indoorlocalizationusingpositionaltrackingfeatureofstereocameraonquadcopter[J].Electronics，2023，12（2）：406.

• KHAMISS，FANELLOS，RHEMANNC，etal.Stereonet：Guidedhierarchicalrefinementforreal-timeedge-awaredepthprediction[C]//ProceedingsoftheEuropeanConferenceonComputerVision（ECCV）.2018：573-590.

• GUIZILINIV，RAMOSF.Unsupervisedfeaturelearningfor3Dscenereconstructionwithoccupancymaps[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence，2017，31（1）.

• HORNUNGA，WURMKM，BENNEWITZM，etal.OctoMap：Anefficientprobabilistic3Dmappingframework basedonoctrees[J].AutonomousRobots，2013，34（3）：189-206.

• CHENJ，NIUJL，CHENDH.ResearchonintelligentwheelchairobstacleavoidancebasedonAdaBoost[C]//AppliedMechanicsandMaterials，2013，312：685-689.

• GIRSHICKR，DONAHUEJ，DARRELLT，etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//IEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.

• SALVADORA，GIRÓ-I-NIETOX，MARQUÉSF，etal.FasterR-CNNfeaturesforinstancesearch[C].IEEEConferenceonComputerVisionandPatternRecognitionWorkshops，2016：9-16.

• WUWT，LIUH，LILL，etal.ApplicationoflocalfullyconvolutionalneuralnetworkcombinedwithYOLOv5algorithminsmalltargetdetectionofremotesensingimage[J].PloSOne，2021，16（10）：e0259283.

• GALBRAITHJM，KENYONGT，ZIOLKOWSKIRW.Time-to-collisionestimationfrommotionbasedonprimatevisualprocessing[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2005，27（8）：1279-1291.

• BAKERS，MATTHEWSI.Lucas-kanade20yearson：Aunifyingframework[J].InternationalJournalofComputerVision.2004，56（3）：221-255.

• MENZEM，HEIPKEC，GEIGERA.Discreteoptimizationforopticalflow[C]//GermanConferenceonPatternRecognition，2015：16-28.

• QUANQ.Introductiontomulticopterdesignandcontrol[M].Singapore：Springer，2017.

• YANGG，RAMANAND.Upgradingopticalflowto3dsceneflowthroughopticalexpansion[C]//IEEE/CVFConferenceonComputerVisionandPatternRecognition，2020：1334-1343.

• CZARNOWSKIJ，LAIDLOWT，ClarkR，etal.Deepfactors：Real-timeprobabilisticdensemonocularSLAM[J].IEEERoboticsandAutomationLetters，2020，5（2）：721-728.

• HEKM，SUNJ，TANGXO.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysisandMachineOIntelligence，2010，33（12）：2341-2353.

• FUXY，HUANGJB，DINGXH，etal.Clearingtheskies：Adeepnetworkarchitectureforsingle-imagerainremoval[J].IEEETransactionsonImageProcessing，2017，26（6）：2944-2956.

• LIUYF，JAWDH，HUANGSC，eta1.DesnowNet：Context-awaredeepnetworkforsnowremoval[J].IEEETransactionsonImageProcessing，2018，27（6）：3064-3073.

• WANGRZ，ZOUDP，XUCQ，etal.Anaerodynamicmodel-aidedstateestimatorformulti-rotorUAVs[C]//2017IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems（IROS），2017：2164-2170.

• GALLEGOG，DELBRUCKT，ORCHARDGM，etal.Eventbasedvision：Asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2020（99）：1.