薛菁 李帅 代妮娜 雷国平 张望
摘 要:无人机视觉定位技术将无人机作为载体,结合图像识别技术,提取并处理视觉信息,作为无人机精准降落应用领域的拓展。基于视觉定位技术,报告了无人机精准降落技术的国内外研究进展情况,对无人机精准降落技术做出了说明,并结合国内外无人机精准降落应用实例,对无人机精准降落的未来发展提出了建议,展望了无人机精准降落的发展前景。
关键词:无人机;图像处理;精准降落
中图分类号:TP391.4 文献标识码:A文章编号:2096-4706(2021)15-0134-03
Abstract: UAV visual positioning technology uses UAV as a carrier, to extract and process visual information by using image recognition technology, and making this as an extension of the application field of UAV precise landing. Based on visual positioning technology, this paper reports the research progress of UAV precise landing technology at home and abroad, explains the UAV precise landing technology, puts forward suggestions for the future development of UAV precise landing combined with the application examples of UAV precise landing at home and abroad, and looks forward to the development prospect of UAV precise landing.
Keywords: UAV; image processing; precise landing
0 引 言
多旋翼无人机已经有100多年的历史,四旋翼作为小型多旋翼无人机的一种,也已经存在超过25年。因其易用、开放和安全,而具有广泛的民用和军用价值。无人机降落是一个机动过程,且在无人机的危险案例中,着陆事故占了80%,因而對其精准降落也提出了更高的要求。
传统的无人机技术主要依靠惯性导航系统(Inertial Navigation System, INS)和全球定位系统(Global Position System, GPS)进行定位,然而,定位过程中也会受到多方面的影响,例如GPS并不总是可获取的,比如在立交桥,高楼附近都会失效,并且即使是可获取,它所提供的高度数据通常也是不准确的,需要用一个近距离传感器来进行补偿,但即使是补偿后的数据也仍然不准确,在水平面上的着陆位置通常会离预定位置有1~3米的偏差。而且INS和GPS不能在室内使用,由于这些原因,INS和GPS主要用于对精度要求低的室外飞行。而且当无人机处于低海拔时,可能会由于标记太大,无法进入相机的视野,此外,无人机的“阴影”也可能会对图像造成遮挡。而另一方面,当无人机在更高的高度飞行时,图像可能由于太小而无法被检测到。越来越多的团队对无人机精准降落展开了研究。
随着现代技术的发展,计算机视觉定位逐步走上无人机技术领域的舞台。视觉定位技术提取图像的主要特征,对大量图片信息进行自动处理,以辨识图像中的目标图像,获得图像的空间位置信息。
在获得图像的位置信息后,无人机机载平台将依据图像位置信息进行降落。本文旨在对基于视觉定位的无人机精准降落技术进行说明,以便对接下来无人机精准降落技术的发展提供有益的帮助。
1 国内外无人机精准降落发展综述
无人机视觉定位技术是由视觉传感器获取目标图像,经过数字图像处理及特征点提取,得到目标的图像坐标,再由计算机实现被测物体的空间几何参数和位置姿态等参数的快速计算。主要分为有标记的视觉定位和无标记的视觉定位,其中无标记的定位需要关于场景的先验知识,首先获得环境地图。同时,视觉定位在其他事物上的使用也可以为无人机视觉定位的发展提供可取之处。无人机视觉定位原理如图1所示。
基于视觉定位技术,无人机的精准降落也得到了进一步的发展。无人机精准降落是指使无人机平稳且误差最小的降落到指定位置。目前国内外对无人机精准降落的研究主要从两方面展开:
(1)基于RTK地面站的精准降落,通过RTK基站给无人机发送无人机机场在大地坐标系下的精确位置。
(2)基于视觉定位技术的精准降落,通过无人机机载图像识别设备辨识地面目标降落点,获得目标降落点与无人机的相对位置。
接下来将对基于视觉定位技术的无人机精准降落进行阐述。
1.1 国内发展
付文龙等[1]为了准确识别压板投退状态而提出了一种基于图像处理与形态特征分析的智能变电站保护压板状态识别方法。该方法首先需采集图像,进行图像处理,而后根据RGB值提取有效色块,对图像进行灰度化、二值化以及形态学处理,同时提取连通区域,进行形态特征分析,确定有效压板区域数量,最后依据各有效压板区域重心,确定有效压板顺序。实验结果表明,该方法可有效解决人工巡检时的误操作问题。
徐滔宏等[2]在智能变电站保护压板状态识别的图像处理方法上对无人机的视觉引导降落技术进行了研究。该技术利用机载机器视觉模块处理摄像头采集到的图像信息,再采用PID算法控制水平位置,其成像原理式为:
式中Ps为镜头中每个像素单元对应的物理距离;Px、Py为整个图像平面的中心点像素坐标值40和30;f为摄像头焦距;H为超声波传感器所测得的无人机竖直对地高度;θ、φ分别为无人机的横滚角和俯仰角。由于摄像头安装过程中不一定安装在机架正中心,导致在实际定点时无人机不能定在黑色块正上方,因此需要测量摄像头与机架中心在X轴和Y轴上的偏移量X0和Y0,对估计的无人机相对位置进行补偿。
得到无人机水平位置的偏移量,无人机水平位置控制器结构如图2所示。
并對该偏移量进行补偿,从而对无人机实现高度控制,然后再进行定速高度下降控制。无人机高度控制器结构如图3所示。
实验结果表明,该技术可以使无人机自主降落到目标位置。
吴文秀等[3]在无人机可自主降落的基础上考虑了无人机的续航问题,因为当前无人机普遍续航能力不足,因此为了确保无人机顺利完成指定任务,需要对无人机进行充电,因而使无人机精准降落至充电基站意义重大。
以实现无人机的定点降落为目标进行系统设计,系统整体框图如图4所示。
而且他们也对降落位置处的标志进行了更新,提出了AprilTag标志,该标志有六个自由度信息,可使无人机机载设备更好进行图像识别。同时他们提出的是GPS和视觉识别相结合的定位方法。该方法是让无人机根据GPS导航至无人机充电基站附近,然后启用Openmv视觉辅助实现无人机精确降落。以无人机为原点建立的坐标系如图5所示。
综上所述,图像处理的发展使得目标图像的处理更加便捷,节约了成本的同时提高了工作效率。但是徐滔宏等人的技术只是在实验室中得到了验证,并未在实际情况中进行模拟,实际环境复杂多变,遇到的困难也会更多。吴文秀等人的研究使得目标标志物可以更精准的被检测到,但是缺乏对充电基站所处环境的探测,因为无人机执行任务的环境通常比较恶劣,所以建立充电基站非常不容易。
1.2 国外发展
目前国外对无人机视觉定位的研究主要集中在如何稳健和准确估计无人机在传输网格中的位置。
Abhimanyu Singh Garhwal等[4]开发了一种用于图像识别的生物信息学方法,可识别有嵌入水印或没有嵌入水印的图像。该方法是将图像表示为一个可解析的字符串(即一个具有底层结构的序列),并将整个测试图像编码成DNA字母,利用生物信息学序列比对技术提取公共子串,这个子串将被输入到语法识别器中进行图像识别。
生物信息学启发的图像识别方法可以运用到无人机寻找降落标志上。
Jamie Wubben等[5]针对目前定位系统提供数据的不准确性,提出了一种基于使用ArUco标记的高精度着陆解决方案。该方案是UAV搜索ArUco标记,如果未检测到标记,UAV会自动改变飞行模式,如果该模式持续30 s,搜寻任务将自动停止,UAV将只使用GPS着陆。如果UAV的高度大于13.0 m,b设置为20度;否则,设置为10度。这些值是基于:标记的检测距离、UAV的大小、标记的大小和经验优化的边缘。同时,UAV将检查标记是否在虚拟边界内。如果在虚拟边界内,UAV将下降;否则,它向目标位置水平移动。只要UAV的高度大于0.3 m,该算法就会持续执行。从UAV的高度下降到非常接近地面的那一刻起,控制权将移交给飞行控制员,该控制员将以安全的方式使无人机着陆并解除引擎。实验表明,该方案的着陆方法能够减少大约96%的着陆误差。虚拟边界的视觉表示如图6所示。
Adam Marut等[6]为了减少飞机着陆过程中的损坏,提出了一个简单且低成本的系统。该系统同样使用Aruco标记,不同的是此系统接收图像后,会改变图像的灰度,然后进行轮廓提取,对图像进行滤波,在得到候选标记点后进行透视去除,并将提取的代码与标记字典进行对比,最后确定标记的位置。
综上所述,Abhimanyu Singh Garhwal等提出的算法可以在不提取图像特征的情况下识别水印,但是没有考虑图像退化问题。Jamie Wubben等考虑了无人机在固定平台、移动平台和在船上着陆三种情况,但是未考虑到无人机由于本身固有的不稳定性需要得到补偿的问题。Adam Marut等对距离、高度和偏差矢量值的校准方式仍需要改进。
1.3 国内国外研究对比分析
国内外对无人机精准降落已经有一定的研究成果。国内侧重于研究无人机精准降落在识别降落地标志物后的状态,即如何快速准确的使无人机降落至规定场地,而国外则侧重于对降落标志图像的改进。国内外的无人机降落技术是相辅相成的,且随着无人机在植保、电力巡检等方面的普及使用,无人机精准降落应该进行更深一步的研究。
2 无人机精准降落发展的应用及建议
中国国际飞行器设计挑战赛(CADC)甲组项目对地侦察与打击中,要求飞手操控无人机起飞和降落,在飞行过程中自行侦察未知区域,并采集数据进行目标分辨,且对目标实施自动即时打击。该项目的计分项包括起飞分、侦察分、空投分、降落分以及任务分。
该项目为无人机自动侦察打击以及精准降落领域积累了知识和技能。在该项目中,绝大部分学校在无人机起飞时选择通过FPV摄像头搜寻比赛场地地面的目标图案,然后无人机执行任务按照GPS定点巡检,任务完成后先回到无人机起飞处的大致位置,再通过摄像头识别场地中的目标物,通过采集此时的目标标志与起飞时的标志对比计算获得无人机和标志的相对位置关系,将这相对位置坐标传入飞控系统后,飞控将控制无人机完成自主的精准降落。
但结合目前研究来看,无人机的精准降落仍然有许多需要继续研究的地方:
(1)应尽可能实现无人机自主定位反馈系统,如可利用多架无人机的协调实现无人机的室内应用。
(2)为了缩减程序计算量的同时提高数据输出频率,而且不影响状态估计精度,从而实现在微小型嵌入式系统的应用,必须优化视觉算法。
(3)如果无人机仅靠几个特征去识别目标,在复杂及不断变化的环境中会降低识别性能,所以需研究鲁棒性更强的视觉定位方法。
(4)因为无人机需脱离地面工作,导致无人机和AGV等具有可控性的地面运作机器不一样。无人机在工作时会遇到各种突发情况,所以为了更好地完成工作,无人机的安全性能和可控制性需要进一步研究。
3 结 论
无人机视觉定位具有灵活性强、隐蔽度高、视域视角广等显著优势,在侦察勘测、消防救援、安防反恐等领域应用广泛。当前国内外对无人机精准降落的研究也已经取得了丰硕的成果,但是仍然可以通过改善飞行性能来提高无人机精准降落的效率,从而进一步减少着陆时间,提高着陆精度。
参考文献:
[1] 付文龙,谭佳文,吴喜春,等.基于图像处理与形态特征分析的智能变电站保护压板状态识别 [J].电力自动化设备,2019,39(7):203-207.
[2] 徐滔宏,王志胜,鹿山山.基于视觉引导的无人机自主降落研究 [J].机械与电子,2020,38(8):44-46+51.
[3] 吴文秀,关志全,汪磊,等.基于openmv的无人机定点降落视觉识别技术研究 [J].智能计算机与应用,2021,11(1):41-45.
[4] GARHWAL A S,YAN W Q. BIIIA:a bioinformatics-inspired image identification approach [J].Multimedia Tools and Applications,2019,78(8):9537-9552.
[5] WUBBEN J,FABRA F,CALAFATE C T,et al. Accurate Landing of Unmanned Aerial Vehicles Using Ground Pattern Recognition [J/OL].Electronics,2019,8(12):1-16.[2021-05-23].https://mdpi-res.com/d_attachment/electronics/electronics-08-01532/article_deploy/electronics-08-01532.pdf.
[6] MARUT A,WOJTOWICZ K,FALKOWSKI K,et al. ArUco markers pose estimation in UAV landing aid system [C]//2019 IEEE 5th International Workshop on Metrology for AeroSpace(MetroAeroSpace).Turin:IEEE,2019:261-266.
作者簡介:薛菁(1997—),女,汉族,山西祁县人,硕士在读,研究方向:无人机关键技术。
3121500338212