基于旋翼飞行器的双目视觉定位实验设计

张玲 熊智 刘建业 张苗

摘要为了打破传统的“灌输-验证式”教学模式，满足自动化专业的实验与实践教学要求，结合旋翼无人机的运动特性，本文设计了基于旋翼飞行器的双目视觉定位综合实验。首先，基于双目视觉里程计原理建立了双目视觉里程计误差模型，开发了基于双目视觉里程计的三维构图技术。在此基础上，通过大疆公司的旋翼无人机平台，搭载双目相机，采集旋翼无人机的运动位姿信息，并利用Ubuntu系统中的ROS环境解算获得旋翼无人机的位姿结果。该实验融合了导航定位、传感器检测等多门理论课程知识，采用“思考-创新式”教学方式，具有良好的开放性和广泛的应用性，有利于检验和激发学生对所学专业知识灵活运用的工程实践和创新能力。

关键词 旋翼飞行器 双目视觉 导航定位

中图分类号：V249.1文献标识码：ADOI：10.16400/j.cnki.kjdk.2021.28.018

Experimental Design of Binocular Vision Positioning Based on Rotorcraft

ZHANG Ling[1][2]， XIONG Zhi[1]， LIU Jianye[1]， ZHANG Miao[1]

（[1]CollegeofAutomationEngineering，NanjingUniversityofAeronauticsandAstronautics，Nanjing，Jiangsu211106；

[2]CenterofFacultyDevelopmentandTeachingEvaluation/InstituteofHigherEducation，NanjingUniversityof AeronauticsandAstronautics，Nanjing，Jiangsu211106）

AbstractIn order to break the traditional "indoctrination verification" teaching mode and meet the experimental and practical teachingrequirementsofautomationspecialty，combinedwiththemotioncharacteristicsofrotorcraft，thispaperdesignsabinocular visionpositioning comprehensiveexperiment based on rotorcraft. Firstly， basedon the principle of binocularvision odometer，the errormodelofbinocularvisionodometerisestablished，andthe3Dcompositiontechnologybasedonbinocularvisionodometeris developed. On this basis， through Dajiang company’s rotor UAV platform， equipped with binocular camera， the motion pose informationoftherotorUAViscollected，andtheposeresultsoftherotorUAVareobtainedbyusingtheROSenvironmentinthe Ubuntu system. The experiment integrates the knowledge of navigation and positioning， sensor detection and other theoretical courses， adopts the "thinking innovation" teaching method，has good openness andwideapplication， and is conduciveto test and stimulatestudents’engineeringpracticeandinnovationabilityofflexibleuseofprofessionalknowledge.

Keywordsrotorcraft； binocular vision； navigation and positioning

隨着现代化社会的发展，各类行业对智能感知也提出了越来越迫切的需求，民用无人机得到了较大的发展，以大疆科技为代表的企业以代表了国际无人机行业的最高水平。视觉传感器成本的降低和机载运算单元实时处理能力的提升，在室内、建筑群等北斗卫星信号无法正常接收的应用环境中，以视觉里程计为代表的视觉导航技术逐渐发挥出其在载体位姿估计中的优势，近年来成为国内外无人机、无人车等行业的研究热点。

因此，针对自动化专业导航方向的学科研究背景，拟开展基于旋翼无人机“智能感知导航”混合式教学的研究与实践，开发基于双目视觉相机的多旋翼飞行器定位实验平台，设计了基于双目视觉里程计的定位综合实验内容，综合了“定位与导航”“测试信号处理”等相关专业基础课程知识，鼓励学生全方位、多维度的掌握和运用学习的专业知识，有利于引导学生积极主动的思考与创新，最终培养具有航空航天和国防特色的专业人才。

1双目视觉里程计基本原理

目前在视觉里程计中广泛使用的图像处理方法主要有两种：直接法，以图像的像素灰度变化为依据来进行运动估计，虽然计算速度快，但由于环境干扰，精度不高；特征点法，标记图像中灰度变化明显的点为特征点，以不同图像中同一特征点之间的关系进行运动估计，具有较强的鲁棒性。使用成熟的张友正标定算法对双目ZED相机进行内参矩阵标定，图3选取了标定实验所采集图像中的其中一帧，识别标定板中的角点并利用投影关系构造约束方程，解算出相机的内参矩阵。

使用张友正标定工具箱对图像进行角点提取后，建立立体模型。

2双目视觉里程计误差模型

3实验平台系统设计与硬件构成

试验所用小型飞行器为大疆（DJI）公司生产的经纬600 PRO（简称M600）六旋翼飞行器，六旋翼实验平台采用V型机架结构，飞控计算机分为上下两层，综合利用机载导航传感器实现精准的飞行器姿态控制；选用妙算处理板，完成飞行动作。

双目相机固连于飞行器前向支架，机载计算机位于小型飞行器的上部，机载计算机与双目相机间通过USB接口连接，通过接口将双目相机获取的数据传入到机载计算机中，机载处理器使用图像信息进行位姿估计及三维建图。地面测控站用于监视飞行实验平台的实时飞行状态，实现无人旋翼飞行器自动飞行控制，也作为异常情况下的人工干预系统。

实验为读取并解算双目相机的模型参数和安装误差，在地面测控站上构建了基于Ubuntu和ROS的实验环境，同时进行旋翼飞行器、传感器与定位数据和双目相机图像采集的工作。通过飞行、图像等实验数据的采集，检验学生掌握视觉定位、惯性/视觉导航原理和ROS操作的学习情况，从实践环节加强对学生硬件架构、软件编程、实践操作等能力的锻炼。

4实验与结果分析

基于上述构建的基于双目视觉的旋翼无人机实验平台，可安排学生在实验环境（比如操场等）下采集旋翼无人机的位姿数据，并与差分GPS结果进行分析。旋翼无人机机载传感器的输出信息按照“北东地”坐标系输出信息，定义原点为起始时刻左像机光心，X轴为左光心指向右光心，Z轴为左光轴反方向，Y轴为垂直于XZ平面向下构建的光轴。

分别对东向和北向进行分析，计算解得东向误差为0.8834米，北向误差为1.4489米，综合误差为1.697米。其估计误差分布如图4、图5所示。

误差曲线

通过误差对比和绘制曲线，检验学生对双目视觉图像采集处理与定位算法的掌握与完成情况。

5结语

本文设计了基于双目视觉的旋翼无人机实验平台和定位综合实验。基于双目视觉里程计原理建立了双目视觉里程计误差模型，开发了基于双目视觉里程计的三维构图技术。在此基础上，通过大疆公司的旋翼无人机平台，搭载双目相机，采集旋翼无人机的运动位姿信息，并利用Ubuntu系统中的ROS环境解算获得旋翼无人机的位姿结果。实验结果对比表明，本文研究的方法、搭建的平台，可以有效获得载体的运动位姿信息，具有良好的可操作性和实际使用价值。基于双目视觉的旋翼无人机定位综合实验作为控制学科导航方向课程类、综合性设计实验，充分结合了传感器与检测技术、现代导航原理等专业理论知识和实验实践类课程，有效促进并检验学生掌握专业知识，拓展实践与创新思维的能力。

基金项目：南京航空航天大学教育科学与改革专项课题“2020JYKX-13”

参考文献

[1]权美香，朴松昊，李国.视觉SLAM综述[J].智能系统学报，2016，11（06）：768-776.

[2]刘浩敏，章国锋，鲍虎军.基于单目视觉的同时定位与地图构建方法综述[J].计算机辅助设计与图形学学报，2016，28（06）：855-868.

[3]翁一桢.基于视觉里程计与惯导融合技术的四旋翼位姿估计[D].浙江大学，2018.

[4]郝宁.基于视觉惯性组合的运动与结构估计系统设计与实现[D].哈尔滨工业大学，2018.

[5]罗桂娥.双目立体视觉深度感知与三维重建若干问题研究[D].中南大学，2012.

[6]施陈博.快速图像配准和高精度立体匹配算法研究[D].清华大学， 2011.

[7]李一博.微小型飛行器视觉感知与自主导航关键技术研究[D].南京航空航天大学，2019.

[8]王云舒.特殊视觉应用环境下微小型飞行器视觉/惯性组合导航关键技术[D].南京航空航天大学，2018.

[9]张诚.基于视觉和惯性信息融合的语义SLAM研究[D].长春理工大学，2020.