樊冬雪,成 怡,金海林,修春波
(天津工业大学 电气工程与自动化学院,天津 300387)
无人飞行器UAV(Unmanned Aerial Vehicle)简称无人机,是指利用空气动力抵消自身重量,可以实现自主飞行而不需要操作人员的飞行器。近几年,无人飞行器得到了迅速的发展,其使用范围已经拓展到军事、民用和科学研究三大领域[1]。
四轴飞行器属于旋翼式无人飞行器的一种,具有以下几个特点:(1)体积小、重量轻、结构对称;(2)4个螺旋桨能产生较大的升力;(3)易于实现上下、前后、侧向、水平等飞行姿态。随着计算机技术、传感器技术和微机电技术的发展,四轴飞行器的开发和研制取得了重大进步,成为国内外研究热点[2]。其在环境监测、低空侦查、信号干扰等领域发挥着独特的优势,无论在军事领域还是民用领域都有着广阔的应用前景[3]。
由于四轴飞行器主要面对近地面环境,为了解决GPS在近地面环境失效的问题,本文设计了视觉导航系统来实现四轴飞行器的定位与导航。
计算机视觉是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科[4],在许多人类视觉无法感知的场合(如精确定量感知、危险场景感知、不可见物体感知等),计算机视觉更显示出它的优越性。图像处理技术以及摄像机硬件的发展使得计算机视觉技术可以引入到无人机的导航问题中[5]。一个完整的视觉导航系统由图像采集、图像处理与位姿解算、导航控制三部分组成,如图1所示。
图1 视觉导航系统组成
目前常用的导航方式有惯性导航和GPS导航,惯性导航过程中惯性器件具有累积误差,对初始值过于敏感;而GPS并不总是可获取的,并且即使可以获取,其精度上往往满足不了无人机导航的需要[6]。视觉导航技术具有设备简单、信息量丰富、智能化水平高、信号探测范围广等优点,并且依靠计算机视觉提供的实时信息可以与惯性导航和GPS信息进行融合,弥补后两者的缺陷,提高导航精度[7],因此视觉导航被大量地采用。
系统利用机载摄像头实时捕捉环境信息,通过无线收发模块将图像数据传输给上位机,采用摄像机标定方法解算四轴飞行器的位姿信息及其与着陆平台的相对位置关系,并生成导航指令发送至主控制器,调整电机转速,实现四轴飞行器的飞行控制。系统整体结构图如图2所示。
图2 系统结构图
飞行控制模块是整个飞行器的核心,需要执行多种复杂的任务。STM32f103系列处理器主要有以下特性:(1)32位的 ARM Cortex-M3架构;(2)支持 3.3 V低电压供电;(3)72 MHz 运行频率,1.25 DMIPS/MHz;(4)AD/DA、IIC、SPI、UART、USB 等多种接口功能;(5)4 个 16 位定时器和2个带有电机控制的 PWM高级控制定时器,作为主控的核心,其在开发应用和处理器功能上有着绝对的优势。
STM32开发板板载了一个摄像头接口(P8),用来链接OV7670摄像头模块。OV7670是OV(OmniVision)公司的一颗1/6英寸的CMOS VGA图像传感器,其体积小,工作电压低,有效像素为 640×480,提供单片VGA摄像头和影像处理器的所有功能。
nRF24L01是一款工作在2.4~2.5 GHz世界通用ISM频段的单片无线收发器芯片,具有125个可选工作频道,数据传输率为1或2 Mb/s,SPI接口数据速率为0~8 Mb/s,工作电压为 1.9~3.6 V,拥有自动应答及自动重发功能。
图像处理与位姿解算是视觉导航系统的核心与关键,是四轴飞行器能否实现定点降落的前提。当系统获得一幅图像时,需要对图像数据进行处理、分析、理解,并从中提取出对飞行器着陆有用的信息,解算出飞行器实时的位置和姿态信息。导航系统提供实时的位姿参数作为自主飞行控制算法的主要输入参数,以达到飞行器自主飞行控制的目的[8]。图像处理与位姿解算的流程如图3所示。
图3 图像处理与位姿解算流程
在图像生成、传输和记录过程中,成像系统、传输介质、工作环境和记录设备的不完善均会引入噪声而使图像质量下降。图像预处理的目的是采用一系列技术降低噪声的影响和图像的失真程度[9],包括图像的去噪、灰度化、二值化等。
角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用[10]。角点提取是一种典型的几何特征提取方法。Harris算法是基于亮度变化的角点检测算法,不依赖于目标的其他局部特征,利用角点本身的特点直接提取角点,计算简单,具有较高的稳定性和鲁棒性,能够在图像旋转、灰度变化以及噪声干扰等情况下准确地检测特征点,具有较高的点重复度和较低的误检率。Harris算法提取棋盘格角点如图4所示,棋盘格旋转后提取的角点如图5所示。
图4 Harris算法提取棋盘格角点
图5 棋盘格旋转后提取的角点
由于摄像头是安装在四轴飞行器上的,其与飞行器的相对位置关系已确定,因此可由摄像头的位姿信息来推算四轴飞行器的实时位姿信息。常用的位姿测量方法其实质是摄像机外部参数标定的过程。摄像机标定是确定摄像机内外参数的一个过程,其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数;而外部参数的标定是指确定摄像机坐标系相对于世界坐标系的三维位置和方向关系,可用3×3的旋转矩阵R和一个平移向量t来表示。从摄像机采集到的图像中提取并区分各个特征点之后,得到了一系列特征点的物理世界坐标系和图像像素坐标系坐标对。对于像素坐标,利用摄像机标定过程测得摄像机内部参数,在得到内部参数之后,就可以进一步确定相对于每一副图像的旋转矩阵R和平移向量t。
(1)位置解算
摄像机坐标系与世界坐标系的转换关系可表示为:
平移向量t是世界坐标系原点在摄像机坐标系下的坐标,而所需求解的摄像机位置参数T是指摄像机坐标系原点在世界坐标系下的坐标,因此需要对式(1)进行修改。将摄像机坐标系与世界坐标系的转换过程描述为先进行平移,然后进行旋转,则其关系可表示为:
结合式(1)、式(2)可得摄像机的位置参数:
(2)姿态角计算
姿态角(翻滚角 α、俯仰角 β和航向角 γ)参数则需要根据旋转矩阵R并结合坐标系旋转几何关系来进行求解。
其中:
由此可得姿态角的计算公式为:
用VC++设计上位机界面,实现实时监控。摄像机标定是在飞行器飞行前进行的,因此该过程不会占用飞行时图像处理时间,只需将得到的内部参数值记录到飞行器控制系统中,方便求解位姿状态。实验过程在室内进行,四轴飞行器从世界坐标系原点(0,0,0)(单位:cm)起飞,着陆平台铺设在地面上,中心位于世界坐标系(450,450,0)(单位:cm)。当着陆平台不在视野范围内时(如图6所示),则发送导航指令控制飞行器继续搜寻。一旦出现着陆平台(如图7所示),就引导飞行器飞行至着陆平台正上方(如图8所示),最后垂直降落到着陆平台上,运行轨迹如图9所示。
在相同条件下,分别进行10次试验,四轴飞行器着陆地点坐标如表1所示。
实验结果表明,基于着陆平台的四轴飞行器视觉导航系统在室内具有一定的导航精度,能够实现四轴飞行器的起飞、悬停、定点降落这一系列过程。但是由于需要进行大量的图像处理,耗时较多,还很难满足高实时性的要求。室内环境相对简单,不受天气等的影响,系统的抗干扰能力还有待提高。单一的视觉导航方式在精度、稳定性、实时性等方面还有待提高和发展。因此融合其他导航方式的组合导航将成为接下来的研究重点。
图6 着陆平台不在视野范围内
图7 着陆平台出现在视野范围内
图8 飞行器悬停于着陆平台正上方
图9 飞行器运动轨迹
表1 10次试验结果(cm)
[1]袁安富,徐金琦,王伟,等.基于双STM32多旋翼无人机控制系统设计[J].电子技术应用,2013,39(11):136-138.
[2]BETHKE B.Persistent vision-based search and track using multiple UAVs[D].USA:Department of Aeronautics and Astronautics,Massachusetts Institute ofTechnology,2005.
[3]岳基隆,张庆杰,朱华勇.微小型四旋翼无人机研究进展及关键技术浅析[J].电光与控制,2010,17(10):46-52.
[4]段峰,王耀南,雷晓峰,等.机器视觉技术及应用综述[J].自动化博览,2002,18(3):59-62.
[5]吴显亮,石宗英,钟宜生.无人机视觉导航综述[J].系统仿真学报,2010,22(1):62-65.
[6]徐贵力,倪立学,程月华.基于合作目标和视觉的无人飞行器全天候自动着陆导引关键技术[J].航空学报,2008,29(2):437-442.
[7]WU A D,JOHNSON E N,PROCTOR A.Vision-aided inertial navigation for flight control[C].AIAA Guidance,Navigation and Control Conference,San Francisco,CA,August 2005:348-360.
[8]阮利峰.小型无人直升机自主着陆视觉导航系统设计及仿真[D].上海:上海交通大学,2009.
[9]殷婕,龚晓峰,武瑞娟,等.基于图像处理的调频信号参数估计[J].电子技术应用,2013,39(1):83-89.
[10]赵文彬,张艳宁.角点检测技术综述[J].计算机应用研究,2006,10(1):17-20.