视觉辅助的无人机自主空中加油建模与仿真

王旭峰, 董新民, 孔星炜, 王龙, 程建锋

(1.空军工程大学 航空航天工程学院, 陕西 西安 710038; 2.中国人民解放军 94638部队, 江西 南昌 330201)

视觉辅助的无人机自主空中加油建模与仿真

王旭峰1, 董新民1, 孔星炜1, 王龙2, 程建锋1

(1.空军工程大学 航空航天工程学院, 陕西 西安 710038; 2.中国人民解放军 94638部队, 江西 南昌 330201)

为准确获得插头锥套式空中加油过程中无人机与锥套的相对位姿信息,提出了机器视觉辅助的插头锥套式无人机自主空中加油仿真方案,开发了基于Open CV,Simulink及Vega Prime视景仿真技术的闭环仿真系统。研究了机器视觉识别跟踪锥套的图像处理算法,利用Kalman滤波算法估计无人机与锥套的相对位姿。仿真结果表明,机器视觉算法可以准确识别跟踪锥套,滤波器状态估计的收敛速度较快,无人机姿态角变化范围较小,保证了插头锥套式无人机自主空中加油的平稳安全对接。

自主空中加油; 机器视觉; 锥套识别; 相对位姿; 虚拟仿真

0 引言

自主空中加油技术可以极大地拓展无人机的作战范围和效能,近年来已受到研究人员的广泛关注[1]。对于插头锥套式无人机自主空中加油(Probe-Drogue Unmanned Aerial Vehicle Autonomous Aerial Refueling, PD-UAV-AAR)来说,加油软管和锥套由于受到加油机尾流和大气扰动等因素的影响,即使加油机作平直匀速飞行,锥套的实际位置也将不断变化。因此,要及时准确地感知锥套的位置,并成功进行插头与锥套的对接,对UAV来说是一项极具挑战性的任务[2]。文献[3]采用基于参考观测器的轨迹跟踪控制方法,实现空中加油过程中受油插头和加油锥套的精确对接。文献[4]提出了一种PD-UAV-AAR的控制方案和策略,实现了UAV-AAR的精确对接,但以上研究结果均未考虑无人机机器视觉图像处理算法的有效性,即无人机机器视觉识别跟踪加油锥套的性能。文献[5]针对PD-UAV-AAR过程中的近距导航问题,提出了一种基于双目视觉的近距导航方法,但研究结果未说明受油机所采用的轨迹跟踪控制方法。文献[6]研究了大气紊流对空中加油软管锥套的影响规律,但未对PD-UAV-AAR问题进行系统的建模与仿真。

为此,本文针对PD-UAV-AAR问题,提出了机器视觉辅助的PD-UAV-AAR仿真方案,开发了基于Open CV,Simulink及Vega Prime视景仿真技术的闭环PD-UAV-AAR仿真验证平台。利用机器视觉准确识别跟踪锥套并实时解算其位置,结合Kalman滤波算法解算无人机与锥套的相对位姿,并对机器视觉辅助的PD-UAV-AAR方案进行了仿真验证。

1 PD-UAV-AAR仿真方案

在没有驾驶员参与的情况下,PD-UAV-AAR的关键在于近距对接阶段UAV识别跟踪锥套的性能,以及该过程中UAV与锥套相对位姿的测量。本文采用机器视觉作为锥套识别跟踪与相对位姿测量装置,通过摄像机实时获取锥套的图像,利用机器视觉图像处理算法识别跟踪锥套,结合 Kalman滤波位姿估计算法获取UAV与锥套的相对位姿等信息。PD-UAV-AAR闭环仿真系统总体框图如图1所示。

图1 PD-UAV-AAR仿真系统总体框图Fig.1 Diagram of PD-UAV-AAR simulation system

2 PD-UAV-AAR建模

2.1 加油机尾流分析

UAV-AAR过程中,加油机翼尖产生一对尾涡并向后发展形成加油机尾流,尾流分为上洗、下洗、滚转三个区域,如图2所示。空中加油过程中,加油机尾流会对受油机的稳定性产生不利影响[7],是必须考虑的重要扰动因素。

采用等效气动效应法[8]建立加油机尾流模型,将加油机尾流等效为直接作用于UAV质心的沿机体轴的下洗风和绕机体轴的梯度风,通过加权方法和逐点积分方法计算出加油机尾流的等效风速度和等效风梯度。

图2 加油机尾流分布Fig.2 Distribution of tanker’s wake

2.2 机器视觉识别跟踪加油锥套

PD-UAV-AAR顺利实施的关键在于会合对接过程中UAV识别跟踪锥套的性能。为了正确识别跟踪加油锥套,必须选择恰当的加油锥套的特征。

2.2.1 加油锥套特征

按照“简约性”、“可分性”、“可靠性”原则[9],选取加油锥套端面“环带”[10]作为加油锥套的特征区域,如图3所示,并在“环带”区域加装红色标识,以增强背景图像与该特征区域的对比度,从而提高特征提取的精度。

图3 加油锥套特征Fig.3 Feature of the refueling drogue

2.2.2 加油锥套识别跟踪

步骤1:加油锥套的“色彩”特征检测与识别。由于HSV(Hue,Saturation,Value)色彩空间可以消除图像色彩信息中强度分量的影响,并且考虑到该色彩空间模型符合机器视觉的特性以及对色彩的感知判断,是开发基于色彩描述的图像处理方法的理想工具。因此,选取HSV色彩空间,将摄像机拍摄的加油锥套的彩色图由RGB色彩空间转换为HSV色彩空间,如下式所示。然后通过滤波和二值化等图像处理手段,即可得到锥套的“色彩”检测识别结果。

V=max(R,G,B)

H=H+360 (H<0)

步骤2:加油锥套的“环带”识别。由于“色彩”识别结果的图像中包含检测噪声,加油机尾流的影响也会导致加油锥套的不规律运动,为了更加准确地检测识别加油锥套,进而有效跟踪加油锥套,需要对“色彩”识别的图像进行加油锥套的“环带”特征识别。加油锥套“环带”特征识别思路如下:

(1)“环带”内、外环中心距。对得到的色彩识别结果中的区域进行边缘拟合得到的内、外环中心距小于某一设定阈值时,则认为该区域为锥套端面环带;反之,则认为不是。设置“环带”内、外环中心距阈值为20像素,以提高跟踪识别实时性。

(2)“环带”内、外环长轴比。对 “环带”区域进行边缘拟合得到的内、外环长轴比在某一阈值范围之内时,即可认为该区域为环带区域;反之,则认为不是。实验发现,当“环带”内、外环长轴比阈值范围设置为0.6～0.8时,可有效识别跟踪加油锥套。

步骤3:对检测得到的“环带”标识区域进行最小二乘椭圆拟合,即可得到锥套端面的中心坐标。

平面任意位置椭圆方程表达为:

[(x-x0)cosθ+(y-y0)sinθ]2/a2+

[(y-y0)cosθ-(x-x0)sinθ]2/b2=1

(1)

式中,(x0,y0)为椭圆的中心坐标;a为长轴半径;b为短轴半径;θ为长轴与x轴的夹角。令

(2)

(3)

(4)

(5)

E=

(6)

则椭圆的方程可改写为:

x2+Axy+By2+Cx+Dy+E=0

(7)

根据最小二乘原理,应通过求目标函数

(8)

来确定参数A,B,C,D和E。其中，k=1,2,…,n；n≥5。

由极值原理知,欲使F值最小,必有

(9)

由式(9)解得A,B,C,D和E的值后，便可得到椭圆中心坐标为:

(10)

通过以上3个步骤——色彩识别、环带识别和锥套端面中心点坐标跟踪,即可实现UAV机器视觉对加油锥套的检测识别与跟踪。

2.3 滤波估计算法

加油状态下各坐标系定义如图4所示。图中，OTxTyTzT为加油机体轴系,Orxryrzr为UAV体轴系,O′x′y′z′为锥套坐标系,Ocxcyczc为摄像机坐标系,(Xpd,Ypd,Zpd)为受油插头与加油锥套的相对位置。

图4 PD-UAV-AAR坐标系示意图Fig.4 Reference frames of PD-UAV-AAR

对加油锥套识别跟踪之后, 假设加油锥套相对于摄像机的位置为(xc,yc,zc),则可通过坐标转换和平移运算得到受油插头与加油锥套的相对位置rpd=[Xpd,Ypd,Zpd]T。

为了保证空中加油过程的顺利进行,需要知道UAV受油插头与锥套的相对运动状态。为此,设计了Kalman滤波器。

滤波器有两方面的功能:一是给出两者相对运动的估计值;二是消除测量噪声。在空中加油过程中,UAV与锥套的接近速度和加速度保持在较小范围之内,因此用噪声代替两者的相对加速度。则连续状态下的Kalman滤波方程为:

(11)

式中,I为3×3单位对角阵;W(t)为模型误差。

Xk+1=ΦXk+GWk

(12)

系统噪声方差阵为:

(13)

量测方程为:

(14)

量测噪声协方差阵为:

(15)

至此,可用Kalman滤波算法估计受油插头与加油锥套的相对运动状态。下面给出离散Kalman滤波状态估计的两个过程[11]。

(1)时间更新

(16)

(2)量测更新

(17)

3 实验与分析

为了验证PD-UAV-AAR系统仿真方案和机器视觉图像处理算法的有效性,本文基于Open CV, Simulink和Vega Prime视景仿真技术开发了闭环PD-UAV-AAR仿真验证平台。

3.1 初始条件

假设PD-UAV-AAR过程中,加油机保持直线平飞状态,航向为0°,速度为152.8 m/s,高度为7 000 m。UAV在加油机后方以相同航向作水平飞行,UAV与加油锥套的初始相对位置偏差为[80,20,-30] m,并据此设定无人机运动的参考轨迹,采用文献[12]的方法设计控制器。摄像机的焦距为25 mm,像素大小为6.98×10-5m,输出图像尺寸为320×400像素,采样频率为10帧/s。

图5为在初始相对位置偏差的状态下,无人机受油插头与加油锥套端面中心点的相对轨迹曲线。由图可知,UAV在AAR过程中保持了良好的跟踪性能,受油插头可快速跟踪加油锥套,收敛速度较快。

图5 插头-锥套相对轨迹曲线Fig.5 Relative trajectory of the probe-drogue

3.2 机器视觉性能

本文提出的加油锥套识别与跟踪方法在Open CV中编程实现。图6为利用机器视觉图像处理算法识别跟踪加油锥套的过程效果图。由图可知,采用本文提出的锥套识别与跟踪方法可以准确获得加油锥套并实时解算其端面的中心坐标,说明了机器视觉图像处理算法稳定而有效。

3.3 滤波算法性能

图7为采用Kalman滤波算法估计的UAV受油插头相对于加油锥套的3个轴向的相对位置误差。滤波器状态估计的收敛速度较快,且仿真过程中x,y,z轴向的相对位置误差由初始时刻的0.2 m最终保持在0.1 m的范围内,可以保证PD-UAV-AAR的顺利进行。

图8为同一控制器作用下,采用Kalman滤波算法解算时无人机姿态角的变化曲线。由图可以看出,无人机姿态角变化范围较小,且最终趋于稳定收敛,有利于实现PD-UAV-AAR空中加油的平稳对接。

图8 无人机姿态角变化曲线Fig.8 Curve of UAV attitude

4 结束语

针对PD-UAV-AAR问题,提出了机器视觉辅助的PD-UAV-AAR仿真方案,在分析加油机尾流和加油锥套运动的基础上,利用机器视觉识别跟踪加油锥套,利用Kalman滤波估计UAV与加油锥套的相对位姿,实现受油插头与加油锥套的成功对接。仿真结果表明,该方法具有良好的快速性和抗干扰能力,满足PD-UAV-AAR的任务要求。下一步工作将设计搭建PD-UAV-AAR近距视觉相对导航半物理地面实验系统,进行动态视觉相对导航半物理实验,以期对机器视觉辅助的PD-UAV-AAR方案进行半物理实验验证。

[1] Nalepka J P,Hinchman J L.Automated aerial refueling: extending the effectiveness of unmanned air vehicles[C]//AIAA Modeling and Simulation Technologies Conference and Exhibit.San Francisco,2005:6005-6013.

[2] 董新民,徐跃鉴,陈博.自动空中加油技术研究进展与关键问题[J].空军工程大学学报(自然科学版),2008,9(6):1-5.

[3] 袁锁中,刘瞾.插头锥套式空中加油对接过程中受油机的飞行控制律[J].应用科学学报,2010,28(4):436-440.

[4] 王宏伦,杜熠,盖文东.无人机自动空中加油精确对接控制[J].北京航空航天大学学报,2011,37(7):822-826.

[5] 解洪文,王宏伦.基于双目视觉的自动空中加油近距导航方法[J].北京航空航天大学学报,2011,37(2):206-209.

[6] 胡孟权,柳平,聂鑫,等.大气紊流对空中加油软管锥套运动的影响[J].飞行力学,2010,28(5):20-23.

[7] Dogan A,Sato S,Blake W.Flight control and simulation for aerial refueling[R].AIAA-2005-6264,2005.

[8] Ro K,Kamman J W.Modeling and simulation of hose-paradrogue aerial refueling system[J].Journal of Guidance,Control,and Dynamics,2010,33(1):53-63.

[9] 韩九强,胡怀中,张新曼,等.机器视觉技术及应用[M].北京:高等教育出版社,2009:123-125.

[10] Chao I C,Roger S.Drogue tracking using 3D flash lidar for autonomous aerial refueling[C]//Proceedings of SPIE,Laser Radar Technology and Applications XVI.Florida,80370Q,2011:1-11.

[11] 秦永元,张洪钺,汪叔华.卡尔曼滤波与组合导航原理[M].西安:西北工业大学出版社,1998:35-37.

[12] Wang L,Dong X M,Guo J.Autonomous aerial refueling for UAVs based on GPS/MV[C]//2010 International Conference on Electrical Engineering and Automatic Control.Zibo,China,2010:55-59.

Visual-aidedmodelingandsimulationofunmannedaerialvehicleautonomousaerialrefueling

WANG Xu-feng1, DONG Xin-min1, KONG Xing-wei1, WANG Long2, CHENG Jian-feng1

(1.Aeronautics and Astronautics Engineering College, AFEU, Xi’an 710038, China; 2.94638 Unit of the PLA, Nanchang 330201, China)

In order to precisely obtain the relative pose of unmanned aerial vehicle (UAV) during aerial refueling docking, a visual-aided simulation scheme of probe-drogue UAV autonomous aerial refueling (PD-UAV-AAR) is proposed. A detailed closed loop simulation system based on Open CV, Simulink and Vega Prime has been presented. Analyze the tanker vortex and refueling drogue moving characteristics. Investigate the refueling drogue recognition and tracking algorithm of machine vision. By using of Kalman filter algorithm, the relative pose of UAV and refueling drogue is estimated. The experimental result shows that the machine vision algorithm can recognize and track refueling drogue precisely and the Kalman filter algorithm can estimate the relative pose of UAV and refueling drogue well which guarantees the stable and secure docking of PD-UAV-AAR.

autonomous aerial refueling; machine vision; drogue recognition; relative pose; virtual simulation

V249.1

A

1002-0853(2013)04-0331-05

2013-01-15;

2013-04-01; < class="emphasis_bold">网络出版时间

时间:2013-06-06 11:29

王旭峰(1988-), 男, 山东即墨人,硕士研究生, 研究方向为飞行器控制理论及应用。

(编辑：方春玲)