采用单目视觉的无人机自动空中加油仿真

王 龙， 董新民， 贾海燕

(1.空军工程大学工程学院，西安 710038; 2.中国人民解放军93942部队，陕西 咸阳 712000)

0 引言

无人飞行器(UAV)以其机动速度快、维护费用低、生存能力强等优点在现代战争中正扮演着越来越重要的角色，但UAV普遍存在载重小、油量少的缺点，大大制约了其效能的发挥。为解决这种矛盾，美国国防预研局、空军研究实验室及NASA等机构已开展了多项自动空中加油(Automated Aerial Refueling，AAR)验证计划［1－2］，并取得了一些阶段性的研究成果［3－4］。

准确获取无人机与加油机的相对位姿信息是实现无人机空中加油的前提。目前测量相对位姿信息的传感器主要包括惯性导航系统(INS)、差分GPS、机器视觉(Machine Vision，MV)传感器等。惯导的误差随时间积累，精度无法满足要求;差分GPS精度可以满足空中加油要求，但无人机空中加油对接阶段GPS信号容易受加油机遮挡，一旦信号丢失导航精度将显著下降［5］。机器视觉因导航精度高、信息丰富、完全自主等优点，近年来在无人机自主着陆、编队飞行和自主空中加油等工程实践中得到了广泛的应用。

本文对基于单目视觉的飞行硬管式(Flying Boom)UAV自动空中加油系统进行建模与仿真。建立包含加油机、UAV、视觉传感器的加油系统整体模型与仿真环境;通过单摄像机获取相对位姿;在考虑大气扰动及加油机尾流影响的情况下，设计了轨迹生成器和跟踪控制器用于实现UAV与加油机的会合对接，并对加油末段的对接机动进行仿真。

1 AAR仿真系统总体设计

空中加油可分为软管式(Probe and Drogue)和硬管式(Flying Boom)两种。加油机的尾部结构装有一具由两截可伸缩的刚性伸缩管所组成的加油杆，其结构与机尾结构合而为一。加油杆平时为收起状态，进行空中加油作业时将其伸出。

飞行硬管式加油方式下，UAV受油口与加油管的对接本质上是项跟踪任务，UAV要负责整个加油过程中自身的飞行与控制。根据相对位姿信息得到机动指令，再将机动指令分解成一定的可执行指令，控制UAV严格按照可行航迹飞行。加油对接阶段，UAV必须近距机动到加油机后下方的加油位置，缓慢调整其飞行状态，将加油管插入受油口。因此，UAV不仅要拥有与加油机保持编队飞行的能力，而且需自动寻找加油机并实时获取其位置与姿态才能确保对接成功。

由于没有驾驶员的参与，AAR给UAV的导航和飞控系统带来了新的挑战和技术难题，关键在于精确测量会合对接阶段及加油编队保持阶段UAV与加油机的相对位姿。机器视觉(Machine Vision，MV)由于其经济、无源、信息丰富等特点，已成为无人机自动空中加油中不可缺少的重要信息源［3－5］。本文采用单目视觉作为相对位姿测量装置，将摄像机装载于UAV的固定位置，实时采集加油机图像后，利用图像处理及位姿估计算法获取相对位置等信息。

为实时获取较真实的图像，本文利用虚拟现实(Virtual Reality，VR)技术，开发了包括UAV及加油机三维模型、地貌、天空等场景模型的视景系统。通过Matlab/Simulink仿真产生的飞机位置参数驱动飞机模型在视景系统中运动，并用虚拟相机实时捕获加油机图像，解算相对位姿信息。图1所示为AAR闭环仿真系统总体框架。

由图1可知，基于视觉的AAR仿真系统包括以下几部分:加油机和UAV模型、两机之间的气动影响模型、视觉传感器模块、跟踪控制律模块及视景系统。

2 单目视觉相对位姿估计

通过摄像机获取的加油机图像解算相对位姿信息是一项复杂的工作，涉及加油机特征点提取、匹配及位姿估计等。加油状态下坐标系定义如图2所示。图中:E为地心固联系;U为无人机系;T为加油机系;C为摄像机系。

图2 AAR问题的坐标系Fig.2 Reference frames for the AAR problem

图2 中:T，U分别为加油机和无人机的质心;Pj为加油机机体特征点;B为加油管端点;R为无人机受油口;C为摄像机安装点。

2.1 特征点提取

加油机机翼、尾翼等外形部件上的物理角点在图像中体现为灰度变化率很高的像素点(即图像角点)。为此，本文选取加油机的9个物理角点为特征点，并在该位置加装红色标志，以增强特征点与背景图像的对比度，提高提取精度。图3给出了加油机特征点位置。

图3 加油机特征点位置Fig.3 Location of tanker feature points

基于图像灰度的Harris角点检测是一种经典的特征点提取算法，它对于图像的平移、旋转和噪声都具有较好的鲁棒性［6］。Harris算法采用9×9像素大小的高斯窗口扫描图像，计算窗口中心像素点的图像灰度强度I沿x和y方向的一阶导数，构造自相关矩阵为

定义角点响应函数为

式中:det(M)、tr(M)为矩阵M的行列式值和迹;ε为较小常数。则若C大于某一给定阀值即认为该点为角点，反之则舍弃。

由角点判据可知，阀值设定过大会造成角点漏检，过小则会提取出伪角点。为此，本文将Harris算法作如下改进:减小高斯窗口至5×5，取适当偏小的阀值执行Harris算法，最后对提取的角点进行聚类，并通过标准形态学滤波提取每一个类的质心作为角点的最终坐标

2.2 特征点匹配

根据针孔成像原理［4］，特征点Pj在2D像平面的投影坐标 pj=［uj，vj］T满足投影方程

根据加油机特征点在t系中已知的几何关系和投影方程，可得理想的特征点投影集合{p1，p2，…，pn}。利用点与pj之间的欧氏距离，构建 m×n维误差矩阵

记Eerr矩阵各列最小值构成的向量为Cmin，列最小值所在行的序号构成的向量为Iindex，各行最小值构成的向量为Rmin。则当式(5)成立时，即认为点 p^i是特征点Pj投影所得。

2.3 位姿估计

位姿估计(Pose Estimation，PE)是机器视觉的核心问题。文献［7］提出的LHM算法具有计算速度快、精度高且全局收敛的特点，在实时位姿估计中得到了广泛的应用。

设 Pj在归一化像平面(f=1)的投影坐标为［u′j，v′j］T，则Pj在c系的坐标为wj=［1，u′j，v′j］T，定义目标空间共线性误差为

其中:CTc为摄像机与加油机的相对位置;为t系到c系的相对姿态矩阵;是Pj在t系中的位置向量;是视线正交投影矩阵。定义为

定义ej的平方和为目标函数，即

通过迭代计算使上述目标函数达到最小即可求得CTc和，且在任意初值条件下，经过5～10步迭代可得到满意的解。

加油机与摄像机的相对位置CTc确定后，即可通过坐标变换得到受油口R与加油管端点B在地心固联系e的相对位置RBe。根据图1中的几何关系，RBe可表示为

式中:UCu、URu、TBt及都为已知常量;旋转矩阵和由加油机和UAV的姿态角计算而得。

3 导引与控制设计

假定UAV在一定的会合算法辅助下截获并跟踪上加油机，通过对航向、高度与速度的调整已处于加油机侧后方不远的观测位置，并且保持与加油机同航向飞行。UAV之后的任务只是从观测位置缓慢机动到对接位置，并追踪加油机的运动直至实现对接。在自动空中加油状态下，影响UAV控制性能的主要因素有加油机的尾流、会合对接阶段UAV与加油机的相对位置及姿态的测定，所以对相对位置的精确预测和控制都是必需的。

3.1 参考轨迹生成

AAR问题实际可视为两个运动物体的会合对接，由视觉传感器获得的相对位置，并不能作为误差信号直接输入控制系统，阶跃形式的参考信号会导致UAV状态量(姿态、速度和位置)变化过大，而这在两机会合对接阶段显然是不允许的。为在进入会合对接控制程式时，不致引起UAV状态量的过大变化，以保证两机的安全性，可行的方法是将相对位置误差作平滑处理后再作为参考信号。为此必须生成参考轨迹，即从UAV所处位置机动到加油管端点B的一段平滑轨迹，UAV按照参考轨迹飞行，同时必须尽量减小实际飞行轨迹的超调量。

无论是会合对接还是加油完成后飞离加油机，参考轨迹的设计必须保证两机的安全。仿照实际加油过程中，根据初始偏差采用多项式拟合的方法［5］设计参考轨迹。首先减小侧向距离，然后改变高度令UAV尽量与加油管处于同一轴线，最后水平微加速减小纵向距离(接近速度小于2 m/s)完成对接。

3.2 大气扰动及加油机尾流建模

AAR过程中，加油机与UAV均受到大气扰动的影响。正常情况下加油时飞机飞行高度较高，大气相对平静，因此本文采用轻度Dryden风场扰动模型［8］。

加油机尾流对UAV的影响较大，计算尾流作用时需要知道加油机的形状与飞行状态等参数，通过风洞试验确定尾流对UAV的气动影响。该方法实验复杂且成本高、难以实现。为此，文中采用文献［9－10］提出的等效气动效应法建立加油机尾流的等效模型，即通过加权和逐点积分的方法计算出尾流的等效风速度(Veffx，Veffy，Veffz) 和等效风梯度(peffx，peffy，peffz)，算法详见文献［9－10］。

3.3 控制器设计

参考飞行轨迹生成后，就可设计相应的轨迹跟踪控制器确保UAV按照一定轨迹飞行。在空中加油过程中，加油机与UAV的飞行状态均在较小的范围内变化，因此可考虑设计线性控制器。假设自动空中加油过程中，加油机始终保持水平直线飞行，且航向保持不变，UAV同航向水平飞行。则UAV在上述条件下机动时状态方程可作线性小扰动处理。

UAV的线性状态方程为

式中:dps为所受扰动;up为控制变量(Δδt、Δδa、Δδe、Δδr分别为推力、副翼偏转角、平尾偏转角及方向舵偏转角的变化量)。

为了保证位置零跟踪误差，将视觉解算的RB相对位置与参考飞行轨迹之差 e=［ex，ey，ez］T积分后作为UAV的增广状态变量，则状态变量为UAV跟踪控制律采用线性二次型调节器(LQR)方法设计。选取代价函数为

LQR控制律为

选取合适的Q、R，求解Riccati方程即可得到系统状态反馈增益矩阵K。具体控制结构如图4所示。

图4 AAR对接阶段的控制结构框图Fig.4 Block diagram of the AAR control scheme

4 仿真及评价

在对AAR系统进行仿真时，设定加油机处于水平直线飞行状态，航向ψ0=0，速度V=200 m/s，高度H=7000 m。UAV相对加油管的初始位置偏差(单位:m)(Δx，Δy，Δz)=( －40，60，10)。最终控制目标是令(Δx，Δy，Δz)=(0，0，0)。当 Δx、Δy、Δz均小于 0.1 m 时即视为对接成功。

图5为初始偏差状态下，UAV作缓慢机动时相对于加油管的轨迹变化曲线，其中虚线是由多项式拟定的参考轨迹，实线为实际机动路线。可以看出，末段对接机动首先减小两机的侧向距离，再减小纵向和垂直偏差，最后在保证UAV与加油管在纵向上几乎处于同一直线的同时，缓慢减小纵向距离直至对接成功。在跟踪控制器的作用下，实际轨迹可很好地跟踪指令的参考轨迹，几乎没有超调量，这样的会合机动策略符合实际的加油过程。

图5 UAV与加油管的相对位置变化曲线Fig.5 Trajectory of the RB vector during docking

图6 为UAV推力和各舵面的偏转曲线图，由推力曲线可知，推力在50～100 s间经历了先增大后减小的过程。在该时间段内，UAV需不断减小与加油机的纵向距离，因此首先要加大推力以增加速度，距离减小到一定程度后再减小推力直至与加油机的飞行速度匹配。这与实际的加油机动操作过程相符，说明本文设计的跟踪控制器合理有效。

图6 UAV推力及各舵面的偏转曲线Fig.6 Engine thrust and rudders deflection of UAV

图7 给出了UAV与加油机的相对速度在三轴上投影分量的变化曲线。这与相对位置的实际变化相吻合，即为改变某一轴向的偏差，须有某一轴向的速度。由图可见，纵向接近的相对速度变化量均在允许范围(v＜2 m/s)内。

图7 UAV相对于加油机的运动速度曲线Fig.7 Relative velocity between UAV and tanker

图8 是对接成功后，受油口R与加油管端点B的相对位置三轴上的投影。由图8可见，稳定状态下3个轴向的位置分量均保持在0.1 m范围内，满足成功对接的精度要求。

图8 稳态时相对位置RB的三轴投影曲线Fig.8 Components of RB vector at stationary condition

5 结论

自动空中加油是解决未来UAV航程短、燃油量少等问题的有效办法。本文对基于视觉的自动空中加油系统进行了研究，建立了包含加油机、UAV、视觉传感器，气动影响及视景等子模块的UAV飞行硬管式空中加油仿真系统。设计了加油末段的参考轨迹，并用轨迹跟踪控制器实现UAV与加油管的会合对接。最后对存在加油机尾流及大气扰动的会合对接机动进行了仿真。结果表明，设计的参考轨迹及控制器可保证UAV与加油管的平稳对接。

［1］ NALEPKA J P，JACOB L.Automated aerial refueling:Extending the effectiveness of unmanned air vehicles［C］//AIAA Modeling and Simulation Technologies Conference and Exhibit，San Francisco，2005:6005-6013.

［2］ HINCHMAN J，SCHREITER D.Automated aerial refueling［C］//2007 Aerial Refueling Systems Advisory Group Conference，Las Vegas:Air Force Research Laboratory，2007:1-18.

［3］ MAMMARELLA M，CAMPA G，NAPOLITANO M R，et al.GPS/MV based aerial refueling for UAVs［C］//AIAA Guidance，Navigation，and Control Conference and Exhibit，Honolulu，Hawaii，2008:7258-7267.

［4］ CAMPA G，FRAVOLINI M，FICOLA A，et al.Autonomous aerial refueling for UAVs using a combined GPS-machine vision guidance［C］//AIAA Guidance，Navigation，and Control Conference and Exhibit.Providence，Rhode Island，2008:5350-5362.

［5］ POLLINI L，MATI R，INNOCENTI M，et al.A synthetic environment for simulation of vision-based formation flight［C］//AIAA Modeling and Simulation Technologies Conference and Exhibit，Austin，Texas.2003:5376-5385.

［6］ 王威，唐一平，任娟莉，等.一种改进的Harris角点提取算法［J］.光学精密工程，2008，16(10):1995-2000.

［7］ LU C P，HAGER G，MJOLSNESS E.Fast and globally convergent pose estimation from video images［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2000，22(6):610-622.

［8］ 肖业伦，金长江.大气扰动中的飞行原理［M］.北京:国防工业出版社，1993.

［9］ 陈博，董新民，徐跃鉴，等.加油机尾流场建模及UAV飞行安全性分析［J］.系统仿真学报，2008，20(8):1994-1997.

［10］ 陈博，董新民，徐跃鉴，等.加油机尾流场建模与仿真分析［J］.飞行力学，2007，25(4):73-76.