基于影像实时处理的加油对接段辅助对准技术

张建花，高帅华

（中国飞行试验研究院 测试所,陕西 西安 710089）

引言

空中加油是增大战机航程、增强作战效能的重要手段，技术难度大、风险高。我国战斗机以“插头-锥管”式空中加油系统为主，又称软式加油。加油锥套对大气紊流较敏感，特别是当两机逼近时，两机流场相互影响，加油锥套摆动幅度加大，受油机飞行员难以瞄准。目前空中加油试飞主要是靠飞行员目视判断完成加油对接，对接试飞前需要反复训练以提高空中加油对准效率，只有飞行经验丰富、飞行技术精湛的战斗机飞行员才能完成。

基于图像技术的空中加油辅助引导系统的研究最早起源于无人机。美国自2003年开始研究自主空中加油技术（autonomous air refueling,AAR）。2015年4月16日，美国海军X-47B 无人机利用光学传感器和图像技术完成第一次无人机自主空中加油对接测试[1-2]。近年来，国内部分高校等科研机构开展了基于机器视觉/图像处理的无人机自主空中加油方面的研究，但都处于理论仿真和实验验证阶段[3]。本文研究基于影像实时处理的加油对接段辅助对准技术主要用于实现空中加油试飞中加油锥套与受油头对接过程的影像及加油锥套中心与受油头实时相对位置快速获取，实现加油关键参数与视频画面实时同步显示，为飞行员、指挥员提供可视化的信息共享平台，为受油机飞行员提供辅助对准。

1 方案设计

空中加油过程可以划分为编队、对接、加油和分离4 个阶段[3]。对接阶段是整个空中加油过程中最重要的部分，对接的成功与否直接决定能否成功加油。在受油机上加装加油对接段辅助对准系统引导飞行员进行空中加油对接操作。系统主要由高清摄像机、加受油组件相对位置解算单元、高清视频采集记录器、机载时码发生器、网络数据交换单元、座舱显示单元、数据遥测下传单元组成，如图1所示。

高清像机获取空中加油对接过程中加受油组件的图像，加受油组件相对位置解算单元实时解算加油锥套和受油头的相对位置，将位置信息实时发送至受油机飞行员座舱显示单元显示，辅助引导飞行员进行对接操作。同时，位置信息可通过数据遥测下传单元发送至地面监控大厅，供指挥员和试飞工程师用于编队飞行态势分析，保证飞行安全。高清视频采集记录器采集记录图像和数据信息，用于事后分析。机载时码发生器为系统提供统一的基准。

2 关键技术

2.1 复杂光学条件下锥套目标跟踪技术

空中加油高空环境下图像易受强光照、背景复杂多变等因素影响，由于两机相对运动、锥套摆动、旋转，导致锥套图像目标易被遮挡、图像尺度多变等情况，锥套的实时捕获、定位及快速跟踪是加油锥套与受油头精确定位的必要前提。

国内各高校与科研机构在加锥套检测算法方面也开展了系列研究。西北工业大学提出了一种多尺度低秩和稀疏分解锥套检测算法[4-5]。空军工程大学开展了基于HSV 色彩空间的特征检测与识别方法进行锥套特征提取方法研究[6]。南京航空航天大学提出了一种基于形状信息的Hough-LS 两级锥套目标检测与定位方法[7]。北京航空航天大学采用点匹配与位姿估计算法对软管式加油锥发光二极管LED 标志进行识别和位姿估计[8]。但是，这些算法跟踪效果受制于图像质量，无法解决实际飞行复杂光学条件下锥套旋转时的跟踪稳定性问题以及锥套图像由远及近急剧膨胀时的跟踪点漂移问题。

本文采用基于人工神经网络的加油锥套自动识别技术，实现加油锥套运动参数的实时测量。在利用深度学习进行图像处理时，深度学习神经网络的输入即为原始图像，通过多层的神经系统，逐层对图像进行特征提取，获得每一层的特征表达[9-10]。同时可以通过训练调整各层参数使得输入与输出的结果接近，最后利用分类器对图像中的特征进行分类识别[11-12]。搭建深度学习环境，构建深度学习神经网络，处理流程如图2所示。

加油锥套特征点跟踪主要由训练和识别2 部分组成。在模型训练阶段，通过训练样本集来调整神经网络架构中各层权值，使得输出误差最小；在识别跟踪部分，将模型训练部分得到的参数作为初始权值使用，将测试样本通过各层网络映射，得到识别结果。初始阶段将获取的1 600×1 200 分辨率的加油锥套实际运动图片进行人工裁剪，裁剪出锥套目标为30×30 像素，用于训练深度学习神经网络。训练时为自适应矩估计算法，通过损失函数对每个参数梯度进行一阶矩和二阶矩估计，调整参数的学习速率。训练完成后，将测试样本输入至训练模型当中，测试样本量约为2 000 张图片，对图片中的特征点进行跟踪。

2.2 基于四角直线约束的像机标定技术

由于软管运动范围视场景深较大，不宜采用常规控制点空间后方交会法[13]标定。本文提出基于四角直线约束的像机标定方法，将线性参数(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)和非线性的畸变系数ki,(i=0,1,2,3,4)区分求解。在空间测量视场范围内靠近主点的区域布置标定控制点，利用线性变换求解线性参数，在拍摄视场4 角放置共线标志约束板，利用直线拟合完成畸变系数求解。摄像机标定示意图如图3所示。

1）利用点求取像机标校的线性参数

根据计算机视觉原理，任意一个像点(x,y)和对应(X,Y,Z)的物方点满足的中心透视投影关系通过投影矩阵写成：

像机投影矩阵M矩阵与像机内外参数的关系为

像机姿态角，可采用以下公式：

此时，就得到了像机的全部线性参数(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)。

2）利用直线求取像机标校的畸变参数

由于镜头畸变系数的存在，直线的像并不一定是直线。因此，用于标定的像直线是通过对直线的像进行线性拟合逼近得到的。依据上一步计算得出的像机线性参数，根据直线的像的曲线方程参数和像直线的直线方程参数计算得到畸变系数。

畸变后像点与理想像点之间的关系：

又因为

将（4）、（5）式带入直线的像的曲线方程，可写为

式中：ρi为曲线方程参数，(i=0,1,2)，且有：

由此，通过对方程线性求解得到畸变系数ki(i=0,1,2,3,4)。

2.3 加受油组件相对位置实时测量技术

以受油机受油头为坐标原点建立坐标系，X轴指向飞机右机翼，Y轴垂直向上，Z轴垂直于XY平面指向机尾，构成右手坐标系。高清像机在机上的安装基线一般在1 m～3 m，测量距离覆盖30 m，基线距离越短，双目图像匹配相对视差越小，因像素抖动产生的空间点重构误差越大。因此，采用视差梯度约束减少空间点跳跃带来的精度损失。

视差与深度信息密切相关,视差的变化随深度一致性变化[14]。视差梯度约束是指：视差几乎应该在所有的地方都是平滑的,根据视觉特性,视差梯度Gd应小于等于2；若Gd大于2，认为这2 个点不匹配。假如在图像上有2 个点m1(x1,y1)和m2(x2,y2)视差分别为d1、d2，则他们的视差梯度定义为

利用2.2 中的训练结果，将实时获取的待识别的锥套运动影像进行实时检测，并对两路影像中的匹配同名像点利用视差梯度约束进行判断，提高匹配精度，得到同名像点在两路像机画面中的像素坐标(x1,y1)和(x2,y2)。采用双目视觉前方交会测量法[14]，得到锥套中心三维空间坐标(X,Y,Z)，计算模型如下：

式中：(x0,y0,f)分别为像机内参数；(XS,YS,ZS,a1···a3,b1···b3,c1···c3)为像机外方位元素；(Δx,Δy)为像机镜头畸变参数的改正数，这些参数均可通过像机标定获取[15]。每对同名像点的像点坐标可以列出4 个方程，通过最小二乘原理[16]得到加油锥套相对于受油头的瞬时位置(X,Y,Z)。

3 实验结果与分析

如图4所示，在实验室构建加油组件智能视觉识别平台，对锥套跟踪算法的鲁棒性进行了测试，实验表明该算法可实现空中复杂环境下锥套图像快速、稳定识别与跟踪。如图5所示，利用机械臂进行精度验证，通过图像计算锥套的运动位置，对影像实时处理与事后处理结果进行对比分析，差值小于0.1 m，可满足空中加油辅助对准的需求，误差对比分析如图6所示。图7 为加油对接段辅助对准系统实验室功能测试。

4 结论

本文提出的系统架构与计算方法，通过实验室仿真以及空中加油试飞验证，实现了加油锥套与受油头相对位置的实时测量，为飞行员和指挥员提供空中加受油机、锥套与受油头实时位置信息，辅助飞行员空中加油对接，提高加受油对接成功率，缩短了试飞周期，有效保障了飞行安全。