无人机空中对接中的视觉导航方法

刘爱超，佘浩平，杨钦宁，周思成

(北京理工大学宇航学院，北京 100081)

0 引言

空中加油技术已经成为现代化战争中能有效提升作战距离和机动能力的技术手段。而无人机最突出的弱点是续航时间短和有效载荷不足，需要定期返回基地进行补给，严重削弱了无人机执行长航时和复杂任务的能力，限制了无人机的使用[1-2]。为解决这种矛盾，美国国防预研局、空军研究实验室及美国国家航空航天局(National Aeronautics and Space Administration，NASA)等机构已开展了多项自动空中加油(Automated Aerial Refueling，AAR)验证计划[3-4]，将自主空中加油技术应用到无人机中,既是一种趋势又是一种必然。

相对位姿的解算是自主空中加油的重要一环，目前测量相对位姿信息的传感器主要包括惯性导航系统(Inertial Navigation System，INS) 、差分全球定位系统(Differential Global Positioning System，DGPS)、视觉传感器等。惯导系统由于会产生累积误差，无法满足对接过程中的精度要求。DGPS可以满足精度要求，但在对接过程中加油机容易遮挡GPS信号，导致精度下降。视觉传感器以其精度高、应用范围广、价格低廉等优势在自主空中加油中得到了广泛的应用。目前，最为广泛的锥套检测手段按特征可以分为基于颜色信息和基于红外信息两类；按摄像头数量又可分为单目及多目。采用颜色信息又可分为两种情况，一种是直接在锥套的圆环形边缘喷涂颜色，如文献[5]；另一种则在边缘粘贴数个带有颜色的圆形小图标，如文献[6]。基于颜色信息的方法优点在于十分简便，不需要对现有的对接装置做过多改动，适用范围广泛；其缺点在于依赖良好的光照环境。基于红外信息的研究主要采取在锥套边缘安装数个红外LED信标的方案，如文献[7-10]，过滤出特定波长的红外光来排除大部分环境干扰。这种方法优点在于可以全天候使用，不依赖光照环境；其缺点在于需要对锥套进行一定程度的改造，加装信标供电装置，而且在光照强烈的情况下如何排除自然界中的红外干扰也是一项难题。目前，针对单目以及多目系统在自主对接中的应用都有涉及，单目的如文献[5-7]，多目的如文献[8-12]。近些年来，一些研究人员将深度学习应用于自主空中加油中，如Siyang Sun等训练的多任务并行深度卷积神经网络(Multitask Parallel Deep Convolutional Neural Networks，MPDCNN)可以同时完成锥套的检测与相对位姿的解算[13]。

本文采用单目与颜色信息结合的方式，首先利用GPS/INS信息使无人机接近运动的图标，进行粗略导航；再充分利用视觉图标的颜色与形状信息，通过颜色分割选取目标可能区域，在这些区域中进行快速椭圆检测，针对椭圆检测算法存在误检测及边缘不重合的问题，提出了椭圆检测与轮廓检测相结合的方法；最终利用改进的正交迭代(Orthogonal Iteration,OI)算法进行相对位姿的估计，实现了近距的精确导航。

1 空中对接导航方案

1.1 对接流程

当无人机与对接图标的距离较远时，超出视觉识别的范围，此时采用GPS导航，使无人机不断接近图标。当两者的相对距离足够小时，捕捉无人机前方图标的图像信息。根据后文的视觉算法，识别对接图标并计算准确的相对位姿，开始精确导航并完成对接。对接流程及实验系统组成分别如图1和图2所示。 其中视觉检测算法具体内容在第3节。

图1 对接流程图Fig.1 Docking flow

1.2 视觉标志物

用于模拟对接的视觉图标如图3所示，图标仿照真实情况中的锥套，主体是一个窄圆环，内部呈辐射条轮状。其中，最外层圆的半径为0.3m，内层圆半径为0.25m，整个图标的颜色为深蓝色。

图2 系统组成图Fig.2 System composition diagram

图3 视觉对接标志Fig.3 Visual docking icon

2 视觉图标识别

对接图标的识别是整个流程的基础，本文为了提高识别的准确率，利用图标自身的2个重要信息：颜色和形状。对摄像机获取的视野中图像分别进行颜色分割与椭圆检测，只有同时符合这2个标准的物体才会判定为对接标志。

2.1 颜色分割

彩色图像相比于灰度图像具有更加丰富的信息，而颜色信息相比于形状信息更加直观，具有很高的辨识度。本文首先将摄像头捕捉到的图像由RGB颜色空间转化为HSV颜色空间，然后在HSV空间中按图标设计的颜色进行分割以减小搜索范围。将图像转化到HSV空间后，根据标志物的颜色设定H、S、V的具体范围，最终从图像中确定标志物的大体范围。不同光照条件下颜色分割结果如图4所示。

(a)光照正常

(b)光照较强

(c)光照较弱 图4 颜色分割结果Fig.4 Color segmentation

感兴趣区域(Region of Interest,ROI)的划定主要依据二值图中不同连通区域的面积与长宽比，当二值图中白色连通区域的面积大于225像素及长宽比在1～3之间时,即可归为感兴趣区域。一般一张图像中会存在1～5个不等的感兴趣区域。

2.2 椭圆检测

无论是本文用到的图标还是实际应用的锥套，其外形都是圆，但由于加油机与受油机之间的相对位置，在受油机看来，大多数情况下是椭圆。本文用到一种快速椭圆检测算法[14]，流程大体如下：对图像进行边缘检测，将边缘点聚合成一段段的弧线。对这些弧线按特定的边缘方向和凸度进行分类。根据3个判断依据找出椭圆。图5所示为不同角度下椭圆检测的结果。

(a)

(b)

(c)图5 不同角度下椭圆检测结果Fig.5 Ellipse test results at different angles

3 相对位姿解算

相对位姿解算主要涉及N点透视(Perspective-N-Point，PNP)问题。它指通过世界坐标系中的N个特征点与图像成像中的N个像素点，计算出其投影关系，从而获得相机或物体位姿的问题。PNP问题的求解方法分为迭代算法和非迭代算法，两者各有利弊，迭代算法胜在精度高，而非迭代算法计算量小。本文根据对接过程精度要求高的特点，选择采用迭代算法。一些研究人员如文献[15]采用的是非迭代算法。也有些研究人员利用特征线而不是点来进行相对位姿的解算，如文献[16]根据固定翼飞机跑道的线特征完成姿态的解算。

3.1 轮廓提取

如图5(a)所示，由于本文所用到的图标主体为深蓝色的圆环，导致在椭圆检测时内外环的弧段会出现误匹配，检测出多个椭圆。而且，椭圆拟合为保证一定程度的容错率，其中心位置、半长轴长度等参数存在一些误差，即拟合后椭圆的边缘不与实际边缘重合。如果直接使用拟合之后的结果会对位姿解算产生很大影响。

本文在椭圆检测的同时又对图像进行边缘检测。边缘检测分为两步，首先对图像进行均值滤波，去除细微的干扰边缘，然后进行Canny边缘检测。由于Canny边缘具有良好的边缘描述能力，可以弥补椭圆检测的边缘不重合问题。图6是对图5(a)原图进行Canny边缘检测的结果。

图6 Canny边缘检测结果Fig.6 Canny edge detection results

进行边缘检测后还需要对边缘图进行轮廓提取，把边缘图中的点信息转化为多条轮廓信息。最后将得到的每条轮廓与检测到的椭圆进行对比，判断依据主要有3点：轮廓中心与椭圆中心是否重合；轮廓面积与椭圆面积是否相近；轮廓周长是否与椭圆周长相近。满足上述3个条件即认为该轮廓是图标最外环的边缘轮廓。具体流程及轮廓筛选结果分别如图7、图8所示。

图7 视觉算法流程图Fig.7 Visual algorithm flow

(a)

(b)图8 两种算法检测结果比较图Fig.8 Comparison of two algorithms

图8所示为2组对比图，左图为单纯椭圆检测结果图，绿线是经椭圆检测拟合出的结果；右图为本文提出的椭圆检测结合轮廓检测算法的结果图，红线表示检测结果。可以看出，如果只进行椭圆检测，得到的拟合椭圆与实际边缘有误差，而经过本文提出的结合算法，边缘描述能力得到明显提高。

3.2 最小外接矩形

识别出视觉标志物之后还需要寻找标志的最小外接矩形，利用该矩形的4个顶点作为特征点进行后续的位姿解算。采用该方法的优点是简单可靠，不需要识别标志上的角点等特征点，节省计算时间。最小外接矩形(Minimum Bounding Rectangle，MBR)可以分为：最小面积外接矩形(Minimum Area Bounding Rectangle，MABR)、最小周长外接矩形(Minimum Perimter Bounding Rectangle，MPBR)。通常情况，MABR与MPBR差异并不大，本文采用MABR。

图9中，绿色实线方框为找到的对接图标的最小外接矩形。

图9 图标的最小外接矩形Fig.9 The minimum bounding rectangle of the icon

3.3 位姿解算

LU 等针对位姿估计提出了 OI 算法[17]。OI算法通过最小化目标空间共线性误差迭代求解得到最优旋转矩阵和平移矢量，具有迭代次数少、计算速度快、全局收敛、对初值不敏感的特点。OI算法是以目标空间最小共线性误差作为目标函数的迭代算法。

设特征点i在图像中的坐标为wi=[uivi1]T,i=1,2,3,4，记

(1)

目标空间中的线性误差是

ei=(I-Wi)(Rpi+t)

(2)

其中，pi=(xi,yi,zi)T表示该特征点在图标系中的坐标；R是相机坐标系与图标坐标系的姿态旋转矩阵；t是平移矢量。位姿解算就是求解R、t。

在OI算法中，位姿解算等价于使误差平方和最小化的求解。误差平方和的定义为

(3)

其中，n为特征点的个数。

算法通过不断地进行迭代计算，估计出姿态旋转矩阵R与平移矢量t，迭代终止时即可求得相对位姿(R,t)。

传统的位姿估计算法在目标特征点共面的情况下往往存在位姿模糊问题，这会导致位姿估计结果出现较大偏差，降低视觉导航系统的准确性。针对这个问题，Schweighofer 等提出的鲁棒共面目标位姿估计(SP)算法[18]。该算法大致流程如下：

1)将由OI算法解算出的(R,t)用作SP算法的初始值；

2)把(R,t)代入式(3)，经过推导，把E(R,t)化为仅与绕俯仰轴所成角度的单变量函数形式，再求解E(R,t)的极值，解得2个局部残差极小值；

3)将这2个极小值解作为正交迭代的初始值，经过不断迭代，获得2组相对位姿的解，从中选取E(R,t)较小的1组解，此解即为准确的相对位姿。

4 实验结果与分析

对提出的空中自主加油中的视觉导航算法进行了实验验证。飞行平台为大疆M100四旋翼无人机，具有良好的飞行性能，能够有效验证算法的准确性及稳定性。

4.1 视觉识别准确率分析

本文的视觉导航方法主要在于结合图标的颜色与形状信息，从而提高空中对接过程中目标识别的准确率。表1所示为在运动情况下，结合颜色与形状信息识别的准确率与只进行形状识别的准确率的对比。

表1 识别准确率对比Tab.1 Identification accuracy comparison

从表1中可以看出，结合颜色与形状可以有效提升识别的准确率，尤其是在光照条件过亮与过暗的情况下。主要原因是在HSV颜色空间中，亮度对颜色分割的影响不是很大。

4.2 静态误差分析

静态误差是在保持对接标志物静止不动的情况下，无人机的对接精度偏差。表2所示为分别在15m、10m、5m、3m这4个实际距离中，由视觉解算的相对距离与实际距离之间的偏差。在实际的自动空中加油过程中，要求插头和对接锥套之间的相对位置精度达到10cm级别，本文的视觉导航能够满足实际的精度要求。静态对接场景如图10所示。

表2 静态误差分析Tab.2 Static error analysis

图10 静态对接场景Fig.10 Static docking scenes

4.3 动态误差分析

动态误差是指对接标志物在匀速直线运动情况下，无人机的对接精度偏差。图11所示为对接图标以7m/s的速度匀速直线运动时，无人机与图标在3个方向上的相对距离。其中，x表示在竖直方向上的相对距离，y表示在左右方向上的相对距离，z表示在前后方向上的相对距离。

图11 对接过程相对距离曲线Fig.11 Relative distance curve in docking process

图12所示为图11中28s之后的详细曲线。y方向由于无人机气压计受微风影响会出现小幅抖动，而z方向则由于实际场景中小车速度并非严格匀速，且PID控制器存在一定的超调而出现较强程度抖动，但在实际加油过程中主要关注x、y这2个方向精度，z方向要求并没有那么严格。z方向距离会出现正值是为了保证安全，将对接目标设在距图标中心2m处，而不是图标表面。动态对接场景如图13所示。

图12 对接末段曲线Fig.12 Terminal docking curve

图13 动态对接场景Fig.13 Dynamic docking scenes

5 结论

本文根据实际中对接锥套的特点，使用了一种兼顾颜色与形状的锥套图标识别算法。本文的主要创新点在于为解决椭圆检测算法存在边缘描述误差太大的问题，提出了一种结合椭圆检测与边缘检测的算法，从对比图中可以看出，这种结合方法相比于单纯的椭圆检测能够更好地描述圆形标志的边缘。针对整个识别算法，在真实环境中进行地面模拟测试，结果表明在较高运动速度下，本文的视觉导航算法能够很好地完成对接任务。