贾 伟,张 清,席庆彪,,刘慧霞
1.西北工业大学 第365研究所,西安 710065
2.西北工业大学 自动化学院,西安 710072
基于SURF的UAV快速目标识别算法
贾 伟1,张 清2,席庆彪1,2,刘慧霞1
1.西北工业大学 第365研究所,西安 710065
2.西北工业大学 自动化学院,西安 710072
侦察和监视是UAV的首要任务,随着UAV技术的不断发展,UAV自动目标识别已经成为一个研究热点。在高技术条件下的局部战争中,高效快速地识别特定目标有利于作战指挥员实时把握敌方动态进行决策分析并迅速做出反应赢得战争的胜利。因此利用UAV进行航空侦察,快速地发现特定目标,有助于在现代战争中获取信息主导权。
UAV快速目标识别算法的实时性和鲁棒性主要依赖于特征点的选取。好的特征点需要满足独特性、局部性、准确性、高效性以及不变性和鲁棒性。
目前的飞机目标识别算法中用到的特征点主要有基于Hausdorff距离的边缘特征、序贯相似性检测算法(SSDA)、不变矩特征、角点特征和基于模型的方法等。文献[1]提出了基于Hausdorff距离的方法识别飞机,实时性较强,但算法对目标尺度变化较大的情况鲁棒性不强,还需要引入仿射变换等方法以提高匹配性能。文献[2]和文献[3]提出了基于不变矩的飞机识别算法,该算法能成功识别扭曲变形的飞机目标,但是忽略了复杂的背景以及噪声的干扰,在存在较大噪声干扰的情况下适用性不强。文献[2]提出了结合闭合轮廓和部分特征的飞机识别算法,但要求遥感图像的分辨率较高以便能提取目标完整的轮廓用于下一步的识别,而实际的UAV系统遥感图像分辨率一般难以达到。文献[4]提出了采用角点特征和自适应核聚类算法,算法鲁棒性较强,但由于计算复杂,很难满足实时性的要求。
综上所述,现有的目标识别方法存在实时性欠缺的问题,兼具实时性和鲁棒性的侦察目标识别方法对UAV在军事方面的运用至关重要,虽然可以在获取图像后进行后续的识别,但是,这将限制UAV在实时侦察中的应用,可以实时地在UAV侦察图像中识别出目标的位置,将极大地拓宽UAV在军事、救灾中的应用。
目标识别的关键是找出目标图像和模板之间对应的特征点。在常规的识别中不变矩的鲁棒性较差,SIFT算法的鲁棒性好,但是数据量大、计算耗时长,对于UAV目标识别的实时性不利,本文采用的SURF描述子,它是一种基于积分图像的特征描述子,该描述子是在SIFT的基础上进行改进的,具有尺度和旋转不变性以及较好的可靠性、可区分性和鲁棒性,并具有较快的计算速度。
另外UAV侦察图像的空间分辨率较大,而具有军事意义的目标一般只占据较小的一块区域。针对这种情况,本文提出一种先对图像进行预处理,提取出可能包含目标的感兴趣区域(ROI),缩小搜索空间,然后采用基于SURF算法的UAV侦察目标识别算法进行识别。
对于UAV侦察获取的图像 F(x,y),其中 x∈[0,m],y∈[0,n],假设存在目标T(x,y),满足式(1):
利用模板图像 M(x,y),其中 x∈[0,a],y∈[0,b],且a<m,b<n,在寻找 F(x,y)中寻找目标T(x,y)的空间坐标d(x,y)。
首先,对侦察图像进行预处理,利用不变矩构造相似性函数,作为遗传算法的适应度函数,然后采用遗传算法在F(x,y)中进行全局搜索,快速地找出可能包含目标的ROI区域FROI。
然后提取FROI和M(x,y)的SURF特征点,采用最近邻匹配算法进行匹配,从而精确确定目标的位置。
本文算法的基本框架如图1所示。
图1 本文算法框架图
2.1 UAV侦察图像预处理设计
UAV侦察图像普遍存在图像的空间分辨率较大,而实际所关心的目标只在图像中占据很小一部分的区域[5-6],如果能够通过预处理快速的定位可能存在目标的区域(ROI),缩小搜索区域的空间分辨率,然后在ROI区域中精确地搜索,便可以有效地减小识别的计算量,一方面可以有效地提高搜索的实时性,另一方面还可以对提取的ROI采用性能鲁棒的算法,进一步提高算法鲁棒性。
2.1.1 基于不变矩的适应度函数设计
考虑到不变矩特征[7]具有一定的旋转、伸缩、灰度不变性以及计算速度快的特点,采用不变矩构造相似性衡量函数,作为下一步预处理中遗传算法的适应度函数。
本文采用7个HU矩构造的适应度函数如式(2)所示:
其中 f(xi,yj)表示以(xi,yj)为第一个点,以M(x,y)的空间分辨率为大小提取的区域,和被定义为:
2.1.2 基于遗传算法的ROI区域提取:
采用式(2)作为遗传算法的适应度函数,利用遗传算法[8]的全局搜索能力和计算速度快的优点进行ROI提取。
为了获得更好的匹配效果并简化计算,考虑先用canny算子对目标图像F(x,y)和模板M(x,y)进行边缘提取,得到F1(x,y)和M1(x,y)。
先在 F1(x,y)中随机生成种群数为 m1的群体,i=1,2,…,m ,以其中的每个个体的空间坐标进行二进制编码。例如,一个在(255,255)(本文所使用的图像的空间分辨率小于1 024×1 024,个体的二进制编码为10位)处的个体的编码如图2所示。
图2 个体编码图
利用遗传算法进行ROI提取主要包括以下几步:
(1)选择(selection),假设第t代的群体为种群数mt的,其中i=1,2,…,mt,计算每个个体和模板的相似度,i=1,2,…,mt,然后对m((s))进行排序,选择个体数为:的个体(s),其中i=1,2,…,mt+1进行第t+1代的遗传。
(3)变异(mutation),为了防止过早地陷入局部最优,对群体(s),i=1,2,…,mt中的个体设置一定的变异概率,随机改变某些基因位为其等位基因。
(4)设置遗传算法的进化代数n,进化完毕后最终选出mn个个体(s),i=1,2,…,mn,利用式(5)求得最后所要求的坐标平均值ˉ(x,y),其中:
预处理流程图如图3所示。
图3 UAV图像预处理流程图
2.2 基于SURF的识别过程
本文将SURF算法[9]引入到UAV侦察目标识别中,SURF在理念上与SIFT[10]相似,都注重梯度信息的空间分布,并且继承了SIFT算法对旋转、尺度缩放、图像模糊、噪声的鲁棒性的优点,最重要的是,SURF算法在特征点检测和描述向量中都充分利用方框滤波器和积分图像来加快计算速度,并减少了局部图像描述向量的维数,能够显著地提高图像配准方法的速度,SURF算法的鲁棒性能较大程度地提高UAV侦察图像和模板图像匹配的成功率,即使存在薄雾干扰和飞机抖动的情况下,也能完成目标和模板之间的匹配。这是实现实时性和鲁棒性的关键。
SURF算法的鲁棒性能够很大程度地提高特征点匹配的成功率,即使存在较大程度的旋转、尺度变化、灰度变化,都能成功地完成特征点的匹配。
2.2.1 SURF特征点的提取和描述向量的生成
先对通过预处理阶段获得的ROI区域 FROI和模板M(x,y)提取SURF特征点,分别得到两个点集 Fs={a1,a2,…,ap}和 Ms={b1,b2,…,bq},假设 p≥q。每一个特征点由一个64维的描述向量组成,其中点集Fs中的点ai的特征向量表示为
2.2.2 SURF特征点的匹配
在SURF特征点的匹配中,两个特征点的相似性度量采用欧氏距离进行计算,对于Ms中的任一特征点bi先求得 Fs中与bi的欧氏距离最小的特征点为aj,j∈[1,p] ,对应的欧氏距离为:
然后求出次最小距离的特征点为ah,对应地与bi之间的欧氏距离为:
然后设定一个阈值τ当满足:
时认为bi和是一对匹配点。最终选出k个匹配的特征点,在F(x,y)中的坐标分别为di(x,y),i=1,2,…,k。
2.2.3 目标位置的确定
对通过2.2.2节求得的所有匹配的特征点采用式(9)求平均:
以上的算法均是基于UAV侦察目标图像中存在目标即式(1)的假设,但是还存在在侦察图像中不含目标如式(8)的情况,即
所以在进入SURF识别之前,应先在预处理阶段对提取的FROI(x,y),判断是否存在目标。设置门限 Δga,计算式(9):
当 Δ1≤Δga时,可判断存在目标进入到下一步的精确匹配,Δ1>Δga则判断无目标。
本文算法的流程图如图4所示。
本文针对UAV侦察所获取的高分辨率可见光机场区域图像[11],对其中存在的飞机目标进行识别。为了验证本文算法的识别效果分别采用采用两种算法与本文算法进行对比:
图4 本文算法流程图
算法1对目标图像F(x,y)和模板图像 M(x,y)采用SURF算法直接进行匹配,在实时图像中找出所有的匹配点(x,y),i=1,2,…,k1,然后求得:dˉ1(x,y)就是所要求的坐标。
算法2采用本文的预处理方法对图像进行预处理,然后对预处理得到的ROI区域和模板图像采用SIFT算法进行识别,找出所有的匹配点对(x,y),其中i=1,2,…,k2,然后计算:(x,y)就是所要求的位置。
参数设置:
预处理阶段:遗传算法进化代数设为n=9,初始产生的群体m1=100,交叉概率 pc=0.7,变异概率 pa=0.02,门限 Δga=1×10-6,SIFT匹配算法和SURF匹配算法中的近邻比均设为ε=0.49。
仿真环境:
本仿真的软硬件环境为CPU:Q9500 2.83 GHz,内存4 GB,Windows操作系统,编程平台为:Visual Studio 2008,语言为OpenCV和C++。
本文采用的UAV侦察图像如图5(a)所示,分辨率为559×526,图5(f)为模板图像,分辨率为121×98,为了验证本文算法的鲁棒性,先分别对图5(a)进行旋转、灰度、尺度等变换,再采用三种算法进行对比。图5(b)和图5(c)分别为图5(a)顺时针旋转30°和60°的图像。图5(d)为图5(a)进行灰度变换后的图像,图5(e)为图5(a)提取一层高斯金字塔后的图像。
图5 本文仿真用图
图6(a1)至(e1)为算法1识别结果,(a2)至(e2)为算法2识别结果,从图中可以看出,两种算法均能准确地识别物体的位置,不存在误识别和漏识别的现象。两者识别位置差别很小,几乎完全一致。
本文算法与其他两种算法对比的各种计算结果如表1所示。
两种算法在时间消耗和识别误差上的对比如表2所示,其中时间对比1是指算法1和本文算法在时间消耗上的比值,时间对比2是指算法2和本文算法在时间消耗上的对比。
图6 算法识别结果
表1 各种算法对比
表2 算法在时间和精度上的对比
由表2中的时间对比1可以看出,在精度相同的情况下,本文算法只需要采用SURF算法的时间的30%到40%,平均的时间消耗只要采用SURF的35%,算法的实时性大为提高。
由于采用方法1中所使用的SIFT算法的鲁棒性较强,所获得的匹配特征点最多,是采用SURF算法的将近3倍左右,所以可以认为SIFT算法的识别精度在本文所采用的算法中是最高的,从表2的识别误差对比中可以看出,在识别误差小于3%的情况下,由表2中的时间对比2可以看出,本文算法所用的时间只有采用遗传算法和SIFT算法结合算法的9%左右,在保证识别精度的情况下,极大地缩短了识别的时间,提高了算法的实时性,已经能够满足近实时的处理能力。
根据UAV侦察目标识别中对于实时性和鲁棒性的要求,本文设计了一种基于SURF的UAV快速目标识别方法,并介绍了相应的步骤及识别效果。并与另外两种算法进行了准确性、实时性和鲁棒性的比较。实验结果表明,本文算法提取的ROI区域准确,能够较大程度地缩小搜索空间,利用SURF精确匹配准确,能够很大程度地加快识别时间,并保证识别的鲁棒性。相对于基于SIFT算法的识别方法,本文方法在精确度上与其相当,但速度有极大的提高,更具实时性,并表现出较强的鲁棒性。该算法基本能够满足UAV侦察目标识别中的准确度、实时性和鲁棒性的需求,为UAV侦察目标识别提供帮助。
但是,本文选取的图像比较清晰,未加入UAV侦察过程中的云雾干扰和抖动问题,今后可以考虑加入成像过程中的干扰和抖动,进一步改进本文算法的实时性和鲁棒性。
[1]马时平,毕笃彦,陈岚岚.基于图像匹配技术的分级识别[J].计算机工程,2004,30(5):159-160.
[2]张名成,吴秀清,王鹏伟.基于闭合轮廓提取和部分特征匹配的飞机识别[J].计算机仿真,2006,23(11):193-197.
[3]李迎春,陈贺新,赵铭,等.基于飞机目标的仿射不变矩研究[J].吉林大学学报,2003,21(5):84-88.
[4]王鹏伟,吴秀清,余珊.基于角点特征和自适应核聚类算法的目标识别[J].计算机工程,2007,33(6):179-184.
[5]杨晓敏,吴炜,卿粼波,等.图像特征点提取及匹配技术[J].光学精密工程,2009,17(9):2276-2282.
[6]王永明,王贵锦.图像局部不变性特征与描述[M].北京:国防工业出版社,2010.
[7]Hu M K.Visual pattern recognition by moment invariant[J]. IRE Trans on Information Theory,1962,8:179-182.
[8]郑军,诸静.基于自适应遗传算法的图像匹配[J].浙江大学学报,2003,37(6):689-692.
[9]Bay H,Ess A,Tuytelaars T,et al.Speeded-Up Robust Features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.
[10]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[11]刘莉,吴秀清,牛宗标.模糊图像中的飞机识别方法[J].计算机仿真,2006,23(3):164-166.
JIA Wei1,ZHANG Qing2,XI Qingbiao1,2,LIU Huixia1
1.No.365 Research Institute,Northwest Polytechnical University,Xi’an 710065,China
2.School of Automation,Northwest Polytechnical University,Xi’an 710072,China
In order to solve the problem of robust identification of target in the UAV reconnaissance image in real time,a fast recognition algorithm based on Speeded Up Robust Feature(SURF)is proposed in this paper.A similar matching function using moment invariant features is constructed as the fitness function in the genetic algorithm.Then the region of interest which may contain target is selected using genetic algorithm.Speeded up robust features are taken between the ROIs and the match pair is found using nearest matching algorithm.The match pair is used to determine the location of the target accurately.The result of simulation indicates that the algorithm is not only effective on enhancing the real-time ability of identifying target,but also robust. Key words:target recognition;Unmanned Aerial Vehicle(UAV);preprocessing;Region Of Interesting(ROI);moment invariant;genetic algorithm;Speeded Up Robust Features(SURF)
针对UAV(Unmanned Aerial Vehicle)侦察目标识别中的实时性和鲁棒性的要求,提出一种基于SURF(Speeded Up Robust Features)的快速目标识别算法。对UAV侦察图像进行预处理,采用不变矩构造遗传算法的适应度函数,利用遗传算法的全局搜索能力快速地提取可能包含目标的ROI(Region Of Interesting)区域。在ROI区域和模板图像中提取SURF特征点,采用最近邻的匹配算法搜索匹配对,从而精确确定目标的位置。仿真结果显示,该算法可以明显地提高目标识别的实时性并具有相当的鲁棒性。
目标识别;无人机(UAV);预处理;感兴趣区域(ROI);不变矩;遗传算法;加速稳健特征(SURF)
A
V219
10.3778/j.issn.1002-8331.1201-0173
JIA Wei,ZHANG Qing,XI Qingbiao,et al.Fast algorithm based on SURF for UAV target identification.Computer Engineering and Applications,2013,49(23):132-136.
国家自然科学基金(No.61074155)。
贾伟(1980—),男,工程师,主要研究方向为无人机任务规划与控制、侦察信息处理等;张清(1986—),男,硕士研究生,主要研究方向为无人机图像处理、目标识别等;席庆彪(1964—),男,硕士研究生导师,研究员,主要研究领域为无人机导航、制导与控制、飞行控制与仿真技术等;刘慧霞(1973—),女,高级工程师,主要研究领域为无人机信息处理、目标跟踪与定位等。
2012-01-11
2012-03-29
1002-8331(2013)23-0132-05
CNKI出版日期:2012-06-01 http://www.cnki.net/kcms/detail/11.2127.TP.20120601.1457.032.html