无人机机载光电平台侦察图像拼接技术*

张明义 赵泉朴 吴中华

(1.陆军军官学院无人机系 合肥 230031)(2. 71290部队 潍坊 261000)

无人机机载光电平台侦察图像拼接技术*

张明义1赵泉朴1吴中华2

(1.陆军军官学院无人机系 合肥 230031)(2. 71290部队 潍坊 261000)

针对无人机机载光电侦察平台的技术特点,对比了多种图像拼接算法的优缺点,给出了基于二进制图像配准算法和空域图像融合方法的等效大视场、高分辨率图像拼接处理方法。

无人机；侦察；图像拼接

(1. UAV Department, Army Officer Academy, Hefei 230031)(2. No.71290 Troops of PLA, Weifang 261000)

Class Number E87

1 引言

无人机机载光电侦察平台的分辨率和视场角对于侦察图像的分辨率和视场起到决定作用。由于视场角与分辨率之间存在相互制约的关系[1],受材料工艺水平的限制,单片CCD传感器难以同时满足无人机侦察图像高分辨率和大视场的要求,如果将获取的视频图像直接播放,无法获得战场全貌,无法全面进行战况分析、态势评估和威胁衡量。为了解决这个问题,本文研究利用图像拼接技术,将光电侦察平台获取的图像序列拼接成一幅等效的大视场、高分辨率图像,以满足航空侦察对大视场和高分辨率的要求。

2 图像拼接基本流程

图像拼接是将两幅或者两幅以上具有重叠区域的图像进行图像配准,以其中一幅为基准图像,将其它图像按配准得到的仿射矩阵变换到基准图像所在坐标系下,进行图像融合,得到一幅等效的具有较宽视场角的高分辨率图像或者360°视角的全景图像技术。该技术为图像降噪、视场扩展、运动物体去除[2]、模糊消除、空间解析的提高和动态范围增强提供了可能性。图像拼接流程大致可分为图像预处理、图像配准和图像融合等三个步骤,如图1所示。图像预处理是对原始图像进行几何校正、直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作,为图像配准作好准备；图像配准和图像融合是图像拼接技术的核心。

图1 图像拼接的基本流程图

3 图像配准算法

图像配准是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加,使得图像上的同名点精确对准的过程,配准的精度决定了图像的拼接质量。

3.1 图像配准的基本方法

根据图像源的不同,图像配准主要分为三类:一是基于图像灰度统计的方法[3]；二是基于变换域的方法[4]；三是基于图像特征的方法[5]。

基于图像灰度信息的匹配方法主要有:块匹配法、比值匹配法、网格匹配法、互信息匹配方法、互相关匹配方法、投影匹配方法等。基于图像灰度信息的匹配方法虽然较简单,易实现,但是计算量较大,而且受光照、视角和遮挡的影响较大,图像的亮度不均匀变化、比例变化、旋转及遮挡都会造成较大的匹配误差,常用于对具有水平或垂直方向位移以及轻微旋转和变形情况的图像进行配准。

基于变换域的方法主要有:相位相关法、扩展相位相关法、小波变换等。这些方法对于频域出现的噪声具有较好的鲁棒性和较高的匹配精度,但对图像间的重叠比例要求较高(大于50%)。

基于图像特征的方法,按利用图像的特征不同分为基于特征点、基于边缘和基于结构信息的图像配准方法。基于特征点的图像配准在畸变、噪声等方面具有一定的鲁棒性,配准精度高、计算量小、速度快,但是当图像特征较相似,重叠区域较小时,容易出现误匹配,影响配准精度；基于边缘的图像配准在图像结构特征不变的情况下,可以排除灰度变化的影响,缺点是对旋转、缩放等几何畸变的适应能力差；基于结构信息的图像配准能处理仿射变换和重复模式的匹配,但是当仿射变换比较大和干扰点较多的情况下,匹配效果较差。

3.2 二进制图像配准算法

二进制图像配准算法是基于特征点的图像配准。该类算法中的特征点检测主要基于FAST判据:如图2所示,对于某一像素点p,若其离散包围圆上的16个点中至少有n个连续像素点的亮度值大于p的亮度值Ip加上阈值t,或者小于p的亮度值Ip减去阈值t,则判定p为角点,其中9≤n≤12。

图2 FAST角点检测算法

FAST判据的原理是通过比较像素点对的亮度来检测角点[6],避免了经典算法中矩阵或算子与原图像的卷积计算,可大大提高特征点检测的速度。对于768 × 512pixels的PAL制视频图像,每帧图像检测500个特征点,FAST角点检测算法和各经典算法计算时间如表1所示。

表1 FAST角点检测算法与经典算法性能比较

从表1可以看出,FAST算法的检测速度远大于现有的特征点检测算法。并且对平移、旋转、缩放变化保持高重复性,但对强噪声不具有鲁棒性,并且检测结果依赖于阈值t的选取。

二进制图像配准算法的主要特点在于其使用BRIEF,Oriented Fast and Rotated BRIEF(ORB),BRISK,FREAK等二进制特征描述算子。BRIEF算子是在对原图像进行高斯平滑滤波后,通过比较特征点位置附近服从高斯随机分布的512对像素点亮度值,获得二进制字符串作为特征点描述符。ORB,BRISK和FREAK算子都在BRIEF算子的基础上进行改进,通过比较不同采样模式下像素点对的亮度获得二进制字符串作为特征点描述符,如图3所示。其中ORB算子对旋转具有不变性,对噪声具有较强的鲁棒性；BRISK算子和FREAK算子对平移、旋转、尺度变化具有不变性,对噪声、视角变化具有较强的鲁棒性。

图3 BRISK和FREAK的采样模式

二进制特征描述算子的最大优势是特征描述符的相似性可以用汉明距离代替欧几里得距离来评估,汉明距离的计算可以通过逐位异或(XOR)附加一个位计数器来实现,比欧几里得距离的计算效率高很多。对于800 × 600 pixels的序列图像,每幅图像检测1500个特征点,使用二进制配准算法和经典配准算法进行特征点描述和匹配计算时间如表2所示。

表2 二进制配准算法与经典算法性能比较

由表2可知,二进制配准算法计算速度约比经典的SURF,SIFT算法快两个数量级,同时保持对噪声、尺度、旋转变化的鲁棒性,适用于实时性要求高的无人机航空图像处理任务。

4 图像融合

图像融合是指在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡,消除不同时刻图像采样,由于图像光强或色彩的不连续性而造成的图像拼接边界处的缝隙问题,它的主要思想是让图像在拼接处的光强平滑过渡以消除光强的突变。图像融合方法主要分为两大类:一类是空域融合方法；另一类是频域融合方法。

4.1 空域融合方法

空域融合方法有算术平均法、加权平均法、中值滤波器法等。算术平均方法的主要思想是:图像对应位置上的灰度值算术相加后取平均,消除拼缝的痕迹,能提高图像质量,由于简单的算术平均,相对于多分辨率融合,其运算速度极快。加权平均法是将重叠区域中对应位置上像素点的灰度值按照一定的权值处理后叠加在一起,形成一种渐变的效果,之后合成新的图像,权值的选取主要采取渐入渐出法和帽子函数加权平均法,加权平均需要进行加权计算,因此该算法的时间复杂度比算术平均法要高,但能够保留更多的细节信息。中值滤波器法采用中值滤波器作用在边界附近区域的处理方法,使与周围灰度值差比较大的像素取与周围像素接近的值,从而消除光强的不连续性,该算法适于处理边界附近的狭长地带,速度较快,但质量一般。

4.2 频域融合方法

频域融合方法有多分辨率金字塔图像融合算法和基于小波分解算法等。其基本方法都是把图像分解到不同分辨率下的一系列子图像,然后在每一级子图像上进行融合,得到融合后的子图像序列后再进行重构。其中,小波变换能够在不同的空间分辨率上突显原始图像的重要特征数据,并且经过小波分解后的细节信息损失小,各尺度之间的系数无冗余,适用于多分辨率图像融合。

空域融合方法速度快,适合大多数插入图像的场合；频域融合方法是在频率域上对边界区域进行融合,质量更好,但是在选择系数上需要有先验知识的支持,因此更适合专用的特定场合。

5 图像匹配实验

论文采用二进制图像配准算法和空域融合方法速度对某无人机机载光电平台获取的侦察图像进行了拼接处理,拼接效果如图4所示。

图4 拼接效果

通过实验得出:对于大小为1k×1k pixels,帧频为25帧/s的无人机视频图像,图像拼接精度可达到2～3pixels,在CPU主频为2.6Ghz,内存容量为4G的PC机上,采用隔帧抽取图像进行拼接的方法,可实现无人机侦察视频图像的准实时拼接。拼接后的图像对于提高战场全域观察能力,充分发挥侦察图像的使用效益具有重要意义。

[1] 黄波,黄大庆.无人机光电平台技术指标设计方法[J].信息化研究,2010,36(11):26-28.

[2] 杨智尧,宋欣,宋占伟.动态图像的拼接与运动目标检测方法的研究[J].图学学报,2014,35(6):893-898.

[3] 冷晓艳,薛模根,韩裕生,等.基于区域特征与灰度交叉相关的序列图像拼接[J].红外与激光工程,2005,34(5):602-605.

[4] 周国库.基于小波提取边缘特征点的遥感图像配准技术[D].西安:西北工业大学,2002.

[5] 张汗灵,郝重阳.基于特征的自动图像配准算法[J].电视技术,2003(9):80-83.

[6] Alahi A. FREAK: Fast Retina Keypoint[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2012:510-517.

[7] Mahesh, Subramanyam M V. Automatic image mosaic system using steerable Harris corner detector[C]// International Conference on Machine Vision and Image Processing. 2012:87-91.

[8] Harandi B K G, Shattri Bin Mansor, Helmi Zulhaidi M. Shafri. IMAGE MOSAIC METHODS FOR UAV SEQUENCE IMAGES[C]// Acrs. 2015.

[9] 娄树理,杨增胜,周晓东.无人机光电侦察、监视技术研究[J].红外与激光工程,2007,23(2):28-30.

[10] 肖诗勤,杨关良,范顺昌.一种基于特征的全景图拼接算法研究[J].舰船电子工程,2009,29(11):119-120.

Image Mosaics of UAV Electro-Optical Platform

ZHANG Mingyi1ZHAO Quanpu1WU Zhonghua2

Aiming at the characteristic of UAV electro-optical platform, the paper contrasted advantages and disadvantages of several image mosaics algorithms. Based on binary image registration algorithm and spatial domain images fusion methods, the paper carried out a mosaic processing method on wide-field and high-definition image.

UAV, reconnaissance, image mosaics

2016年6月15日,

2016年7月21日

张明义,男,博士,副教授,研究方向:无人机作战运用。

E87

10.3969/j.issn.1672-9730.2016.12.026