基于灰度投影和块匹配的无人机视频稳像方法

袁　威，高跃清，吴金亮

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)



基于灰度投影和块匹配的无人机视频稳像方法

袁威，高跃清，吴金亮

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

摘要全局运动估计是电子稳像的关键技术之一。针对视频大抖动情况下的传统估计方法慢和不准确的问题，提出了一种灰度投影和块匹配相结合的平移运动估计，与基于图像极坐标变换的旋转缩放运动估计方法结合，形成了完整的全局运动估计新方法。使用卡尔曼滤波和视频图像重构，输出新视频。通过对大量视频处理，结果表明该方案提高了全局运动估计方法的运算速度和估计精度，产生了稳定的视频输出。

关键词视频稳像；全局运动估计；灰度投影法；块匹配法；对数极坐标

A UAV Video Stabilization Method Based on Gray Projection and Block Matching Algorithm

YUAN Wei,GAO Yue-qing,WU Jin-liang

(The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

AbstractThe global motion estimation is a key technology in video stabilization.Aiming at the drawbacks of traditional estimation method,such as low speed and inaccuracy in the situation of large video jitter,this paper proposes a translational motion estimation method by combining gray projection with block matching algorithm.This method combines with a rotation and zoom motion estimation method based on log-polar reference frame to obtain a new global motion estimation method.The Kalman filter and video image reconstruction is used to produce a new video.The results of many video processing experiments show that the method can improve the computational speed and estimation accuracy of global motion estimation method and output stable video.

Key wordsvideo stabilization;global motion estimation;gray projection algorithm;block matching algorithm;log-polar reference frame

0引言

无人机在空中遥感领域中应用日趋广泛[1]。但是无人机自身体积和工作特点，造成无人机拍摄的视频图像帧间不稳定，人眼视觉效果较差，影响任务执行，为后续处理带来困难。因此，要对无人机视频进行稳像处理。

目前，视频稳像方法主要分为3类：机械稳像、光学稳像和电子稳像[2]。采用电子稳像技术可以在不提高传感器复杂度的情况下，通过信号处理的方式，降低由于无人机飞行不稳定带来的视频效果的影响。电子稳像方法又分为2D方法和3D方法。3D方法实时性较差[3]。2D方法又分为代表点法、灰度投影法、块匹配法、位平面匹配法和特征点匹配法[4]。2D方法实时性强，但目前对于景深复杂的场景处理能力不足。

在空中遥感的应用中，无人机视频场景中大多没有复杂的景深信息，同时对实时性提出了很高的要求。所以2D方法有很大的应用潜力。但传统的2D方法对于大抖动研究较少[5]，无法满足无人机视频稳像需求。

本文联合使用了灰度投影法和块平面匹配法，对无人机视频稳像，提高了对大抖动的处理能力。

1信号处理流程

视频稳像的处理流程如图1。视频图像先进行平移运动估计，即先使用灰度投影得到平移运动估计，并作为初始值，再进行块匹配得到最终的平移运动估计。对块匹配配准后的图像使用极坐标变换，再次块匹配得到旋转缩放运动估计。由局部运动估计得到全局运动估计。使用卡尔曼滤波方法对全局运动估计进行运动轨迹平滑。根据平滑后的轨迹，对视频图像重构，产生稳像后的视频输出。

图1　信号处理流程

2运动估计

无人机视频图像中4个角区域的位置相关性最弱，主要表现在当任意区域有运动物体干扰，影响运动估计时，其他区域不易受到影响。故基于这4个区域可以得到极佳的全局运动估计。

2.1局部运动估计

2.1.1灰度投影

2.1.2块平面匹配

同一图像块进行块匹配，SAD匹配准则运算开销最小，采用SAD匹配准则：

块匹配的具体方法如图2所示。研究表明，块匹配搜索算法使用DS搜索算法，既可以减少运算开销又可以得到与FS搜索算法相似的搜索结果。故采用DS搜索算法[7]。

图2　块匹配示意

2.1.3旋转缩放运动估计

旋转缩放运动估计选择对数极坐标变换[8]，图像从笛卡尔坐标系到对数极坐标系(I(x,y)→I(r,θ))的变换关系为：

2.2全局运动估计

3运动平滑

运动估计的累积形成运动轨迹。稳像的目的是去除运动轨迹的高频运动分量，从而去除抖动。

一般采用曲线拟合与卡尔曼滤波的方法，对运动轨迹平滑[10]。曲线拟合的方法缺点在于控制点的选择，导致无法实现实时处理。采用卡尔曼滤波[11,12],实时地进行轨迹平滑。以X轴水平方向为例建立状态方程和观测方程：

4视频图像重构

平移和旋转缩放运动估计可以得到图像的相似变换[13]：

式中，u,u′分别为变换前后图像点的位置矢量；s为缩放系数；R为旋转矩阵；t为平移向量。相似变换写成单应性变换矩阵为：

式中，H为齐次的变换矩阵，变换前后图像点为一一映射关系。

实际应用中，采用反向变换，但变换后的图像边缘通常会出现黑边。可以采用其他帧信息剪裁、填充，或用修图的方法来处理，这样会保持图像原始分辨率但会影响算法的实时性。也可以采用对当前帧剪裁的方法处理，虽然分辨率会有损失，但保证了算法的实时性。本文采用当前帧剪裁的方法。

5实验结果分析

在双核CPU：3.4 GHz，WIN7操作系统，Matlab R2011a平台仿真环境下，对算法进行了仿真实验，并对算法处理后的视频做了PSNR值统计，PSNR值反应了视频图像序列的差异大小(PSNR值越大差异越小)。处理视频采用国外相关研究使用的视频数据库，分辨率为640*360。算法选取的匹配块大小为64*64。块匹配算法对比如表1所示。由表1可以看出，本文算法在运算效率上相对于DS算法有了较大的提升，同时，视频序列的PSNR值也有了小幅提升，这是因为灰度投影法计算出的运动估计减小了块匹配算法搜索到局部最优点的概率。

表1　块匹配算法对比

卡尔曼滤波前后的运动轨迹如图3和图4所示，过程噪声Q=0.001。由图3和图4可以看出，滤波后的运动轨迹变得平滑，高频分量减少。

图3　滤波前后垂直方向的运动轨迹

图4　滤波前后水平方向的运动轨迹

算法对视频稳像的结果如表2所示。可以看出，在不使用旋转缩放运动估计信息的平移变换方法，视频稳像的质量已有了大幅度提升。使用了旋转缩放运动估计的信息，采用相似变换后，视频稳像质量又有了小幅提升。这是因为视频抖动主要表现为平移抖动。所以平移变换后，相似变换可以提升的幅度有限。平移变换每帧只需0.2 s左右，相似变换需0.4 s左右。都可以满足视频25 fps的要求，达到了实时性的要求。

表2　视频稳像结果PSNR分析

6结束语

在分析灰度投影法和块匹配方法的基础上，提出了2种方法相结合的全局运动估计方法。实验表明，新的全局运动估计方法，减少了运算开销，同时提升了估计精度。卡尔曼滤波很好地消除了视频的高频抖动。稳像后的视频PSNR值有了明显的提升，视觉效果得到了很大的改善。但是，景深丰富的场景限制了本文算法的适用范围，以及噪声大小、亮度变化和场景复杂度等因素的影响也有待于进一步的分析和研究。

参考文献

[1]李德仁，李明.无人机遥感系统的研究进展与应用前景[J].武汉大学学报(信息科学版)，2014，39(5)：505-513.

[2]周明宇.电子稳像理论研究及DSP实现[D].哈尔滨：哈尔滨工业大学，2014(4):2-3.

[3]FENG L,HAILIN J.Content-preserving Warps for 3D Video Stabilization[J].ACM Transactions on Graphics (TOG),ACM,2009,28(3):44.

[4]汪道寅，胡访宇.基于改进SIFT算法的视频序列图像配准[J].无线电工程，2011，41(2)：16-18.

[5]朱娟娟.电子稳像理论及其应用研究[D].西安：西安电子科技大学，2009(7):63-86.

[6]吴浩，邓宏彬，何少阳.基于分块灰度投影的无人飞行器视频稳像方法[J].北京理工大学学报，2013，33(4)：385-390.

[7]AROH B.Block Matching Algorithms for Motion Estimation [C]∥ IEEE Transactions Evolution Compu-tion,2004,8(3):255-239.

[8]余博，郭雷，赵天云.基于对数极坐标变换的灰度投影稳像算法[J].计算机应用，2008，28(12)：3 126-3 128.

[9]SUNG J K,SEUNG W J,EUL S K.Fast Digital Image Stabilizer Based on Gray-coded Bit-plane Matching [J].Consumer Electronics IEEE Transcations on,1999,45(3): 598-603.

[10]梁民赞，黄子豪，曹占启.曲线拟合与卡尔曼滤波器的滤波精度评估[J].无线电工程，2013，43(3): 36-39.

[11]陈晓露，戴明，葛明，等.快速平滑点特征轨迹电子稳像[J].红外与激光工程，2014，43(6)：1 988-1 993.

[12]吉淑娇，朱明，胡汉平，等.基于特征匹配的视频稳像算法[J].吉林大学学报(工学版)，2013，43(3)：322-325.

[13]RACHARD S.计算机视觉——算法与应用[M].北京：清华大学出版社，2012：29-33.

袁威男，(1989—)，硕士研究生。主要研究方向：视频图像处理。

高跃清男，(1974—)，研究员。主要研究方向：信号与信息处理。

作者简介

中图分类号TP391.41

文献标识码A

文章编号1003-3106(2016)02-0019-04

基金项目：国家部委基金资助项目。

收稿日期：2015-11-12

doi:10.3969/j.issn.1003-3106.2016.02.05

引用格式：袁威,高跃清,吴金亮.基于灰度投影和块匹配的无人机视频稳像方法[J].无线电工程,2016,46(2):19-22.