彩色分层和相位相关的视频稳像

董利芳，王小鹏，赵国辉，王杰

（兰州交通大学电子与信息工程学院 甘肃 兰州 730070）

0 引言

摄像机在移动过程中所拍摄的图像序列包括摄像机的扫描和无意识运动,这些无意识运动往往是不规则的随机抖动。随机抖动严重影响图像序列质量,易造成观察者疲劳、影响跟踪效果等问题。稳像系统就是去除视频图像序列中不规则运动引起的图像扰动,使图像序列稳定的过程.稳像系统主要分为光学稳像、机械稳像和视频稳像。其中视频稳像与传统的光学稳像、机械稳像相比,具有易操作、更精确、更灵活、体积小、价格低、能耗小和高智能化等特点。这些优点使得视频稳像成为稳像系统的发展方向[1]。

1 视频稳像原理及数学模型

视频稳像需要两大步骤：运动估计和运动补偿。运动估计就是找出相邻帧的偏移量,包括平移、旋转、缩放等运动参数。运动补偿就是在估计出运动矢量后,将扫描和抖动进行区分,在对扫描进行保留的同时对抖动量进行补偿。

视频稳像的模型基本有3种：Translation模型主要针对平移运动;Affine仿射模型主要针对扭转变化;Similarity模型主要针对含旋转和变焦的运动[2]。由于Translation模型和Affine仿射模型对视频运动描述具有局限性,所以本文采用Similarity模型来进行稳像。Similarity模型的函数关系如式（1）所示。

即：

式中p1; p0, 分别是当前帧和参考帧对应的坐标;σ是变焦系数,即图像的缩放;T,(Δx,Δy)是二维平移量;是正交的旋转矩阵Re;θ描述图像的旋转角度。

即:

2 运动估计和运动补偿

视频稳像的基本过程分为两大步骤：运动估计和运动补偿.运动估计是根据图像帧之间移动变化计算出精确运动;运动补偿是对算出的运动估计按相反的变换进行以达到稳定图像帧的目的。

本文采用先将待处理的图像进行彩色分层,之后进行小波变换,然后利用极坐标相位相关法求取图像的旋转角度,对图像进行角度补偿后,再利用平面直角坐标的相位相关法求取平移运动矢量,基本流程框图如图1所示。

图1 基本流程框图

2.1 运动估计

彩色分层技术：摄像机所得的彩色图像均由三原色组成,不同原色体现的图像特征不同，对不同原色的图像分别进行运动矢量的计算,之后对同一帧图像3幅不同原色图求取的运动参数进行权值化,便可得到精确的运动矢量。

小波变换的原理：通过小波变换,将自然图像抽样为多个不同分辨率的多帧图像,先对像素级数低的进行处理求取粗略的运动矢量,在粗略估计的基础上进行进一步精确的估计,得到精确的运动矢量。

相位相关技术是一种非线性、基于傅氏功率谱的频域相关技术,经常被用来检测两幅图像之间的平移。相位相关是一种受几何失真影响较小的匹配算法。因为几何失真对图像的高频分量影响大,而对低频分量影响小,所以采用低通滤波器、以傅里叶频谱为基础的相位相关法,可以大大减小几何失真对匹配性能的影响。相位相关法的具体计算方法见下面详解。它对噪声有较高的容忍度,检测结果与照度无关,是一种强鲁棒性的图像匹配方法。另外只要图像内容有三分之一是相似的,就可找出最佳匹配位置。

1）彩色分层

用彩色分层技术将图像分为3幅图像,对3幅图像分别进行处理计算出运动参数之后进行加权计算以提高匹配精度[3]。为了达到高精度的图像匹配结果,通常参与匹配运算的图像均具有较高的分辨率。然而,基于相位相关的图像匹配需要进行傅里叶变换,运算量很大,运算时间较长。所以采用小波变换的图像金字塔式,先对低分辨率的图像进行相位相关，计算出粗略的运动矢量,再以低像素图像得到的运动矢量为索引,在高分辨率的图像中求取精确的运动矢量[3]。

2）小波变换

小波分析的基本原理如图2所示,其中,2抽样是保留所有偶行和偶列相交像素组成抽样后的图像。旋转角度对平移矢量求取影响较大,所以求出旋转角度之后对当前帧进行旋转补偿之后再求取平移矢量。

3.1 实验数据

表1选择实验过程中的匹配计算过程中的一些数据。由表1可以清楚地看到文中所用算法平移矢量的误差在亚像素水平,旋转角度的计算误差可以精确到0.1°以内（由于文中处理的都是日常拍摄的视频,对于缩放系数近似看作0,如果是远程的拍摄如航拍等缩放对图像的匹配影响较大,文中算法也可适用）。

3.2 系统处理过程

在上述的稳像系统处理过程中,将连续两帧图像进行处理,其各个阶段的图像如图3所示。图3（a）～（f）为该算法处理的过程中的一组图片。图3（a）作为参考帧图像,（b）作为待补偿图像,（c）为稳像后的图像（d）到（f）为待补偿图像的不同颜色分量图, （g）到（i）为对应待补偿图像的不同颜色分量图的频谱图。

运算的结果如下：待匹配图像相对于参考帧图像顺时针旋转了0.3°,行方向左移了3.3个像素,列方向下移了16.0个像素,从旋转平移后的图像（f）和参考图像（a）的对比可以看出算法的计算的精确性。并且,该算法在VC++环境下[8]每秒可处理28帧图像能够达到实时性要求。

图3 视频图像处理过程

表1 关于运动矢量的一些实验数据

[1]钟平.机载电子稳像技术研究[D].长春:中国科学院长春光学机密机械与物力研究所, 2003.

[2]Rafael C.Gonzalez,Richard E.Woods.数字图像处理[M].2版.阮秋琦,阮宇智 译.北京:电子工业出版社，2003:252-253.

[3]邱庆军,徐可欣,蒋景英,虞启琏.结合小波变换与相位相关的图像匹配方法[J].信号处理, 2003,19(5):469-472.

[4]Hong Zhang,Changsong Deng ,Junwei Li,Fei Yuan,Ruiming Jia.Fast Digital Image Stabilization Algorithm Based on Polar Transform and Circular Block Matching[C].ICSP2008,1124-1127.

[5]Ruiming Jia,Hong Zhang,Lei Wang,Junwei Li.Digital Image Stabilization Based on Phase Correlation[C].2009 International Conference on Artificial Intelligence and Computational Intelligence, Beihang University,National Key Laboratory on Optical Features of Environment and Target,beijing,2009,485-489.

[6]Yi Liang.Phase-Correlation Motion Estimation[R].

[7]杜登崇,蒋晓瑜,姚军.基于相位相关的电子稳像算法研究[J].激光与红外,2009, 39（1）：63-66.

[8]胡小峰,赵辉.Visual C++/MATLAB图像处理与识别实用案例精选[M].北京,人民邮电出版社,2004.8,52-78.