视频车辆监控系统图像抖动快速消除算法研究

张全法， 任朝栋， 李 焕， 杨海彬

(郑州大学 物理工程学院 河南 郑州 450001)

视频车辆监控系统图像抖动快速消除算法研究

张全法， 任朝栋， 李 焕， 杨海彬

(郑州大学 物理工程学院 河南 郑州 450001)

在开发智能视频车辆监控系统时，为满足图像抖动消除速度和效果的要求，通过分析系统特点提出了一种基于图像匹配的新算法.新算法利用在基准帧中预先划定的适合于进行图像匹配的区域，在当前帧中根据像素灰度的绝对差值和寻找其最佳匹配，通过预测的方法快速求出当前帧相对于基准帧的偏移量，从而用来消除抖动.实验表明，新算法在确保抖动消除效果的同时大幅度地提高了处理速度，满足了系统要求.

视频图像处理； 车辆监控系统； 视频图像抖动消除； 图像匹配

0 引言

智能视频车辆监控系统中的图像抖动会严重影响车辆的识别和跟踪、交通参数的统计、交通违章的判定等.即使采用高成本的龙门支架安装摄像头，在受到强风、重型车辆驶过等因素影响的时候，所拍摄的视频图像仍然可能出现抖动.采用加速度传感器、滤镜等硬件设备来消除图像抖动，效率低，应用环境有限[1]，成本也高.于是在设计该系统时提出利用软件来消除图像抖动.为了不影响系统的实时性，既要求其速度尽量快，还要求抖动消除效果尽量好.

视频图像抖动消除系统一般包括运动参数估计和运动补偿两个模块[2]，而运动参数估计模块是其中的关键.目前用来估计运动参数的方法主要有基于图像匹配的方法[3-4]、基于光流的方法[5]和基于特征匹配的方法[2,6].基于光流的方法非常复杂，运算量太大[4].基于特征匹配的方法运算量也很大，因为进行特征提取往往涉及大量的几何与图像形态学计算[7].基于图像匹配的方法对于只含有平移和微小旋转的图像序列具有较高的检测精度，通过采用快速搜索算法，如三步搜索法、两维对数下降法和两步搜索法等，可以大大减少计算量[8].然而，通过分析与尝试发现，已有算法的处理速度还不能满足系统要求.为此，针对系统特点提出一种新的基于图像匹配的快速算法，不仅满足了系统的速度要求，而且满足了系统的效果要求.

1 提高图像抖动消除速度的方法

1.1系统特点分析

智能视频车辆监控系统的特点:

①前景中存在大量的运动物体，如各种车辆和行人等.因此在已有算法中所产生的匹配区域有可能包含运动物体，在估计运动参数时，只能采取复杂的措施如迭代最小二乘法[2]、M鲁棒估计方法、快速M估计算法[4]、运动一致性原则[3]等来减小其影响，从而导致已有算法的处理速度达不到系统要求.为此，提出利用预先划定的不包含运动物体的区域作为匹配区域.这样既可以避免复杂措施对速度的影响，又可以缩短匹配时间，提高处理效果.当然，若想获得比较好的处理效果，所划定的匹配区域还应该具有明显的特征.

②在所开发的智能视频车辆监控系统中，用于车辆行为智能分析的摄像头在安装调试之后参数固定不变，不存在旋转、平移或调焦等主观运动.可以选取特征明显又不会被遮挡的固定物体作为匹配区域，必要时甚至可以设立标识性物体.而且可以仅划定1个匹配区域，从而可以将其局部运动矢量直接作为全局运动矢量，使得在运动补偿模块中不必再根据相邻帧之间全局运动矢量夹角大于90 °的出现频率等[3]来区分摄像头的主观运动和非主观运动，可以将所有运动看作非主观运动即抖动，直接进行运动补偿即可.已有算法则不然.

③摄像头抖动造成图像可能同时有水平方向和垂直方向的运动，但旋转运动和缩放运动可以忽略.前者使得不适合采用文献[9]中所述的投影法来提高匹配区域的搜索速度[7].后者使得可以应用基于图像匹配的方法来消除抖动，提高运动参数的估计速度，同时提高运动补偿模块的处理速度.在图像域中进行图像匹配时，为避免运算量太大，采用根据像素灰度信息的方法.

④一般情况下摄像头抖动的频率比较低、幅度比较小.可以将所划定的匹配区域在基准帧中的位置作为搜索中心，根据工程实际在其附近限定搜索范围.在低频抖动下，可以根据上一帧的运动趋势预测下一帧的运动趋势，并将上一帧中的最佳匹配位置作为下一帧的搜索起点，从而加快匹配区域的搜索速度.实际中确实可能出现低频、大幅度的抖动，可以采用超出搜索范围即跳过去不处理的方法，因为一方面这种情况的出现概率很低，另一方面即使能够消除抖动图像的可用信息也会大幅度减少.

⑤环境光随时间改变，但是一般情况下改变缓慢.根据像素灰度信息进行图像匹配时，衡量两个区域相似程度的测度函数绝对差值和受光照变化的影响比较大，但速度最快，故选用它来提高计算速度.至于环境光缓慢改变的影响，则通过定期更新匹配区域的方法来减小.虽然更新匹配区域也需要时间，但是每次更新耗时很短，况且可以间隔很多帧才进行一次，对速度的影响要比采用复杂的测度函数小得多.环境光也有急剧改变的时候，如闪电导致的瞬间改变等，可以采取不处理对应帧的方法，这并不影响系统整体性能.

1.2新算法描述

在进行抖动消除之前需要将每帧彩色图像转换为灰度图像，为了提高转换速度并且尽量地不失真，采用了文献[10]中所述的灰度化方法.事实上，所求运动参数完全可以用来对原始的彩色图像进行抖动消除，差别仅在于需要平移的数据量比较大.

假设每帧图像水平、垂直方向像素数分别为S、T.建立基准帧坐标系OXY，原点位于基准帧左上角，X轴水平向右，Y轴垂直向下.由于图像是离散化的，每个像素可以用一个小矩形表示出来，但是坐标系不便绘制，故采用在最上面一行像素旁边标出0,1,…,S-1的方法表示X轴，采用在最左边一列像素旁边标出0,1,…,T-1的方法表示Y轴，如图1所示.假设在第一帧即基准帧中预先划定的匹配区域如图1中阴影部分所示，水平、垂直方向像素数分别为M、N，左上角即“·”所在像素在基准帧坐标系里的坐标为(X0,Y0).建立匹配区域坐标系oxy，原点位于匹配区域左上角，x、y轴分别与X、Y轴平行(图1).

假设根据工程实际确定的最大水平、垂直抖动幅度分别为H、V像素.显然，划定匹配区域时必须由软件将匹配区域左上角限制在图1中粗线框所示的矩形之内，此矩形左上角的坐标为(H,V)，宽度为S-M-2H像素，高度为T-N-2V像素.当前帧坐标系与基准帧坐标系相同，如图2所示.用来进行图像匹配的子图如图2中阴影部分所示，尺寸与匹配区域相同，左上角即“·”所在像素在当前帧坐标系中的坐标为(X,Y).子图坐标系与匹配区域坐标系相同.

图1 基准帧与匹配区域坐标系Fig.1 Coordinates systems of base frame and matching region

图2 当前帧与子图坐标系Fig.2 Coordinates systems of current frame and sub image

开始处理前将匹配区域在基准帧中的像素灰度值及左上角坐标(X0,Y0)保存到内存中，并且设置偏移量和运动趋势的初值.偏移量为(δX,δY)，初值是(0,0).运动趋势为(βX,βY)，βX和βY取+1时分别表示向右、向下运动，取-1时分别表示向左、向上运动；运动趋势的初值可以任意选取，假设为(+1,+1).开始处理后，假设对任一帧图像已经求得上一帧中匹配区域的(δX,δY)和(βX,βY)，搜索最佳匹配的步骤是：

①根据上一帧的偏移量预测搜索起点.令第1个子图左上角在当前帧坐标系里的坐标(X,Y)满足X=X0+δX，Y=Y0+δY.然后按照绝对差值和法求其与匹配区域的相似程度测度函数值，即

(1)

式中，(X,Y)为子图左上角在当前帧坐标系里的坐标；D(X,Y)为子图与匹配区域的相似程度测度函数值；M、N分别为匹配区域水平、垂直方向像素数；(x,y)为子图与匹配区域中的对应像素在各自坐标系里的坐标；g(x,y)，g0(x,y)分别为子图与匹配区域中对应像素的灰度.由于环境光是变化的，并且考虑到采用了预测的方法，求和一直进行到最后，而不是像SSDA算法那样超过某个阈值就停止[11].

②进行水平方向的搜索.Y保持上一步的值不变，根据βX预测下一个子图的X，即令X=X+βX.按照式(1)重新计算测度函数值.若测度函数值变小或不变，说明搜索方向正确，根据βX规定的方向继续搜索，直到测度函数值即将变大.若测度函数值变大，说明搜索方向错误，退回原位置，令βX=-βX，并根据新的βX规定的方向搜索，直到测度函数值即将变大.在搜索过程中若超出搜索范围则停止，认为搜索失败.搜索范围由图2中粗线框所示的矩形表示，此矩形左上角的坐标为(X0-H,Y0-V)，宽度为2H+1像素，高度为2V+1像素.

③进行垂直方向的搜索.类似于步骤②，不同的是将X、Y和βX分别换成Y、X和βY.

④重复步骤②和步骤③，直到X和Y不再改变.若重复次数超过给定值，也认为搜索失败.允许的重复次数需要根据运行时间和处理效果综合确定.

若通过上述步骤搜索成功则继续进行以下处理，包括由最后的X和Y求得δX=X-X0和δY=Y-Y0作为当前帧的偏移量、根据它们与上一帧偏移量的差别重新确定当前帧的运动趋势、对当前帧图像进行平移即消除抖动、利用最佳匹配处的子图定期地更新匹配区域、完成系统后续功能如背景差分和车辆识别与跟踪等.若失败，则不进行这些处理.

2 实验结果

在配置为奔腾双核2.5 GHz的微机上利用VC6.0编程实现上述算法，对大小为720×288像素的AVI格式视频进行抖动消除.由于该段视频由项目委托单位提供，是在沙盘上拍摄的，景物比例和纵横比皆存在失真，为了尽量符合实际，下面给出的图像改变了原来的纵横比.

首先考察处理速度.实验连续处理了720帧图像，水平方向偏移量平均2.42像素，最大25像素，垂直方向偏移量平均0.47像素，最大5像素.利用VC6.0的Build/Profile功能测出用于消除抖动的函数总耗时267 ms，平均每帧耗时0.37 ms，可见速度非常快，为实时完成系统的其他各种复杂处理争取了时间.

其次考察处理的效果，如图3所示.图3(a)为基准帧，右侧矩形框中的区域为预先划定的匹配区域，大小为83×50像素，为了醒目绘制矩形框时用了比较粗的线条.图3(b)为消除抖动后的某一帧，图中黑色部分(左侧比较明显)是图像平移的结果，水平方向移动了25像素，垂直方向移动了2像素.图3(c)为消除抖动前该帧与基准帧的二值化差分图像，车辆周围存在着大量抖动造成的噪声点，无法识别.图3(d)为消除抖动后该帧与基准帧的二值化差分图像，很好地消除了抖动的影响，车辆可以被准确地识别出来.

3 结束语

针对智能视频车辆监控系统的特点，提出了一种快速消除图像抖动的算法，对于保证整个系统的实时性起到了很重要的作用.该算法只是整个系统中的很小一部分，其他各部分如车辆识别和跟踪、车辆行为分析等已经完成.在实际现场测试中获得了很好的抖动消除效果，系统各部分运行良好，达到了设计要求.该算法还可以推广到类似的实时视频图像处理系统中，只要能够划定合适的匹配区域，就可以利用它既好又快地消除抖动.

图3 抖动消除效果Fig.3 Effect of video stabilization

[1] 朱磊,夏雨人.Diamond搜索运动估计在视频图像抖动消除中的应用[J].计算机应用与软件,2006,23(3): 89-91.

[2] 徐理东,林行刚.视频抖动矫正中全局运动参数的估计[J].清华大学学报:自然科学版,2007,47(1):92-95.

[3] 黄亚博,焦建彬,叶齐祥,等.一种鲁棒性的抖动视频稳像算法[J].光电子·激光,2008,19(3):394-399.

[4] 宋利,周源华,周军.基于运动矢量的视频去抖动算法[J].上海交通大学学报,2004,38(增刊):63-66.

[5] 杨勇,王桥,吴乐南.基于标号场的光流法二维运动估计[J].电子与信息学报,2001,23(12):1321-1325.

[6] 庞洵,李威,高小伟.基于特征匹配与仿射变换的视频防抖算法[J].微计算机信息,2008,24(3/4):180-182.

[7] 陈皓,马彩文,陈岳承,等.基于灰度统计的快速模板匹配算法[J].光子学报,2009,38(6)：1586-1590.

[8] 陈跃庭,冯华君,徐之海,等.多参考点三步搜索法快速稳像算法[J].光电子·激光,2006,17(6):746-749.

[9] 孙远,周刚慧,赵立初,等.灰度图像匹配的快速算法[J].上海交通大学学报,2000,34(5):702-704.

[10] 张全法,杨海彬,任朝栋,等.彩色图像的快速高保真灰度化方法研究[J].郑州大学学报:理学版,2011,43(3):66-69.

[11] 吴培景,陈光梦.一种改进的SSDA图像匹配算法[J].计算机工程与应用,2005,41(33):76-78.

StudyonFastVideoStabilizationAlgorithmforVehicleMonitoringSystem

ZHANG Quan-fa, REN Chao-dong, LI Huan, YANG Hai-bin

(SchoolofPhysics&Engineering,ZhengzhouUniversity,Zhengzhou450001,China)

To meet the speed and effect requirement of video stabilization for a vehicle monitoring system in developing,a new fast algorithm based on image matching was proposed by analyzing system features. In the new algorithm,a predefined region that was suitable for image matching to calculate motion parameters was used by comparing its original position in base frame and its best matching position in current frame. The best matching position was found by searching the minimum sum of absolute difference of pixel’s gray value,and forecasting method was used in the searching. Then the motion parameters were used for video stabilization. In experiments,the new algorithm demonstrated a very high speed along with a favourable effect,which met the requirements of the system.

video image processing;vehicle monitoring system;video stabilization;image matching

TP 391.41

A

1671-6841(2011)04-0044-04

2011-01-02

张全法(1966-)，男，副教授，硕士，主要从事传感器与计算机应用技术研究，E-mail：zhangquanfa@zzu.edu.cn.