基于IP网的视频监控图像传输的研究

方世林

(湖南理工学院 计算机学院,湖南 岳阳 414006)

基于IP网的视频监控图像传输的研究

方世林

(湖南理工学院 计算机学院,湖南 岳阳 414006)

在网络化、数字化的视频监控系统中,应用基于小波变换的视频对象分割融合法,提出视图定位法,让前端的网络视频服务器实现前景运动对象与背景的分割,并在监控中心利用该视图定位法,快速实现前景运动对象图像和背景图像的融合.此外,对运用上述方法的视频监控图像传输进行了性能分析.最后,对本领域的研究进行了总结.

视频对象;视图定位法;分割融合法;视频监控

引言

在基于IP网的远程监控系统中,面临着一个较大的问题是:大量视频图像的传输和运动对象的跟踪.传统的视频监控系统都是传输完整的视频图像,在低带宽的情况下,大多数采用降低空间分辨率和帧率的方法.本文研究了在摄像监控端采用视频对象的分割技术,实效地传输运动对象,再结合视图定位法,在监控中心运用图像的融合技术,以此减少图像传输码流和充分实时传输有效信息,解决网络化视频监控系统传输的网络带宽问题和提高视频监控系统跟踪运动对象的实效性.

1 视频对象的分割融合法

采用基于小波变换的分割算法[1～3]、融合算法[4～10],在改进这些算法的基础上,进行视频对象与背景图像的分割与融合.根据在频率域上前景的运动表现为高频率成分,而相对静止的背景由于几乎没有变化,表现为低频成分的原理,在前端的网络视频服务器上,对视频对象采用基于小波变换的分割,分离出高频成分的运动前景对象和低频成分的背景,传输高频成分的运动前景对象到监控中心,然后使这些高频成分的运动对象与存储在监控中心的背景图像采用基于小波变换的融合算法,结合视图定位法,快速实现它们之间的融合.

1.1 视频对象分割过程

a)按一定的帧率,将视频序列划为若干视频分组序列;

b)对视频分组序列在时间轴上进行小波变换;

c)对视频分组序列小波变换以后的高频系数进行处理,得到高频图像;

d)高频图像自适应二值化,得到一个初步的掩模图像;

e)对自适应二值化后的掩模图像进行二值形态学处理(去除噪声、边界检测、骨架化、区域分割)得到最终的掩模;

f)根据掩模提取该组图像序列中的运动视频对象.

经过视频对象分割算法,最后得到运动视频对象图像,步骤如图1所示.在视频分割时候,对运动视频对象图像进行了视图定位处理,就是提取了运动视频对象的角点,再把这些特征点在背景图像中的位置以流码的形式传输,使视频运动对象图像和背景图像准确快速地融合.

图1 基于小波变换的视频对象分割步骤图

1.2 视频对象融合过程

a)由于传输过来的视频对象图像A、B、C都是高频图像,对他们采用小波分解,得到的是高频子图像A1、B1、C1,而背景图像本来就是低频图像,所以不需要进行小波分解.

b)对高频子图像采用相应的融合规则及融合算法进行融合,得到高频的融合图像Dh(F).在对高频子图像集进行融合的过程中,结合视图定位法,使各高频子图的相对位置准确.

c)对融合后的低频和高频图像结合视图定位法进行小波逆变换,重构得到融合图像E.首先把由分割得来的视频对象图像A、B、C进行融合,得到高频融合图像D,图像D再与低频背景图像融合,过程如图2所示.

图2 基于小波变换的视频对象融合过程图

2 视频监控图像传输机制

2.1 视频监控图像传输步骤

a)进行监控全景的取景;

b)传输整个视图全景图像,在网络视频服务器和监控中心分别保存一份;

c)对下次传输的视图进行前景运动对象和背景的分割,传输前景运动对象;

d)在监控中心,运用视图定位法,快速地把传来的前景运动对象与保存的全景背景图像进行融合;

e)实时地进行监控全景图像背景的更新.

2.2 图像定位法

2.2.1 提取出图像特征点算法

在图像分割时,对图像进行二值化,用图像形态学的梯度、细化和修剪算法来提取边缘轮廓.本文用Forstner算子[11,12]得到图像的角点.对于角点,对最佳窗口内通过每个像元的边缘直线(垂直于梯度方向)进行加权中心化,得到角点的定位坐标,具体如下.

a)最佳窗口

以每个像素为中心,取一个窗口N(如5×5).计算每个窗口的有利值q和w.如果有利值大于给定的阈值,则将以该像元为中心的窗口作为候选最佳窗口,阈值为经验值,抑制局部非最大,得到最佳窗口.为了减少计算量,在计算q,w值之前,可以先计算像元:分别算出在x,y正方向上的4个梯度值的绝对值,取出4个值中的最小值记为T,只有T值大于某个阈值时才计算q,w值.

b)角点定位

最佳窗口内任意一个像元(r,c)的边缘直线L的方程为

其中ρ为原点(设为最佳窗口的左上角像元)到直线L的距离,θ为梯度角,,而gc、gr为该点的Robert梯度.设角点坐标为(c0,r0),设v是点(c,r)到直线L的垂直距离,在(c,r)处给出误差方程,即

上式的含义是:把原点到边缘直线的距离ρ当作观测值,而保持边缘直线的方向不变,权w(r,c)等于梯度模的平方,所以权实质上是一个边缘尺度.对上式法化,得到法方程

法化结果与最佳窗口内像元的加权中心结果一致.对上式求解,可以得到角点坐标(c0,r0).

2.2.2 图像定位过程

在视频图像的传输过程中,运用图像定位法,首先对监控全景用矩阵平面图来表示,如图3,以监控全景的最左上方的为始点,以最右下方为终点.那么每一个像素点可以用矩阵点来表示,比如,对于按行来排列的矩阵,A[i,j]表示第(i-1)×n+j个像素点.

图3 全景背景矩阵平面图

前景运动对象用平面图4来表示.坐标(a,b)、(c,d)、(e,f)、(g,h)是通过Forstner算子得到的四个角点坐标,经过矩阵处理得到图5.

图4 前景运动对象平面图

图5 经过矩阵处理的矩阵平面图

当前景运动对象到达监控中心时,实现与背景图像的融合.在图6中,通过视频图像的定位法,把分割的前景运动对象图定位到全景背景图中.

图6 前景运动对象在背景图像的定位图

3 性能分析

基于小波变换的视频对象分割、融合算法,在文[13]中,给出了小波融合结果与两种金字塔(Laplace、梯度金字塔)融合结果的客观性能评价,小波融合结果在图像均值、标准差和结构相似度(SSIM)3项指标上的值均高于其他两种融合结果对应的指标值,表明了小波图像融合方法更好地综合了源图像的信息,获得的融合图像更为清晰.在文[10]中的实验结果证明,背景相对静止的情况下,基于小波变换的分割算法能够比较准确地对运动对象进行分割.

由于本论文提出的图像传输方式减少了重复的背景图像流码的传输,从而使网络减少阻塞,解决了网络带宽问题.传输的是视频运动对象,这样使视频监控系统方便地跟踪目标对象.采用了视图定位法,使得图像之间实现了快速融合.

4 结束语

本文用到的视频对象与背景图像的分割、融合算法都是基于小波变换.在视图定位法中,用到的特征点位置的定位,采用了 Forstner算子,只取视频运动对象在背景图像中的一些角点坐标,但对取多少个角点坐标没有给出明确的定义,这是后续所要研究的.由于采用了视频运动对象与背景图像分离的传输机制,这样解决了网络带宽问题,提高跟踪、监控运动对象的明确性,将来会在基于网络化的智能视频监控系统中大有发展.

[1]丘锦波,朱光喜,王 曜.一种基于小波变换的视频对象分割算法[J].计算机工程,2002,28(05):72～74

[2]Fujimura K,Samet,H.A Hierarchical Strategy for Path Among Moving Obstacles[J].Robotic and Automation,IEEE Transactions on,1989,5(1):61～69

[3]Noborio H,Naniwa T,Arimoto S.A feasible Motion-planning algorithm for a mobile Robot based on a quadtree representation[C].IEEE International Conference on Robotics and Automation,1989:327～332

[4]Zhang Z,Blum R S.A categorization of multiscale decomposition based image fusion achemes with a performance study for a digital camera application[J].Proceedings of the IEEE,1999,87(8):1315～1326

[5]Wang Z J,Ziou D,Armenakis C,Li D,Li Q Q.A comparative analysis of image fusion methods[J].IEEE Transaction on Geosciences and Remote Sensing,2005,43(6):1391～1402

[6]Sweldens I,Sweldens W.Factoring wavelet transforms into lifting steps[J].Journal of Fourier Analysis and Applications,1998,4(3):245～267

[7]Honggang Li,Qiao wang,Lenan Wu.A novel design of lifting scheme from general waelet[J].IEEE Transaction On Signal Processing,2005,49(8):1714～1717

[8]Shi W Z,Zhu C Q,Tian Y,Nichol J.Wavelet-based image fusion and quality assessment[J].International Journal of Applied Earth Observation and Geoinfor- mation,2005,6(3-4):241～251

[9]Liu Cui-Xi,Yang Wan-Hai.Awavelet-decomposition-based image fusion scheme and its performance evaluation[J].Acta Automatica Sinica,2002,28(6)927～934

[10]李 伟,朱学峰.基于第二代小波变换的图像融合方法及性能评价[J].自动化学报,2007,33(08):817～822

[11]张 莉,汪大明.Forstner算子及其改进[J].北京工业职业技术学院学报,2007:6(3):17～18+8

[12]Harris C G,Stephens M J.A Combined Corner and Edge Detector[C].Manchester:Manchester Proceedings Fourth Alvey Vision Conference,1988

[13]李俊山,张雄美.红外图像处理、分析与融合[M].北京:科学出版社,2009

The Research of Video Surveillance Image Transmission Based on IP Network

FANG Shi-lin
(College of Computer Science,Hunan Institute of Science and Technology,Yueyang 414006,China)

With the application of video object segmentation and fusion method based on wavelet transform to the networked and digital video surveillance system,this paper presents view position method which make the front network video server achieve the segmentation between the foreground moving object and the background,and also rapidly achieve the fusion between them by using the method in the surveillance control center.In addition,we analyze the performance of video surveillance image transmission with the use of this method.Finally,we summarize the research in this field.

video object;view position method;segmentation and fusion method;video surveillance

TP391;TP393

A

1672-5298(2011)01-0041-04

2010-12-08

方世林(1981− ),男,湖南岳阳人,硕士,湖南理工学院计算机学院讲师.主要研究方向:网络技术