一种多特征联合的运动目标检测算法*

张明军　黄志金　孙泽能

(广州大学华软软件学院网络技术系　广州　510990)



一种多特征联合的运动目标检测算法*

张明军黄志金孙泽能

(广州大学华软软件学院网络技术系广州510990)

摘要高斯混合模型已经成为对视频利用背景减除法进行运动目标检测的最多的一种背景建模模型,也成为一种标准模型。首先对高斯混合模型的理论框架及其性能进行了分析,分析了高斯混合模型仍需要解决的问题,并提出一种高斯混合模型联合多特征的运动目标检测算法,实验表明该算法具有较好的目标检测效果以及环境自适应性。

关键词高斯混合; 目标检测; 多特征联合

Class NumberTP391.4

1　引言

智能视频监控具有巨大的应用价值,但其稳定、高效的运动目标检测是需要首先解决的重要问题[1]。这个问题近年来越来越引起关注,成为当前计算机视觉的研究热点。运动目标检测的目的就是将视频中的运动目标从背景中提取出来。目前主要的检测方法有时间差分法(temporal difference)、光流法(optical flow)和背景减除法(background subtraction)等。时间差分法[2～3]通过比较两个或三个相邻帧间的差异实现运动目标检测,对动态环境有较强适应性,但检测精度不高,难以获得具有完整形状的目标。光流法[4]主要是通过计算出每个像素点的运动矢量,从而发现运动的像素点。在摄像机运动或背景变化时,光流法也能检测出运动目标,但计算复杂度高,在没有专用硬件支持的情况下很难做到实时检测,同时,抗噪和抗光照变化的性能较差。背景减除法[5]的基本思想是将视频图像看成是由前景与背景构成的,然后利用当前视频帧减除背景图像就能得到完整的运动目标。背景减除法的关键步骤是背景建模,典型算法有中值滤波、码书、高斯模型、多模态均值等[6]。其中高斯混合模型是背景减除法中使用最多的一种模型,已成为一种标准模型,同时也是很多其它算法的基础[7]。本文以高斯混合模型进行背景建模和运动目标检测作为基础,联合多特征对高斯混合模型的目标检测进行优化。

2　高斯混合模型

2.1基本思想

高斯混合模型(Gaussian mixture model,GMM)[8～9]认为背景图像中各像素的颜色值变化符合高斯分布,可以用多个不同权重的高斯分布来模拟某一像素点的颜色变化。因此,GMM根据像素的颜色值与模型中各个分布成功匹配的不同频率,来不断更新模型中所有高斯分布的参数,即对各个高斯分布的权重、均值和协方差等参数进行训练,使背景像素值分布收敛于一个或某几个高斯分布,实现背景像素值的聚类,从而实现对背景的建模。

2.2模型定义

将视频帧I中的某个像素点(x,y)时间t的观测值记为Xt,对于给定点在不同时刻的一系列观测值{X1,X2,…,Xt},可以看作是一个与其它点独立的统计随机过程,用包括K个高斯分布的GMM去描述,则t时刻点(x,y)的概率分布为

(1)

其中,ωi,t为t时刻第i个高斯分布的权值,它反映该高斯分布出现的比例;K通常为3～5;η(Xt,μi,t,Σi,t)是t时刻第i个均值为μi,t、协方差为Σi,t的概率密度函数:

(2)

2.3模型更新

GMM首先将当前像素Xt与模型中K个高斯分布进行匹配,如果像素值在某个高斯分布均值的范围内,则匹配成功,同时更新该分布的均值和方差,增大分布的权值。如果匹配不成功,则一个新的高斯分布会取代权重值最小的分布,且其均值为当前的像素值。匹配成功时,调整各个分布的权重值:

ωi,t=(1-α)ωi,t-1+αMi,t

(3)

其中α为学习率,其值在(0,1)之间,α越大,权值更新得越快,否则反之;对于匹配的分布k,Mi,t为1,其余不匹配的分布为0,这样可以导致匹配的分布权重值增加,减少不匹配分布权重值。

对于匹配分布,将其参数做如下调整:

μt=(1-ρ)μt-1+ρXt

(4)

其中ρ为另一个学习率,其值为ρ=αη(Xt|μk,σk),而对于没有匹配的分布,其参数保持不变。

2.4前景检测

根据ωi,t/σi,t值按由大到小对K个高斯分布进行排序,排序越前的高斯分布,越适合描述背景。一般选取满足式(5)的前M(1≤M≤K)个高斯分布被当成是对背景的描述:

(5)

其中,T是背景模型比例阈值,如果T设置较小,GMM将退化为单高斯分布模型;如果T值较大,则可以为动态背景建立多个高斯分布的混合模型来模拟。T的经验值可取0.6。

3　GMM性能分析

为了测试和分析GMM的有效性及性能,本文以VC++2010为编译环境,对多个不同情况的视频文件进行试验。

3.1公路监控检测性能分析

选取的公路监控视频背景相对比较稳定,除了日照等条件能剧烈变化外,像素一般不会发生很大的变化,所以公路监控视频背景的获取相对容易,如图1所示。由图1(b)和图1(c)可知,使用GMM进行背景建模在公路监控中具有较好效果,其目标检测也有不错的效果,但GMM对目标的分割不够完整,存在“空洞”现象。

图1　公路监控检测结果

3.2远景目标检测性能分析

选取的视频背景静止,在不受光照变化等其它干扰的情况下,对远景较小的目标的检测效果较好,如图2(a)中上方的人被检测,如图2(c)所示。但如果背景受其它干扰,则可能产生很多噪声分布,这将影响对远景目标检测的判断。

图2　远景目标检测结果

3.3动态场景检测性能分析

选取的本视频的特点是运动目标进入视频画面后静止,在不同的时间点获取的检测结果如图3～图5所示。由图3(c)可知,能检测到较完整的运动目标;由图4(c)可知,则目标部分被背景包容;而在图5(c)中目标则完全被隐藏。这里有两个问题值得注意,第一,如果运动目标本就是动态背景,那由此可以看出,GMM对动态背景的收敛较慢,可能引起误检;第二,如果运动目标是前景目标,但运动缓慢时,被背景包容,则无法检测到目标。

图3　时间点1所检测的结果

图4　时间点2所检测的结果

图5　时间点3所检测的结果

3.4目标阴影检测性能分析

选取本视频的特点是运动目标受光照的影响而存在阴影,如图6、7所示,其中图6中受室内光照而目标存在弱阴影,图7中受室外光照而目标存在强阴影。但不管阴影强弱,如图6(a)所示,阴影并不明显,GMM都能将阴影当成运动目标而进行检测,如图6(c)、7(c)所示,这将严重影响到目标检测后的运动目标分割、提取及其识别等。

图6　弱阴影的检测结果

图7　强阴影的检测结果

3.5室内场景检测性能分析

选取的本视频为室内场景,光照条件一般,如图8所示。但由图8(c)可知,检测运动目标的同时,也产生了大量的高斯白噪声,这也说明GMM对光照等条件的影响比较敏锐,这也将影响到检测效果。

图8　室内场景检测结果

3.6性能分析总结

由上述结果可知:GMM背景建模过程中允许运动目标的存在,适合室外背景变化不大且运动速度相对较快的运动目标的检测。但GMM也存在不足: 1) 对运动目标形状的提取不够完整,存在“空洞”现象; 2) 对于背景的突发性变化收敛较慢,存在误检现象; 3) 对于目标的轻微变化或者停止运动,存在漏检现象; 4) 能够检测到目标阴影; 5) 受光照变化或者背景轻微扰动,导致存在较多噪声分布。目前,已有学者针对上述问题对GMM进行了一些优化研究[10～13],虽未完全解决这些问题,但提供了很多思路。

4　多特征联合的运动目标检测算法

4.1颜色特征处理

(6)

式中:Mi(x,y)为像素点的值,T1为阈值。根据统计和经验,T1取值为100时效果较好。

4.2边缘特征处理

边缘是图像底层特征之一,对图像的几何变化,灰度变化及光照变化不敏感,可以很好地处理因光照突然变化引起的目标误判等情况。但图像的边缘是高频的,只要物体稍微的变化,都会被检测出来,故极易受噪声的干扰。为了减少噪声的干扰和边缘的间断现象,JF Canny[14]提出了Canny边缘检测算法,使用了两种不同阈值来区别弱边缘和强边缘,只有当弱边缘和强边缘连为一体时,才会被输出为目标边缘,否则不输出弱边缘。

4.3多特征联合

(7)

式中α,β,γ为三个目标图像的自适应归一化权值,满足α+β+γ=1,三个权值会在目标检测过程中进行自适应的调整,受干扰影响越小,则赋予的权值也应越大。

(8)

则α和β可表示为

(9)

为减小当环境突变导致某一特征突然变化带来的检测偏差,可设定一个阈值消除这种影响,即相似度达到阈值时特征才能响应,设定响应阈值T2,设置响应规则如下:

(10)

本文选择感知哈希算法[15]计算目标图像的hash值,以汉明距离作为相似度,汉明距离越小则表明目标图像越相似。

5　实验结果

为了测试和分析多特征联合的目标检测算法,本文以VC++2010为编译环境进行测试。

由图9可知,由于基于背景差的目标跟踪算法对光线比较敏感,由图10(b)可知,从左上角往右下角行驶的汽车,容易发现车辆行驶的阴影都被检测出来。由图10(c)可知,有效降低了因光照造成对目标检测的影响。图10(b)描述了因光照及灰度的影响,汽车行驶过后的部分路面连通车辆一起被检测为了目标,造成了对目标范围定位的扩大化,若以矩形框来显示目标,显示目标比实际目标扩大了多倍,将为后续的目标跟踪带来困难。图10(c)可知效果明显好于图10(b)。图11描述了光照突然变化的画面,因为基于颜色特征的背景差对光照的突然变化比较敏感,故在图11(b)中,将整个画面误判为了目标。图11(c)可知避免了突然光照的影响,显示了真实目标。

图9　检测结果1

图10　检测结果2

图11　突然光照检测效果

6　结语

分析了GMM存在的性能问题,包括光照影响等问题,提出了一种多特征联合的目标检测算法,在GMM的基础上对目标图像进行优化。实验表明:在光照影响比较复杂的情况下,该算法能有效地改进GMM对阴影误检、光照突变等问题,具有较高的鲁棒性。

参 考 文 献

[1] 王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25(3):225-237.

WANG Liang, HU Weiming, TAN Tieniu. A Survey of Visual Analysis of Human Motion[J]. Chinese Journal of Computers,2002,25(3):225-237.

[2] Lipton A, Fujiyoshi H, Patil R. Moving target classification and tracking from real-time video[C]//Proc. IEEE Workshop on Applications of Computer Vision, Princeton, NJ,1998:8-14.

[3] Anderson C, Bert P, Vander W G. Change detection and tracking using pyramids transformation techniques[C]//Proc. SPIE Conference on Intelligent Robots and Computer Vision, Cambridge, MA,1985,579:72- 78.

[4] Meyer D, Denzler J, Niemann H. Model based extract ion of articulated objects in image sequences for gait analysis[C]//Proc. IEEE International Conference on Image Processing, Santa Barbara, California,1997:78- 81.

[5] 代科学,李国辉,涂丹,等.监控视频运动目标检测减背景技术的研究现状和展望[J].中国图象图形学报,2006,11(7):919-927.

DAI Kexue, LI Guohui, TU Dan, et al. Prospects and Current Studies on Background Subtraction Techniques for Moving Objects Detection from Surveillance Video[J]. Journal of Image and Graphics,2006,11(7):919-927.

[6] Piccardi M. Background subtraction techniques: a review[C]//Proc. IEEE International Conference on Systems, Man and Cybernetics,2004:3099-3104.

[7] 白向峰,李艾华,李喜来,等.新型背景混合高斯模型[J].中国图象图形学报,2011,16(6):983-988.

BAI Xiangfeng, LI Aihua, LI Xilai, et al. A novel background Gaussian mixture mode[J]. Journal of Image and Graphics,2011,16(6):983-988.

[8] Stauffer C, Grimson W. E L. Learning patterns of activity using real-time tracking[J]. IEEE Transactions on Pattern Recognition Machine Intelligence,2000,22(8):747-757.

[9] 梁华.多摄像机视频监控中运动目标检测与跟踪[D].长沙:国防科学技术大学,2009:20-25.

LIANG Hua. Moving Object Detection and Tracking for Multi-Camera Video Surveillance[D]. Changsha: National University of Defense Technology,2009:20-25.

[10] 张恒,胡文龙,丁赤飚.一种自适应学习的混合高斯模型视频目标检测算法[J].中国图象图形学报,2010,15(4):631-636.

ZHANG Heng, HU Wenlong, DING Chibia. Adaptive Learning Gaussian Mixture Models for Video Target Detection[J]. Journal of Image and Graphics,2010,15(4):631-636.

[11] 孟益方,欧阳宁,莫建文,等.基于高斯混合模型的阴影消除算法[J].计算机仿真,2010,27(1):210-213,260.

MENG Yifang, OUYANG Ning, MO Jianwen, et al. A Shadow Removal Algorithm with Gaussian Mixture Mode[J]. Computer Simulation,2010,27(1):210-213,260.

[12] 姜柯,李艾华,苏延召.结合边缘纹理和抽样推断的自适应阴影检测算法[J].西安交通大学学报,2013,47(2):39-46.

JIANG Ke, LI Aihua, SU Yanzhao. An Adaptive Shadow Detection Algorithm Using Edge Texture and Sampling Deduciton[J]. Journal of Xi’an Jiaotong University,2013,47(2):39-46.

[13] 刘李漫,陶文兵,田金文.融合多高斯混合模型与Graph Cuts优化技术的目标自动检测方法[J].中国体视学与图像分析,2011,16(1):11-17.

LIU Liman, TAO Wenbing, TIAN Jinwen. An object detection method based on adaptive background mixture models and Graph Cuts[J]. Chinese Journal of Stereology and Image Analysis,2011,16(1):11-17.

[14] Canny J F. Finding edges and lines in images[J]. Massachusetts Inst. of Tech. Report,1983,1.

[15] 牛夏牧,焦玉华.感知哈希综述[J].电子学报,2008,36(7):1405-1411.

NIU Xiamu, JIAO Yuhua. An Overview of Perceptual Hashing[J]. Acta Electronica Sinica,2008,36(7):1405-1411.

收稿日期:2015年10月6日,修回日期:2015年12月21日

基金项目:广东高校优秀青年创新人才培养计划项目(编号:2013LYM_0114);广州大学华软软件学院重大科研培育项目;广东大学生科技创新培育专项资金项目资助。

作者简介:张明军,男,硕士,讲师,研究方向:图像处理、计算机网络。

中图分类号TP391.4

DOI:10.3969/j.issn.1672-9722.2016.04.017

Moving Object Detection Algorithm on Multi-feature Combination

ZHANG MingjunHUANG ZhijinSUN Zeneng

(Faculty of Network Technology, South China Institute of Software Engineering, Guangzhou University, Guangzhou510990)

AbstractGaussian mixture modeling is the most used method for background modeling of the implementation of background subtraction in video sequences, and has become the standard method. The theory framework and function of Gauss mixture model are analyzed. The problems of Gauss mixture model which still need to be solved are analyzed, and a Gauss mixture model combined with multiple features is proposed, the experiments show that the algorithm has better effect of object detection and environmental adaptability.

Key WordsGauss mixture model, objects detection, multi-feature combination