一种改进的基于码本和高斯混合模型的视频背景分离*

詹 敏，邹小波

(华侨大学 工学院， 福建 泉州 362021)

一种改进的基于码本和高斯混合模型的视频背景分离*

詹 敏，邹小波

(华侨大学 工学院， 福建 泉州 362021)

文章提出一种基于改进的码本(CB)和高斯混合模型(GMM)的视频背景分离方法。该方法是以自适应的高斯混合模型背景为基础,为每个颜色像素构建混合高斯背景模型,可以对视频帧中每个像素的高斯分布数进行动态控制,并且通过CB(Codebook)算法得到每个像素的时间序列模型,从而对高斯分布的各参数进行学习。实验结果表明,该方法在背景分离的精确度和处理时间上都表现出优异的性能,此外还具有良好的适用性,对复杂场景的变化,可以有效快速地分离视频的前景和背景。

码本；高斯混合模型；背景分离；视频帧；高斯分布

0 引言

“背景”在不同的应用场合下是一个很难定义的问题。例如,若正在观测一个大型商场,那么或许来来往往的人流应该被认为是背景。通常情况下,背景被认为是在任何所感兴趣的时期内,场景中保持静止或周期运动的目标。 到目前为止,通过基于像素不断调整的方式来训练和更新背景颜色信息的背景建模技术是背景分离的关键所在。虽然视频背景分离已经取得了长足的进步,但是其在实时监控环境中的应用,大多数传统的方法还存在许多问题,所以其仍然是一个具有挑战性的任务。

目前最流行的估计背景颜色的统计方法是基于参数的高斯混合模型和基于非参数的核密度估计(KDE)[1]。这种基于概率估计的方法最强大的地方在于它能够有效地模拟出摇曳的树和飘扬的旗帜这类移动的背景信息。一般来说,通过期望最大化(EM)[2]算法或k-均值聚类算法来计算GMM参数。然而,这些方法并不适合实时监视应用,其中EM算法的时间复杂度较高,而k-均值聚类算法存在聚类初始值的设定问题。KDE算法也不能解决在背景分离过程中所产生的高耗能问题。

为了解决这些问题,本文提出使用码本(CB)这种更加实用的背景建模方法。对比这些概率统计的方法,CB方案能够确保更有效的操作,因为它只专注于训练能够观察到的像素值范围,而不是构成概率密度函数(PDF)结构的框架。此外,它们需要为模型初始化的用户提供的参数的数目较少。然而,CB方法也会导致这样的问题,它们往往容易对动态背景的检测产生误判,只考虑到观测区域的数据。

本文提出了一种新的背景分离法,该方法利用CB和GMM模型结合的技术。其基本思想是由CB采集背景颜色，统计每个像素进而估计基于GMM分布的参数。计算高效的CB方法能够实时构建和维护背景聚类模型,并采用GMM分布从CB集群计算其参数检测前景区域。

1 背景建模

1.1基本思想

基于码本的高斯混合模型是利用Codebook算法[3]得到每个像素的时间序列模型,首先它基于一个基本的先验分布：像素构建过程在时间序列上满足或者近似满足高斯分布。因此可以建立一个自适应的高斯分布来描述像素构建过程,对于偏离高斯分布均值较远的像素判别为前景,否则为背景。

高斯混合模型[4]能够根据样本值(像素点的颜色值)进入模型的不同频率,以及和模型中各个分布成功匹配的不同频率,来不断更新模型中所有高斯分布的参数,即对各个高斯分布的权重、均值和协方差等参数进行训练,使背景像素值分布收敛于一个或几个高斯分布,实现背景像素值的聚类,从而实现对背景的建模。

1.2模型定义

在高斯混合模型中视频帧(或者图像序列)中的某个像素点的颜色值构成了对应的像素值：

{X1,X2,…Xt}={I(x,y,i),1≤i≤t}

(1)

其中,I(x,y,i)表示像素点(x,y)在i时刻的颜色值。高斯混合背景建模就是假设该像素值满足高斯混合分布,即对每个像素点建立一个由K个单高斯模型混合而成的高斯混合模型：

(2)

(3)

其中,n表示Xt的维数。

K一般取3～5之间,K值越大,处理波动能力[5]越强,所需处理时间也越长。K中每个状态用一个高斯函数表示。为了避免繁琐的矩阵运算,通常假设像素值X的各分量(如RGB颜色模型中的红绿蓝分量)相互独立,并且具有相同的协方差,此假设可以加快运算速度并且对结果影响很小。

1.3模型匹配和更新

高斯混合背景建模首先将当前像素值与模型中的K个高斯分布匹配,若第j个模型满足下式：

|xt-μj,t-1|<2.5σj,t-1

(4)

则认为当前像素点与j个分布匹配成功,并中止与后续模型的匹配。否则取当前观测值为均值,给定一个较大的值为方差,构造一个新的高斯分布,替代ω/σ最小的分布；然后,根据当前像素与其K个高斯分布相匹配的结果对模型进行更新[6]。对于未匹配上的模型,其均值和方差均保持不变,而匹配成功的第j个模型按下列方式更新：

(5)

其中,α为学习速率,它反映了当前像素融入背景模型的速率。匹配的分布Mi,t=1,其余分布Mi,t=0。

2 改进的背景建模算法

本文采用码本(CB)和高斯混合模型(GMM)的方法构建给定场景的背景模型[7]。一个码本背景模型的几何结构通常使用传统的d维码字策略算法(dBCS)[8]来展现数据集。在采用dBCS算法进行建模的过程中,背景模型是以一组像素码本的码字组成的几个实际观察的样本范围为蓝本的。在具有二维数据集的情况下,一个码字可以代表一个矩形结构的两侧显示水平和垂直范围覆盖的训练样本。该方案已被广泛采用,因为它快速的运行速度可以在实际监控场合应用。然而,在许多情况下,是无法准确地检测出运动目标的,因为在运动背景情况下,它忽略了训练数据集的概率信息。

对于连续的视频帧,每当观察到颜色样本T数是在一个像素位置时,系统自动将其聚类为若干dBCS编码。然后对每一个码字计算其权重,构建最终的CB-GMM背景模型的均值和协方差[9]。图1为视频帧背景分离的定性检测结果,由此可以判断CB-GMM 算法较之dBCS 算法对于快速变化的背景其分离效果具有更好的鲁棒性[10],并且能够良好适应背景和光照的变化。在下面的章节中,对背景建模方法进行了更详细的说明。

图1 背景分离的定性检测结果

3 实验结果及分析

为验证本文方法的可行性及其算法性能,分别对688×565, 768×576的两段视频序列进行了背景建模。取背景学习率为0.002a-6k=0.1,对各算法进行了实时性、资源占用情况、准确率等方面的测试和比较。

表1为GMM、dBCS和CB-GMM三种背景建模方法下对应的精确率[11]、召回率和内存占用的比较。该数据是通过对以上三种算法在两段视频序列上进行多次测试后得出的平均值。从表中数据可以得出结论：GMM实时性最差且准确率较低,而其内存占用较少,这与其算法特性较为符合；而dBCS则相对GMM的内存占用增加了,但其准确率和召回率都有所提高；CB-GMM的准确率最高,召回率也为三者最高,但内存占用情况也为最多。综上所述,在内存占用可以接受的范围内,CB-GMM算法的性能最优,有较高的精确度和召回率,对于背景建模能够取得较好的效果。

表2为基线(Baseline)、目标移动(Intermittent Object Motion)、动态背景(Dynamic Background)、相机抖动(Camera

表1 各算法的评价性能比较

Jitter)和阴影(Shadow)5种背景下针对dBCS和CB-GMM两种背景分离算法进行的实验数据对比。该实验数据对比结果中包括了5个性能指标,分别为准确率(P)、召回率(Re)、错分率(PWC)、假阳性率(FPR)和假阴性率(FNR)[12]。通过对5个场景中每一处对应度量计算其平均值来获得所评估方法的平均性能度量。平均值的排名对应于通过参与每个平均度量的每个评估方法获得的排名的平均值,因此为不同应用场景下给定方法的性能指标提供依据。

图2为dBCS算法和CB-GMM算法进行背景建模的效果比较图,其中将空间域检测法仅应用在前端的运动检测中,并未使用在前景点集的二次判断,也即未用于区分运动物体和其阴影。测试图像选取的序列分别为第435、753、998、和1 352帧。从图中可以看出,本文CB-GMM算法检测效果在背景分离的初步判断较dBCS算法的检测效果更为精确。

表2 不同场景下各算法的实验数据对比

图2 两种算法的背景分离结果

4 结束语

本文提出了一种改进的码本和高斯混合模型背景分离方法。为了构建和更新对于给定场景中的背景模型,在无偏估计的基础上,利用高效计算d维码字的方法来确定GMM背景模型的参数。通过对视频帧中每个像素的高斯分布数目进行动态控制,并且通过codebook算法对高斯分布的各参数进行学习,此外还可根据场景的变化实时调整每个像素的权值更新速率。笔者对其结果进行了多次实验与测试,验证了该算法对于背景分离具有较好的分离效果。然而,当它们的颜色特征与那些背景或场景十分相似时该方法可能无法检测前景区域。为了克服这个缺点,接下来会考虑将语义信息作为今后的工作以提高水平。

[1] POWER P W, SCHOONEES J A. Understanding background mixture models for foreground segmentation[J]. Image and Vision Computing, 2006,24(5): 267-271.

[2] Seung Jong Noh, Moongu Jeon. A new framework for backgroudn subtraction using mulltiple cues[C]. In Eleventh Asian Conference on Computer Vision, 2012: 493-506.

[3] ELGAMMAL A, HARWOOD D, DAVIS L S. Non- parametric model for background subtraction[C]. In Thirteenth European Conference on Computer Vision, 2000: 751-767.

[4] HORPRASERT T, HARWOOD D, DAVIS L S. A statistical approach for real-time robust background subtraction and shadow detection[C]. In Proc. IEEE Conf. ICCV, 1999,99: 1-19.

[5] TOYAMA K, KRUMM J, BRUMITT B, et al. Wallflower: Principles and practice of background maintenance[C]. In Proc. IEEE Int. Conf. Comput. Vis., Sep. 1999: 255-261.

[6] BRUTZER S, HOFERLIN B, HEIDEMANN G. Evaluation of background subtraction techniques for video surveillance[C]. In Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit., Jun. 2011: 1937-1944.

[7] LEE D S. Effective Gaussian mixture learning for video background subtraction[J]. IEEE Transactions on Pattern Anal. Machactions on Intell., 2005,27(5): 827-832.

[8] GORUR P, AMRUTUR B. Speeded up Gaussian mixture model algorithm for background subtraction[C]. In Proc. 8th IEEE Int. Conf. Adv. Video Signal Based Surveillance, Sep. 2011: 386-391.

[9] UEDA N, NAKANO R, GHAHRAMANI Z, et al. Split and merge EM algorithm for improving Gaussian mixture density estimates[J]. VLSI Signal Process, 2000,26(1-2): 133-140.

[10] BOUMANS T. Advanced statistical background modeling for foreground detection[J]. RPCS. J., 2011(4): 147-176.

[11] DAVID M W. Evaluation: from precsion, recall and F-measure to ROC[J]. Informedness, markedness & Correlation, MLT. J., 2011(2): 37-63.

[12] 申勤.基于模糊C均值聚类的遥感图像分割方法[J].微型机与应用,2011,30(1)：30-31.

An improved video background separation based on codebook and Gaussian mixture model

Zhan Min, Zou Xiaobo

(College of Technology,Huaqiao University, Quanzhou 362021, China)

This paper proposes a video background separation method based on improved Codebook (CB) and Gauss mixture model (GMM).This method is based on the adaptive Gauss mixture model background, and constructs a hybrid Gauss background model for each pixel color, which can dynamically control the Gauss distribution number of each pixel in the video frame, and through CB (Codebook) algorithm to obtain each pixel of the time series model, and study on the parameters of Gauss distribution.The experimental results show that the proposed method in accuracy and time background separation have shown excellent performance, also has good applicability, changes of a complex environment, can effectively separate the foreground and background from a video.

Codebook(CB); Gauss Mixture Model(GMM); background separation; video frame; gauss distribution

TP391

A

10.19358/j.issn.1674- 7720.2017.19.014

詹敏，邹小波.一种改进的基于码本和高斯混合模型的视频背景分离[J].微型机与应用，2017,36(19)：48-51.

华侨大学研究生科研创新能力培育计划项目(1511422006)

2017-03-14)

詹敏(1993-),女,硕士,主要研究方向：图像处理与模式识别、行人再识别。邹小波(1993-)，男，硕士，主要研究方向：大数据技术、数据挖掘。