一种基于反馈信息的视觉图像背景建模方法

孙志伟， 高明亮， 李海涛， 倪广魁

(1.山东理工大学 电气与电子工程学院， 山东淄博 255049；

2.国网山东省电力公司 莱芜供电公司， 山东莱芜 271100)

一种基于反馈信息的视觉图像背景建模方法

孙志伟1， 高明亮1， 李海涛1， 倪广魁2

(1.山东理工大学 电气与电子工程学院， 山东淄博 255049；

2.国网山东省电力公司 莱芜供电公司， 山东莱芜 271100)

摘要：高斯混合模型已经广泛应用于视觉图像的运动目标提取.但传统高斯混合模型存在静止前景融入背景的问题.为了解决这个问题，提出了一种特定场景下基于反馈信息的背景模型更新改进算法.首先采用基于形状特征的目标分类器将前景目标识别为行人和车辆，然后通过多目标跟踪判断目标是否静止，进而将前景目标识别为静止行人，运动行人，车辆三种模式，最后将跟踪与分类的结果与高斯模型的更新相结合，根据分类后反馈的信息对不同的分类区域采取不同的学习率更新.实验结果表明，该方法能够有效地解决特定场景中前景融入背景的问题.

关键词：高斯混合模型；静止前景；多目标跟踪；目标分类；反馈信息

移动目标异常行为识别是计算机视觉领域中最为活跃的研究方向之一.其核心是从图像序列中检测、识别、跟踪移动目标，提取移动目标的行为特征，根据行为特征对异常行为进行识别和判断，并对异常行为进行预警.

目标检测是行为分析的基础，近年来得到广泛的研究.Stauffer与Grimson提出的高斯混合模型(GaussianMixtureModel,GMM)[1-2]是目前常用的方法.Wayne[3]等对Stauffer与Grimson的方法进行了详细的分析.Zivkovic[4]等提出了一种自适应的调整高斯分布个数的方法.Lee[5]将学习率与时间建立联系,使学习算法具有了自适应性,进一步提高了收敛速度.Bouttefroy[6]等提出了两种不同的学习因子，改善了“饱和像素”的现象.其它的改进方法还有文献[7-9].

以上各种改进算法，虽然在检测效果上有一定的提高，但对于运动前景更新的问题均没有得到很好解决.当运动的前景出现静止时，GMM会将其融入到背景当中，这将对移动对象的隐藏判断出现遗漏.例如一个人出现在停车场，长时间停留，不进入车内，可能会发生异常行为，如盗窃等行为.在这种情况下，该人应该被持续检测为前景.但GMM会在一定时间后将其融入背景.为了解决静止前景融入背景的问题，本文首先对行人与车辆进行了区分，进一步将行人区分为静止与运动两种状态，然后通过对高斯模型分区域更新.

1高斯混合模型(GMM)

运动目标的检测方法主要有时间差分法、光流法、背景减除法等.其中GMM是目前常用的方法[1，5].

GMM是一种基于像素的建模过程.对于图像中的每一个像素点，设它在1～t时刻的像素值为(X1,…,Xi,…,Xt)，并对这些像素值使用K个高斯分布进行描述，则Xt的概率密度函数可表示为

(1)

式中：K=5为高斯分布的个数(通常取值为3～5，)；ωi,t为t时刻第i个高斯分布的权值；μi,t与∑i,t分别为t时刻第i个高斯分布的均值向量；协方差矩阵η(Xi, μi,t, ∑i,t)服从均值为μi,t方差∑i,t的高斯分布

η(Xi,μ,∑)=

(2)

式中n是Xi的维数，取n=3.为了避免复杂的矩阵求逆运算，通常假定每个像素的各个颜色通道相互独立，且具有相同的方差，可将协方差矩阵表示为

(3)

式中Ι表示3×3的单位矩阵.

初始化过程：利用第一帧图像各个点的像素值初始化第一个高斯分布的均值，即μ=X，并赋以较大的方差σ2(取σ=30)和权值为1的权重ω，其余高斯模型的均值和权重赋为零，方差赋以较大的值.

对新图像帧的每个当前彩色向量值Xt，按K个高斯模型ωi,t/σi,t降序进行匹配，若满足‖Xt-μi,t‖/σi,t<τ，i/[1…K]，(其中τ(>0)为匹配阈值，本文τ=2.5)，则认为Xt与第i个高斯模型匹配，反之不匹配.匹配时背景模型的权重按式(4)进行更新：

ωi,t=(1-a)ωi,t-1+α

(4)

对于匹配上的高斯分布，按公式更新如式(5).

μi,t=(1-β)μi,t-1+βXt

(5)

β(Xt-μi,t)T(Xt-μi,t)

(6)

β=αη(Xt|μi,t,σi,t)

(7)

式中α为学习率，该值越大，前景融入背景速度越快，文中取α=0.005.

不匹配时背景模型的权重按式(8)进行更新：

ωi,t=(1-α)ωi,t-1

(8)

同时,对ωi,t/σi,t值最小的高斯分布进行替换，新加入的高斯分布初始化为较小的权值和较大的方差，均值为当前像素值.

每一个像素点参数更新完毕后，对权值进行归一化处理：

(9)

ωi,t值较大，则该高斯分布出现的概率较高，而σi,t值较小，像素值的波动较小，所以ωi,t/σi,t值越大代表该模型为背景的概率越大.对归一化后的K个分布按照ωi,t/σi,t比值由大到小重新排序，取前N个高斯分布作为背景模型，其余高斯分布为运动前景模型.

(10)

式中T为阈值，取T=0.8.

为提高模型的收敛速率，采用LEE提出的更新参数模型[5],并引入一个新的模型参数ci,t，初始化时令ci,t=0.对每一个匹配上的高斯分布：

ci,t=ci,t-1+1

(11)

均值和方差的更新率β：

β=(1-α)/ci,t+α

(12)

2基于反馈信息的背景建模

2.1算法原理

本文提出了一种基于反馈信息的背景更新算法.从后续处理来看，运动行人区域，车辆区域和背景区域所采取的更新策略相同，将它们统称为其它区域.而对于静止行人区域，将此区域学习率置零，从而控制此区域的前景融入.算法原理如图1所示.

图1　算法流程

对于背景模型初始化后的每一帧，首先进行前景提取，对于达到轮廓阈值的真实前景目标进行跟踪.跟踪过程中，先对目标进行分类，对于车辆，直接按原始模型与背景一起更新.对于行人，运用同一目标中心点之间的距离判断目标是否静止.对于非静止目标区域，按照原始设定参数更新高斯模型；对于静止目标，采用零学习率更新以此控制其融入前景.针对不同类型类目标，采用不同的更新率，从而防止需要持续监测的前景目标融入背景.在算法实施的过程中的难点问题主要在于视频场景中的多目标跟踪以及运动目标分类.

2.2方法实现

先对检测出的前景目标进行跟踪和分类，然后运用反馈信息对高斯模型进行更新.

2.2.1多目标跟踪

在运动目标跟踪的过程中，先建立目标模板，然后采用运动目标的位置信息与颜色信息作为特征，对运动目标进行连续的识别.

新目标判断.如果一个运动目标完全进入场景后，被检测出来的相应区域没有任何目标模板与之相对应，即可判定该区域可能有新的运动目标，为该新进目标建立相应的临时模板信息并进行跟踪.当该目标被连续跟踪的帧数达到给定的阈值(本文设定为15帧)，可以判断该目标为场景中的真实目标，否则就认为该目标为虚假的目标，应该放弃对该目标的继续跟踪，并清空该目标相应的模板信息.

目标丢失判断.如果某个运动目标模板没有与任何检测到的运动区域相匹配，可以认为该目标被遮挡了或者是由于场景的复杂性导致该目标没有被检测到，此时认为该目标可能丢失，暂时停止跟踪.当该目标被连续判定为丢失的帧数达到给定的阈值(本文设定为15帧)，就确定该目标丢失.

目标离开判断.考虑两种目标离开场景的情况：一是目标走出了监控的范围.如果运动目标的矩形框接触到监控范围的边界线，就放弃对目标的跟踪；二是运动目标还没走出监控的范围，而是被长时间的被判定为丢失的情况.一旦目标被判定为离开，就清空该目标相应的模板信息.

考虑到实际监控场景中运动目标在相邻两帧之间的距离较小，Polana等人[10]采用矩形框的质心作为跟踪特征.设Po,i(xi,yi)是第i个目标模板的中心坐标，Pd,j(xj,yj)是第j个检测到的区域的中心坐标，计算两个坐标之间的欧式距离d：

(13)

如果d小于阈值dTh，取dTh=3，则初步判定第i个目标与第j个区域可能是同一个目标.

在得到初步判定结果之后，计算相应目标模板区域与检测区域颜色直方图.采用具有视觉一致性的HSV颜色空间，先提取H分量和S分量，并将H分量分为32个小空间，S分量分为8个小空间，然后统计目标图像中像素点落在各个小空间中的数量，得到各自的颜色直方图hist，最后对颜色直方图hist进行归一化，使得：

(14)

(15)

其中hist1、hist2分别为目标模板区域与检测区域颜色直方图，B为两个直方图的巴氏距离(Bhattacharyya Distance).B越小，说明两个颜色直方图的相似程度越大；反之，两个颜色直方图的相似程度越小.当B<0.4时，在跟踪的基础上确定两个目标为同一目标.

2.2.2模型分类更新

针对本文研究的存在行人和车辆的场景，分类器设计如图2所示.

图2　分类器设计

第一层分类器将检测出的前景目标分为行人和车辆两大类；第二层分类器将第一层分类器识别出的行人进一步分为静止行人，运动行人两类.

对于第一层分类器，提取出前景目标后，采用Collins[11]与Toth[12]提出的方法，计算离散度Dispersion、目标轮廓拟合矩形长宽比AspectRatio和轮廓面积ConArea作为分类判断因子，判断出行人与车辆.

(16)

AspectRation=RHeight/RWidth

(17)

其中，CLength为轮廓的周长，RHeight与RWidth分别为目标轮廓拟合矩形的高、宽.第一层分类效果图3所示，其中黄色框标记出的目标代表运动车辆，红色框记出的目标代表行人.

图3 人车分类

对于第二层分类器，前景检测提取出目标后，引入参数静止帧数sCount并初始化为零.首先对每一个真实目标两帧之间的距离进行判断，如果两帧之间的距离阈值d小于静止距离阈值sTh，(本文取sTh=3)，则认为该目标可能静止，sCount加1；如果连续静止帧数sCount>15，则认为该目标静止.第二层分类效果如图4所示.

图4　静止目标分类

从图4可以看出，该方法对行人的运动和静止状态进行了判断，能够识别出了行人从静止转为运动的状态，并成功对现有目标的消失、新目标的出现情况做出了正确处理.

3结果分析

实验硬件平台为CPU3.2GHz、内存4G的台式电脑，软件平台为VS2008，用C++编程，测试视频序列大小为352×288.为将文中算法与传统算法[1]的检测结果作比较，参数设置如本文所述.视频序列第646帧，664帧，670帧如图5所示.

图5 实验结果对比

图5第646帧为目标从运动到静止的第一帧，静止目标在第670帧从传统方法中完全消失.由实验结果可以看出，静止目标在传统方法中逐渐从前景中消失，这样会对后续的分析产生不利影响.而本文根据特定场景，判断出不应该从前景消失的目标，成功的防止了特定静止前景目标的错误融入，为后续分析提供了基础.

4结束语

针对存在行人和车辆的场景，提出了一种检测与跟踪、分类的反馈信息相结合的模型参数更新方法.实验结果表明，该方法能够有效地防止运动前景融入背景的问题，为后续行为分析工作的开展，如检测运动目标突然静止，徘徊等移动物体的异常行为分析和识别奠定了基础.

参考文献:

[1] Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking [C] //Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins: IEEE, 1999: 246-252.

[2] Stauffer C, Grimson W E L. Learning patterns of activity using real time tracking [J]. IEEE Transactions on Pattern Analysis

and Machine Intelligence, 2000, 22(8): 747-757.

[3] Power P W, Schoonees J A. Understanding background mixture models for foreground segmentation [C]// Proceedings Image and Vision Computing, Auckland: University of Auckland, 2002: 267-271.

[4] Zivkovic Z. Improved adaptive gaussian mixture model for background subtraction [C] //Proceedings of the 17th International Conference on Pattern Recognition. Cambridge: IEEE, 2004， 2: 28-31.

[5] Lee D. Effective gaussian mixture learning for video background subtraction [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827-832.

[6] Bouttefroy P L M, Bouzerdoum A,Phung S L,etal. On the analysis of background subtraction techniques using gaussian mixture models [C] //The 35th Int. Conf. Acoustics, Speech, and Signal Processing. Dallas: IEEE, 2010: 4 025-4 045.

[7] Zivkovic Z, Heijden F. Efficient adaptive density estimation per image pixel for the task of background subtraction [J]. Pattern Recognition Letters, 2006, 27(7): 773-780.

[8] Christian W, Michel J J. Integrating a discrete motion model into GMM based background subtraction [C]// International Conference on Pattern Recognition. Istanbul: IEEE, 2010: 9-12.

[9] Lin H H, Chuang J H, Liu T L. Regularized background adaptation: a novel learning rate control scheme for gaussian mixture modeling [J]. IEEE Transactions on Image Processing, 2011, 20(3): 822-836.

[10]Polana R, Nelson R, Nelson A. Low level recognition of human motion [C]// Proc. of IEEE Computer Society Workshop on Motion of Non-Rigid and Articulated Objects. Austin: IEEE, 1994: 77-82.

[11]Lipton A J, Kanade T R. A system for video surveillance and monitoring: VSAM final report [R]. Carnegie Mellon University: Technical Report CMU-RI-TR-00-12, 2000.

[12]Toth D, Aach T. Detection and recognition of moving objects using statistical motion detection and Fourier descriptors [C]// Mantova: ICIAP, 2003: 430-435.

(编辑：刘宝江)

收稿日期：2014-09-11

基金项目：山东省优秀中青年科学家科研奖励基金(博士基金)(BS2014DX009)

作者简介：孙志伟,男,zwsun1386@sina.com； 通信作者：高明亮，男，253583414@qq.com

文章编号：1672-6197(2015)02-0061-05

中图分类号：TP391.9

文献标志码：A

AGMMbackgroundmodelingalgorithmbasedonfeedbackinformation

SUNZhi-wei1，GAOMing-Liang1，LIHai-tao1，NIGuang-kui2

(1.SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo255049,China；

2.LaiwuPowerSupplyCompany,StateGridShandongElectricPowerCompany,Laiwu271100,China)

Abstract:Gaussian Mixture Modelhas been widely used in video object extraction. However, theproblemin traditional GMM is that the still foreground pixel are often blendedin background pixel. To solve this problem, this paper proposed a novel rate control scheme based on feedbackinformation. First, the proposed method divided theobjects into pedestrians andcars. Second, a multiple object tracking algorithm is proposed to determine whether the target was stationary, then the detected objects can be classified to still pedestrians, moving pedestrians and cars. At last, different regionsareadoptedto different learning rate depending on the feedback of the tracking and classification results. Experiments show the improved algorithm can solve the problem of still foreground pixel blendedin background pixel.

Key words:Gaussian Mixture Model; still foreground; multiple object tracking; object classification; information feedback