基于GMM和MRF的自适应阴影检测*

闵华清 吕居美 罗荣华 陈聪

(华南理工大学计算机科学与工程学院，广东广州510006)

视频序列中运动目标的准确检测对智能监控、基于内容的视频编码以及人机交互等应用非常重要.然而，潜在的因素如由运动目标投射形成的移动阴影、光照变化以及深色目标误分类为阴影都将会影响目标提取的准确性.因此目标提取算法［1］必须具有足够的健壮性以应对移动阴影、光照变化和伪阴影等问题.

混合高斯模型(GMM)是当前最为流行的目标提取方法，对于摄像头固定、目标相对于背景比较突出的情况具有较好的分割效果.Stauffer等［2］提出了一种更一般的混合高斯背景建模方法，在学习模型参数过程中，用在线K均值近似的方法代替了严格的期望最大化(EM)算法，提高了混合高斯模型的学习效率.Martel-Brisson等［3］利用混合高斯聚类思想进行阴影抑制，调节参数学习率，试图使阴影收敛于某一个高斯分布.但这些模型均基于单独的像素点建模，没有包含空间的邻域信息.

充分利用像素的邻域信息对提高阴影检测的准确性与效率具有十分重要的意义.文献［4］中将颜色信息和边缘信息结合起来，在HSV(Hue，Saturation，Value)颜色空间根据物体的对称信息进行阴影检测，但该方法只适用于形状对称的物体，且在复杂背景中效果不理想.Kato等［5］针对汽车跟踪问题提出了基于隐马尔科夫模型/马尔科夫随机场(HMM/MRF)的运动分割方法，该方法利用HMM模型建立各图像区域在时间上的相互关系，并将HMM模型的输出作为MRF的输入，通过最大化后验概率(MAP)来实现优化估计，但该方法参数较多，且训练过程复杂.

针对以上问题，文中提出了基于GMM和MRF的自适应阴影检测方法.首先，对GMM进行改进，使其可以自适应调整参数学习率，从而消除浅阴影，分离出背景以及包含部分阴影的前景;然后，对已经提取出来的包含阴影的前景，根据信息容量来选择颜色分量，并利用最大类间方差自适应确定阴影检测阈值;最后，利用阴影检测阈值自适应标记初始阴影和目标，将其作为MRF的初始标记，并根据像素间的空间依赖关系，通过MAP和条件迭代模式(ICM)［6］精确分离出目标及阴影.

1 基于GMM的前景分割

1.1 GMM介绍

混合高斯模型的基本思想是:对每个像素点，定义K个状态来表示其呈现的颜色，K值一般取3～5之间［2，7］.如果t时刻每个像素点的颜色取值用变量Xt表示，则其概率密度函数可用K个高斯函数来表示:

其中:x为像素的颜色取值;η(x，μi，t，∑i，t)为t时刻的第i个高斯分布，其均值为μi，t;协方差矩阵为单位矩阵为方差;wi，t为权重.建立混合高斯模型的一般过程如下:

1)初始化.通常在图像序列中，第一帧为场景背景的可能性较大，因此可利用第一帧的像素值来初始化其中一个高斯分布的均值，并给该高斯分布分配较大权值1，而其它高斯分布的初始权值为0，同时所有高斯分布的初始方差均取较大值，即

其中σmax可设为30.这样，在GMM的更新过程中，该高斯分布为背景分布的可能性较大，因而可提高EM算法的收敛速度.

2)模型参数更新.得到新的视频帧后，将当前像素值Xt与K个高斯分布逐一比较，若(δ通常设为2.5～3.5)，则更新第i个高斯分布，其它高斯分布保持不变，更新方程为

式中:α为模型的学习率;Ai，t用来表示t时刻第i个高斯分布与Xt是否匹配，若匹配则Ai，t为1，否则为0.如果没有一个高斯分布和Xt匹配，则该像素的最后一个高斯分布被新高斯分布取代，新高斯分布的均值为Xt，初始标准差取较大值而权值取较小值.在更新完成后，各高斯分布的权值被归一化，以使

3)背景分割.根据wi，t/σi，t(i=1，2，…，K)对各高斯分布从大到小排序.符合式(3)的前B个分布被认为是背景分布，则匹配前B个分布的像素点被认为是构成背景的像素点.

式中，T为背景分割阈值，wj为排序后第j个高斯分布的权重，b为满足条件的高斯分布个数.

1.2 GMM的改进

文中通过添加帧差测量值ΔD来对GMM进行改进，使得学习率α可以自适应地调整.

学习率α影响参数学习率，即背景更新的速度.α越大更新速度越快，α越小则更新速度越慢.过快的更新速度可能将速度慢的运动目标更新为背景，从而出现空洞;过慢的更新速度则会使背景模型跟不上背景更新速度，从而出现虚影.为此，文中使用帧差测量值ΔD来衡量目标的运动速度，以使α能自适应地调整.

定义1帧差测量值ΔD表示一段时间内运动目标质心的平均移动速度，即

式中:di为当前帧与前一帧的运动目标相对质心差;f为要统计的帧数，可根据视频中目标的特征调整f的取值;τ为设定的阈值，根据当前实际应用场合给出.若ΔD＜τ，则表明当前目标运动速度偏慢，给予一个较小的学习率αl，以延长缓慢移动物体融入到背景中参与前景检测的时间，从而减少前景检测时运动区域内部产生的空洞;若ΔD＞τ，则表明当前目标运动速度过快，给予一个较大的学习率αu，以消除虚影，从而得到更好的前景分割结果.

通过以上改进后，在以色列Weizmann科学院的人体运动数据库上进行测试.实验中参数取为:αl=0.0025，αm=0.005 0，αu=0.007 5，f=10，τ=10.GMM改进前后对提取运动目标的影响如图1所示，其中图1(b)、1(c)所示的前景图像没有经过加工处理.由图1可见，利用改进的GMM分割前景和背景，可消除运动目标的浅阴影和虚影，运动目标的轮廓更加清晰.

图1 GMM改进前后对运动目标的影响Fig.1 Effect of improvement of GMM on moving object

2 基于MRF的阴影检测

2.1 MRF介绍

设Q={1，2，…，N;N=n×n}，表示大小为n×n的二维图像的像素集合，表示二维图像的邻域系统，ms为像素点s的邻域，即图2中所标注s的邻居为Q中的势团，c中的像素点互为邻居;，表示(Q，M)上所有势团的集合.图2显示了平面上的二阶邻域系统和势团.

图2 平面上的二阶邻域系统和势团Fig.2 The second-order neighborhood system and cliques on the plane

定义2设存在(F，M)，M为随机场F上的邻域系统，若对一切s∈Q有则称F是关于邻域系统M的二维马尔科夫随机场(MRF)［8］.

Besag［9］提出了关于方形网格上数据的统计学模型，把MRF和Gibbs分布联系起来.如果F是一个MRF，则F的取值x(x=(x1，x2，…，xN))的概率可表示为

其中U(x)为能量函数为势团上的势函数;归一化常数

2.2 阴影检测的MRF模型

文中将GMM分割出的前景像素作为MRF，邻域系统M只包括图2(b)所示的前5种邻域.设d={d1，d2，…，dN}，表示前景像素的取值;ω={ω1，ω2，…，ωN}，表示像素的标记集合，标记集L={G，O}，O表示目标，G表示阴影，则阴影检测的问题转化为求取使联合概率P(d，ω)最大的标记根据MAP准则有，其中ℜ表示所有可能的标记的集合.根据MRF的性质，P(ω)可表示为

λ为大于1的参数，文中λ的取值为2.0.

根据式(5)与(6)可知:

所以，

2.3 MRF模型的参数初始化

在MRF模型中，令θt，l={μt，l，σt，l}(l∈L)，θt，l的初始值会影响阴影检测的正确性和收敛速度.文中根据颜色信息对阴影进行初步检测，为θt，l选择合理的初始值.实验研究表明，当像素点被阴影覆盖时，其亮度会变暗，饱和度通常会变小，而色度变化不大［10］.为减少计算量，文中仅在HSV颜色空间中选取一个颜色特征进行阴影检测.由于文献［11］中定义的信息容量可以表征图像有意义的灰度层次的丰富程度，因此文中利用信息容量来评价HSV中各分量对阴影检测的效果.对于同一幅图像，分别计算HSV中各分量的信息容量，得到的信息容量直方图如图3所示.

图3 HSV颜色空间中各分量的信息容量直方图Fig.3 Histogram of information capacity of components in HSV color space

从图3可知，V分量具有较高的信息容量，所以文中选用V分量进行阴影检测.

首先，利用文献［12］中的最大类间方差自适应确定分割阈值，然后使用式(9)标记目标和阴影，得到t时刻的初始标记

式中:V(x，y)为V分量的阴影特征量为像素点(x，y)处的标记值;z、g分别用来控制阴影的亮度和噪声点;ΓV为初步分割目标和阴影的阈值.为1则该像素点标记为阴影，否则标记为目标，分割效果如图4所示.

图4 V分量检测到的阴影Fig.4 Shadow detected by using V component

2.4 基于MRF的阴影检测方法

基于MRF的阴影检测方法步骤如下:

1)参数初始化

利用最大类间方差自适应确定分割阈值;

根据V分量进行初始分割

k=0;

根据式(10)计算θt，l={μt，l，σt，l}(l∈L)的初始值

2)更新标记

对于每个像素点p，计算能量如果

3 实验结果与分析

为验证文中所提方法的有效性，在AMD Athlon 64 X2 4000+、2.11GHz计算机上进行测试，算法基于Opencv，开发工具为Visual Studio 2005.测试序列为以色列Weizmann、KTH行为库和CVRR公共视频库中的视频序列，其中包括室内和室外环境、光照变化、静态背景和动态背景.实验比较了在HSV空间下利用颜色信息进行判定的方法［10］、将GMM和MRF相结合且随机初始化MRF的GMM-MRF方法、文中方法的阴影检测效果和性能.

GMM中K=3，初始方差为30，T=0.5，ΓV、z和g的经验值如表1所示.利用3种方法进行阴影检测的效果如图5所示.从图5(b)中可以看出，单纯利用HSV颜色信息进行阴影检测时，容易把部分目标视为阴影或者检测不出阴影;从图5(c)可以看出，在室外强光下，GMM-MRF方法的阴影检测结果不准确，误将部分目标检测为阴影;从图5(d)中可以看出，无论是室内还是室外，文中方法的检测效果均较好，可以准确地分割出细节部分.与随机初始化初始标记的GMM-MRF方法相比，文中提出的方法迭代速度更快，在CVRR公共视频中测试Laboratory视频段，平均每帧节约156ms.

表1 ΓV、z和g的经验值Table 1 Empirical values ofΓV，z and g

图5 3种方法的阴影检测效果比较Fig.5 Comparison of shadow detection results among three methods

为评价阴影检测算法的性能，文中引入了阴影识别率Ψ和阴影辨别率ξ［1］:

式中:TPG表示正确划分为阴影的像素个数;FNG表示阴影被误识别为前景或背景的像素个数;表示真正前景减去误识别为阴影的前景像素个数;TPO表示正确检测为前景的像素个数;FNO表示前景被误识别为阴影或背景的像素个数.

3种方法的阴影检测性能比较如图6所示，从图6中可以看出，文中方法的检测性能明显优于其它两种方法.

图6 3种方法的阴影检测性能比较Fig.6 Comparison of shadow detection performance among threemethods

4 结语

在分析阴影特点以及现有阴影检测算法不足的基础上，文中首先对GMM进行改进，使其可自适应地调整参数学习率，从而可以很好地从图像中消除浅阴影，并分割出前景;接着，利用信息容量在HSV颜色空间选择颜色特征，自适应选择阈值对包含阴影的前景图像进行初始分割;然后，根据初始分割设定MRF模型参数初始值，利用MAP-MRF进行精确阴影检测.实验结果表明，文中提出的阴影检测方法解决了单纯利用颜色信息易将深色目标检测为阴影的缺陷，但若想完全准确地检测出所有阴影，仍需进一步研究.

［1］Prati A，Mikic I，Trivedi M M，et al.Detecting moving shadows:algorithms and evaluation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7):918-923.

［2］Stauffer C，Grimson W E L.Learning patterns of activity using real-time tracking［J］.IEEE Transactions on Pattern Analysis＆Machine Intelligence，2000，22(8):747-757.

［3］Martel-Brisson N，Zaccarin A.Moving cast shadow detection from a Gaussian mixture shadow model［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE，2005:643-648.

［4］Liu Hui，Yang Chenhui，Shu Xiao，et al.A new method of shadow detection based on edge information and HSV color information［C］∥Proceedings of the 2nd International Conference on Power Electronics and Intelligent Transportation System.Xiamen:IEEE，2009:286-289.

［5］Kato Jien，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［6］Few J，Djuric P.Unsupervised vector image segmentation by a tree structure-ICM algorithm［J］.IEEE Transactions on Medical Imaging，1996，15(6):871-881.

［7］KaewTraKulPong P，Bowden R.An improved adaptive background mixture model for real-time tracking with shadow detection［C］∥Proceedings of the 2nd European Workshop on Advanced Video Based Surveillance Systems:Computer Vision and Distributed Processing.Kingston:Kluwer Academic Publishers，2001:1-5.

［8］Li SZ.Markov random field models in computer vision［C］∥Proceedings of the Third European Conference on Computer Vision Stockholm.Berlin/Heidelberg:Spinger-Verlag，1994:361-370.

［9］Besag J.Spatial interaction and the statistical analysis of lattice systems［J］.Journal of the Royal Statistical Society Series B:Mechodological，1974，36(2):192-236.

［10］Cucchiara R，Grana C，Piccardi M，et al.Detecting moving objects，ghosts，and shadows in video streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［11］殷德奎，俞卞章，佟明安.基于多维直方图的灰度图像质量评价［J］.模式识别与人工智能，1996，9(3):265-270.Yin De-kui，Yu Bian-zhang，Tong Ming-an.Image quality metrics based on multi-dimensional histogram［J］.Pattern Recognition and Artificial Intelligence，1996，9(3):265-270.

［12］Ostu N.A threshold selection method from gray-level histogram［J］.IEEE Transaction on System Man and Cybernetic，1979，9(1):62-66.