复杂场景下有效的遗弃物检测方法

叶芳芳，许力

1.浙江大学电气工程学院，杭州 310027

2江苏大学电气信息工程学院，江苏镇江 210023

复杂场景下有效的遗弃物检测方法

叶芳芳1，2，许力1

1.浙江大学电气工程学院，杭州 310027

2江苏大学电气信息工程学院，江苏镇江 210023

为了解决遗弃物检测过程中的遮挡以及其他静止目标干扰问题，提出了一种有效的遗弃物检测方法。采用选择性更新策略更新混合高斯背景模型，从而得到包含运动目标以及静止目标的前景；采用双阈值的方法提取静止目标，并通过目标静止后累积的证据及允许遮挡时间参数处理虚警和遮挡问题。通过对静止目标区块的特征提取，排除静止行人及车辆的干扰以实现遗弃物的检测。多场景下的实验分析表明，该方法在复杂背景条件下达到了良好的检测性能。

混合高斯模型；遮挡；静止目标；遗弃物检测；选择性更新策略

1 引言

遗弃物的检测是智能视频监控中的重要功能之一，在安防领域具有很强的实用价值。另外，在城市管理领域，乱倒垃圾以及占道停放物体等引起的市容违章问题也逐渐受到关注。遗弃物通常是指进入场景后由运动状态转变为静止状态，长时间停留超过一定时间的物体。因此，基于智能视频监控的遗弃物检测方法在城市市容管理领域也有一定的实用价值。

目前，对遗弃物的检测，常用的方法有基于跟踪的

方法[1-3]和基于背景减除[4-11]的方法，跟踪的方法在目标被遮挡时，容易丢失目标，文献[1-2]结合跟踪算法和多相机模型，可解决复杂场景下目标遮挡问题，但是，多相机模型造成计算量过大，阻碍了该方法的实际应用。背景减除的方法中，基于混合高斯模型（GMM）[12]的检测方法对复杂场景的适应性好，被广泛应用于静止目标的检测。文献[4]在混合高斯背景建模的基础上通过观测各高斯分布的状态迁移来检测进入视场后静止的目标，当某像素点的第二个高斯分布的权值大于某个阈值时，认为该像素属于静止目标。Porikli[6-7]等人提出一种基于背景消除的遗留物检测方法，通过建立两个不同更新率的混合高斯背景模型检测静止目标，Li等人[8]对双混合高斯模型加以改进，主要降低了光线变化对检测到的静止目标的影响，但是，该方法对不同的应用场景很难设定适当的参数，另外两个混合高斯模型的建立，加大了算法的复杂度，降低了实时性能。文献[10-11]提出基于双层背景的方法来进行遗留物检测，该方法实时性好，但是对复杂的多模态背景环境适应性不如GMM。

为了实现动态场景中遗弃物的检测，本文主要解决以下四个问题：（1）检出进入场景后静止的目标；（2）降低虚警，去除场景内部结构变化引起的干扰（如光线变化）；（3）处理遮挡问题；（4）排除进入场景后静止的行人和车辆。具体做法为：在高斯背景模型更新部分，当模型匹配条件满足时更新模型，匹配失败时采用选择更新策略更新背景模型，从而得到包含运动目标以及静止目标的前景并通过双阈值的方法提取静止目标，提出允许遮挡时间参数，保证目标被短时遮挡时仍然被检测。提取静止目标区块的纵横比及面积特征，并通过支持向量机分类以排除静止的行人及车辆的干扰，实现遗弃物的检测。此外，本文还进行了与文献[10]中的检测算法的比较实验。

2 传统GMM的更新方法

Stauffer和Grim son在文献[9]中提出的混合高斯模型（GMM），由于对背景比较复杂的情况有较强的适应性，因此，是目前比较常用的一种运动目标检测方法。每个GMM由K个高斯分布组成，这些高斯成分线性加权和就组成了GMM的概率密度函数：

其中，K为高斯成分的个数，ωi，t，μi，t，Σi，t分别为每个高斯成分对应的权值、均值和方差参数，η(Xt，μi，t，Σi，t) 为t时刻的第i个高斯分布。

背景模型要实时更新以适应环境的变化，其具体更新策略为：

（1）如果当前像素与第i个高斯成分匹配，则更新背景模型：

其中，ρ=α/wi，t，ρ表示模型的学习率。

（2）如果当前像素与第i个高斯成分不匹配，则减小这个高斯成分的权值，均值与方差不变。

（3）如果当前像素与所有高斯成分都不匹配，以当前像素点新建一个模型，代替权值最小的即最不可能的高斯成分。

建模完成后，计算每个模型对应的wi，tσi，t，然后按照降序排列，选定满足的前B个模型作为背景模型，其中T为权值累加阈值。

3 静止目标检测

GMM在一定程度上解决了亮度变化、运动干扰等条件下的背景灰度多峰分布问题，但与大多数背景模型一样，这种算法会将静止不变的像素更新到背景，从而无法检测静止目标。本文提出在模型更新时采用选择性更新策略，以实现静止目标的检测。

3.1 选择性更新策略

记Ft(x，y)为t时刻模型匹配失败后得到的前景点，则

如果模型匹配失败后对模型参数不更新，静止目标不会被更新到背景中，令Mt(x，y)为t时刻某位置前景静止累积的证据。

其中，参数Mmin是像素被确定为静止目标的最短时间，ΔT为允许遮挡时间。如图1所示，当目标静止时，Mt(x，y)随静止时间不断增加，当目标移走或被遮挡时，Mt(x，y)逐渐减小。只要静止目标被路过目标遮挡的时间低于ΔT，则Mt(x，y)始终大于Mmin，静止目标依然能被检测出来。参数Mmin取较大值，可以抑制短暂静止的目标，降低虚警率。

图1 某像素静止累积的时间

但是，如果对模型匹配失败后得到的所有前景点不更新参数，GMM消除运动干扰的能力下降，为了克服这个问题，本文只对长时静止的前景点的参数不更新，对运动前景及短时静止的前景点以及背景点按照第1章传统GMM方法更新参数。因此，本文提出的选择性更新策略为：

3.2 基于双阈值的静止目标检测

运动目标和静止目标的区别主要表现在两点：（1）对于已经获得的前景灰度图像f，静止目标的相邻帧像素灰度值的变化非常小；（2）静止目标在相同位置停留的时间长。基于以上两点，本文提出双阈值法检测静止目标，设置时间阈值Mmin和邻帧差阈值Tdiff，通过式（7）可判断当前前景点为：

4 干扰排除

在复杂的环境中，通常会检测到多个静止目标区块，除了遗弃物，还有可能是长时静止的行人或车辆，为了降低虚警率，需要进一步排除这些干扰目标的影响。同一个场景中，要区别遗弃物，行人及车辆，关键在于特征的提取。从视觉角度看，距离摄像头相同位置的同一水平线上，站立行人的纵横比最大，车辆的面积最大。因此，本文分别根据这两个关键特征排除长时站立的行人及静止的车辆。图2为一个典型的目标区块，点(i，j)为区块的质心，hei和wid为目标的高度和宽度。

图2 典型的目标区块

4.1 排除静止车辆

对于同一场景中初次检测到的静止目标，同一视角位置，车辆的面积要大于遗弃物以及行人的面积，另外，面积的大小受目标与摄像头之间的位置影响，对于质心为(i，j)的目标区块，i越大，表示其离摄像头越近，其面积越大，反之，i越小，表示其离摄像头越远，其面积越小，因此本文对所有区块以场景的中心点(hei/2,wid/2)为基准进行归一化。

其中，Sm为归一化后的目标区块的面积，m=1，2，…，M为区块的个数。wm(i，j)为归一化权值，其大小与i成反比，用式（9）表示：

当Sm满足Smin＜Sm＜Smax，其值作为特征向量并通过线性支持向量机对区块内的目标分类。

4.2 排除静止行人

对于行人的检测，目前较好的方法是hog描述器[13]。首先计算各个区块的纵横比，当其值满足式（10）时，计算这个区块的方向梯度直方图，并采用L1-sqrt方式归一化，归一化的结果作为特征向量并通过线性支持向量机对区块内的目标分类。

5 实验结果及分析

图3 目标检测结果对比

在M atlab7.1环境下，分别对室内、AVSS2007数据库[14]的监控视频进行目标检测，参数设定如下：K=3，D=2.5，ρ=0.01，Tdiff=1，ΔT=100，Mmin=400。

室内环境采用CAVIAR场景检测数据库[15]的一段视频，为单人扔垃圾箱的行为，虽然是室内，但有大面积玻璃窗，有强烈的玻璃反光以及阴影的干扰。图3（a）为原始图像及（d）反馈的报警标志，图3（b）为传统GMM的前景检测结果，只能检测运动目标，图3（c）为本文方法的前景检测结果，除了运动目标，静止目标被检出。图3（d）为本文遗弃物检测结果。图3（e）为文献[10]双背景方法的遗弃物检测结果，从图中可以看出，双背景方法对光线变化无法做出及时调整，并且初始背景帧中的静止目标移动后仍然被检测出来，并经过一段时间才消除。可以看出，本文方法基本不受前景噪声影响，而且检测到的目标边缘更加完整。

图4为AVSSS2007数据库在不同时段的同一个场景，根据目标检测难度，图中从左到右表示目标检测复杂性为简单（AB-easy）、中等（AB-m id）、复杂（AB-hard），进出干扰的行人由少到多，目标的位置由近到远，由大到小。站台的光线随着地铁的进出不规则变化，以及乘客的进出遮挡也给目标检测提升了难度。由图中可以看中，离摄像头距离较远的小目标也能被检测。

图4 AVSSS2007数据库中遗弃物检测结果

图5给出目标被遮挡过程的检测结果，可以看出，目标在第4 030帧未被遮挡，在第4 059帧被遮挡时以及4 098帧遮挡结束后，目标仍然被检测出来。图5（d）表示这三帧的检测结果。

图5 目标被遮挡时的检测结果

图6所示第一行为视频帧序列，第二行为静止前景检测结果。第二列为静止目标检测结果，该帧检测到遗弃的箱子、静止站立的行人以及经过的列车，第三列为排除行人和车辆后的遗弃物检测结果。从图中可以看出，非遗弃物的干扰目标在检测出后很快被排除。

图6 静止的行人及车辆排除

为了对本文算法、文献[6]以及文献[10]中的双背景算法进行量化比较，使用检出率（DR）和虚警率（FAR）两个指标对两个实验结果予以分析，

其中TP为检测出来的属于遗弃物的区域，FP为检测出来的不属于遗弃物的区域，FN为未被检测出来的属于遗弃物的区域。对比的结果见表1，可见，在简单的场景中，三种方法的检出率都较高，但是在复杂场景中，本文方法检出率平均在94%左右，较为稳定，同时虚警率较低。另外，从计算复杂度上比较，文献[10]＜本文方法＜文献[6]，虽然本文方法的实时性不如文献[10]，但是检出率远高于文献[10]，且虚警率较低，总体性能优于文献[10]。

表1 两个实验中三种方法的检出率和误检率对比

6 结论

本文提出了一种有效的遗弃物检测方法，通过对混合高斯模型的更新方式的改进，在保留GMM模型原有优点的同时，还能对动态场景中的静止目标（如遗弃物，长时滞留的行人、车辆）进行检测，并且能很好地解决遮挡问题。另外，本文有效地排除了进入场景后静止的行人以及车辆，降低了虚警率。实验结果表明，本文方法能适应复杂的背景环境，达到良好的检测效果。

[1]Hassan W，Mitra B，Chatw in C，et al.Illumination invariant method to detect and track left luggage in public areas[J]. SPIE 7696，2010.

[2]Ferryman K，Hogg J，Sochman D，et al.Robust abandoned object detection integrating wide area visual surveillance and social context[J].Pattern Recognition Letters，2013，34（7）：789-798.

[3]Auvinet E，Grossmann E，Rougier C，et al.Left luggage detection using homographies and simple heuristics[C]// IEEE International Workshop on PETS，New York，June 18，2006：51-58.

[4]Tian Y L，Feris R S，Liu H，et al.Robust detection of abandoned and removed objects in complex surveillance videos[J].IEEE Systems，Man，and Cybernetics，2011：565-576.

[5]Bird N，A tev S.Real time online detection of abandoned objects in public areas[C]//Proc IEEE Int Conf Robot Automation，Orlando，2006：3775-3780.

[6]Porikli F，Ivanov Y，Haga T.Robust abandoned object detection Using dual foregrounds[J].EURASIP J Adv Signal Process，2008.

[7]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//IEEE International Conference on Advanced Video and Signal Based Surveillance，London，UK，September 2007.

[8]Li Xuli，Zhang Chao，Zhang Duo.Abandoned objects detection using double illumination invariant foreground masks[C]//Istanbul，Turkey，Pattern Recognition（ICPR），2010：436-439.

[9]Tian Yingli，Senior A，Lu Max.Robust and efficient foreground analysis in complex surveillance videos[J].Machine Vision and Applications，2012，23（5）：967-983.

[10]Li Q，Mao Y，Wang Z，et al.Robust real-time detection of abandoned and removed objects[C]//Proc of ICIG，2009：156-161.

[11]Liu Xiya，Wang Jingling，Zhang Qin.An abandoned object detection system based on dual background and motion analysis[C]//2012 International Conference on Computer Science Service System（CSSS），2012：2293-2296.

[12]Chris S，Grimson W.Adaptive background mixture models for real-time tracking[C]//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Fort Collins，CO，USA，June 23-25，1999.Washington D C：IEEE，1999，2：245-252.

[13]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//Proceeding of the conference on Computer Vision and Pattern Recognition，San Diego，CA，USA，2005.

[14]PETS 2006 Benchmark Data[EB/OL].[2013-10-21].http：// www.cvg.rdg.ac.uk/PETS2006/data.htm l.

[15]CAVIAR Test Case Scenarios[EB/OL].[2013-10-21].http：// www.dai.ed.ac.uk/homes/rbf/CAVIAR/.

YE Fangfang1，2,XU Li1

1.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China
2.College of Electronic and Information Engineering,Jiangsu University,Zhenjiang,Jiangsu 210023,China

An effective abandoned objects detection method is proposed for the purpose to solve occlusion and other static targets interference in the detection of abandoned objects.Gaussian Mixture Model（GMM）is updated by selectively update strategy,thus the foreground including the moving targets and the stationary targets are detected.A dual-threshold method is used to obtain static objects,then aggregate evidence and an allow ed occlusion time parameter are introduced with the purpose to reduce the false alarms and handle occlusions necessarily occurred.The interference of the pedestrians and vehicles are excluded by extracting the feature of stationary target blocks,and thus the abandoned objects are detected.The experimental results under different conditions demonstrate that the proposed method achieves a better performance under complex background condition.

Gaussian Mixture Model;occlusion;static object;abandoned objects detection;selectively update strategy

A

TP391

10.3778/j.issn.1002-8331.1312-0248

YE Fangfang,XU Li.Effective abandoned object detection method in complex scene.Computer Engineering and Applications,2014,50（16）：12-15.

国家自然科学基金（No.61004032）；江苏省自然科学基金（No.BK 201240801）。

叶芳芳（1980—），女，讲师，在读博士生，从事智能控制、模式识别的研究；许力，男，教授，博导，从事智能控制，智能机器人，工业自动化等方面的研究。E-mail：cliney@zju.edu.cn

2013-12-17

2014-02-24

1002-8331（2014）16-0012-04

CNKI网络优先出版：2014-03-03,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1312-0248.htm l