基于运动矢量的异常拥挤行为检测算法

邹铮 闫玮 谢剑斌 刘通 李沛秦

摘要：面向人群场景中异常拥挤行为检测，本文提出基于运动矢量的检测方法。该方法首先采用运动矢量场提取人群运动特征；然后基于社会力模型计算运动矢量微粒之间的相互作用力；最后对相互作用力采用词袋法实现行为判别。仿真实验表明，本算法可以区分人群场景中异常区域内相互作用力的大小，对异常拥挤行为进行判别和定位。

关键词：运动矢量 拥挤行为 社会力模型 词袋法

中图分类号：TP301 文献标识码：A 文章编号：1007-9416（2016）05-0000-00

Abstract：In this paper，the detection method based on motion vector is proposed to detect the abnormal crowded behabior in a crowd scene.In this method，the motion characteristics of the crowd are extracted by using the motion vector field；Then the interaction force between the particales is calculated based on the social force model；Finally，the interaction force is used to realize the behavior by the bag of words method.The simulation results show that the algorithm can distinguish the size of the interaction force between the abnormal regions in the crowd scene，identify and locate the abnormal congestion.

Key words： motion vector，crowd behavior，social-force model，bag of words

1 引言

拥挤人群行为分析在计算机视觉中是个新的研究方向，相关研究技术和视频算法不断更新，面向人群运动状态的研究成为热门应用领域，譬如人群骚乱的快速预警、混乱行为的自动识别、拥挤场景中异常行为区域的定位等。

拥挤场景中人群行为分析主要有三种方法：（1）对于行人个体行为判别的微观方法，将群体视为由相互独立的个体组成，群体行为是各个个体行为的集合表现[6]。为了分析群体目标的行为，必须要对单个目标进行分割和提取[7]。该方法在分辨物体、追踪轨迹、识别大密度群体行为等方面复杂性较高，效果较差。（2）基于人群群体运动的宏观方法，将人群整体作为研究对象，提取人群整体的运动特征，建立模型，分析人群运动状态，但是无法对单独个体的运动行为进行判定。在Avidan[11]、Vasconcelos和Chan[8]等人的相关研究中，采用场景模拟技术取代个体追踪技术，分别用来获取人群行为和交通车辆的特征。这是与微观法截然不同的对密集人群的检测方法。（3）基于微观和宏观的混合方法，对个体目标和群体目标同时进行研究，如Ali和Shahs[3]提出的拥挤场景下行人的追踪方法。Helbing等人提出基于社会心理学的社会力模型模拟行人行为[2]，社会力能够表现出行人与行人、行人与周围环境的交互作用，属于微观方法。Helbing在著作中，结合社会恐慌群体模型和社会力模型，提出一种广泛应用模型[10]，心理学和周围环境的作用都被考虑用于群体行为分析，能够较好的对人群行为进行仿真。

文本首先对视频帧进行运动矢量提取处理，采用运动矢量场提取人群运动特征；然后基于社会力模型计算运动矢量微粒之间的相互作用力；最后对相互作用力采用词袋法实现行为判别，图1为本文算法流程图。

2 社会力模型

通过分析行人的个人动机和周围环境约束条件，对社会力模型中的行人运动特性进行研究[13]。假设在该模型中，有N个行人，第i人的质量为，其速度的变化为：

实际作用力和个人动机、环境约束有关，包括两部分：个人动机产生的力，与周围行人和环境相互作用产生的力。

人群中的行人总是追求环境中的某个目标和目的地，每个行人都有一个希望的方向和速率。拥挤人群限制行人的实际运动，实际运动速率将不同于希望速率。基于个人动机的作用力，行人倾向于达到其希望的速率。是松弛参数。

基于心理学的倾向考虑，相互作用力包括排斥和吸引力，在人与人之间保持一个合适的社会距离；相互作用力还包括环境作用力，避免撞到墙壁、建筑物和其它障碍。因此，可以定义为

在人群之中，行人之间由于存在关系或者具有好感而保持较小距离，由于对别人或者环境感到不舒服而保持较远距离。

通用的社会力模型针对恐慌事件的影响展开分析，譬如在某个危险的事故之中，出现的集体逃离行为。此时，行人的希望速率可以为：

其中，是恐慌权重参数，是相邻行人的平均速率。对于行人i，若突出个人行为，则；若突出群体行为，则。通用的社会力模型可以概括为：

通用的社会力模型是拥挤行为仿真研究的基础，不仅通过计算机图形学[5]，可以模拟出真实的拥挤场景；而且该模型的参数分析可以为有效控制群体运动提供有价值的动态信息。

3 基于运动矢量计算的相互作用力估算

在原社会力模型中，主要光流法对运动人群的运动特征进行提取，导致运算数据大，运算速度慢的情况，本文针对这个问题，提出了采用运动矢量提取人群运动特征的方法。运动矢量是储存于高清压缩视频码流中，通过直接提取运动矢量，可以提高运动特征的提取速度。

在H264压缩视频帧中，帧间预测宏块模式包含7种，分别为（16×16）、（16×8）、（8×16）、（8×8）、（8×4）、（4×8）和（4×4），为了兼顾计算量与计算的准确性，统一将其归一化为（4×4）宏块，我们称为计算宏块，以避免多宏块带来的影响。将每个计算宏块视为一个微粒，采用计算宏块的运动矢量表示微粒的运动状态。（如图2所示）

设为微粒i计算宏块的运动矢量，也就是微粒i的实际运动速度。为计算宏块周围的有效时空平均值，采用相邻计算宏块的运动矢量的双线性插值进行计算，可以视为计算宏块之间的平均速度。

4 异常拥挤行为判别

计算相互作用力决定了平流输送微粒之间的协同配合，然而非连续的作用力并不能用来表明异常现象。但是一段持续时间的持续力能够做到。因此对于一个有m像素的连续移动图像帧，将其叠加，创建一个关于力流的特征矩阵。图3表明四组不同运动人群视频的相互作用力流，红色区域表示高相互作用力，蓝色区域表示低相互作用力。

对于力流的模拟是一个特殊的情景模拟过程，需要在计算机视觉中进行学习。词袋方法是一种典型的分析方法[12]。使用词袋方法对可能性力流进行估算，需要使用正常行为视频进行LDA训练。

首先采用LDA将连续T帧视频帧的力流分割为块，每块成为单元处理模块；然后从每个单元处理模块中提取视觉单词，从运动矢量非零区域随机提取大小为的视觉单元；最后采用平均K值聚类方法集合成大小为C的编码集合。

对于给定场景或相似场景组群的正常力流，设立集合，采用LDA判别人群行为的状态分布。使用改进的最大期望值（EM）算法[12]，可以达到词语包模型的最大可能性集合：

和是学习模型参数。通过使用这个模型，估算来自视频组的每个单元处理模块的可能值。通过基于估算可能值的相对应阈值，判定视频是否异常。

5 实验与讨论

在UMN和WEB数据库上对本文方法进行验证[1]，UMN数据库包含3种不同的室内和室外场景，由11个不同逃散事件情节组成。每个视频包含最初的正常行为和最后的异常行为。WEB数据库包含如行人步行、马拉松长跑等12个正常人群场景序列和恐慌逃散、游行抗议和群体斗殴等8组异常行为场景。

图4表明UMN视频库中三个不同场景中对于视频帧中异常行为的判别定位，左图为原始视频帧，右图为对应的相互作用力判别帧，其中颜色较亮区域为异常行为区域。通过对照比较原始帧与判别帧，本方法能够有效判定和定位人群场景中的异常区域。

表1为本文方法与光流法对视频帧处理的时间对比，表明图片分辨率越高，处理速度越快。表2为在UMN视频库上不同算法的ROC曲线（receiver operating characteristic curve，受试者工作特征曲线）下的面积AUC值的对比，实验表明，本文方法对于异常行为的检测高于Optical Flow算法[14]和1-NN算法[15]。

6 结语

本文提出了采用运动矢量和社会力模型判定人群异常行为的方法，本方法不需要对行人个体进行提取、分割和追踪。实验结果表明，本文方法区分和定位人群场景中的异常行为效果显著，并且与原社会力模型相比，判别速度有明显提升。

参考文献

[1]J.Kim and K.Grauman.Observe locally，infer globally：A space—time MRF for detecting abnormal activities with incremental updates.In CVPR，2009.

[2] D. Helbing and P. Molnar. Social force model for pedestrian dynamics. Physical Review E， 51：4282， 1995.

[3] S. Ali and M. Shah. Floor fields for tracking in high density crowd scenes. ECCV， 2008.

[4] D. H. Anders Johansson and P. K. Shukla. Specification of the social force pedestrian model by evolutionary adjustment to video tracking data. Advances in Complex Systems，10（2）：271–288， December 2007.

[5] E. A. S. G. M. L. Avneesh Sud， Russell Gayle and D. Manocha. Real-time navigation of independent agents using adaptive roadmaps. VRST 07：Proceedings of the 2007 ACM symposium on Virtual reality software and technology，pages 99–106， 2007.

[6] A. J. A. Jorge S. Marques， Pedro M. Jorge and J. M. Lemos. Tracking groups of pedestrians in video sequences. Computer Vision and Pattern Recognition Workshop， 9：101，2003.

[7] G. Brostow and R. Cipolla. Unsupervised bayesian detection of independent motion in crowds. Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on， 1：594–601， June 2006.

[8] A. B. Chan and N. Vasconcelos. Mixtures of dynamic textures. In ICCV 05： Proceedings of the Tenth IEEE International Conference on Computer Vision Volume 1， pages 641–647， Washington， DC， USA， 2005. IEEE Computer Society.

[9] N. Courty and T. Corpetti. Crowd motion capture. Comput. Animat. Virtual Worlds， 18（4-5）：361–370， 2007.

[10] I. F. D. Helbing and T. Vicsek. Simulating dynamical features of escape panic. Nature， pages 487–490， 2000.

[11] P. Reisman， S. A. O. Mano， and A. Shashua. Crowd detection in video sequences. Intelligent Vehicles Symposium， 2004 IEEE， pages 66–71， June 2004.

[12] A. Y. N. David M. Blei and M. I. Jordan. Latent dirichlet allocation. Journal of Machine Learning Research， 3：993–1022， 2003.

[13] Mehran， R.； Oyama， A.； Shah， M.， Abnormal crowd behavior detection using social force model[A].Computer Vision and Pattern Recognition， 2009， pp.935-942

[14] 杜鉴豪，许力.基于区域光流特征的异常行为检测[J].浙江大学学报（工业版），2011，45（7）：1161-1166.

[15] Cong Y，Yuan J，Liu J.Abnormal Event Detection in Crowded Scenes Using Sparse Representation[J].Pattern Recognition，2013，46（7）：1851-1864.