基于线性稀疏模型和iHMM的群体异常事件检测

司莉莉,郭春生

(杭州电子科技大学 通信工程学院,浙江 杭州 310018)

基于线性稀疏模型和iHMM的群体异常事件检测

司莉莉,郭春生

(杭州电子科技大学 通信工程学院,浙江 杭州 310018)

在群体异常检测中，人群特征感知主要提取个体的群体特性。提出了基于群特征的稀疏线性模型和无限隐马尔可夫(SLM-iHMM)方法检测人群异常事件。该方法通过统计模型整合空间和时间因素，基于SLM提取空间线索，从而在空间域中建立用于群特征提取的统计模型。时间线索在iHMM中被明确地编码，用于分析来自空间域的时间多尺度特征。关于UMN数据集的实验验证了该方法的可行性和有效性。

稀疏线性模型；空时因素；群体异常检测

0 引言

群体场景中的视频异常事件检测成为智能监控领域的一个热点方向。视频异常事件发生的区域比较复杂，可能发生在时域、空域或空时域。目前，视频异常事件检测算法主要基于机器学习，该方法首先从原始视频图像中提取出样本事件的特征，通过特征学习建模获得正常样本的特征规律。检测时，从测试视频数据流中提取出样本事件的特征，使用训练好的模型进行估计，如果不符合正常样本事件的特征规律，则被看作异常事件。

1 群体异常检测研究现状

对于群体异常事件的场景，章东平等[1]采用粒子视频流获得特征点运动轨迹，通过最长共同子序列聚类粒子轨迹，得到运动的主流方向，自动识别人群行为；Wang等[2]针对光流计算量大和空时梯度需要包含轮廓信息的缺陷，将光流和空时梯度相结合，提出将KLT(Kanade Lucas Tomasi)角点作为特征来描述运动特征。国外，基于空时特征提取的一些异常检测方法也应运而生。Kuettel等[3]提出了一种新的相关狄利克雷过程隐马尔可夫模型(Dependent Dirichlet Process-Hidden Markov Model，DDP-HMM)，它基于iHMM和LDA(Latent Dirichlet Allocation)模型，在复杂的动态场景中自动学习时空相关性。其它的异常检测方法通过分析时空环境和时空纹理来提取图像特征，文献[4]提出一种基于对视频立方体内的时空视频体积配置分析的无监督统计学习框架。通过稀疏编码来学习全局和局部活动模式，再从正常行为学习的构图模式字典中，稀疏重建成本标准被设计为检测在全局和本地视频中发生的异常。

群体特征是每个个体群体特征的集合，即群体特征是群体中所有个体的一致性表现，群体中的个体既表现出一致的社会性，又具有相异的随机性。由于群体特征的复杂性，本文提出一种基于稀疏线性模型[5](Sparse Linear Model, SLM)和无限状态马尔科夫模型[6](infinite Hidden Markov Model,iHMM)的空时模型——SLM-iHMM，分别在空间和时间上描述特征。假设群体特征服从一定先验分布，建立每个个体群体性和随机性的统计表征模型，以协调群体中个体的群体性与随机性，从而有效增强群体特征抽取的适应性，提高异常检测准确率。

1.1 基于SLM-iHMM的群体异常检测算法

本节将详细介绍所提出的模型。首先，提取底层光流特征，该特征显示较弱的时空特性。为了提高空时特征描述能力，在本文中引入时空SLM-iHMM。在空间域中，假设低级特征作为输入以及需要的组特征作为SLM的输出，在时域中，用iHMM捕获稀疏向量的时间特性关系。该方法的流程如图1所示。

图1 SLM-iHMM算法流程

1.2 特征选择与稀疏学习

首先阐述图像特征选择与稀疏学习之间的关系。通常能用很多属性描述一个西瓜，例如色泽、根蒂、敲声、纹理、触感等，但是有经验的人往往只需观察根蒂与敲声就知道是否是好瓜。换言之，对一个学习任务而言，给定属性值，其中一些属性可能非常关键、有用，另一些则可能无用。在视频图像处理领域，将这些属性称为相关特征，无用属性称为无关特征。从给定的特征集合中选择出相关特征子集的过程，称为特征选择。

特征选择是一个重要的数据预处理过程，是机器学习中研究最早的分支之一，早期研究主要是按特征子集“生成与搜索—评价”过程来进行。在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器。进行特征选择有两个重要原因：维数灾难问题和特征选择性[7]。在稀疏学习中，目标函数被一组基函数表示，这种表示具有两种约束：稀疏性与统计独立性。稀疏性约束使目标函数能被尽量少的基函数进行线性表示，而统计独立性约束能够使稀疏编码的冗余尽量减小。

1.3 底层特征表示

要进行群体异常检测，首先要提取图像的底层特征进行预处理。为了提高检测效率，本文将检测范围缩小，只关注人群的全局活动，对个体的局部特征不予考虑。对于已录制的视频，连续抽取视频帧的光流特征。光流向量保留8个方向与2个尺度的运动信息，对于每一视频帧，选取10×10的像素单元抽取其位移信息。

1.4 基于线性稀疏模型的空间特征

在一个SLM模型中，假设y作为数据的输入，一般情况下，y是高维且冗余度较高的原始图像信号，X是给定的过完备的用正常视频特征训练的字典，u即是所求的稀疏向量。该项不仅具有稀疏性，而且还具有空间特性。假设视频光流特征y∈Rm为SLM模型的输入数据，则稀疏线性模型可以表示为：

(1)

其中编码字典为X∈Rm×n，编码噪声为ε～N(0,σ2I)，y服从高斯分布，即P(y|u)=N(y|Xu,σ2I)。由于图像特征在空间和时间域中的不规则分布，难以直接提取群体特征，本文假设u为每个个体的群体特征部分。自然图像的群体特征呈现超高斯(或稀疏)形式表征，本文假设空间群体特征u服从超高斯分布，其形式如下：

(2)

其中，ti(ui)为限制超高斯势能函数。

(3)

(4)

采用双环算法求解目标优化函数。双环算法主要分为内环过程和外环过程两部分求解。对于内环过程，根据迭代最小二乘算法(IRLS)求解；对于外环过程，重新估计u。内环过程和外环过程不断进行迭代，直到外环收敛，得到稀疏向量uMAP。

1.5 基于iHMM的时间特征提取

2002年，Beal等提出了无限状态隐马尔可夫模型iHMM，iHMM不再需要人为指定状态数目，而是让数据自己说话，根据数据的自身特性智能地挑选最优的状态数目。群体异常事件的发生域是复杂的，它可能发生在时域、空域或空时域，通过iHMM对空间域的主题提取时间特征，增强时空特征的描述能力。

本文利用iHMM在时间上的多尺度特性来提取图像特征的时间关系。首先将训练视频段的稀疏向量u={u1,...uM}作为iHMM的输入，训练得到具有时空特性的模型状态转移概率矩阵π和状态观测矩阵φ。本文选用训练视频序列的平均对数似然函数作为每个图像的新特征，该表达式可以表示为：

(5)

异常检测时，将测试视频段的稀疏向量作为已训练iHMM的输入，计算得到每一帧的对数似然函数f=logp(ut|π,φ)，然后将f和L作差，若差值大于设好的阈值，判断该帧为异常帧。

2 实验与分析

实验选取的视频数据来自UMN公开数据集,包括室内外的3个不同场景。正常行为主要包括驻足、交谈、散步等，异常行为为群体性逃跑事件。对于每一个视频场景，抽取前150正常帧作为训练视频集，用于训练SLM-iHMM模型。同时，将整个视频场景作为测试视频集。三个场景中的异常帧分别是：93、128、180帧。实验证明，每个场景分别检出87、119和170帧。3个场景的平均AUC(AreaunderCurve)及与其它算法比较的ROC(接收者操作特征，ReceiverOperatingCharacteristic)如图2所示。

图2 三种算法的ROC图

从表1数据可以看到，本文算法与其它相关检测算法相比，具有更优秀的检测性能[3-4]。

3 结语

本文提出基于稀疏线性模型和iHMM模型的空时模型群体异常检测算法，在空间域，基于稀疏线性模型建立个体特征与群体特征的超高斯先验统计表征；在时间域，基于iHMM对稀疏向量提取时间关系，完善了群体特征空间和时间因素的整合。大量实验仿真结果验证了算法的可行性和有效性。

[1] 章东平, 童超, 芦亚飞. 基于粒子视频的高密度人群主流运动检测[J].电子技术应用, 2012, 38(4):123-125.

[2] S WANG, Z MIAO. Anomaly detection in crowd scene[C]. 2010 IEEE 10th International Conference on Signal Processing (ICSP), 2010: 1220-1223.

[3] KUETTEL D,et al.What's going on? discovering spatio-temporal dependencies in dynamic scenes[C].IEEE Conference on Computer Vision and Pattern Recognition,2010:1220-1223.

[4] LI N, et al.Spatio-temporal context analysis within video volumes for anomalous-event detection and localization[J]. Neurocomputing, 2015.

[5] M W SEEGER, H NICKISCH. Large scale Bayesian inference and experimental design for sparse linear models[J]. SIAM Journal on Imaging Sciences, 2011, 4(1):166-199.

[6] 朱明.视频异常事件检测研究[D].杭州：杭州电子科技大学，2010.

[7] 周志华.机器学习[M].北京:清华大学出版社,2016.

[8] 王晶.稀疏贝叶斯学习理论及应用研究[D].西安：西安电子科技大学,2012.

(责任编辑：黄 健)

国家自然科学基金项目(61372157)

司莉莉(1991-)，女，江苏连云港人，杭州电子科技大学通信工程学院硕士研究生，研究方向为信号与信息处理。

10.11907/rjdk.162548

TP306

A

1672-7800(2017)003-0001-02