视频监控中人体异常行为识别

赵仁凤

安徽理工大学经济与管理学院，淮南，232001

1 相关研究和问题的提出

随着计算机软件和硬件处理能力的快速提高，计算机视觉系统已经可以代替人分析和处理部分图片和视频序列。然而，目前大多数的视频监控系统还处于传统模式，即只记录不判断。主要依靠安保工作者人为的不间断地监控随机的突发事件和可疑事件，需要大量的人力，而由于人体感官疲劳，不能持续地注意力集中，很容易出现漏检的情况，失去了实时监控的意义。人体异常行为识别即在此基础上出现，用于自动分析视频中的人体行为，检测和识别视频中异常行为，目前已成为一个具有挑战性的热点研究课题。

异常事件检测问题已经研究了数年，Chandola等人对离散序列中的异常行为检测问题进行了调查，给出了合适的模型[1]。Zitouni等人对人群分析中与异常检测有关的进展和趋势在人群建模研究中进行了调查[2]。文献[3]综述了视频监控应用中的情境异常人类行为检测问题，指出了基于异常事件检测的视频的复杂性。噪声数据的影响和低层特征的表示明显地影响了分类器的判别力。文献[4]分析了从前端数据采集到信息处理方法的自动监测异常检测技术的系统评估，将所提出的技术分为监测目标、异常定义和假设，所使用的传感器类型以及特征提取过程、学习方法和建模算法。国内胡芝兰等人采用块运动方向描述视频中不同动作，然后利用支持向量机(Support vector machine，SVM)对正常行为和异常行为进行分类[5]。在文献[6]中，介绍了概率图模型背景下的变分贝叶斯(VB)方法，并讨论了它们在多媒体相关问题中的应用。Tasoulis等人介绍并评估了利用分类和统计数据挖掘方法的人类活动检测方法[7]。以上文献研究了运动表示和事件模型算法。本文采用光流方向的直方图作为基本模型，因为它描述了感兴趣区域的运动。

概率模型被用于视频分析中的各种应用，包括异常检测。Loy等人使用行为模式，根据其时间特征进行分解，然后使用动态贝叶斯网络进行建模[8]。Gu等人提出人群分布信息由粒子熵表示，GMM(高斯混合模型)在正常人群行为上被用来预测异常[9]。在文献[10]中，提出了一个概率Petri网来识别机场、停车场和银行等限制性环境中的人类活动，给定活动中的最小子视频以高于某个阈值的概率进行识别，检测到具有最高概率的给定集合。在文献[11]中，提出了一种2.5D图形，将通过匹配方法测量的3D视图无关姿态特征和2D外观特征集成为动作图像表示。Tavassolipour等人提出了一种基于贝叶斯网络的方法，用于足球视频中的自动事件检测和总结，然后检测到足球视频中的7个不同事件，即进球、吃牌、射门、角球、犯规、越位和点球[12]。隐马尔可夫模型(HMM)是一种能够处理时间序列数据的统计分析模型，对现有的异常事件检测研究进行了综述。朱旭东等人将主题隐马尔科夫模型(topic Hidden markov mode，THMM)用于可疑行为识别中[13]。在文献[14]中，HMM被选择作为视频事件中活动概念转换的基础模型。此外，视频剪辑被视为对应于HMM中的潜在活动概念变量的观察值。在文献[15]中，引入了多流融合HMM模型来识别由摄像机网络监控的仓库中的真实视觉行为。Utasi等人提取交通区域的光流，然后用HMM检测异常事件[16]。Jiménez等人利用HMM来识别基于运动编码的非常见运动事件，其编码内在动力学信息[17]。由于HMM具有强大的行为建模能力，因此本文选择该方法分析视频事件。

本文提出了一种基于视频分析的异常事件检测算法(包括运动特征描述符和分类方法)和基于分析感兴趣区域的光流来编码运动信息的特征描述符。通过对特征描述符进行概率属性分析，导出隐马尔可夫模型以区分隐藏状态。分析了基于直方图的特征描述符的概率特性，得出HMM模型适合异常分类应用。选择UMN[18]作为基准数据集，UMN数据集模拟恐慌驱动的场景，如图1所示。

图1 UMN数据集场景

2 基于光流方向直方图的隐马尔可夫模型

本节提出了异常检测方法，首先介绍了计算光流方向直方图(HOFO)的特征描述符，由于HOFO特征的概率性质，提出了基于隐马尔可夫模型(HMM)的分类方法来区分正常事件和异常事件。

2.1 光流方向的直方图

(1)

图2 计算光流场上图像上的HOFO特征描述符

2.2 隐马尔可夫模型

假设在训练步骤中存在正常和异常视频帧的HOFO特征描述符。在对训练样本进行学习的基础上，提出了基于HMM的异常事件检测方法。

2.2.1 隐马尔可夫模型

那么所有可观测状态的转移概率矩阵应该是：

(2)

(3)

2.2.2 正常和异常事件建模

视频帧的HOFO特征由于其概率特性而适用于应用HMM，由于HOFO已经是观察记录的直方图，因此不需要额外的统计处理。对于视频中的异常事件检测问题，有m=2个隐藏状态：状态1表示正常帧，状态2表示异常帧。可观察状态n是特征描述符的维度，所提出的HOFO描述符的维度是n=36。

(4)

(5)

(6)

平稳概率表示为正常帧为α，对于异常帧相应地为1-α。对于视频帧事件检测问题，更新转换矩阵(2)：

(7)

(8)

2.3 来自两级分类的异常检测

(9)

其中

0≤α≤1

(10)

用(8)代入(9)有：

(11)

由于(11)中的目标函数是α的二次函数，所以考虑其对称轴

(12)

然后解决最优化问题(11)由下式给出

(13)

(14)

警报级别l根据基于历史视频帧的误差函数的最小化问题设置：

(15)

总而言之，在算法1中给出了使用HMM进行异常事件识别的算法。

算法1：用于异常事件检测的HMM分类器：

3 异常事件检测结果及分析

采用UMN数据集显示结果，UMN数据集是草坪和室内场景中的拥挤逃逸事件。正常样本被定义为个人行走，异常样本被定义为个体在不同方向运行，这意味着人们正在逃离危险的地方。草坪场景的检测结果如图3所示，正常和异常样本是从草坪场景中选择的。结果表明，使用HMM分类方法的直方图描述符可以区分正常事件和异常事件。从图3可以看出，一些正常帧的值大于α阈值，然后这些帧被分类为异常帧。但是，这些假阳性样本以突变模型出现。换句话说，这些孤立的样品处于没有任何前面或后面连续样品的状态以构成连续状态。因此，这些帧的预测结果可以在一定程度上被认为是噪声，然后被修改为正常状态。图中标注的准确率根据原始预测结果计算。但是，如果在噪音过滤后结果被修改，则可以提高预测的准确率。

图3 草坪场景检测结果

图3中走路的人被认为是正常的事件，而跑步的人被认为是异常的事件。(a)由所提出的方法检测到的一个正常帧。(b)由所提出的方法检测到一个异常帧。(c)草坪序列的检测结果，其中正三角形、倒三角形、圆圈和正方形表示分别代表训练正常帧、训练异常帧、检测正常帧和检测异常帧。标记关键帧编号，检测准确率为97.24%。(d)为草坪场景分类策略的接收器工作特征(ROC)曲线，检测结果的ROC曲线下面积(AUC)为0.977 9。

室内场景的检测结果如图4所示，准确率略低于草坪场景，假阴性帧位于每个异常序列的开始或最后部分。在开始的几帧异常序列中，帧处于模糊状态。此外，这些帧可以分为正常或异常，在异常序列结尾的帧中，帧中没有人。由于HOFO特征描述符基于帧的移动状态，因此HOFO的索引处于低电平。因此，这些帧会造成假阴性，导致分类器的性能下降。而通过检测帧中的人物可以将这些帧分类为异常。换句话说，如果框架内不存在任何人员，框架可以被直接分类为异常。虽然草坪场景和室内场景照明强度不同，但是所提出的异常事件检测方法可以处理照明强度的变化。

图4 室内场景检测结果

图4(a)由所提出的方法检测到的一个正常帧。(b)由所提出的方法检测到一个异常帧。(c)为室内序列的检测结果，其中正三角形、倒三角形、圆圈和正方形分别表示训练正常帧、训练异常帧、检测正常帧和检测异常帧。标记关键帧编号，检测准确率为91.39%。(d)为室内场景分类策略的接收器工作特征(ROC)曲线，检测结果的ROC曲线的AUC为0.922 3。

4 结 论

本文提出了一种异常事件检测方法，利用HOFO直方图提取帧运动信息。由于HOFO特征描述符的概率特性，从隐马尔可夫模型中导出了一种分类方法来区分异常事件与正常事件，实验结果表明了该方法的有效性。