关于异常行为检测技术的综述

张卓君

摘要：近年来，异常行为检测已经成为计算机视觉和图像处理中活跃的研究领域，备受研究人员关注。随着越来越多的研究人员加入这项技术研究中，提出了很多具有一定突破的方法。该文将对相关检测技术进行总结，主要就其过程中异常行为表示方法的发展现状展开详细介绍，此外，针对不同公共数据集的现状及研究方向进行介绍和展望。

关键词：异常行为;异常检测;特征提取;光流法;计算机视觉

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2020）06-0199-03

异常检测技术是采用计算机视觉分析监控录像。目前，异常活动一直是公共安全领域的一个重要问题，对其进行准确检测具有广泛的应用空间，可在第一时间发现异常，并采取相应的行动和措施以确保相关对象的安全性。

由于异常活动的种类众多，很难一概而论，因此对异常行为的定义也需要兼顾周围环境才能确定，例如：公共场合发生打架事件、行人践踏草坪、呈一定规律性运动的人群中出现打破规律运动的人等等。通常异常活动会伴随着正常活动一起进行，因此对正常和异常活动进行分类就显得很重要，也逐渐成了计算机视觉领域的研究热点。随着计算机视觉技术的发展，许多研究者提出不同的模型来进行异常事件检测，以获得更准确的检测。

1异常检测技术的原理分析

异常行为检测可看作是一个高层次的图像理解操作，从输入的图像序列中提取逻辑信息并进行行为建模。通常建模的思路有两种：一种是首先学习正常行为的模型并以此为基础检测异常;另一种是通过批量或在线观察数据的统计特性自动学习正常和异常模型。

异常行为检测技术（如图1所示）可被分为四个阶段：

1）视频帧序列化阶段：负责将视频转化成帧或片段。

2）预处理阶段：完成数据的清理工作。

3）特征提取阶段：从视频中提取对象的运动特征。

4）检测分类阶段：使用分类器对数据进行异常检测。

2特征提取方法

异常检测技术的性能直接与两个方面有关，分别是行为特征表示方法和异常识别模型，其中异常识别实质为一个二分类问题，而行为特征表示用于表示时间和构建行为模型的抽象，一直是计算机视觉中一个活跃的研究领域，同时由于特殊特征的上下文繁多，因此需要寻找更为健壮的特征描述性方法，以提取具有高度描述性和区别性的特征。因此，本文重点对国内外常用的行为特征表示方法进行概述。

行为特征表示分为两种：（1）基于对象的方法。这种方法主要关注造成异常事件的单个对象的运动特征，例如对象的大小、形状、轨迹和运动速度等。（2）基于整体的方法，此方法将运动的所有对象看作一个完整的部分，基于像素级对物体和人的运动和方向进行描述，例如梯度、颜色、纹理、运动历史图像等。

Klaser等嘲基于此提出扩展到时间域的思路，得到3DHOG特征（Histogram of Oriented 3D Spatio-temporal Gradients，三维时空方向梯度直方图）。Laptev等、将HOF和HOG算子进行级联，以达到对场景信息和运动信息同时表述的目的。Yang等人将具有不同尺度的两个8箱HOF描述子进行级联，从而构成多尺度光流直方图MHOF （Multi-scale Histogram of Optical Flowl。等人则基于MHOF进一步探索提出了最大光流映射直方图HMOFP（Histogram of Maximal Optical Flow Projectionsl。

光流法（Optical Flow）因其良好的时空特性，以及其可在未知的先验信息场中检测到人群中的运动对象，同时对其运动速度进行计算，因此被作为一种运动描述方法备受欢迎。其中，Wang等人提出稀疏光流（Lucas-Kanade，LKl只对指定的某些显著特性的特征点进行跟踪计算。He等人提出全局光流（Horn-Schunck，HS）对图像指定区域逐个点进行匹配，通过对所有像素点的偏移量进行计算从而形成稠密光流场。Mahmoodi等人嘲提出一种光学直方图流量和方向（HOMO），该方法计算两个帧之间的光流，然后分别比较各帧中各像素的光流强度和方向，从而获取有意义的幅度和方向变化信息，然后将不同的阈值应用于大小和方向的变化信息上，获得六个二元指标，对这些二元指标进行分析，得到HOMO描述符。熊饶饶等人基于此提出将光流方向、大小和加速度三种直方图融合获取综合光流直方图。Direkoglu等人提出使用帧间光流向量的角度差和当前帧光流量的乘积作为运动特征描述子，从而修正当前帧光流的强度。Febin等人主要针对以往研究中在考虑局部时空特征时，缺乏对运动过程中复杂光流信息的统计，因此提出将SIFT、光流特征直方图和MBH三种方法进行融合，形成MoB-SIFT描述符。

3数据集

异常检测算法中常用的公共数据集以及各数据集目前在准确率和AUC两个评价指标中的最优检测效果。

3.1 UCSD数据集

UCSD（University of California，San Diego）数据集是由加州大学圣地亚哥分校创建，通过采集摄像机俯视人行道得到的自然状态下发生的异常行为（如图2所示）。数据集中的异常行为主要分为2种：人行为异常、非人实体闯入，包括骑自行车、小推车、行人侵入草地、穿行人行道、和滑冰等异常种类。

数据由98个视频组成，分为2个不同的场景，每一个场景的视频又分为200帧左右的视频片段。目前此数据集的AUC已达到较好的效果（如表1所示）。

3.2UMN数据集

UMN（University of Minnesotal数据集，是明尼苏达州大学创建的一个数据集。此数据集由11个视频段组成，分别分为三个场景：草坪、室内和广场，共有7700帧。

每个视频都包含正常行为和异常行为，异常行为主要表现为人群向单方向跑动、人群向四周散开等。如图3所示，第一行为草坪场景中的正常行为和异常行为，第二行为室内场景中的正常行为和异常行为，第三行为广场场景中的正常行为和异常行为。

目前此数据集的准确率已达到96.46，AUC线下面积已达到96。

3.3VIF数据集

VIF（violent fow）數据集，是由以色列开放大学创建的人群数据库。由从YouTube上下载的246个现实事件视频组成，其中有暴力事件视频和非暴力事件视频，每个视频的长度有所不同，分别为1.04秒到6.52秒不等，平均长度为3.60秒。

如图4所示，第一行为UMN数据集中非暴力行为，第二行为暴力行为。目前此数据集的检测准确率已达到93.09%。

4结束语

本文对视频监控中用于异常行为、暴力行为检测的技术和数据集进行了调查和综述。目前一些方法对于公共数据集的检测效果虽已有成效，然而仍不尽完美，且现实生活中存在更为复杂的异常场景，因此我们还面临着一个很大的挑战。希望本文的研究工作可以给您带来一些思路上的创新。