基于监控视频的异常事件识别

丁 茜，袁明辉

（上海理工大学 光电信息与计算机工程学院，上海 200093）

引 言

智能视频监控系统是在现实场景中对目标进行实时监测，并对其行为模式进行描述的系统。随着网络发展和计算机技术的快速发展，已能利用计算机视觉、图像处理和模式识别等技术对视频监控设备采集的视频进行实时分析，并对社区、街道、重要路口等敏感区域的一些异常事件进行主动监测和迅速报警，可以为管理部门及时控制异常事件提供有效的帮助。

在大多数的监控场景中，存在前景背景之间差异小、目标形变、背景光照变化等问题，因此在复杂背景环境中如何准确提取出前景目标区域是本文重点研究的问题。目前，常用的运动前景提取方法有帧间差分法和背景建模法，其中帧间差分法[1]是一种快速有效的前景提取方法，它通过对视频中相邻两帧图像做差分运算来标记运动目标。但是帧间差分法对运动变化过快或过慢的前景检测效果差，往往会产生内部空洞和鬼影现象。为了适应复杂多变的场景环境，Stauffer等提出一种通过混合多个高斯模型进行背景维护的方法[2]，它用多个不同的高斯函数来表示视频序列中每个像素的值，并基于局部特性，其中一些高斯模型用于表示背景，另一些表示前景。然而，由于混合高斯模型需要对参数进行估计以及对多个高斯函数进行排序计算，因此计算量较大。针对这个问题，Barnich等提出一种称为Vibe的不需要参数估计的背景建模方法[3-4]，该算法采用像素点的8个领域像素来创建背景模型，通过对比背景模型和当前帧图像的像素值来快速提取并分离运动的前景目标。

在对监控视频中异常事件的检测方面，美国国防研究局开发了基于视频理解的VSAM系统[5]，该系统采用三帧差分法对运动前景目标自动提取，并使用颜色和纹理特征识别不同的物体，然后利用自适应的模板匹配算法跟踪目标，从而实现对目标的运动轨迹和状态的监测。在真实的场景中，异常行为的发生经常伴随猛烈的动作，在[6]中，提出一种混合系统，并把人群的行为作为一个Bag-of-words模型，通过分析静态场景和动态的移动目标来确定人群行为的异常。何鹏等[7]采用背景差分法提取运动前景，然后对前景的光流信息进行统计分析，从而判断是否有异常行为发生。

本文使用混合高斯模型来提取运动前景目标，然后运用金字塔迭代L-K光流法计算前景目标的光流运动信息，通过统计监控视频中的前景目标面积比例、运动目标的速度方差以及整体熵值判断异常行为的发生。通过对爆炸事件、人群短时聚集和分散事件的监控视频的仿真实验，以验证所建模型的有效性。

1 监控视频前景提取

前景目标提取是指将目标从视频背景中分割出来，是对监控视频进行异常行为分析的基础。背景减除法是常用的视频前景提取技术，其基本原理是通过比较输入图像和背景模型来提取运动目标。该方法用背景模型替代相邻的前一帧，反映了场景信息。背景减除法的关键是建立和更新背景模型。采用混合高斯模型算法进行背景建模的方法能够有效地对背景进行建模并适应背景的变化。

混合高斯模型的背景建模主要由以下3个步骤构成：

Step1 背景建模

值；h为高斯分布的概率密度函数。对第i个高斯分布的协方差矩阵，可表示为

对高斯分布的概率密度函数，表达式为

Step2 背景模型更新

高斯分布的权重按照下列式子进行更新：

其中

如果分布不匹配，则其均值和方差保持不变。

Step3 前景目标检测

Step4 计算效率优化

针对混合高斯模型中需要对每个像素点计算多个高斯分布，从而造成计算量大的问题，进行了计算效率上的优化，即每隔f帧对高斯分布进行一次扫描。

图1是对监控视频中的连续4帧图像的前景目标提取结果，并已经过中值滤波和形态学操作。由结果可以看出，混合高斯模型可以有效区分视频中的前景和背景区域，并准确提取出前景目标。

图1 混合高斯模型提取视频中的前景目标Fig. 1 Mixing Gaussian models to extract foreground objects in video

2 光流信息计算

2.1 光流及算法

光流(optical flow)是一种运动模式，它反映了在时间内由于运动所造成的图像变化，光流场是通过二维图像来表示物体点的三维运动的速度场。光流的计算是基于了图像中的像素点和领域点有着相同亮度的观点，图2显示了两幅连续图像和对应的光流图像的模拟示例。

图2 光流信息Fig. 2 Optical flow information

光流计算中的Harris角点提取[8]、Lucas and Kanade(简称L-K算法)特征点跟踪[9]以及金字塔迭代[10]等算法是目前在监控视频中快速准确提取光流信息的重要算法。

2.2 Harris角点提取

Harris角点提取属于角点检测的一种，角点表示的是图像中的特殊位置，这些位置点往往具有为多幅图像的特征匹配对应关系的作用。角点在数学和几何上的特点可以描述为：一阶导数的局部最大所对应的点；图像中的梯度幅值和方向的变化速率很高的点；两条及两条以上边缘的交点；角点处的一阶导数取最大值，同时二阶导数为零，指向物体边缘变化不连续的方向。

当一个窗口在图像上移动时：在平滑区域(见图3(a))，窗口在各个方向上没有变化；在边缘上(见图3(b))，窗口在边缘的方向上没有变化；在角点处(见图3(c))，窗口在各个方向上具有变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否为角点。

2.3 L-K 特征点跟踪及金字塔迭代

L-K算法最早属于稠密光流的一种，它需要对图像上的每个像素点做计算，运算量非常大，优化后算法的光流应该用在输入图像的一组点上，L-K算法用于计算两连续帧每个像素点在时间t到t+δt之间位置的移动。

假设特征点的移动足够小，那么对图像约束方程用泰勒公式展开，可以得到

当移动足够小时，H.O.T.表示的高阶项可以忽略不计。那么由式(15)可以得到

然而由于L-K光流跟踪算法只在每个特征点领域的小窗口内寻找角点，当存在较大运动时，特征点会移出这个区域，因此采用金字塔迭代的方法解决这个问题，其原理如图4所示。金字塔L-K光流算法首先从图像金字塔顶层计算光流，得到的运动估计结果作为下一层的起始点，迭代这个过程直到金字塔低端的原始图像。

图4 基于金字塔图像迭代的光流估计过程Fig. 4 Optical flow estimation process based on pyramid image iteration

3 异常事件分析

3.1 异常事件与商和方差的关系

视频中的异常事件通常会使视频的前景目标区域出现有规律变化，导致光流特征各方向幅值强度大、运动方向不一致。为了能有效、准确地发现这种异常行为，采用熵和方差去辨别。熵可描述体系的混乱程度，而方差可度量随机变量与均值的偏离程度，所以当出现异常的事件时，采用计算方向和幅值的熵以及计算速度的方差的方法来判断。方向和幅值的熵越大，速度的方差越小，则表明运动越混乱，且有多个主要运动趋势，从而可以判断出当前帧的运动混乱，有异常事件发生。

3.2 计算光流特征的熵和速度方差

(1)光流特征的方向和幅值概率

统计光流特征在各区间的方向和幅值的概率，设置每个区间的方向角度为30°，从而得到12个方向区间，计算表达式如下：

式中：si为所有在i方向区间的光流特征次数之和；hi为所有在i方向区间的光流特征幅值之和； Sdirection为方向−幅值直方图方向次数总和；Shypotenuse为方向−幅值直方图幅值总和。

(2)方向熵和幅值熵

方向熵

幅值熵

(3)速度方差

(4)整体熵

方向熵和幅值熵都是判断异常事件的重要因素之一，所以将两者整合成整体熵，表示为

整体熵W越大，则说明当前运动越混乱，发生异常事件的可能性越大。

4 仿真实验

4.1 爆炸事件

爆炸事件发生前后的视频画面变化剧烈，画面会突然出现大量抖动，导致视频帧中前景目标的光流特征剧烈变化。因此，可以通过分析视频帧中爆炸事件发生过程中的前景目标面积与视频帧图像的面积的比值，以及前景区域的光流特征的熵和速度信息，对爆炸事件进行识别。

爆炸事件发生时，对监控视频的每帧图像的前景目标光流特征进行计算，结果如图5所示。

计算前景目标面积比、速度方差、整体熵在爆炸事件发生过程中的变化，结果如图6所示。

图5 爆炸事件发生时前景目标的光流特征变化Fig. 5 Change in the optical flow characteristics of the foreground target at the time of the explosion

由图5可见：与正常行为相比，在出现爆炸的瞬间，爆炸产生剧烈的抖动，使得视频帧的光流特征快速变化，出现了大量移动幅度大且多方向的光流特征点；当爆炸发生后，爆炸产生的烟雾区域的光流特征呈现缓慢但多方向的弥散特征行为。

爆炸在第100帧左右时发生，此时画面剧烈抖动，出现大量前景目标，在图6(a)上表现为前景面积比突然升高，而且随着烟雾的弥散，前景面积一直处于比较高的数值，随着烟雾的逐渐散开，前景面积比逐渐降低。

图6 爆炸事件过程中的参数变化Fig. 6 Change of parameters during explosion

当出现爆炸异常事件时，画面中的前景突然快速变化，光流特征快速移动，在图6(b)中表现为爆炸的瞬间速度方差陡然增加然后快速降低。

同时由于运动方向混乱，画面变化激烈，在图6(c)中表现为熵值会突然快速提高，熵能够很好地反映光流特征变化，对于正常情况和爆炸事件有较好的区分度。

4.2 人群短时聚集和分散事件

视频中人群短时聚集时，前景区域面积会短时增加并聚集，分散时会快速离散并减少，前景区域的光流特征点会出现向一个中心点运动然后向各个方向分散的现象。因此，通过分析视频帧中人群短时聚集和分散事件发生过程中的前景目标面积与视频帧图像的面积的比值，以及前景区域的光流特征的熵和速度信息，可以进行事件的识别。

对人群短时聚集和分散事件发生时的监控视频的每帧图像的前景目标光流特征进行计算，其中8帧结果如图7所示。

图7 人群短时汇聚和分散时前景目标的光流特征变化Fig. 7 Change in the optical flow characteristics of the foreground target with short-term convergence and dispersion of people

由图7可见，在出现人群短时聚集的过程中，前景区域的光流特征点会快速向一个中心点运动，然后向相反方向离散运动。

计算前景目标面积比、速度方差、整体熵在人群短时聚集和分散事件发生过程中的变化，结果如图8所示。

图8 人群短时汇聚和分散过程中的参数变化Fig. 8 Change of parameters during short-term convergence and dispersion of people

由图8(a)可知：前景目标的面积比曲线会出现两个双峰；当人群聚集时，前景目标快速移动，前景目标面积比快速增加，当人群聚集后稳定不动，前景目标面积比开始降低；当人群分散时，前景目标又快速移动，前景目标面积比快速增加，随着人群逐渐消失在画面中，前景目标面积比开始下降，直到没有前景目标。

当出现人群短时聚集和分散行为时，由图8(b)可知，因光流特征点快速移动，速度方差先逐渐增加，当人群汇聚后运动减少，速度方差随之降低，当人群离开后，速度方差逐渐降低为0。

同时由于人群短时汇聚和分散时，光流特征点运动方向混乱，画面变化激烈，因此在图8(c)中熵值会突然增加并保持在一定数值，随着人群汇聚后运动的减少，画面变得平稳，熵值趋向于0。

5 结 论

本文提出了一种基于监控视频的异常事件识别方法，该方法基于背景建模方法的混合高斯前景提取算法，可以准确提取出监控视频中的前景目标区域。通过统计前景目标区域的光流运动信息，分析视频每帧的前景面积比、速度方差、整体熵值变化规律，可以准确地对监控视频中发生的异常事件作出判别。采用监控视频中发生的爆炸事件和人群短时汇聚和分散事件作为实验仿真，均取得了正确的识别结果。相比于现有的异常事件识别方案，在识别的准确性上有很大的提升。