基于自适应高斯模型和运动能量的异常行为识别

赵雪章　吴嘉怡　席运江

摘  要：为有效识别监控视频中的群体异常行为，提出一种基于自适应高斯模型和运动能量的异常行为识别方法。将自适应帧间差分法融入混合高斯模型中，对运动目标进行提取，计算行为发生个体的动态能量，利用行为发生各方的位置关系计算出交互能量，最终计算出异常行为事件的整体能量总值，从而实现群体异常行为的有效识别。实验结果表明，该文算法对人群异常行为具有较好的识别效果，算法实时性较好，具有一定的应用推广价值。

关键词：高斯模型；运动能量；异常行为

中图分类号：TP391.4；TP312 文献标识码：A 文章编号：2096-4706（2023）19-0079-05

Abnormal Behavior Recognition Based on Adaptive Gaussian Model and Motion Energy

ZHAO Xuezhang1， WU Jiayi1， XI Yunjiang2

（1.Electronic Information School， Foshan Polytechnic， Foshan  528137， China;

2. School of Business Administration， South China University of Technology， Guangzhou  510641， China）

Abstract： To effectively identify group abnormal behavior in surveillance videos， a method for identifying abnormal behavior based on adaptive Gaussian model and motion energy is proposed. Integrating the adaptive inter frame difference method into a mixed Gaussian model， extracting moving targets， calculating the dynamic energy of individuals involved in behavior， utilizing the positional relationships of all parties involved in behavior to calculate interaction energy， and ultimately calculating the overall energy total of abnormal behavior events， thus achieving effective identification of group abnormal behavior. The experimental results show that the algorithm proposed in this paper has good recognition performance for group abnormal behavior， and has good real-time performance， which has certain application and promotion value.

Keywords： Gaussian model; motion energy; abnormal behavior

0  引  言

近年來，群体异常事件（如踩踏、游行和群殴等）层出不穷，比如2015年上海外滩发生的踩踏事件中人员伤亡较为严重，对社会造成了恶劣的影响。为此，社会各界愈发重视公共安全[1]。相关部门加大公共区域视频监控设备的数量及覆盖面，实现实时检测群体异常行为。然而，视频数据量过大、随机性强，经了解发现此方面的内容有两种处理方式：

1）人工检测。采用这种方式进行检测时，工作人员的工作任务量大，长时间连续监测情况下容易出现视觉疲劳、注意力不集中的情况，从而降低检测的准确率。

2）事后对事故发生时的视频进行取证分析。但由于信息的滞后性，无法在事件发生时迅速地做出决策与响应[2]。由此可见，从维护社会安全的角度来看，设计一种能够自动检测、监控识别场景中群体异常行为的方法具有非常重要的意义[3]。

群体异常行为识别对群体事故发生前的及时预警起到非常关键的作用，目前国内外研究学者已就群体异常行为识别进行了大量的工作。Sillito等人[4]以粒子产生的轨迹特征为基础，创建相应的人体运动模式，从而更好地估计出正样本特征的概率分布，同时结合增量学习的方法更新模型进行异常行为的识别。王梦迪[5]对较低拍摄角度产生的透视形变问题进行了较为深入的研究，提出一种以多尺度分块方向为基础的检测方法，可以对群体异常行为进行更加有效的识别。

当前，群体异常行为识别算法仍存在适应性和实时性两方面的缺陷，一方面是因为场景的不可控性和复杂性加之异常行为的多样性，使得所构建算法模型的识别率不高；另一方面是因为异常事件多为突发事件，短时间内即可造成较大的危害，必须要求做出即时反应，而现有的光流法、社会力模型等复杂度高，实时性有待提高［6，7］。本文针对已有算法的不足，提出一种基于自适应高斯模型和运动能量的异常行为识别算法，通过与其他方法进行对比，验证了本文方法具有较高的准确率和时效性。

1  混合高斯背景模型

通过对视频序列的研究发现，自适应混合高斯模型既能够有效解决异常行为与正常行为数量上差异导致的不平衡问题，还可以有效消除复杂场景下光照变化乃至背景变化所带来的影响[8，9]。本文采用自适应高斯混合模型进行建模。

将视频序列帧中的每一个像素点看作kn个高斯混合，对像素点进行时间序列{I1，I2，…，In}，然后按优先级（w/σ）将时间序列从小到大排序，则混合高斯模型为：

其中，kn表示最大模型个数，wi，z表示第i个高斯分布在第z帧的高斯权重，ui，z和  表示第i个高斯分布在第z帧的均值和协方差， 表示第i个高斯分布在第z帧的概率密度函数：

1.1  GMM模型匹配

如果视频序列图像中第i个像素点在第z帧的值Ii， z与前一时刻的期望值Ii， z-1相减小于 ，则认为与混合高斯模型匹配成功Mi， z = 1，该像素点为背景，并自动对每个高斯模型的参数进行更新；否则认为该点无法匹配Mi， z = 0，该像素点为前景，重新构建一个新的高斯模型。

1.2  GMM模型参数更新

当像素点与混合高斯模型成功匹配时，模型更新包括[10-12]：

1.3  改进的混合高斯模型

由式（3）和（6）可知，更新率大小决定着新模型创建的速度，如果更新率大，一个新的像素点可快速建立一个新的高斯模型；速度较慢的物体将被快速更新的混合高斯模型建模成背景，满足一定速度（快于更新速度）的运动物体被当作前景。更新率的大小直接影响目标检测的准确性[13]。更新率的值比较大（α≥0.7）时，快速的背景更新使当前帧的前景运动目标留存前一帧的背景像素，导致一部分运动目标被误认为背景，在目标识别中产生漏检。当更新率的值比较小（α≤0.000 02）时，背景跟不上实际背景的变化，前景区域留存有前一帧的背景，导致运动区域产生大量的虚假目标[14，15]。因此本文采用自适应帧间差分法融入GMM混合算法。

定义第z帧的视频序列fz（x，y）与第z-1帧序列相减，如果帧差的绝对值大于设定的阈值TZ，则认为该点是相邻两帧变化的区域DC，否则为背景区域Dbg，帧间差分法计算式为：

（7）

其中，Pz（x， y）表示第z帧序列上的像素点。

光照发生突变时，图像序列的像素值也会随之发生变化，如采用式（7）中的固定阈值TZ（本文取50）来识别群体变化的区域，如果阈值TZ的值过小，检测区域DC会引入大量噪声，如果阈值TZ的值过大，则一部分DC区域会被误认为背景，导致部分DC区域目标丢失。因此，将一个自适应阈值T1添加到帧间差分算法中，使背景模型能够自适应光照突变。本文中改进的自适应光照阈值T1的计算式为：

（8）

其中，Tn表示改进后的背景阈值，NS表示序列像素点的大小，帧间差分算法中新增加一项T1，用以解决自适应光照突变的问题，改进帧间差分法的计算式为[16]：

（9）

改进的自适应帧间差分GMM算法步骤为：

1）利用式（9）第z帧的视频序列与第z-1帧序列计算出DC和Dbg。

2）DC区域的像素点通过GMM模型的式（9）进行匹配，如果匹配成功（Mi，z = 1），该像素点为前一帧留存的背景区域Dbg，如果匹配不成功（Mi，z = 0），该像素点则为群体的前景运动目标区域DC，然后分别与各自前A个高斯分布进行匹配。匹配的计算式为：

（10）

3）为了避免在Dbg中引入噪声，背景区域Dbg采用自适应的更新率αz来保持背景的稳定。通过更新率的自适应选择，获得当前背景下的混合高斯模型：

（11）

其中，Va，i表示在第z个更新率αz下获得的背景数。背景像素点的均值和协方差以式（12）～（14）更新：

（12）

（13）

（14）

4）群体的运动区域DC作为前景像素不再进行匹配，所以为减少前景群体目标对背景的影响，不再构建新的高斯分布加入背景模型中，同时提高混合算法的实时性。

2  视频能量评估

在实际的监控场景中，视频帧序列像素之间隐含着丰富的能量信息[17]。当异常行为发生时，群体异常行为的整体能量将会瞬时突变。群体异常行为的整体能量既包含个体动态能量，又包含个体与其他行为发生者的交互能量。

2.1  个体动态能量

通过统计发现运动目标不同行为的光流方向分布不同，正常运动的光流方向有主体方向，而群体异常行为的光流方向分布均匀，没有主体方向。

由于动态能量需要准确的特征信息与效率因素，HS算法[18]主要用于计算稠密光流场的特点，本文选用HS算法进行动态特征提取，通过HS算法跟踪视频序列中连续三帧图像的对应特征点，得到当前每一特征点的水平分量vx（i， j）和垂直分量vy（i， j），计算出速度矢量的幅值：

（15）

也很容易得到动态特征中的运动方向角：

（16）

为进一步辨识异常行为的变化情况，需要计算行为运动的方向角度差：

1）首先通过设定目标区域的搜索范圍（w×h）找到具有最剧烈动态特征的最大方向角：

（17）

2）依次计算光流场中每个像素点的方向角度与最大主方向角的差：

（18）

3）最后计算得到识别区域光流场中连续帧之间每个像素点的方向角度差：

（19）

目标区域像素点每个动态特征都被当作是一个运动的质点，个体能量值为目标区域质点总的能量值，模仿质点运动的动能计算式可得到基于HS算法的群体运动能量：

（20）

其中，E0（z，k）表示视频帧序列第z帧中第k个质点的个体能量值， 表示对应的动态特征，vi， j（z）表示第z帧图像中（i，j）位置质点的权重值。vi， j（z）的计算式为：

（21）

如果视频处理帧的识别目标数为n，则所有个体总能量的计算式为：

（22）

2.2  交互能量

当异常行为发生时，行为各方的距离越短，异常行为可能就越激烈，产生的能量也就越大，因此还需要考虑行为各方之间的交互能量，根据万有引力可得出第n帧视频图像中所包含的交互能量：

（23）

一帧图像的动态能量可通过分别计算个体能量和交互能量而得到：

（24）

3  实验结果与分析

为验证本文方法对识别群体异常行为的有效性，采用明尼苏达大学（UMN）公开的群体事件数据集进行实验，选用视频中草坪、广场两个场景，以人群正常随机走动开始，如图1所示，以人群无规则逃散结束，如图2所示。从图3中可以看出，数据集中不同场景下正常行为到无规则逃散带来明显的动态能量突变，无规则逃散行为的总能量值远远大于正常行为的能量值，无规律可循，可以达到能量值的最大峰值。

从图中可以看出，无规则逃散发生时，总动态能量出现突变，a、b所指位置如竖线所示。

如表1所示为相同实验环境下，不同文献算法的AUC值对比，可以看出，本文算法与文献[10]、文献[11]、社会力模型方法相比，AUC值最高，为98.24%。

从表1中还可以看出，本文算法相对另外三种算法大大节约了时间，算法实时性较好，在不影响检测效果的前提下缩短了检测时间。

4  结  论

本文提出一种基于自适应高斯模型和整体运动能量的异常行为识别算法，将自适应帧间差分法融入高斯模型混合算法中对运动目标进行提取，计算行为发生个体的动态能量，再计算出行为发生各方的交互能量，计算出异常行为事件的整体能量总值，从而实现群体异常行为的识别。实验结果表明，本文算法对人群异常行为具有较好的识别效果，算法实时性较好，能够在人群密集的场所实现对人群异常行为的识别预警，具有一定的应用推广价值。

参考文献：

[1] 许泽柯.视频监控中的异常行为检测算法研究 [D].广州：华南理工大学，2018.

[2] 何传阳，王平，张晓华，等.基于智能监控的中小人群异常行为检测 [J].计算机应用，2016，36（6）：1724-1729.

[3] KAMINSKI L，GARDZINSKI P.KOWALAK K et al. Unsupervised abnormal crowd activity detection in surveillance systems [C]//2016 International Conference on Systems， Signals and Image Processing （IWSSIP）.[S.l]：IEEE，2016：1-4.

[4] SILLITO R，RFISHER R. Semi-supervised learning for anomalous trajectory detection [J].Proc. BMVC，2008（7）：1035-1044.

[5] 王夢迪.视频监控场景中的群体异常行为检测算法研究 [D].济南：山东大学，2018.

[6] ZHONG Z，YE W Z，XU Y S. Detecting Human Abnormal Behaviors in Crowd.  International Journal of Information Acquisition，2007，4（4）：281-290.

[7] ZHONG Z，YE W. Z，WANG S. S，et al. Crowd Energy and Feature Analysis [C]//2007 IEEE International Conference on Integration Technology. Shenzhen：IEEE，2007：144-150.

[8] BERNHARD S，BURGES C J C，SMOLAA A J. Advanced in kernel methods support vector learning [M].Cambridge：MIT Press，1998.

[9] CHEN Y，LIANG G，LEE K，et al. Abnormal behavior detection by multi-svm-based Bayesian network [C]//Proceedings of 2007 International Conference on Information Acquisition. Seogwipo-si：IEEE，2007：298-303.

[10] 熊饶饶，胡学敏，陈龙，等.利用综合光流直方图的人群异常行为检测 [J].计算机工程，2017，43（10）：228-233.

[11] 韦招静，卿粼波，王正勇，等．基于人群密度的异常行为检测与分级研究 [J].电视技术，2018，42（3）：97-102．

[12] KRATZ L，NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami：IEEE，2009：1446-1453.

[13] HUGHES R L. A continuum theory for the flow of pedestrians [J].Transportation Research Part B： Methodological，2002，36（6）：507-535.

[14] MUKAWA N. Optical-model-based analysis of consecutive images [J]. Computer Vision and Image Understanding，1997，66（1）：25-32.

[15] LIU H C，HONG T H，HREMAN M，et al. Accuracy vs. efficiency trade-offs in optical flow algorithms [EB/OL].[2023-01-12].https：//wenku.baidu.com/view/bfcb29cca1c7aa00b52acbbd.html？_wkts_=1694501223941&bdQuery=Accuracy+vs.+efficiency+trade-offs+in+optical+flow+algorithms.

[16] HUANG K Q，TAO D C，YUAN Y. et al. View-Independent Behavior Analysis [EB/OL].[2023-01-18].http：//ir.ia.ac.cn/handle/173211/3777？mode=full&submit_simple=show+full+item+record.

[17] 汪双承，管业鹏.基于粒子流和能量模型的异常行为检测 [J].電子器件，2014，37（6）：1081-1086.

[18] HORN B K P，SCHRNCK B G. Determining optical flow [J] .Aritficial Intelligence，1981，17（1-3）：185-203.

作者简介：赵雪章（1972—），男，汉族，河南南阳人，副教授，硕士，研究方向：图像处理、模式识别等；吴嘉怡（1996—），女，汉族，广东佛山人，初级实验师，本科，研究方向：图像处理等；席运江（1973—），男，汉族，河南南阳人，副教授，博士，研究方向：智能算法等。

收稿日期：2023-03-30

基金项目：国家自然科学基金项目（72171090）；广东省教育厅创新类项目（2019GKTSCX119）；广东省教育厅教育教学改革研究与实践项目（GDJG2019023）