结合多属性的视频中全局异常事件检测方法

盖　杰，陈华华，郭春生

(杭州电子科技大学通信工程学院，浙江 杭州 310018)



结合多属性的视频中全局异常事件检测方法

盖杰，陈华华，郭春生

(杭州电子科技大学通信工程学院，浙江 杭州 310018)

摘要：针对视频序列中的全局异常事件，提出了一种结合多属性的异常事件检测方法.首先对视频序列按位置提取目标时空块，以时空块为节点，采用三维尺度不变特征变换描述子(3D-SIFT)作为时空特征，计算节点的光流属性与熵属性，并结合各个节点之间的KL距离构建时空检测模型.实验结果表明，该方法具有良好的鲁棒性，对全局异常事件具有较好的检测性能.

关键词：3D-SIFT；时空块；时空特征；异常行为检测；KL距离

0引言

视频检测是计算机视觉领域最重要的应用之一，从视频序列中检测出异常事件有相当大的实际意义.其中，基于视频的人群异常行为检测尤为重要，这项技术对区域内人群进行检测，将潜在的危险事件检测出来，从而提高相关部门的响应和救援效率.人群异常事件检测就是从监控视频中发现异于正常的事件，并发出警报.通常人群异常事件可以分为局部异常事件(Local Abnormal Events，LAE)和全局异常事件(Global Abnormal Events，GAE)[1].局部异常事件是指人群中某些个体的行为异于其他个体的行为，例如步行街上的骑车、轮滑和车辆通行等；全局异常事件是指监控区域中多个个体行为异于之前群体的行为，如人群恐慌、踩踏以及道路上的群体聚集等.目前针对全局异常检测的模型，主要分为基于重构的异常检测模型[2-3]、基于分类和聚类的异常检测模型[4-5]和基于推断的异常检测模型[6].文献[2]通过稀疏重建构建异常检测模型，在目标函数的系数稀疏项中加入权重，即认为字典的原子对异常事件的贡献有强弱之分.文献[4]提出了基于社会动力模型的全局异常行为检测方法，但是该方法缺乏社会行为特性，并没有将全局的运动行为特性反映出来.针对此问题，文献[5]以社会动力模型为基础，引入两个社会属性对群体行为特性进行表达，但是该方法仅仅利用了目标的局部时空特征，忽略了全局运动，当目标运动缓慢或者缺乏时间维信息时，局部时空特征可分性降低.文献[6]提出了一种利用混合动态纹理进行检测的模型，但是混合动态纹理特征在实现上比较繁琐，用多个纹理模型对场景进行建模，并且利用纹理前后帧之间的对比信息，其复杂度远远大于一般的纹理特征，也加大了后续识别过程中的计算负担.

目前检测模型采用的主流特征为光流，但是这些模型并没有考虑目标距离摄像头远近对光流值差异的影响，而且光流特征的鲁棒性低于3D-SIFT[7]特征，因此本文对目标按位置提取光流值，消除了目标距离摄像头远近对光流特征提取造成的影响，采用3D-SIFT作为目标的特征，并将3D-SIFT特征转化为熵属性，对目标局部运动特性进行表达.同时，上述检测模型忽略了全局运动信息，为此本文采用KL距离属性对全局分布信息进行描述.

1异常检测模型

本文针对全局异常事件提出了一种新型的检测模型，用于检测视频序列中人群的异常行为.考虑到在监控视频序列中，由于不同位置的目标距离摄像头远近的差异，会对提取的特征产生影响，从而导致对行为的错误判决，因此本文对视频序列按位置分块，以此来消除目标距摄像头远近所造成的影响.然后采用3D-SIFT作为时空描述符来提取目标的运动特征，借助于目标光流速度与熵值对目标的局部运动特性进行表达，并借助于KL距离属性对全局分布信息进行表达，以此来构建检测模型.

1.1时空描述符

对每帧图像按位置划分成不重叠大小相同的块，并对各块进行目标检测，得到目标块，同时将每1个目标块作为1个节点.定义1个目标时空块Vxyt：

(1)

Vxyt是以o为中心的时空块，点o就是目标的中心点.按3个方向x,y,t将目标时空块Vxyt分成多个子时空块，分别包括目标、目标的空间邻域及目标的时域邻域信息.

本文使用3D-SIFT提取目标时空块Vxyt的特征值，3D-SIFT包含3个子描述符，即幅值M3D，方向角φ与梯度方向θ.梯度方向θ表征向量在xy平面上的投影与x轴的夹角，方向角φ表征向量与xy平面的夹角，3D-SIFT具体定义如下：

(2)

(3)

θ=arctan(Gy/Gx).

(4)

其中，取δ=1时，即目标时空块Vxyt被分成2×2×2=8个子时空块.Gx,Gy,Gt为：

Gx=L(x+1,y,t)-L(x-1,y,t),

(5)

Gy=L(x,y+1,t)-L(x,y-1,t),

(6)

Gt=L(x,y,t+1)-L(x,y,t-1).

(7)

1.2光流属性

所有的运动目标都包含速度与方向特性，正常行为速度不会过快且方向变化不明显.对于速度特性，由于不同位置的目标距离摄像头远近的差异，会对提取的光流特征造成影响，因此本文对不同位置训练出不同的光流阈值，以此来消除目标距离摄像头远近所造成的影响.将当前时空块作为1个节点xi，则节点xi相对于光流阈值的差异为：

vop(xi)=v-vi.

(8)

其中，v为光流速度，vi为当前位置光流阈值.由于不同位置的目标距离摄像头远近的差异，不同位置vi的值有所不同.

1.3熵属性

熵属性是从方向上对目标运动特性进行描述，本文利用统计的方向特征来建立人群熵属性，定义为：

H(xi)=μ·H(φi)+(1-μ)·H(θi).

(9)

1.4KL距离属性

由于正常行为之间的特征分布较为相似，而且异常行为与正常行为之间的特征分布差异远远大于正常行为之间的特征分布差异，因此目标位置分布所反映的全局运动特性可以区分目标运动是否异常.为了描述全局运动，引入KL距离作为不同行为间的差异性.KL距离定义如下：

(10)

其中，xi与xj为当前帧中2个互异的节点，p为特征直方图维数.

1.5检测模型

在群体异常检测中，不论群体目标运动速度过快或者方向变化明显都属于不正常行为，因此本文构建的异常检测模型如下：

(11)

其中，N为节点数，其值为目标块的数量，λ1与λ2为平衡系数，当S(xi)>ε时，可认为此目标块为异常块，ε为设定的阈值.当异常块数量满足下式时，认为此帧是异常的.

Nabnormal>NTh.

(12)

其中，Nabnormal是异常块的数量，NTh为阈值.

2实验结果

实验的主要参数取值如下：μ=1.875，λ1=1，λ2=0.1，ε=2，块大小为20×20，计算H(θi)时q=64，计算H(φi)时q=32，由于距离摄像头的远近vi的取值有所不同，vi的取值为0.05，0.6，1，2.所有实验使用Matlab与C++混编，其中Matlab R2010b64-bit、VS2008，使用的操作系统是windows764-bit.硬件配置如下：Interl I5 CPU，2 GB RAM.为了测试本文方法的有效性，引用最近公布的UMN[4]数据集来测试.通过比较ROC曲线下的面积(Area Under ROC，AUC)来评判方法的好坏，AUC值越大，方法越有优势.

UMN数据集包含3个不同场景下的拥挤人群恐慌逃散视频，如图1所示.其中场景1包含1 450帧，场景2包含2 145帧，场景3包含4 415帧，3个视频的分辨率均为320×240.将本文方法分别在3个场景进行测试，得到检测结果如图2所示.计算在测试视频上得到的平均真阳性率(True Positive Rate，TPR)和假阳性率(False Positive Rate，FPR)，得出ROC曲线，如图3所示.将本文方法与其他方法进行比较，表1给出了几种典型的异常行为检测模型在UMN数据集下的AUC值，其中“-”表示文献未给出数据.由表1可知本文方法AUC值为0.991具有较好的检测效果，且平均检测速度达到0.125 s/帧.

图1　UMN数据集

图2　UMN数据集检测结果

图3　UMN数据集帧级别ROC曲线

算法类别AUC值场景1场景2场景3平均值文献[2]算法0.9950.9750.964-文献[3]算法0.9820.9750.992-文献[4]中SocialForce算法---0.960文献[4]中Opticalflow算法---0.840文献[5]算法---0.986本文算法0.9960.9940.9750.991

3结束语

本文结合多属性对视频序列中目标运动状态进行表达，提出了一种新颖的全局异常事件检测方法.由实验可知，本文方法在不同的视频场景下都取得了较好的检测效果，同时还具有较快的检测速度.本文方法也存在一些不足，对3D-SIFT特征只是简单地按一定角度进行分割量化，并没有深度处理，仍有改进的空间.

参考文献

[1]吴新宇,郭会文,李楠楠,等.基于视频的人群异常事件检测综述[J].电子测量与仪器学报,2014,28(6):575-584.

[2]CONGY,YUANJ,LIUJ.Sparsereconstructioncostforabnormaleventdetection[C]//Proceedings/CVPR,IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2011:3449-3456.

[3]LIUY,LIY,JIX.AbnormalEventDetectioninNatureSettings[J].InternationalJournalofSignalProcessing, 2014, 7(4): 115-126.

[4]MEHRANR,OYAMAA,SHAHM.Abnormalcrowdbehaviordetectionusingsocialforcemodel[C]//Proceedings/CVPR,IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2009:935-942.

[5]ZHANGY,QINL,YAOH,etal.Abnormalcrowdbehaviordetectionbasedonsocialattribute-awareforcemodel[C]//Proceedings/ICIP.InternationalConferenceonImageProcessing, 2012:2689-2692.

[6]LIW,MAHADEVANV,VASCONCELOSN.Anomalydetectionandlocalizationincrowdedscenes[J].PatternAnalysisandMachineIntelligence, 2014, 36(1): 18-32.

[7]SCOVANNERP,ALIS,SHAHM.A3-dimensionalsiftdescriptoranditsapplicationtoactionrecognition[C]//Proceedingsofthe15thinternationalconferenceonMultimedia.ACM, 2007:357-360.

DOI：10.13954/j.cnki.hdu.2016.03.010

收稿日期：2015-09-15

基金项目：国家自然科学基金资助项目(61372157)

作者简介：盖杰(1988-)，男，山东烟台人，硕士研究生，数字图像处理.通信作者：陈华华副教授，E-mail：iseealv@hdu.edu.cn.

中图分类号：TP391

文献标识码：A

文章编号：1001-9146(2016)03-0047-05

The Global Abnormal Event Detection Method with Multiple Attributes in Video

GAI Jie, CHEN Huahua, GUO Chunsheng

(SchoolofCommunicationEngineering,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

Abstract：This paper proposed a novel approach that the global abnormal event detection with multiple attributes in video sequences. At first the video sequence is cropped into spatio-temporal volumes, based on locations, each of which is considered to be a node. Extract 3-dimensional SIFT of targets in nodes as spatio-temporal features, and a detection model for abnormal behavior is constructed using the entropy attribute, optical flow velocity of each node and the KL divergence between nodes. Experimental results show that the proposed method have better detection performance in detecting the global abnormal events than state-of-the-art approaches.

Key words：3-dimensional SIFT; spatio-temporal volume; spatio-temporal features; abnormal events detection; KL divergence