基于动态帧间间隔更新的人群异常行为检测①

陈颖熙,廖晓东,2,3,钟 帅

1(福建师范大学 光电与信息工程学院,福州 350007)

2(福建师范大学 医学光电科学与技术教育部重点实验室,福州 350007)

3(福建师范大学 福建省先进光电传感与智能信息应用工程技术研究中心,福州 350007)

1 引言

近年来,随着我国社会经济的发展,大型公共场所也越来越多,由此引发的公共安全问题也越发突出,如暴力恐慌、人群踩踏等[1-4].暴力恐慌事件的频发使人们陷入沉思,当暴力袭击事件突然发生时,该如何来降低暴力事件导致的人员伤亡和财产损失.研究者们发现,建立一种高效的智能视频监控系统来监测和管理公共场所是解决该问题的有效途径.

为了能够在人群发生异常时及时发现并有效的处理,学者们提出了许多在智能视频监控中识别人群异常的有效的方法.金字塔LK光流法[5-8]是其中最经典的一种方法,金字塔LK光流法解决了普通光流法无法检测幅度较大、速度较快的运动的缺点.然而,金字塔LK光流法同时也增加了算法复杂度,使得算法计算量变大,很难做到实时监控.因此,为了使视频人群监控系统具有更好的实时性,本文提出一种基于动态帧间间隔更新的人群异常行为检测算法,并通过实验验证了该算法的正确性.本文算法的主要工作有:通过动态更新帧间间隔来改进金字塔LK光流法,并以此算法来提取运动信息、通过获取的人群矢量交点密集度及能量信息来识别人群异常、在UMN[9]视频集上进行实验.

2 算法原理

由于金字塔LK光流法在检测人群运行信息时需要对每一个视频帧计算光流,因此增加了算法复杂度,很难做到实时监控.

然而在实际人群异常监控中,绝大部分时间内人群是处于正常情况的,此时并不需要对每一帧视频计算光流.因此,考虑在大部分人群正常的时间内进行帧间间隔计算光流,而当人群发生异常时计算每一个视频帧光流.这样不仅可以有效检测出人群异常,且加快了算法运行速度,可以做到实时监控.

经过对大量的人群恐慌等异常行为视频的统计发现:从人群发生恐慌逃逸到人群恢复正常的时间大约为30-70帧,监控视频播放的速率大约为20-30帧/秒,因此,帧间间隔的大小要适当,若间隔过大则人群发生异常时监控系统无法及时发现,若间隔太小则系统运行速度无法达到20-30帧/秒,影响实时性.因此针对上述实际情况,本文算法流程图如图1所示.

2.1 金字塔LK光流法简介

本文算法是基于金字塔LK光流算法[8]来确定光流场的,该算法由Jean-Yves等提出.由于LK光流法的三种假设:时间联系、亮度恒定、空间一致性都具有较强的约束条件,然而在实际场景中很难以满足这三种假设,这就使得LK光流法的局限性较强.因此,Jean-Yves等提出了一种金字塔LK稀疏光流法,该算法很好的解决了这个问题.金字塔LK光流法通过对图像金字塔自上而下逐层求解,不断精确,不断修正初始运动来降低不满足运动假设的可能性,从而实现对大幅度、快速的运动的跟踪.金字塔LK光流法算法步骤如下:

图1 算法基本流程图

(1)建立图像金字塔,即利用高斯核函数对第i层图像进行卷积得到i+1层图像,卷积后i+1层图像面积仅为第i层图像面积的一半.

(2)逐层计算光流,即从建立的高斯图像金字塔最高层开始计算光流,然后用得到的运动估计结果作为下一层金字塔的起始点.

(3)重复(2)过程直到到达金字塔最低层.

金字塔LK光流法逐层计算的光流方法与LK光流法一致即:假设I(x,y,t)是图像上坐标点(x,y)处的灰度值,u,v为该点光流X和Y方向上的分量.其中∂x=u∂t,∂y=v∂t,根据短时间灰度保持不变原则,有约束方程:

将上述公式用泰勒级数展开且使∂t→ 0有:

其中,

由于式(3)有两个未知量,所以对于单个像素不能得到此点的二维运动的定解.这时可以利用光流的最后一个假设.若局部区域的像素运动是一致的,则可以建立领域像素系统方程来求解中心像素的运动.然后利用最小二乘法估计光流.

2.2 基于动态帧间间隔更新的运动信息检测

针对金字塔LK光流法算法复杂度较高、无法做到实时监控的缺点,本文提出了基于动态帧间间隔更新的运动信息检测方法,该方法通过获取视频中人群的帧平均加速度信息来动态更新帧间间隔,其算法流程图如图2所示.

图2 动态更新帧间间隔人群运行信息检测流程图

算法具体步骤如下:

(1)初始化数据:n=1,k=1,a=0,并获取第n和第n+k帧视频图像.

(2)利用金字塔LK光流法计算第n+k帧图像光流.

(3)计算当前帧的运动信息,和帧平均加速度a.若当前帧为第二帧,即无法计算加速度,则a=0.且n=n+k

(4)判断a是否大于0.01(此为经验值,可根据实际情况调整),若a>0.01且k>0则k-1,若a<0.01,且k

(5)重复(2)直到最后一帧视频图像.对于第n帧到第n+k帧之间未计算光流的,用第n帧和n+k帧的光流信息线性估计.

对金字塔LK光流法和本文算法分别进行实验,且均以UMN公共视频集的前1000帧作为实验材料,实验中用两种算法分别检测出这1000帧视频图像的运动信息,并利用所获取的运动信息计算每帧能量值E[10,11],然后通过能量值来粗略估计人群异常.统计两种算法处理1000帧视频图像所需时间,并对比结果.

假设图像上的像素点的速度为V,能量为E,则有:

设每帧共取得n个光流,则每帧总能量为:

其中,u,v为该点光流X,Y方向上的分量.

3 实验验证及结果分析

3.1 运动信息检测实验及结果分析

本文实验程序采用VS2010及OPENCV进行编写,运行的硬件环境为Intel(R)Core(TM)i5-4460 CPU 3.20 GHz处理器、4 G内存、Windows 7操作系统.实验所用视频为UMN公共视频集,该视频是是明尼苏达大学人工智能、机器人和视觉实验室创建的.UMN视频分拍摄于3个不同的场景,共7740帧,里面共包含11次异常事件.

分别用金字塔LK光流法和本文算法计算UMN公共视频集前1000帧的每帧能量值,取kmax=3时检测结果如图3、图4所示.

图3 金字塔LK光流法能量检测结果图

从图3和图4中可以看出视频帧中运动人群的能量值均在500帧左右突然急剧升高,接着在590帧下降,因此可以判断在500-600帧为人群异常帧.若定能量阈值为1000来判断人群是否异常,则两种算法均可以准确的从前1000帧视频中识别出人群异常,因此本文算法并不会因为帧间间隔检测而导致识别错误或延迟.

对两种算法的耗时进行对比,其对比结果如表1所示,从表中可以看出,在kmax=3时,本文运动信息检测算的法检测速度是金字塔LK光流法的2.3倍左右.对比结果表明动态帧间间隔更新的检测方法不仅可以有效检测出人群的异常行为,且可以极大的提高算法运行效率.

图4 本文算法能量检测结果图

表1 两种算法用时对比

3.2 人群异常行为检测实验及结果分析

在人群异常行为的识别上,本文结合课题组钟帅所提的基于运动矢量交点密集度的人群异常行为检测法[12]与能量法来共同识别人群异常.

基于1.2中获取的人群运动信息,求取每帧每一个光流矢量之间的两两交点,其交点表示式如下所示:

其中,式(6)为某一光流向量的方程式,式(7)中X,Y为两向量交点的横、纵坐标.

对UMN视频中的正常和异常的两帧求矢量交点,其检测结果如图5和图6所示.

用散点图画出UMN视频集前1500帧的交点检测结果图和能量检测结果图,结果如图7和图8所示.

图6 人群异常时交点检测结果图

图7中纵轴表示交点密集度,横轴表示播放的视频帧进度,图8中纵坐标表示能量,横坐标表示播放的视频帧进度.本文结合以上两种方法通过阈值判定法进行视频人群异常行为的检测,本文将视频的前一部分作为训练帧,获取阈值的大小,并用于检测余下视频帧的人群异常行为.

图7 交点密集度散点图

图8 能量检测结果图

在检测结果中对UMN视频中的异常人群帧用红色的“abnormal”字体标识;对正常人群视频帧用绿色“normal”字体标识,其检测结果如图9和图10所示.

图9 人群正常帧

图10 人群异常帧

4 结语

为了更好的监控、管理公共场所,并减少公共安全事故的发生,众多研究人员致力于研究一种智能人群监控系统来监测、管理人群动态.然而现阶段,智能人群监控系统仍然没有普及应用于实际,主要就是因为系统很难做到实时性.因此本文提出一种更加高效的基于动态帧间间隔更新的人群运动信息检测方法.经试验验证可知,本文所提方法不仅可以准确检测出公共场所视频中人群的异常行为,且极大的降低了算法复杂度,提高了算法检测速度,可以做到监控系统实时性.

1Zhang X,Ding M,Fan GL.Video-based human walking estimation using joint gait and pose manifolds.IEEE Transactions on Circuits and Systems for Video Technology,2017,27(7):1540-1554.[doi:10.1109/TCSVT.2016.2527218]

2Yu TS,Wang RS.Enhancing scene parsing by transferring structures via efficient low-rank graph matching.Proceedings of the 24th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems.Burlingame,CA,USA.2016.22.

3候楠,郭立君,张荣.基于集群运动局部有序性测度的异常行为检测.数据通信,2016,(1):39-44.

4蔡瑞初,谢伟浩,郝志峰,等.基于多尺度时间递归神经网络的人群异常检测.软件学报,2015,26(11):2884-2896.[doi:10.13328/j.cnki.jos.004893]

5Lucas BD,Kanade T.An iterative image registration technique with an application to stereo vision.Proceedings of the 7th International Joint Conference on Artificial Intelligence.Vancouver,BC,Canada.1981.674-679.

6蒋菱,程赓.基于LK光流跟踪法的有效目标点增强跟踪.微型机与应用,2015,34(6):45-49.

7Ahn B,Han Y,Kweon IS.Real-time facial landmarks tracking using active shape model and LK optical flow.Proceedings of the 9th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI).Daejeon,Korea.2012.541-543.

8兰红,周伟,齐彦丽.动态背景下的稀疏光流目标提取与跟踪.中国图象图形学报,2016,21(6):771-780.[doi:10.11834/jig.20160610]

9Loy CC,Gong SG,Xiang T.From semi-supervised to transfer counting of crowds.Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney,Australia.2013.2256-2263.

10Wang Q,Ma Q,Luo CH,et al.Hybrid histogram of oriented optical flow for abnormal behavior detection in crowd scenes.International Journal of Pattern Recognition and Artificial Intelligence,2016,30(2):1655007.[doi:10.1142/S0218001416550077]

11Rao AS,Gubbi J,Marusic S,et al.Crowd event detection on optical flow manifolds.IEEE Transactions on Cybernetics,2016,46(7):1524-1537.[doi:10.1109/TCYB.2015.2451136]

12钟帅,蔡坚勇,廖晓东,等.基于运动矢量交点密集度的人群恐慌行为检测.计算机系统应用,2017,26(7):210-214.[doi:10.15888/j.cnki.csa.005871]