基于区域光流法的人体异常行为检测

何 鹏，安井然，杨 曼

(齐齐哈尔大学 通信与电子工程学院，黑龙江 齐齐哈尔 161006)



基于区域光流法的人体异常行为检测

何 鹏，安井然，杨 曼

(齐齐哈尔大学 通信与电子工程学院，黑龙江 齐齐哈尔 161006)

为了提升智能视频监控系统在保障公共安全方面的能力，提出基于区域光流法对人体异常进行检测的方法。采用改进的背景差分法来准确提取前景目标，然后对提取出的前景目标进行光流特征计算，有效滤除环境噪声的影响。采用方向-幅值直方图来描述行为，通过计算直方图的速度判断是否发生抢劫、追逐行为，计算直方图的方向和幅值的熵以及速度的方差来判断是否发生打斗行为。实验结果表明，该方法在不同视角下均能取得良好效果。

区域光流；异常行为；背景差分

近年来，由于暴恐事件频繁发生，视频监控系统越来越受到人们重视。传统的视频监控系统只能进行简单的监控，当发生抢劫、打架、斗殴事件时，不具备提供报警的能力，需要监控人员进行24小时实时监控，不仅浪费了人力，同时也降低的监控效率。目前出现智能监控系统是将计算机视觉技术引用到传统的视频监控系统中，自动分析视频场景的行为，并作出警示处理，而对人体异常行为检测则是智能监控系统中一项重要的研究内容[1-2]。人体异常行为通常具有动作无周期性，持续时间较短，不可预判的特点，因此，对人体异常行为检测的算法要求较高。在分析人体异常行为上，国内外主要有两种方法：1)基于跟踪的方法[3-4]，通过分析人体运动轨迹来判断是否发生异常行为，但在发生遮挡时会影响检测准确率。2)基于非跟踪方法[5-6]：该方法主要根据提取出的人体特征或建立模型进行异常行为判别。但存在容易受噪声影响，特征不易提取缺点。

本文提出采用改进背景差分法来提取运动前景目标，然后运用金字塔L-K光流法对提取到的前景目标进行特征分析，采用方向-幅值直方图描述光流特征，计算直方图速度最大值和运动物体方向和幅值的熵以及速度的方差来判断行为的异常。最后测试了不同视角视频序列，均能取得良好效果。

1 区域光流算法

1.1 前景目标提取

区域光流算法是由改进的背景差分法和金字塔L-K光流法结合组成的，背景差分法主要用于对前景目标提取。背景差分法[7]是采用视频序列中的当前帧和背景帧进行差分运算来检测运动物体，具有易于实现，能够较好地提取出运动物体特征。定义如下：

(1)

式中：dk(i,j)表示差分结果图像；fk(i,j)表示第k帧图像；background为背景图像。

acc(x,y)=(1-α)×acc(x,y)+α×f(x,y)

(2)

改进的背景差分法能够准确提取运动物体特征，并提高了对噪声的抗干扰能力，并能够随着场景的变化对背景模型进行更新，具有较强的鲁棒性，如图1所示。

图1 改进背景差分法示意图

1.2 光流信息计算

L-K算法[8-9]最早属于稠密光流，是对图像上的每个像素点做运算，计算量非常大。后来算法改进后计算的光流应用在输入图像的一组点上，本文中算法设定窗口尺寸为5×5，光流速度的y分量为v，x分量为u，满足约束条件：Ixu+Iyv+It=0，可得

(3)

式中：Ix，Iy为图像空间梯度，It为图像时间梯度，求解后得

(4)

当式(4)左侧的2×2矩阵满秩时，这时有两个较大的特征向量，在这种情况下，跟踪窗口的中心在图像的角点区域，这些角点为可用于跟踪的特征点。

L-K光流算法只需要每个感兴趣的点周围的小窗口的局部信息，但较大的运动会移出这个小窗口，在实际应用中跟踪效果并不好。金字塔L-K光流算法可以很好地解决这个问题，金字塔光L-K流算法的跟踪过程是从最高层计算光流，得到的结果用一种对像素位移的初始化猜测传递给下一层，作为下一层金字塔的起始点，迭代这个过程直到金字塔的最底端，也就是原始图像。这样就能把不满足运动假设的可能性降到最小，从而实现快速长久有效地跟踪。

与传统的金字塔L-K光流算法不同，本文将视频序列中连续两帧图像通过改进的背景差分法计算求差值图像，然后对图像进行二值化处理，得到的两幅二值化图像作为金字塔L-K光流法的输入，运用金字塔L-K光流法计算光流信息。这样能够避免环境噪声的干扰，准确检测出运动物体。

为了验证算法的有效性和鲁棒性，分别在不同视角下与传统L-K金字塔光流算法的对比，如图2所示。

图2 传统光流法与区域光流法比较

从图2中可以看出，分别从3种视角下进行算法对比验证，在检测运动物体时传统光流法均受噪声干扰很明显，而本文提出的区域光流法能够排除环境噪声干扰，准确检测出运动物体，并标出运动物体的运动方向和幅值，具有很强的鲁棒性。

2 异常行为分析

2.1 方向-幅值直方图

本文提出的算法主要是用于检测如抢劫，打架这类行为具有运动速度快，运动方向不一致特征的异常行为，传统的方向直方图是一种非参数估计的方法，虽然能够表述运动物体光流特征，但是却忽略光流信息中的方向上的幅值变化，因此在分析这类行为时，采用方向-幅值直方图来描述运动物体的光流特征，加入了幅值方面的变化，能够更准确描述行为，进而分析是否有异常行为发生。

(5)

θi=atan2(nyi-myi,nxi-mxi)

(6)

当计算得到感兴趣点之间的幅值和方向后，采用方向-幅值直方图来描述人体运动的行为。横坐标设置12个方向区间，区间大小为30°，纵坐标为各区间幅值的统计值，如图3b所示。

图3 人行走时分析示意图

从图3可以看出，当人行走时，方向单一，只有在行走所对应的方向区间会有幅值，其他区间幅值为零。方向-幅值直方图反映了行人的光流特征，可以用来描述人的行为。下面通过方向-幅值直方图来分别分析抢劫、追逐和打斗两种异常行为。

2.2 抢劫、追逐类异常行为分析

随着当前利率化市场改革的不断深入，很多商业银行获取低成本的负债难度在逐渐增加。很多银行为了能够获得更多的存款，不断地将存款制度进行改革和创新，例如大额存单、高利率等，使用这些手段来增加客户的数量，实现增加存款数量的目的，但是在满足竞争的同时也增加了吸纳存款的成本。此外，还有一些相关的金融机构推出信托、保险等产品，为客户增加了投资的渠道和方法。这些工作方案不仅让银行原有的存款结构发生了巨大的变化，而且使得商业银行的资金的流动性日趋紧张起来，存款的平均年速呈现出大幅度下降的趋势，最后银行之间陷入存款争夺的战争当中。而且有关数据显示，我国的四大银行个人定期的存款占比下降。

图4 抢劫行为分析示意图

同样的方法测试了3种视角下，两人前后行走时最大速度值范围，测得数据见表1。

表1 行走与抢劫幅值最大值范围对比

从3种视角下观测，与人行走相比，发生诸如抢劫的异常行为时，由方向-幅值直方图显示的速度最大值明显高于人在行走时对应的速度最大值，因此，当前帧速度的最大值可作为判断是否发生抢劫、追逐类异常行为的依据。

2.3 打斗类异常行为分析

打斗行为通常具有各方向幅值强度大，运动方向不一致的特征，为了能有效地准确发现诸如打斗这种异常行为，提出采用熵和方差的概念去辨别。熵是描述体系的混乱程度，而方差是度量随机变量与均值的偏离程度，所以当出现打斗这种方向混乱的行为时，采用计算方向和幅值的熵以及速度的方差的方法来判断。方向和幅值的熵越大，速度的方差越小，则表明运动越混乱，有多个主要运动趋势，从而可以判断去当前帧的运动混乱，有异常行为发生。

计算方向和幅值的熵之前，首先算出各区间的方向和幅值的概率，计算表达式如下

(7)

(8)

式中：Sdirection为方向-幅值直方图方向次数总和；Shypotenuse为方向-幅值直方图幅值总和。方向和幅值熵为

(9)

(10)

(11)

方向熵，幅值熵和速度方差均为判断打斗行为的重要因素之一，所以将三者整合为一个式子，表示为

(12)

W越大，则说明当前运动越混乱，发生异常行为的可能性大，分别对3种视角下的打斗视频进行测试，如图5所示。

从上述3种视角计算分析，与正常行为相比，出现打斗行为时，由于运动方向混乱，在图5b上表示为幅值和方向上的混乱，图5c为3种视角下的检测结果，当出现打斗异常行为时，由于运动方向混乱，动作激烈，W值会变大，W值能够很好地反映光流特征变化，对于正常行走和打斗行为有较好的区分度，打斗行为设置阈值由于拍摄角度不同而不同，经测试计算，设定阈值标准范围在9±1。

图5 打斗行为分析示意图

3 算法验证

为了测试算法的鲁棒性，实验采用中科院自动化所的行为分析数据库(CASIA)，该数据库是从室外分布在3个视角下的摄像机拍摄而成，视频分辨率为320×240，实验场景包含了光照变化，树叶的抖动等。本文算法主要验证多人交互行为：会合，抢劫，打斗等，测试行为分析数据库中视频序列共11 017帧，其中水平方向3 203帧，斜上方3 524帧，顶部拍摄4 290帧。测试之前人工对视频中异常行为帧数进行标记，利用本文提出的算法分别对3个视角的正确率、误报率进行统计，异常行为检测结果见表2。

表2 异常行为检测结果

综合对比，在准确率和误报率上，对3种拍摄角度的检测结果都得到了较高的准确率和较小的误报率，与人为标定的异常帧基本一致。

4 结论

本文针对抢劫、追逐和打斗异常行为，提出了改进的背景差分法和金字塔L-K算法结合的区域光流法来提取运动区域，并采用速度最大值来判别抢劫、追逐行为。采用方向熵、幅值熵和速度的方差的方法来判断打斗行为。分别对3种拍摄视角的视频进行算法验证，结果表明，该算法有一定的鲁棒性，对正常行为和异常行为有较好的区分度，可以用于实际环境实时监控。

[1]周宜波，何小海，张生军，等.一种新的异常行为检测算法[J].计算机工程与应用，2012，48(3)：192-194.

[2]杜鉴豪，许力.基于区域光流特征的异常行为检测[J].浙江大学学报：工学版，2011，45(7)：1161-1166.

[3]刘越，王锐，郭吉平，等.基于灰色关联事件融合的入侵检测模型[J].计算机工程与应用，2013，49(12)：86-89.

[4]张起贵，张妮.基于地铁复杂场景下异常行为的视频分析研究[J].电视技术，2014，38(3)：163-166.

[5]林国余，柏云，张为公，等.基于耦合隐马尔可夫模型的异常交互行为识别[J].东南大学学报：自然科学版，2013 (6)：1217-1221.

[6]FATHI A，MORI G.Action recognition by learning mid-level motion features[C] ∥Proc.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage：IEEE Press，2008：1-8.

[7]孙涛，陈瑞平.视频监控系统中一种运动目标的检测方法[J].电视技术，2012，36(7)：127-129.

[8]刘恒建，任侃，顾国华，等.基于KLT特征点的LK光流金字塔FPGA实现[J].电视技术，2014，38(15)：92-97.

[9]聂小燕.基于分层光流场的运动车辆检测与跟踪[J].实验技术与管理，2012，29(11)：50-53.

何 鹏(1970— )，博士，教授，主研数字图像处理、生物信息检测；

安井然(1988— )，硕士研究生，主研生物信息检测；

杨 曼(1988— )，女，硕士研究生，主研图像处理与视频监控技术。

责任编辑：闫雯雯

Human Abnormal Behavior Detection Based on Regional Optical Flow

HE Peng, AN Jingran, YANG Man

(CollegeofCommunicationandElectronicEngineering,QiqiharUniversity,HeilongjiangQiqihar161006，China)

In order to enhance the capability of intelligent video surveillance system in the protection of public safety, the region of optical flow method used to detect the human abnormal behavior is put forward.Using the improved background difference method to accurately extract foreground objects, and calculate optical flow feature of foreground object , the method can filter environmental noise effectively.Using the direction-amplitude histogram to describe behavior, by calculating the speed of direction-amplitude histogram to determine whether occurred rob or chasing behavior, calculated entropy of direction and amplitude histogram and variance of speed to determined whether occurred fight behavior.Experimental results show that the method can achieve good effect in different visual angle.

regional flow; abnormal behavior; background difference

科技部科技恵民工程项目(2013GS230301)

TN911.73

A

10.16280/j.videoe.2015.07.023

2014-10-08

【本文献信息】何鹏，安井然，杨曼.基于区域光流法的人体异常行为检测[J].电视技术,2015，39(7).