基于轨迹分析的异常行为识别与管控研究*

王晓龙， 郭 捷， 邱卫东， 徐 鹏， 郭 曼， 张 茜

（1上海交通大学电子信息与电气工程学院，上海 200240；（2山东省警官培训学院信息技术研究所，山东 济南 250000；（3科学技术部火炬高技术产业开发中合，山东 济南 250000；

（4山东省警官培训学院，山东 济南 250000；）

基于轨迹分析的异常行为识别与管控研究*

王晓龙1， 郭 捷1， 邱卫东1， 徐 鹏2， 郭 曼3， 张 茜4

（1上海交通大学电子信息与电气工程学院，上海 200240；（2山东省警官培训学院信息技术研究所，山东 济南 250000；（3科学技术部火炬高技术产业开发中合，山东 济南 250000；

（4山东省警官培训学院，山东 济南 250000；）

人类行为识别是模式识别领域的一个重要研究方向，是综合了计算机视觉与机器学习的多领域学科。 而异常行为的识别与管控，因为其行为主体与行为模式的复杂性，是人类行为识别领域中的重点与难点。 本文采用了一种新的运动目标轨迹提取算法，通过计算轨迹的特征向量，采用词袋模型进行建模，再把提取到的特征投入到支持向量机SVM(Support Vector Machine）中进行学习。 我们在国际标准暴力行为视频数据库 HockyFights 上实现了实验仿真，获得了很好的识别分类效果。监狱内罪犯的暴力行为的识别将是我们下一步研究的重点。

行为识别;轨迹分析;机器学习

0 引言

随着监控摄像头在民用与军用领域的大范围普及，如何分析浩如烟海的视频资料，从中及时获得所感兴趣的信息，已经成为日益迫在眉睫的需求。传统的人工监控的方法需要大量的人力成本，不仅费时费力，而且容易导致漏检误报。而新兴的视频行为分析方法，可自动分析视频中人类行为的模式及特征，可针对特定行为进行实时监控报警，从而大幅度地降低人工劳动，并提高响应时间与准确率。人类行为识别(Human action recognition），是模式识别与计算机视觉领域的一个重要研究方向，也是当前世界范围内学界研究的热点与难点。

经典的行为分析模式包括计算运动能量图MEI(Motion Energy Image）和运动历史图MHI(Motion History Image）[1］，它们需要提取到完整的前景目标，再分析前景目标的轮廓变化，由于需要其对背景的稳定性有着很高的要求，因此在视频背景多变的环境下，不能很好地鉴别出特定行为。

近年来，采用局部特征描述视频的方法，日益流行。Laptev通过扩展Harris角点算法到3D视频序列中，获得了一种被称为时空特征点STIP(Space-Temporal Interest Point）[2］的行为检测算法。

不过，空间二维和时间一维对于视频而言具有不一样的特性，而 STIP 等方法不能很好地区分它们。因此，作为STIP的延伸与发展，新的局部特征提取与分类方法[3-5］获得了较好的分类效果。通过跟踪兴趣点在视频序列中的流动，获得运动轨迹就是其中一种简练的方法。 Messing 等人[6］通过跟踪 Harris3D 特征点获得轨迹获得不错的效果。 Sun[7］通过匹配 SIFT(Scale-Invariant Feature Transform）描述子的方式获得了轨迹。 Wang[8］通过在兴趣点附近密集采样和光流法等来提取轨迹，均获得了不错的分类效果。

暴力行为是视频监控的重点与难点，由于暴力行为涉及的前景对象较多，动作模式更加繁杂无序，因此区分也较为困难。实时的暴力识别算法较少，Fillipe 等人[9］利用了STIP对暴力行为进行了分类。Tai[10］通过计算光流矢量来对暴力行为进行监控，Martin[11］则采用了多尺度上的局部二相模式直方图(Muti-Scale Binary Pattern Histogram） 。

为此，我们希望将轨迹分析的分类方法应用到暴力行为的识别管控中。通过对暴力行为轨迹形态的提取与分析，从而得到暴力行为的分类依据。

1 基于轨迹的暴力行为识别算法

在我们的研究中，首先采用新型的ORB(Oriented FAST and Rotated BRIEF）[12］算法逐帧对暴视频提取轨迹;之后针对这些轨迹进行了优化，弱化了背景噪音对于轨迹的影响。我们分别采用ORB 描述子与马尔可夫过程来描述这些轨迹，并提取特征向量。对于提取到的特征向量，采用词袋模型(bag-of-words model）建模。我们用多核支持向量机(Muti-kernel Support Vector Machine）[18］，对所获得的向量进行学习与分类。 具体的算法流程见图1所示。

图1 算法的基本流程

1.1 轨迹提取算法

为了克服传统的轨迹提取算法所提取的轨迹较为破碎且易受环境噪音干扰的缺点，本文采用了一种新的轨迹提取算法，对视频序列进行轨迹提取。

我们所采用的是基于 ORB[12］兴趣点算法的逐帧匹配算法。本质上讲， ORB算法是FAST(Features from Accelerated Segment Test）[13］和 BRIEF(Binary Robust Independent Elementary Features）[14］的混合与改进。 首先，它应用 FAST 算法来找到兴趣点，接着采用 Harris 角点的测量方法，来找到其中最重要的 N 个兴趣点。 为了计算 FAST 所找到的兴趣点的主方向角，ORB 算法计算了该兴趣点的质心：

其中，mpq被定义为：

而主方向角为：

同时，为了保证 BRIEF 描述子具有旋转不变性，我们需要使得该描述子紧贴这个主方向角。 对于在兴趣点(Xi， Yi） 处的 n维特征向量

我们通过下式将S紧贴到主方向角上：

此时，BRIEF 算子变为：

我们采用计算海明码距离的方式，对相邻两帧间的兴趣点集进行匹配。

1.2 特征向量描述

特征向量是下一步机器学习的输入，优秀的特征向量需要能代表轨迹的根本性质，并且具有更高的辨识度。 轨迹的特性有两方面，一是轨迹所跟踪的特征点的外形特征，二是轨迹的几何特征。

对于外形特征，我们采用的是ORB的描述子向量，这是一个25 维的向量。如前一节所述，该描述子向量具有均方差大，辨识度好的特征。

对于轨迹的几何特征，常见的特征向量是HOG(Histogram of Gradient）[15］，MBH(Motion Boundary Histogram）[16］等。这两种特征统计的是轨迹周围的梯度或光流直方图。另外也有直接统计轨迹的方向的算法存在[8］，但对于轨迹形状的近似统计并不能很好的描述轨迹的几何特性，因此我们采用了文献[6］所阐述的观点，认为运动轨迹是一个马尔科夫过程(Markov Procedure），并计算状态转移矩阵的特征向量，作为特征向量的另一部分。

所谓马尔科夫链，是指一系列随机变量[X1，X2，X3，…］ ，其具有马尔科夫性，即给定一个现有的状态，那么过去的状态和未来的状态都是独立的，亦即每个状态都只取决于它之前的状态。Xi的所有可能取值构成的表 S 称之为状态空间表。 当该空间有限时(假设有 K 个状态），其状态转移的概率分布可以被表述成为一个矩阵 Pkxk。 假设从任何状态都可到达所有状态( 可遍历马尔链），则该矩阵有着如下特性：存在唯一的向量 π，使得

且存在如下的近似算法：

定理：1）对于所有的遍历马尔可夫链，存在极限：

其中

2）A 中的每一行都是 π[1］

根据此定理，我们可以用一个较大的 n值来近似计算 A。我们将轨迹离散化成 25 个状态(包括 0 状态），因此，A 的是一个 25维的向量，该向量与 ORB 的描述子向量联合起来，成为我们的 50维特征向量。

1.3 建立词袋模型

词袋模型是我们在视频行为分析中，最常用的一个统计模型。 该模型利用 K 聚类(K-Cluster） 算法，将我们所得到的特征向量聚为 K类，称为一个词典。

有了这个词典，我们就可以对视频中的每个特征向量，计算与该向量距离最近的词，从而可以得到一个K维的分布向量。 这个K维的向量就称为该视频的词袋模型

1.4 多核支持向量机进行训练与分类

当我们建立了词袋模型，获得了输入向量之后，为了能获得更好的分类效果，需要将两种特征向量结合起来。

为此，我们需要谨慎地挑选一种机器学习的方法，使之能够更好地 对其进行分类。 我们所采用的方法是 Muti-channel SVM[18］，不同的描述子通过多频道的途径结合起来[17］

其中，是视频 xi和 xj之间，在第 c 个特征向量下的 χ2距离。Ac是第 c个特征向量中，训练集平均距离。

2 实验结果分析

HockyFights 数据集[22］是一个收录了各种冰球比赛打架集锦的暴力分析数据集。 其共由 500 段打架视频和 500 段非打架视频组成。是目前常用的暴力行为检测数据集。我们在该数据集上对算法进 行了测试， 硬件环境是： Intel Core I3-3227U 1.9HZ CPU， 4GB 内存，64 位 Windows 8.1 操作系统。

2.1 词袋模型的参数设定

词袋模型中，词数 K 值的大小，对于之后的分类效果有着重要的影响。

在实践中，我们发现，词数 K 对于之后的分类效果有着较大的影响，当K值在1000左右时，分类效果较好，因此之后的实验中，我们取K=1000。具体参见图 2。

图2 词数对分类效果的影响

2.2 轨迹提取算法的效果对比实验

在很多算法中，都是采用 SIFT[19］和 SURF[20］算法逐帧匹配从而获得视频序列中的轨迹的。我们分别利用SIFT 算法、SURF算法，ORB 算法，提取测试视频的时空兴趣点，实验仿真结果如图 3所示。从实验结果可以看出，ORB所提取的兴趣点显然比SURF和SIFT更多地集中在前景目标上，在三幅图像中表现得最好，而SURF和SIFT所提取到的兴趣点则更分散。

相较于SIFT和SURF算法，ORB算法有着如下几个特性：

1）计算速度快：相同条件下，ORB算法速度与标准的 SIFT 算法速度相差一个数量级。

2）兴趣点检测效果更好：如图4所示，ORB算法对于前景目标中的特征点检测效果更好，也就在更大程度上减少了背景对之后轨迹计算所产生的干扰。

3）描述子向量区分度更好：由于BRIEF描述子在概率分布上具有较大的方差，因此特征间的区分度更高，也为之后进行机器学习奠定了基础。

图3不同特征点算法的效果

我们分别将 SIFT，SURF 和 ORB 算法应用到视频序列中，通过匹配相邻帧中的兴趣点，以获得轨迹。在实践中，我们发现，轨迹的长度对分类结果有着重要影响。 对于标准的24帧每秒的图像，我们认为，长度小于 7 的轨迹都不具有代表性，因此只统计长度在7以上的轨迹。 我们对10个视频片段的轨迹平均长度和轨迹数进行了统计，具体参见表 1。

实验结果表明 ORB 算法的鲁棒性和完整性更高，更能提取出前景目标的运动轨迹，因此也更适合用在视频行为分析的场合。

2.3 在 HockyFights 数据集上对算法的实验。

我们分别采用了 ORB 描述子，马尔可夫矩阵的特征向量，以及两者结合，对该数据集进行了测试。 我们分别在 fi399-xvid.avi和 no399-xvid.avi上做了测试，获得的轨迹如图 4 所示。

图4提取出的轨迹

据此将1 000份测试集分为十组(每组由 50 个打架片段和 50个非打架片段）。 采用交叉验证的方式，我们将其中的九组作为训练集，一组作为测试集进行测试，并统计它们的平均正确率如表2所示。

表 2 在 HockyFights 上的实验结果

从实验结果上，我们的算法据有较好的性能，达到了当前学界的先进水平。

3 结语

针对暴力行为识别这一问题，我们的主要贡献在于，基于ORB 算法，提出了一种新的轨迹提取方法，该方法较之前的方法速度更快，鲁棒性更好。 同时我们将轨迹分析与暴力行为分类相结合，通过提取暴力行为的轨迹特征，进行机器学习的训练与分类，并在测试数据集上进行了翔实的实验，获得了良好的分类效果。 该算法时间复杂度较低，经过进一步优化能够达到处理实时视频的目的。 下一步，我们还将此识别算法，应用于监狱内罪犯打架斗殴等异常行为的识别。 监狱罪犯不同于普通人群，其统一着样式囚服，理短发，体态行为等方面较为一致，可能需要在识别算法上进一步完善，以满足对监狱罪犯暴力行为的识别。

[1］Aaron F.BOBICK， James W.DAVIS.The Recognition of Human Movement using Temporal Templates[J］ .IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001，23(3）：257-267.

[2］I.LAPTEV.On Space-Time Interest Points[J］ .International Journal of Computer Vision， 2005(2-3） ：107-123.

[3］CHENGZhongwei， QIN Lei， HUANG Qingming， etc.Human Group Action by Layered Model with Multiple Cues[J］ .Neurocomputing， 2014(136） ：124-135.

[4］Ramanathan MAONJ， YAU Wei-Yun， Teoh Eam KHWANG，etc.Human Action Recognition with Video Data： Research and Evaluation Challenges[J］ .IEEE Transactions on Human-Machine Systems， 2014(138） ：67-78.

[5］YU Jeongmin， Jeon Moongu， and Pedrycz WITLOD.Weighted Feature Trajectories and Concatenated Bag-of-Features for Action Recognition[J］.Neurocomputing， 2014(131）：200-207.

[6］R.MESSING， C.PAL， and H.KAUTZ.Activity Recognition using the Velocity Histories of Tracked Keypoints[C ］ //Proceedings of the IEEE International Conference on ComputerVision.Kyoto， Japan， 2009：104-111.

[7］J.SUN， X.WU， S.YAN， etc.Hierarchical spatio-temporal Context Modeling for Action Recognition[C］ //IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Colorado Springs， USA， 2009：2004-2011

[8］H.Wang， A.KLAESER， C.SCHMID， and C.-L LIU.Action Recognition by Dense Trajectories[C ］ //Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Colorado Springs， USA， 2011：3169-3176.

[9］De Souza FILLIPE， D.M.CHAVEZ， etc.Violence Detection in Video using Spatio-Temporal features[C］ //Proceedings-23rd SIBGRAPI Conference on Graphics， Patterns and Images.Rio de Janeiro， Brazil， 2010：224-230.

[10］MARTIN V.， GLOTIN H.， PARIS S.， etc.Violence Detection in Video by Large scale Multi-Scale Local Binary Patterns Dynamics[C］ //CEUR Workshop Proceedings.Fossabanda， Pisa， Italy， 2012：160-167.

[11］H.TAL， I.YOSSI，K.ORIT.Violent Flows： Real-Time Detection of Violent Crowd Behavior[C］ //IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Colorado Springs， USA， 2012：1-6.

[12］ E.RUBLEE， V.RABAUD， K.KONIGE， and G.BRADSKI. ORB： an Efficient Alternative to SIFT or SURF[C］ //Proceedings of the IEEE International Conference on Computer Vision.Barcelona， Spain， 2011：2564-2571.

[13］R.EDWARD， D.TOM.Machine Learning for High-Speed Corner detection[C ］ //Proceedings of European Conference of Computer Vision.Graz， Austria， 2006：430-443.

[14］ Michael CALONDER， Vincent LEPTET， Christophe STRECHA，and Pascal FUA.BRIEF： Binary Robust Independent Elementary Features[C］ //Proceedings of European Conference of Computer Vision.Heraklion， Greece， 2010：778-792.

[15］Dalal NAVNEET.Histograms of Oriented Gradients for Human Detection[C］ //Proceedings-2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Colorado Springs， USA， 2005：886-893.

[16］Dalal NAVNEET， Triggs BILL， and Schmid CORDELIA.Human Detection Using Oriented Histograms of Flow and Appearance[C］ //Proceedings of European Conference of Computer Vision.Graz， Austria， 2006：428-441.

[17］ I.LAPTEV， M.MARSZALEK， C.SCHMID， and B.ROZENFELD.Learning Realistic Human Actions from Novies[C］ // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs， USA， 2008：11-19.

[18］M.M.ULLAH， S.N.PARIZI， and I.LAPTEV.Improving Bag-of-Features Action Recognition with non-local Cues [C ］ //Proceedings of British Machine Vision Conference. Aberystwy， British， 2010：23-35.

[19］Lowe David G.Distinctive Image Features from Scale-Invariant Keypoints[J］ .International Journal of Computer Vision，2004， 60(2）：91-110.

[20］Bay HERBERT， Ess ANDREAS， Tuytelaars TINNE， etc. SURF： Speeded Up Robust Features[C ］ //Proceedings of European Conference of Computer Vision.Graz， Austria，2006：404-417.

Abnormal Behavior Detection and Control based on Trajectory Analysis

WANG Xiao-long1，GUO Jie1，QIU Wei-dong1，XU Peng2， GUO Man3， ZHANG Han4
(1School of Electronic Information and Electrical Engineering， SJTU，Shanghai 200240， China;
2Research Institute of Information Technology， Shandong Provincial Police Training School，Jinan Shandong 250000， China;3TORCH High-Tech Industry Development Center， Ministry of Science and Technology， Jinan Shandong 250000， China;4Shandong Provincial Police Training School， Jinan Shandong 250000， China）

Human behavior recognition， as an important branch of pattern recognition， is a multi-field subject integrating computer vision and machine learning.Abnormal-behavior detection and control， due to the complexity of behavers and behavior pattern， is the focal point and difficult point as well in human-behavior recognition.A novel algorithm to extract motion trajectories is proposed in this paper.By calculating feature vectors， a bag-of-words model is constructed，and the extracted vectors are put into muti-kernel SVM (Support Vector Machine） for study.Experienmental simulation on the violent behavoir video dataset HockyFights achieves fairly good result of recognition and classification.In addition， the subsequent research would focus on violent-behavior recognition of prisoners in jail.

behavior recognition;trajectory analysis;machine learning

TP391

A

1009-8054(2015)03-0076-05

王晓龙(1988—），男，硕士，主要研究方向为模式识别、计算机视觉;

郭 捷(1980—），女，博士，副研究员，硕士生导师，主要研究方向为多媒体安全、数据库安全、网络安全、图象处理与视频通信等;

邱卫东(1973—），男，博士，教授，博士生导师，主要研究方向为计算机取证、密码分析破解、密钥防护及电子信息对抗;

徐 鹏(1978—），男，硕士，研究所所长，主要研究方向为监狱智能化安全防范、计算机软件设计、物联网应用、大数据挖掘;

郭 曼(1982—），女，硕士，工程师，主要研究方向为农业数据集成研究;

张 苗(1980—），女，硕士，讲师，主要研究方向为监狱数据集成研究。■

2014-11-03

国家科技支撑计划课题(No.2014BAK06B00)，上海市教育委员会科研创新项目(No.12ZZ019)