视频监控环境下行人异常识别方法研究

王家鹏 张著洪

摘 要：针对智能监控中行人异常行为检测难的问题，研究反映行人的局部、全局特征的特征信息和探讨异常行为检测的方法。首先，通过设计和利用轮廓特征、局部检测频率、运动速度特征量与轮廓变化曲线模型，获得行为检测的特征模型，进而借助特征信息融合和利用模板库获得异常行为检测算法。比较性的实验结果显示，该算法能有效识别行人的异常行为。

关键词：行人；行为检测；特征提取；异常识别；智能监控

中图分类号：TP391.413

文献标识码： A

随着公共安全保障措施力度的加大，智能监控将成为监测区域安全状况的重要手段，也将成为计算机视觉领域的研究热点。行人异常识别作为智能监控的核心内容之一，旨在通过视频序列中人体行为特征识别可疑事件、不规则与不常见行为

[1-3]。现有研究集中在探讨单一行人或人群的监测模型、运动轨迹和特征量，并据此判别行人是否存在异常。已有方法大致包括两种类型，即模型法[4-7]和特征向量法[8-11]。模型法是一种基于视频序列中行人的运行信息建立数学模型来反映行人的行为特性。特征向量法是通过设计反映行人在行走过程人体动作变化的特征向量，并借此检测行人的异常状况。

这两种类型的异常检测方法在特定条件下有一定的价值，但它们涉及的人体行为特征信息较少，且极少利用图像的全局信息、图像序列之间的相关性和人体动作的连贯性，导致在复杂场景下的异常检测效果不理想。基于此，本文设计刻画人体形状、分类像素子、质心位置、体型等变化的特征模型，并结合Hu矩特征模型建立特征向量模型，进而基于此模型设计分类算法，获得行人异常检测算法。

1 特征向量模型

人体行为通常涉及走、跑、跳、蹲下、挥手、边挥手边跳、单脚跳、侧走这八种行为，图1仅给出走、跑、跳、蹲下四种动作行为； 图中每幅子图代表相应动作视频序列。本文力求設计较为准确刻画这些行为特征的特征向量模型，其包含Hu矩、轮廓、质心、速度、体形这五种类别特征。

由表1可知，走和跳两种行为对应的7 个Hu矩特征量构成的向量存在较大差异。但当行人的动作行为较相似时，比如跑、跳和单脚跳，对应的特征向量较相似，表明单纯以Hu矩特征向量识别行人的动作行为会导致不同程度的误判现象。为此，需引入其它特征量进一步刻画行人动作的细节行为。

2）轮廓特征模型

当行人的运动行为发生变化时，如从跑动转变为行走，则人体轮廓将发生根本性变化，如图2所示。

轮廓特征是识别人体行为的重要标志，可通过轮廓的质心到轮廓线上各点的距离刻画，即

在此，N表示轮廓线上像素点个数，（xi，yi）表示该轮廓线上第i个点的坐标，（xc，yc）表示轮廓线的质心。以上文中8种人体运动行为为例，每种情形取4帧非连续图，并利用上式计算Sd值，如表2所示。

由表2可知，对于同一种行为的不同视频帧，如跑、侧走等行为的轮廓特征变化微小，此与相应行为相吻合，但对于蹲下、边挥边跳等行为，轮廓特征量变化较为明显。由此可知，轮廓特征量可用于反映人体轮廓变化状况。

3） 局部检测频率模型

形状和轮廓特征尚未考虑人体的局部特征信息，因而不能刻画不同行为在轮廓存在相似情形下的差异性，如图3所示。该图中行人涉及两种形状且轮廓较为相似（跑、单脚跳）。因此，此两动作的形状和轮廓特征量偏差较小，但行为差异较大。通过仔细分析，获知跑和单脚跳使得人体在最小内接矩形中像素点的分布有较大差异，为此，引入概率分布模型呈现行人的体型变化，即假定行人的内接矩形P的大小为M×N，将其等分为四等分，得到的区域为A1，…， A4。用Pi表示第i个区域内像素不为0的像素点数在矩形P中所占比例， 于是行人的人体局部频率模型为（P1，…，P4）。

以图3为例， 人体的局部频率分布如表3所示。经由该表，尽管跑和单脚跳在形状和轮廓方面存在相似性，但它们产生的局部频率分布存在明显差异，因此可用（P1，…，P4）度量人体形态的局部特征。

4）速度与轮廓变化曲线

行走速度是刻画行人行走快慢的重要标志。当行人在某区域徘徊时，其速度变化较小，反之则偏大。在此，用v表示行人运动的速度特征量，

式中，（xc，yc）表示当前帧行人轮廓的质心坐标，（xl，yl）表示当前帧之前第l帧轮廓的质心坐标，Δt是间隔时间。另外，人体轮廓变化量C可用轮廓的内接矩形的高与宽的比值进行刻画，以图1中各类型行为的视频序列为例，获得C的变化曲线，如图4所示。

由图4可知，行人行走正常情形下，人体轮廓变化量C呈现周期性的变化，而行走异常时，C的变化不具周期性。图4（a）、（b）、（f）、（h）表明，尽管相应的动作行为使C呈现周期性变化， 但幅值的差异较大， 此与实际情况相吻合。其它情形不使C的变化曲线具有周期性。由此，人体轮廓变化量C可用于检测行人的异常行为。

综上，本文在Hu矩特征量基础上，获得反映行人行为特征的特征向量模型：

2 行人异常行为检测算法

行人异常行为检测算法是依据以上行人行为特征向量模型、行人运动标准图像库、欧式距离、阈值判断进行设计的。在此，需通过图像预处理将标准图像库中每幅图包含的目标进行提取，建立模板库，并给每种模板赋予正常或异常标签。异常行为检测算法描述如下：

该算法与一般基于行人特征的异常行为检测算法相比，从多个方面考虑异常情形出现的可能性，利用行人运动是否具有周期性、速度变化直接进行异常判断。当行人的运动不具有周期性时，利用行人的运动速度、速度增量、特征向量和特征向量库进一步判定是否异常，此有助于提高异常行为检测的准确率。

3 实验与分析

本实验在配置为CPU / 3.3 GHz、RAM / 2.98GB的WindowXP上Visual C++ 6.0环境下进行。选取Hu矩法[12]、文献[10]、[11]中算法参与本文算法比较。样本集为10人完成的90段视频序列构成的标准Weizman公共数据库，其中训练集为此10人中随机选取7人完成的9种行为产生的视频序列集，包括弯腰、边挥手边跳、跳、挥手、走、跑、侧走、单脚跳及原地跳，样本集中其它样本构成测试集。本文设定走和跑为正常行为，其它情形均为异常行为。实验结果如表4所示。

经由表4获知，与其它算法相比，本文算法在行人的行为准确识别率方面有明显优势，它获得正常、异常情形下的准确识别率依次为91.7%和93.5%，而其它算法的正常、异常识别准确率均低于90%。Hu矩法虽然能够刻画行人的形状变化，但对于相似行为不能很好分辨，故单纯利用Hu矩将导致异常识别效果较差；文献[10]和[11]将Hu矩和行人纹理、轮廓特征结合，能够刻画人体的变化细节，获得的识别效果比Hu矩法的效果要好；本文方法将反映全局、局部特征的多种特征量有效融合，获得的算法的误判率较低，此有助于异常行为的检测。

4 结论

针对智能监控中行人异常识别的准确率低、鲁棒性差的问题，在Hu矩特征模型基础上，综合考虑运动目标的局部和全局信息，设计轮廓特征、局部检测频率、速度与轮廓变化曲线模型，并基于此，获得行人运动异常行为检测算法。比较性的实验结果显示，本文的方法将多种特征信息融合，可有效进行异常行为检测，而其它参与比较的方法因考虑的特征信息过少，导致异常行为的误判率过高。

参考文献：

[1]Lavee G， Khan L， Thuraisingham B. A Framework for a Video Analysis Tool for Suspicious Event Detection[J]. Multimedia Tools & Applications， 2007， 35（1）：109-123.

[2]Zhang Y， Zhang X J， Liu Z J. Irregularbehavior recognition based on two types of treading tracks under particular scenes [C]//International Conference on Knowledge Science， Engineering and Management. Berlin： Springer-Verlag， 2007：508-513.

[3]Wiliem A， Madasu V， Boles W， et al. Detectinguncommon trajectories [C]//Digital Image Computing： Techniques and Applications. IEEE Computer Society， 2008： 398-404.

[4]Kwak S. Detection of dominant flow and abnormal events in surveillance video [J]. Optical Engineering， 2011， 50（31）：27202-27202.

[5]Kim J， Grauman K. Observe locally， infer globally： A space-time MRF for detecting abnormal activities with incremental updates [C]//Computer sion and Pattern Recognition， 2009. CVPR 2009. IEEE Conference on. IEEE， 2009： 2921-2928.

[6]Thida M， Eng H L， Dorothy M， et al. Learning video manifold for segmenting crowd events and abnormality detection [C]//Asian Conference on Computer Vision. Berlin： Springer-Verlag， 2010： 439-449.

[7]Zhou Y， Yan S， Huang T S. Detecting anomaly in videos from trajectory similarity analysis [C]//IEEE International Conference on Multimedia and Expo. IEEE， 2007： 1087-1090.

[8]Chen C， Shao Y， Bi X. Detection ofanomalous crowd behavior based on the acceleration feature [J]. IEEE Sensors Journal， 2015， 15（12）： 7252- 7261.

[9]李俊峰， 張飞燕. 基于局部时空特征方向加权的人体行为识别[J]. 中国图象图形学报， 2015， 20（3）：320-331.

[10]王向东， 张丽红. 基于Hu矩和纹理特征结合的人体异常行为识别[J]. 计算机测量与控制， 2017， 25（4）：179-181.

[11]赵海勇， 贾保先. 基于轮廓特征的人体行为识别[J]. 计算机科学， 2013， 40（2）：1547-1551.

[12]Hu， M.K. Visualpattern recognition by moment invariants. IRE Transaction of Information Theory IT-8 [J]. Information Theory Ire Transactions on， 1962， 8（2）：179-187.

（责任编辑：曾 晶）