基于监控视频的人员异常行为识别系统研究

肖旭 廖鹏举 段和幸 郭磊 秦崇文 邝晶

摘要：本文研究的人员异常行为识别系统包括人员行为特征提取、行为分类两个部分，系统的行为特征提取以表观特征、时空特征以及光流变化为基础，提取目标的行为特征，并将其融合成更具表达能力的综合特征，最后通过支持向量机将人员行为分类，判断行为是否异常。采用这种方式构建系统比卷积神经网络更加简单，适合特定场合的小概率异常行为识别。

关键词：光流特征;特征提取;特征融合;行为分类

引言

人工智能得到了全世界科研人员的广泛关注，应用于人机交互、视频检索、视频监控等领域的计算机视觉技术也在不断进步[1，2]。人员异常行为识别系统在视频监控领域的应用，使得用于监视异常行为的人力资源大大减少。

人员异常行为识别系统的重点在于目标的行为特征提取，常用的方法包括基于时空特征、光流法、目标表观特征等传统算法，以及基于深度学习的三维卷积神经网络[3]。传统算法与卷积神经网络相比较为简单，为增加目标行为的识别率，一般需要将目标的多个特征进行融合，随后分类，再根据人工设计判断是否属于异常行为，而卷积神经网络可以通过深度学习直接提取目标的行为特征[4]，判断是否属于异常行为。而卷积神经网络提取目标行为特征需要通过大量的数据进行学习，对于特定场合的异常行为识别，采用传统算法更为简单合适。

1.行为特征提取

目标的行为特征从整体上可以分为全局特征和局部特征两大类，全局特征是以目标的整体作为特征提取对象，从目标的轮廓、形状或骨骼等方面获取目标的行为信息;而局部特征则以目标的部分图像为切入点，目标的遮挡以及背景对目标行为特征的提取影响不大。

从运动上可以将目标的行为特征分为静态特征、动态特征以及时空特征三类，目标的静态特征包括目标的形状、轮廓、颜色、骨骼分布等信息;可用来表征全局特征的动态特征指目标的运动轨迹以及光流变化等信息;目标的时空特征则具备了两者的优势，包含了目标的空间信息以及目标在时间上的运动信息，是局部特征的一种。多个特征的融合使用能够使传统算法获取更加准确的目标行为特征。

1.1 基于人体结构的轮廓特征

人体轮廓是行人行为的重要特征之一，它会根据不同的时间，表示出周期性的变化，对行人行为描述具有较为明显的代表性。一般可以通过侦差、轮廓剪影、目标跟踪、背景减图等方式获得目标的轮廓特征。根据人体的轮廓信息，可以计算出人体的质心，根据人体的质心和轮廓变化，可以描述目标的行为。具有和人体轮廓相似作用的，还有目标的骨骼信息，但通过这类方法提取目标的行为特征需要保证目标在监控视频中的完整性。

1.2 基于目标运动的光流特征

目标在运动时会产生明显的光流变化，根据目标的光流变化可以生成目标的运动轨迹。由于光流目标进行空间运动时投影在平面上的瞬时速度，能够反映目标的速度和方向等信息，是常用的底层运动特征。同时，复杂的背景和目标自身的变化不会对光流的表现形式造成明显的影响，但光照强度突然发生变化时会使提取的行为特征产生较大误差，在以目标的光流为基础提取目标行为特征时要确监控视频的图像得到增强处理。

1.3基于时空特征的时空兴趣点提取行为特征

时空兴趣点的定义是视频各帧在时间和空间上的变化都比较显著的像素点，是一种提取目标行为特征时常用的局部特征，提取时空兴趣点能够对目标行动时比较突出的部位定位。常用的检测方法有 Harris-3D 角点检测、海森检测方法和 Dollar 检测法。时空兴趣点适用于一些复杂背景下，不再过度依赖于背景，其中的关键因素是兴趣点提取的数量和密集程度，在一般情况下，密集的时空兴趣点效果要更好，但相应的是时空复杂度较高。

2.行为特征融合

单一的特征不能很好的描述目标行为，目标的多种行为特征组合比单一的特征具有更好的表达能力，使系统在识别异常行为时能够获得更加准确的结果。将目标的全局特征和局部特征融合后的新特征，能够将人员的异常行为模式及其变化规律描述的更加准确。特征融合最简单的方式是将用于表征特征的向量连接成更高维度的新向量，也可以将按不同方式处理后的图像进行更高层次的深度融合。

3.行为分类

提取的目标特征在融合成更高层次的新特征后，要根据其特征对行为进行识别判断，需要采用适当的分类机制来对多个的特征进行分类识别，为后面测试打下基础。由于发生的异常行为多为小概率事件，所提取的运动目标的特征信息可以认为是小样本数据，根据各种分类算法的优缺点，使用支持向量机来建立特征分类器。

使用支持向量机对行为进行分类是通过寻找最优超平面对所提取的运动目标的特征进行分类。首先将对采集到的目标样本以及测试的数据进行归一化，选择高斯函数作为核函数。为了得到上述参数，会使用交叉验证法对每个特征集合进行测试，得到参数后对采集的数据样本中的特征进行训练从而得到分类器。

4.結语

在使用传统算法提取目标行为特征时，需要对采集的视频图像进行增强处理，以减少系统的识别误差。采用传动算法搭建的人员异常行为识别系统，异常行为特征都来源于人工设计，而不同的场所对异常行为的定义不同，系统在不同场合应用时，需要对其中的异常行为设计进行修改。相比卷积神经网络，这种方式在特定的场所具有更大的商业价值。

参考文献

[1]陈超，齐峰.卷积神经网络的发展及其在计算机视觉领域中的应用综述[J].计算机科学，2019，46（03）：63-73.

[2]罗会兰，王婵娟，卢飞.视频行为识别综述[J].通信学报，2018，39（06）：169-180.

[3]盖勇刚.基于深度学习的人体行为识别技术[J].信息技术与信息化，2021（05）：143-144.

[4]李永，梁起明，杨凯凯，郭少哲，张友善.基于深度学习的人体行为识别检测综述[J].科学技术与工程，2021，21（20）：8310-8320.

基金项目：湖南省大学生创新创业训练计划：基于JetsonTX2平台的人员异常行为识别系统研究与开发（S201911077008）;多功能水域垃圾智能清理装置（B20170201209）。