人群密集度下GAN的视频异常行为检测进展

申栩林，李超波，李洪均，2

1.南通大学 信息科学技术学院，江苏 南通 226019

2.南京大学 计算机软件新技术国家重点实验室，南京 210093

近年来，社会公共安全和治安稳定问题逐渐成为社会公众的关注焦点。监控视频因其具有可记录性、可分析性等特点，在维护社会治安方面发挥了巨大作用，为相关安保部门提供了众多有价值的破案线索，并大幅度推进了智慧城市、平安城市的建设进程[1]。因此，智能视频监控技术应运而生，并迅速成为学术界和工业界的研究热点。

随着以深度学习[2]为代表的人工智能技术的快速发展，基于人工智能技术的智能视频监控系统已经在行人、车辆检测以及人脸识别等领域取得较大突破。但受限于跨场景监控视频的拍摄质量以及高层视觉算法智能程度较低等问题，监控系统的智能化程度远未达到实际应用的需求。有效的视频异常行为检测技术，可以准确地检测出被监控区域发生的异常行为，还能及时地发出相应的警报，最大可能地降低突发异常事件带来的生命财产损失。该技术彻底改变了以往需要大量的人员对监控画面进行观看和分析的方式，它通过机器学习和深度学习等算法，自动学习视频行为特征，建立异常行为检测模型从而检测异常，有效降低了误检和漏检现象，节省出大量的人力物力财力。

基于深度学习的异常行为检测分为有监督、弱监督以及无监督三类。有监督学习通常需要大量的标签样本对模型进行训练，弱监督方法可利用视频级标注进行学习，而无监督方法则完全无需任何标签数据。由于数据标注代价昂贵，需要大量人工参与，甚至需要专业知识的支撑，现实中往往较难收集到大量有标注的样本。相对来说，无标注的样本更容易获得，因此，基于无监督的异常行为检测逐渐成为研究热点[3-6]。无监督方法通常使用一定的度量来研究样本之间的关系，从而对未标记的样本进行分类和归属。生成对抗网络（generative adversarial network，GAN）[7]作为近年来无监督网络结构的代表，因其强大的生成能力而受到学术界的广泛关注。在异常行为检测领域中，通过使用GAN来对视频帧进行重构或预测，然后根据重构误差检测异常，有效缓解了因标签数据不足而导致模型欠拟合、检测精度低的问题。

值得一提的是，视频异常行为的检测主要取决于环境复杂度和异常类型，而环境复杂度与场景中运动目标的密度息息相关。根据场景中人口的密度，具体可分为稀疏密度场景、中等密度场景和拥挤密度场景[8]。在稀疏密度场景中常常是基于个体进行异常行为检测，如游荡、跌倒等，或是两个人不寻常的交互，如打架。而暴力、暴乱等行为通常发生在中等密度环境中，在拥挤密度的场景中通常发生踩踏、人群恐慌、人群四散等异常行为。中等密集和拥挤密集场景下发生的异常也被称为群体异常[9]。

本文从人群密集度研究GAN的视频异常行为检测技术，首先简要介绍了生成对抗网络框架结构，然后，根据场景密度以及行为发生对象，从个体行为异常、群体异常两个方面论述了GAN在视频异常检测领域的研究现状。其次，对异常行为检测常用数据集进行了简要介绍。最后，对基于GAN的视频异常行为检测的未来研究方向作了展望。

1 生成对抗网络

GAN是一种通过对抗训练来评估生成模型的新框架，它由两个网络组成，分别是生成器G和判别器D，G和D都可以是非线性的映射函数，比如多层感知机。它的主要思想是先将一组随机噪声向量输入生成器中，生成一张图像，然后把生成的图片与数据集中的图片同时输入判别器中，由判别器来判断输入的是真实图片还是生成图片，最后输出一个概率值。当输入的图片为真时，输出为1，当输入图片为假时，输出为0。同时输出的结果反馈回两个模型，经过不断对抗、竞争，两个模型的性能越来越完善，理想状态下可达到纳什平衡。GAN模型结构如图1所示。

图1 生成对抗网络Fig.1 Generative adversarial network

为了学习真实数据x的分布p g，生成器首先会构建从先验噪声分布p z(z)到数据空间的映射函数G(z;θg)，其中G是由参数为的多层感知机D(x;θd)表示的可微函数。此外，判别器D同样由另一个多层感知机表示，它的输出为单个标量，D(x)表示x来自数据的概率。在训练过程中，G和D是同时训练的，D的作用是最大化将标签正确分配给训练样本和来自G的样本概率，同时G也要将生成数据和真实数据的相似度最大化。因此，GAN的目标函数定义为：给定随机噪声向量z和真实图像x，在公式（1）中，G的优化目标是最小化lb(1-D(G(z)))，而D的优化目标是最大化lb(D(x))。本质上，当鉴别器D达到最优时，生成器G的损失函数将生成数据分布p g(x)和真实数据分布p r(x)之间的JS散度最小化。与其他生成模型相比，GAN只利用反向传播来获得梯度，无需利用马尔科夫链反复采样，无需设计遵循任何种类的因式分解的模型，可以随意选择生成器网络和鉴别器网络，在学习过程中无需进行推断，避免了计算概率的问题。

2 基于GAN的异常行为检测

根据行为发生的对象，可将异常行为分为个体异常行为和群体异常行为[10]。个体异常行为是指某些个体的行为异于其他个体的行为，例如散步的人群中突然出现的奔跑者、跌倒等，或是人行道中出现的自行车、汽车等。而群体异常行为是由很多个体组成的群体集体性发生的异常，如人群恐慌和四处逃逸等。一些具体的实例如图2所示。针对这两类异常，基于重构和预测的方法对近几年的研究技术进行总结。

图2 异常行为示例Fig.2 Examples of abnormal behaviors

2.1 个体异常行为检测

在个体异常行为检测中，通常是先对输入视频帧的感兴趣区域进行检测，然后进行特征的提取，根据行为特征进行异常行为的检测及分类。

2.1.1 基于重构的个体异常行为检测

重构方法的思想是重构网络仅在正常样本上工作，无法重构异常样本，因此对异常样本的重构误差较大，以此用来区分正异常样本。文献[11]的生成器能对视频帧进行重构同时隐式地修补异常区域，判别器判断视频帧中的不同区域块为异常的可能性，两个网络输出的交集则是最终的异常检测结果，该网络能够对异常行为进行定位。然而，由于GAN强大的生成能力以及异常事件仅占帧中图像像素的很小部分，在对异常帧重构时不能保证对异常帧有很大的重构误差。为此，引入高斯噪声，增强网络的重构能力，降低了对异常样本的错误重构[12]。GAN中鉴别器通常用来识别真实数据和生成数据，为了生成更高质量的帧，文献[13]通过将鉴别器的基本作用从区分真假数据转换为识别重构数据的质量，来训练对抗性网络进行异常检测，整个网络以对抗反馈循环[14]的方式不断优化，最终生成稳定且高质量的数据。为了挖掘行为鲁棒性特征，引入多级特征检测方法，检测视频中不同语义特征级的异常对象，但其网络结构复杂且冗余，计算量大，难以实现实时检测[15]。为了提高重构网络的泛化能力，提出噪声调制对抗学习的思想，将服从正常样本分布的噪声图作为负样本输入鉴别器网络，以便调节对重构网络的训练[16]。

由于异常行为具有多义性，引入迁移学习，使网络具备有效的时空特征，提高了算法自适应性[17]。此外，还可通过迁移学习解决标记数据短缺的问题，文献[18]以GAN的鉴别器为基础模型，将迁移学习应用于异常分类器，由于GAN可以生成数据集中不存在的数据，因此基础模型可以对与真实数据相似的数据进行学习，解决了标记数据不足的问题。然而，GAN的鉴别器不能有效地提取数据特征，导致提取的特征不适用于分类器。3D卷积神经网络具有较好的提取时空特征的能力，因此将3D卷积神经网络作为目标模型可以提取适合分类器的特征，提高模型性能[19]。

由于GAN自身强大的学习能力，使得对异常样本也能进行较好的重构，因而对正异常样本的区分力不足，在训练过程中加入噪声可以有效缓解这个问题。另外，重构网络虽然可以处理异常样本，但也可能会将新的正常样本识别为异常样本。因此，需要添加额外的约束来控制网络对新正常样本的泛化能力。尽管对正异常样本的区分能力较差而备受争议，但它能为视频帧提供具有更高空间分辨率的多尺度特征表示，并且不依赖于任何先验知识和标签，因此该方法在实际生活中有较好的应用价值。

2.1.2 基于预测的个体异常行为检测

基于预测的个体异常行为检测遵循正常事件可预测而异常事件不可预测的思想，通过将测试帧与预测帧进行比较来区分正异常行为，相比于重构，它能突破重构误差的限制，增大正常帧与异常帧之间的差距，具体可分为单向预测和双向预测。单向预测利用输入帧的前几帧对其进行预测，通过预测误差检测异常。Liu等人[20]利用U-Net作为GAN的生成器进行预测，然后估计相应的光流，该模型根据预测帧和原始帧之间的差异以及对抗性损失进行优化，U-Net的跨层传输特性能够有效保留输入帧的基本结构特性，使得网络的训练更加注意输出帧和输入帧之间的区别[21]。为了实现端到端的训练，仅对单帧图像进行光流预测，以确定外观和运动之间的联系[22]。为了平衡时空信息，通过级联两个自编码器，分别用于学习时间特征和空间特征，将空间网络的输出与输入进行叠加后作为时间网络的输入，此外，在时间网络中添加了一个光流门，提高了预测帧的质量[23]。

双向预测模型通过利用输入帧的前后几帧进行预测，可以有效地对正常行为的时空特征进行编码，因此，可以检测出具有时空异常模式的场景。Lee等人[24]结合GAN和LSTM，将给定帧的前后五帧分别输入前向ConvLSTM和后向ConvLSTM，提取时空特征，然后根据LSTM的输出生成中间帧，将预测帧与真实帧之间的均方误差与鉴别器输出的加权和作为异常得分。针对场景中尺度变化和复杂运动问题，结合特征聚合网络，利用多尺度编码学习不同尺度下的正常模式，提高了检测复杂事件的鲁棒性[25]。针对运动特征提取不足的问题，文献[26]根据目标帧及双向预测帧构造损失函数，提出基于滑动窗口的异常评估方法，将注意力集中在预测帧的前景目标上，有效地抑制了预测误差图中的噪声，提高了检测模型的准确性和鲁棒性。单向预测模型结构简单，但未能充分利用视频帧之间的时间信息，而双向预测模型能够有效提取时空特征，因此与单向预测相比有较高的检测精度，但该模型只能在异常行为发生后检测，难以实时检测。

与基于重构的方法相比，帧预测方法不仅考虑了外观和位置上的异常，还考虑了运动中的异常。但预测方法高度依赖于先验知识，因此前面帧的任意变化对检测结果都有很大影响，从而导致鲁棒性比重构方法低。近年来，文献[27-28]将这两种方法结合起来，其中预测可以增大样本的差距，而重构能增强模型的预测能力。将重构与预测相结合的方法提高了检测精度和模型的泛化性能，但由于模型结构复杂冗余，计算复杂度高，因此实时性能较低。表1总结了个体异常行为检测的方法；表2给出了几种代表性方法的优缺点分析。

表1 个体异常行为检测方法总结Table 1 Summary and contribution of individual abnormal behavior detection methods

表2 个体异常行为检测代表性算法优缺点总结Table 2 Summary of advantages and disadvantages of representative algorithms for individual abnormal behavior detection

2.2 群体异常行为检测

随着城市人口的大规模增长，公共区域的人口密度越来越大，过多的人口聚集为公共区域的安全带来了隐患，当人群聚集程度超过一定阈值时，发生踩踏事故的可能性较大，此外交通事故，打架斗殴等事件时有发生，甚至还有恐袭事件发生。特别是进入21世纪后，发生了美国“9·11恐怖袭击事件”、俄罗斯“莫斯科剧院人质事件”、中国“上海外滩踩踏事件”等一系列安全事例，这些惨痛的事例给人们敲了警钟，人们的安全观念受到了极大的冲击，强烈地催生了人们对公共安全问题的关注和对提高人身安全性的各种需求。

在群体异常行为检测中，由于人群密度大，行人之间存在严重遮挡，对单个目标检测难度大，因此通常将人群看作一个整体进行处理，从视频中提取代表群体异常行为的特定信息，如人群密度和群体运动轨迹，通过对这些特定信息的处理分析能够检测群体异常行为并及时发出警报[34]。

2.2.1 基于重构的群体异常行为检测

群体的运动可以通过随时间不断变化的光流来捕获，基于重构的群体行为检测通过学习正常人群行为的外观和运动特征，对正常行为的外观和运动有较好的重构，而在测试时，由于无法重构异常行为，因此可以通过重构帧与原始帧之间的像素差检测异常。文献[35-36]提出基于两个条件生成对抗网络的框架学习人群的正常行为特征，一个网络通过原始图像重构出光流图，另一个网络由对应的光流图重构出RGB图，结合光流差和语义差异图得到最终的异常图。但该网络对估计的光流图质量敏感，对遮挡场景不具有鲁棒性，在遮挡场景中很难较好地估计光流图。同时提取视频的外观和运动特征可以提高网络对遮挡问题的鲁棒性，文献[37]提取梯度图和光流图分别作为外观和运动特征，与原始视频帧进行融合，生成器对融合后的特征图进行重构之后与原融合特征一并输入鉴别器，通过计算重构误差检测异常。

拥挤场景中对异常行为的检测和定位是一项极具挑战性的任务，文献[38]以变分自编码器作为GAN的生成器，采用双流结构分别重构原图以及密集光流场，利用重构误差以及对抗损失优化网络，然而由于密集光流计算量较大，导致该网络异常检测和定位不够精准且检测结果有延时。为了减小运算复杂度，提出了基于GAN的深度时空转换网络[39]，利用GAN对级联后的原始帧和背景移除帧重构密集光流，通过计算真实光流图与重构光流图的像素差异检测异常。

群体异常行为往往伴随着目标的运动速度变化，而光流作为一种有效的目标运动描述符，受到广泛应用，然而光流里包含了很多噪声，且光流信息作为低层的视觉特征，尽管能详细描述目标局部的运动，计算复杂度低，但却无法直观表达更高层次的语义信息。基于重构的群体异常检测方法通常使用单帧图像训练，未能充分利用视频帧之间的相关信息，且人群中复杂的背景和遮挡问题较难保证对人群行为有很好的重构。此外，由于GAN只学习正常的人群行为，当测试过程中出现新的正常行为时，常常会将该种行为误判为异常行为，这严重影响了模型的检测性能。

2.2.2 基于预测的群体异常行为检测

人群的异常事件常常伴随着视频帧模糊、颜色失真、光流突变等问题，因此结合前一帧进行视频预测能充分利用视频帧之间的联系，从而更有效地描述人群特征。文献[40]将人群中行人的光流信息作为运动特征，首先利用光流法提取群体行为的动态特征，然后使用U-Net和Flownet进行光流预测并区分人群的正常行为和异常行为，此外还结合迁移学习提高了检测速率。为了实现在拥挤场景中对异常行为的实时检测，减低模型的复杂度，通过计算真实运动帧和生成运动帧之间的像素差来检测异常[41]。在鉴别器和生成器中使用相同的结构可以有效地避免生成对抗网络训练中的不稳定性，使用光流提取视频的时间信息，同时使用潜在空间约束、梯度约束和强度约束可以提高生成的预测帧的质量[42]。然而光流对光照极其敏感，光线的变化对识别效果有较大影响，且在现实情况中，群体行为的发生常常伴随着较大距离的运动，仅利用光流进行人群的跟踪通常会因为速度误差积累而影响检测准确率[43]。人群运动轨迹作为常见的高层语义特征，可以表示人群行为的连续性，借助GAN对群体轨迹进行预测，每条轨迹表示一个目标的运动，将偏离正常行为的轨迹认定为异常行为[44]，然而在遮挡十分严重的场景中，该类方法检测精度容易受到影响。

在人群密度较大的场景中，往往会因为尺度变化和严重遮挡的问题而导致检测性能低下，为了提高人群异常行为检测算法的鲁棒性和准确性，出现了利用多尺度特征生成人群密度图[45]、人群密度估计结合非负矩阵分解方法[46]与生成对抗网络的融合模型，用于人群异常行为检测。由于视频帧的先验知识通常是有限的或不可用的，且先前的工作缺乏对帧序列的局部连续性和视频序列中的时间动态的全局相关性的考虑，文献[47]提出了基于卷积注意力机制的双鉴别器生成对抗网络来进行视频异常检测。具体地说，首先利用卷积注意力模块进行未来帧预测，然后通过基于双鉴别器的对抗性训练来增强未来帧预测，最后，利用预测误差识别异常视频帧。该模型利用双鉴别器结构可以保持预测帧的局部连续性和先前帧的全局相关性，但对场景的自适应性较差。表3总结了群体异常行为检测方法；表4给出了几种代表性方法的优缺点分析。

表3 群体异常行为检测方法总结Table 3 Summary of group abnormal behavior detection methods

表4 群体异常行为检测代表性算法优缺点总结Table 4 Summary of advantages and disadvantages of representative algorithms for group abnormal behaviors detection

综上所述，群体异常行为通常具有运动速度快、加速度突然增加、轨迹混乱等特点，速度、加速度、方向以及运动幅度等特征可以用光流表示。通过人群轨迹可感知人群的整体运动趋势，然而人群轨迹等特征的提取较为复杂，因此可采用合成光流特征描述符获取人群运动轨迹[51]。基于预测的方法对群体异常行为进行检测，通过结合前一帧能充分利用视频帧之间的关系，更好地提取人群的运动和外观特征，此外，与迁移学习、卷积神经网络等模型的结合在一定程度上提高了检测精度和鲁棒性。但预测方法对于先验知识过度依赖，且对噪声极其敏感，因此鲁棒性较差。

3 常用数据集

视频异常行为检测是一个较新的研究领域，且由于现实中的异常行为具有偶然性和多样性，目前用于该领域的数据集较少。为了更好地进行异常行为检测，开发了各种数据集。根据持续时间、大小、分辨率、监视环境、覆盖场景、数据集提供的挑战、应用场景、涉及的异常事件和标签的可用性等重要因素，每个数据集之间存在一定的差异，选择合适的测试数据集是评估各算法性能的基础。常用的数据集主要有UCSD[52]、UMN[53]、Subway[54]、CUHK Avenue[55]、UCF-Crime[56]、Shanghai-Tech[57]、LV data[58]。表5汇总了各数据集的规模、异常行为类型、视频分辨率、应用对象以及存在的不足。

由表5可看出，目前用于群体异常行为的数据集较少，大多数公开可用的数据集用于个体异常行为检测。与个体行为识别的数据集相比，群体数据集通常存在行为种类单一、视频质量差、视频数目少和数据标记困难等不足。在上述数据集中，主要包含了模拟的异常行为、真实的异常行为、使用预定义脚本录制的视频、来自不同摄像机拍摄的训练和测试样本，以及大多数在理想环境下的视频。然而基于深度学习的视频异常行为检测需要大量的数据集来不断贴近真实场景中的异常行为。近年来，一些数据集如LV data、ShanghiTech以及UCF-Crime的提出，因其更贴近现实场景中发生的行为而被广泛使用。端到端的异常行为检测在现实生活中有很大的应用价值，然而端到端的检测方法需要大量样本进行学习，这对于早期的小规模数据集，如UCSD数据集和UMN数据集来说可能是一个问题，大规模数据集的提出，如UCF-Crime和ShanghiTech，帮助解决了这个问题。

表5 常用视频异常检测数据集Table 5 Characteristics of video anomaly detection datasets

在选择数据集进行模型性能评估时，往往更倾向选择标注更精确的数据集，对样本的标注主要分为三类：像素级标注、帧级标注和视频级标注。上述提到的七个数据集中，基于像素级标注的数据集主要用于个体异常行为检测，如UCSD和CUHK Avenue数据集，而对于人口密度大，人流量较多的场景视频则采用了帧级标注和视频级标注，如UMN和Subway数据集，该类数据集主要用于群体异常行为检测。基于视频级标注的数据集，如UCF-Crime标注工作量小，但不适合作为实时检测的训练集，相比之下，帧级标注和像素级标注的数据集更适合进行实时检测，但这两种标注往往需要消耗大量物力人力。伪标签技术[59]的提出使得无需手工标注数据，只需要基于有标签数据给出一个近似的标签即可获得大量标注数据，将该技术结合到GAN中，利用GAN强大的生成能力生成精度更高的伪标签，并与有监督方法结合进行异常行为检测是未来研究的重点。

此外，现有的数据集通常只有画面而没有音频，这为基于视听融合的异常行为检测带来了挑战。大多数情况下，视觉信息可以准确地识别和定位事件，但有时视觉信息却是无效的，而这时音频信号可以区分视觉上判断模糊的事件，如伴随爆炸声剧烈震动的视频中，仅通过画面很难判断发生了什么，而在这种情况下，音频信号是主要的判别信号。因此，视听融合可以充分利用互补信息，提高异常事件检测的准确率。再者，由于摄像机总是固定在一个位置拍摄，监控视野范围小，使得拍摄到的视频多为单视角，容易存在视野重叠的问题。随着监控设备的不断升级更新，获取同一场景的多视角视频已不是问题，利用多摄像头之间的运动目标交接方法不仅能提高异常行为检测的鲁棒性，也能实现对行为的实时检测，解决基于多视角协同的异常行为检测问题，因此建立音视频融合和多视角视频的数据集对异常行为检测有重大意义。

4 总结与展望

本文概述了GAN在视频异常行为检测中的研究进展，根据人群密集度将目前的异常行为分为个体异常和群体异常，分别从基于重构和预测的方法对这两种异常类型的检测方法展开研究。可以发现，由于GAN具有强大的学习能力，重构方法不能保证对异常行为有较大的重构误差，因此很难设置合适的重构误差阈值来判断一帧是否包含异常事件。而预测方法可以增大正常帧和异常帧之间的差距，提高检测精度，但将光流约束添加到框架中，导致鲁棒性比重构方法更差。生成对抗网络是这两种方法得以发展的关键，通过与其他网络框架的联合学习，在检测性能方面有较为显著的提升，其中，与3D CNN的结合不仅能解决标记数据缺乏的问题，还能提取样本的高层次特征。基于GAN的异常行为检测算法在某种程度上对分辨率较低的样本中异常行为的检测能力较差，主要是由于GAN需要在重构损失与对抗损失之间寻求平衡，从而导致模糊的预测和重构。通过以上对比分析和总结，重构和预测作为基于生成对抗网络的异常行为检测的两种方法，能在检测精度和速度方面实现互补。尽管GAN在视频异常行为领域取得了较好的成就，解决了标记数据不足、提取特征不完全等问题，但仍存在一些问题亟待解决。

（1）小尺度目标检测问题：在复杂的现实场景中，由于拍摄设备距离较远导致视频中的检测目标尺寸较小，且常常会伴随着光照变化、目标遮挡以及目标尺度变化问题，导致对这类目标的检测难度大、检测精度低，而当前大多数检测小目标方法[60]复杂度高且不具备通用性，因此运用GAN的对抗学习降低计算复杂度和提高泛化能力是未来的研究方向之一。针对此问题，可以结合有监督方法中提高小尺度目标检测精度的方法，在检测模型中加入多尺度特征融合网络，低层特征编码视觉特征，高层特征描述语义信息，融合后的特征具有更强的描述性，有利于小目标的检测。

（2）动作幅度小的异常行为检测：在现实场景中，除了会发生具有大幅度动作的异常行为，还存在很多动作幅度小的异常行为[61]，通常该类行为在整个监控画面中占据的画幅过小，导致很难被检测到。微小异常行为检测的关键在于对大量样本的学习和运动特征的提取，然而目前用于该领域的数据集过于稀少，因此开发包含微小动作异常行为的数据集以及利用GAN强大的学习能力进行微动作异常行为特征的学习将成为一个热门研究趋势。

（3）正常行为误报问题：当监控画面中出现突然变化的正常物体，如闪烁的车灯、变化的交通灯等，或是快速闯入镜头的正常物体以及少见的正常行为时，会将该类事件误报为异常事件。针对该问题，可考虑忽略存在于画面边缘的事件，选取画面中央作为感兴趣区域进行检测。在算法模型中加入注意力机制模块，能使模型集中注意感兴趣区域，以此提升检测效果。