监控视频中异常行为自动检测系统的设计与实现

许 锋黄马庆单大国

（1 中国刑警学院 辽宁 沈阳 110035；2 常州市公安局刑警大队 江苏 常州 213000）

监控视频中异常行为自动检测系统的设计与实现

许 锋1黄马庆2单大国1

（1 中国刑警学院 辽宁 沈阳 110035；2 常州市公安局刑警大队 江苏 常州 213000）

异常行为分析是智能视频监控技术领域中关注的重点，将计算机视觉和人工智能技术相结合，通过发现监控中的异常行为实时报警并记录，达到将有价值的信息应用到刑事案件的侦查中，在公安工作中具有广泛的应用前景。在分析智能视频监控系统研究现状的基础上，阐述了异常行为检测的相关范畴，针对刑事案件中监控使用的现状及存在问题，设计了异常行为检测系统的功能模块并对运动目标检测、目标跟踪和异常判别等关键技术进行深入探讨。

智能视频 异常行为 目标检测 目标跟踪

随着公安部“天网”、“天眼”工程的深入开展，监控探头已经遍布主要路口、重点要害部门、案件多发地带、公共复杂场所和人员流动密集区，但是面对海量的视频资料，并且基于目前审看手段效率低、耗时耗力的现状，如何科学有效地提高监控视频资料利用效率和范围是目前刑事科学技术工作亟待解决的问题。

截至目前为止，视频监控系统的发展经历了三代，但这些监控系统，都需要人工实时监视视频图像以捕捉异常事件和突发事件的发生，这在“及时地对发生的异常事件和突发事件做出适当有效的反应”方面存在严重缺陷，不能满足安全防范的要求。本文以警用网络化视频监控系统为基础，针对目前监控视频采集质量较低、数量繁多、包含信息内容复杂、难于为破案直接提供线索等实际问题，融合图像处理、计算机视觉及人工智能的研究成果，利用计算机实现对监控场景中异常和突发事件的自动分析、自动捕获、自动跟踪和自动报警，最终实现为刑事案件侦破提供线索和证据。

1 智能视频监控系统概况

智能视频监控系统（Intelligent Video Surveillance，IVS）是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动识别不同物体，分析抽取视频源中关键有用信息，快速准确地定位案件现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其他动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统，和传统的视频监控系统相比，其具有如下的突出优势。

（1）全天候可靠监控。通过计算机和摄像头对监控画面进行自动分析，一旦发现可疑事件就立即报警，其彻底抛弃了传统的完全由人工操作的监控模式，从而更加智能化。

（2）实时响应。系统具有更强大的计算能力，能够在异常事件发生时实时做出反应。智能算法能分析当前目标的行为模式，对潜在的异常行为做出判断并在异常事件发生之前做出预警，使得相关部门有足够的时间处理潜在的异常事件，甚至阻止异常事件的发生，将损失降为最小。

（3）报警精确度高。随着计算机软硬件技术的发展，使视频处理分析模块具有更强大的数据处理分析能力。系统的分析算法也越来越智能化，报警精度也得到显著的提高，用户可以更加精确地定义事件的特征，并对特征进行智能分析与处理，从而大大降低误报和漏报概率。

由于视频监控广泛的应用前景和潜在的经济价值，已经引起了国内外研究者的极大关注。1997年美国DARPA设立了以卡内基梅隆大学(CMU)、麻省理工学院(MIT)等高校参与的视觉监控项目VSAM (Visual Surveillance and Monitoring)，主要用于军事以及民用的监控视频自动理解技术。2000年IBM的Haritaoglu等人提出的W4室外监控系统不仅能够做到定位和分割人的身体部分，实时地对多人进行跟踪，而且可以检测人体是否携带物品并将物品与人体分割出来。欧盟资助的ADVISOR(Annotated Digital Video for Intelligent Surveillance and Optimized Retrieval)系统可以在存储视频监控录像的同时对视频中的危险或者关键事件进行自动的分析理解，并生成对应的警报。北京清大维森科技有限公司推出的安易检人脸检测视频盒，通过分析视频信息把视频画面中的人脸特征单独提取出来叠加在视频画面中，并以人脸特征为索引，快速搜索视频数据中某人曾经出现过的所有视频录像。但这些研究主要集中在安全、银行等特殊部门，很难及时发现和提供公安实际工作中对案件侦破有价值的线索和证据。

2 异常行为检测系统的设计与实现

2.1 异常行为检测系统的功能

一般意义上的异常行为指违反社会文明准则或成群行为习惯和标准的“反常”行为。在刑事科学技术领域对其的定义是以语言、文字或图像等为载体，对嫌疑人的活动轨迹、行为习惯、作案过程等与犯罪行为相关的反常行为动作。对其及时检测可极大地提升预警犯罪行为能力并扩展侦查方向。目前在刑事案件中对异常行为的研究主要集中在人体异常行为，特别是ATM机、群体性事件上，本文将研究对象进一步扩展，对案件侦破中可能采用的信息进行整合，构建了如下四个异常行为检测功能模块。

2.1.1 人体异常检测

人体异常检测主要包括对遮挡或隐藏面部、可疑人员攀越重点防范场所的围墙或栅栏、打架斗殴事件或突然倒下、可疑人员在指定区域内突然快速运动、群体突然聚集以及可疑人员在监控区域多次徘徊等情况实时检测、报警并记录。

2.1.2 车辆异常检测

随着交通工具的快速发展，嫌疑人在案件前期、实施犯罪过程及逃离现场的时候越来越多的使用车辆，因此车辆的异常检测也越来越重要。对于车辆异常行为进行了定义，主要包括车辆驶入绿化草地、人行道、禁停区、逆行、超速、故意慢速行驶、突然调头、徘徊行驶、横档后车辆以及危险驾驶等情况，出现上述行为系统将自动识别并实时报警。

2.1.3 设备异常检测

目前嫌疑人为了逃脱法律的制裁，其反侦查意识逐渐增强，会在作案前或过程中对监控设备进行蓄意破坏，针对此情况和设备长时间使用的损耗，设定设备的异常检测，重点关注视频图像的巨大变化，如摄像头被遮挡、大幅度移动等，可对采取电子干扰、破坏摄像机、遮挡摄像机镜头的行为自动识别并实时报警。

2.1.4 其他异常检测

主要功能是在监控中对案件中出现频率较高的爆炸物或可疑物品遗留，行驶车辆抛洒物品，刀具、枪支等有危害性的作案工具的实时检测和报警。

2.2 异常行为检测系统工作流程

一套完整的异常行为分析处理流程需要融合图像处理技术、模式识别技术等多种技术手段才能达到较好的实战效果。其工作过程主要包括视频的预处理、图像分割、特征提取和行为分类。针对上面建立的各种异常行为特点，建立相应的检测和判别规则，通过如图1的检测流程，最终完成对异常行为的自动实时检测。

图1 异常行为检测工作流程图

3 异常行为检测系统的关键技术

异常行为检测系统中的关键技术主要包括视频序列中运动目标检测、目标跟踪和对目标行为进行分析。运动目标检测属于计算机视觉技术中的底层视觉模块，检测的结果对于后面目标跟踪和行为分析等后期处理至关重要，目标跟踪和行为分析分别属于中层视觉模块和高层视觉模块。各个模块之间相互依赖，共同组成整个检测系统。

3.1 运动目标检测

运动目标检测是在视频序列中将运动目标从背景中精确的提取出来，得到目标的整体区域或者轮廓，是目标跟踪和行为分析的基础。目前，运动目标的检测方法主要有四种：帧间差分法、背景差分法、光流法和基于特征的方法。

3.1.1 帧间差分法

帧间差分法是通过对视频序列中的连续两帧图像进行相减以获取目标图像的方法。当有异常移动物体在监控区域内出现时，连续两帧图像间会有很大的差异，将两帧图像进行减法运算，得出对应像素点的灰度差绝对值，通过比较阈值，判断是否有目标在背景中出现，最后根据判断结果将目标进行分离。帧间差分法受场景变化的影响较小，能够快速的从背景中分离出运动目标区域，并且对各种复杂环境的适应性较好，具有较高的鲁棒性。但帧间差分法不能够完整的提取所有相关的特征点，不能将运动目标区域完整的提取出来，只能对边界进行提取；容易受到运动目标运动速度的影响，容易产生空洞现象。

3.1.2 背景差分法

综合本组病例，我们认为晚期甲状腺癌需尽量保留1～2枚甲状旁腺，以保证术后甲状旁腺功能正常。目前还可以使用纳米碳负显影，或者术中甲状旁腺检测，但是对于累及喉气管和食管的晚期肿瘤，实现的可能性不大，此种情况下以保护对侧远离肿瘤的甲状旁腺为首要任务。

背景差分法是利用当前连续的图像与背景图像进行相减来识别运动目标的方法。利用已构建的背景模型，不断与当前处理的视频帧作比对，差异超过阈值范围的即为目标，小于阈值的为背景。背景差分法能够将运动目标区域快速完整的提取出来。在背景已知、摄像头静止的情况下有较好的检测效果，但会受到背景光照条件的变化、环境干扰的影响。

3.1.3 光流法

光流场是将图像的明暗变化看作一种矢量场，并对其分析来确定目标运动的方法。光流场包含了物体动态行为和表面结构等信息，空间运动物体的像素点在观测面上的运动会产生瞬时速度场，光流法计算每一帧图像的光流场，通过结合运动目标的运动特征进行运动目标检测。光流法目前缺点是计算量较大，对硬件要求比较高，不适于实时处理，而且对噪声比较敏感，抗噪性差。

3.1.4 基于特征的方法

基于特征的方法有很多，根据不同场合不同监控对象都会有不同的算法。具体可以根据形状，颜色甚至生物特征等方法对监控目标在图像中的位置进行识别与检测。基于特征的方法灵活性很大，识别率也普遍较高，但在不同场合的识别方法不同，所以其普遍适应性不大。

3.2 目标跟踪

目标跟踪是确定目标在每帧图像的出现位置，从而得到运动目标的时序运动轨迹。依据运动目标的表达和相似性度量，运动目标跟踪算法可以分为如下四类。

3.2.1 基于主动轮廓的跟踪

由Kass等人提出的主动轮廓模型，即Snake模型，是在图像域内定义可变形曲线，通过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致。此方法不仅考虑来自图像的灰度信息，而且考虑整体轮廓的几何信息，增强了跟踪的可靠性。但缺点是计算量较大，且对于运动速度快的目标效果较差。

3.2.2 基于特征的跟踪

基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。其优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；另外，这种方法与Kalman滤波器联合使用，具有很好的跟踪效果。但对于图像模糊、噪声等比较敏感，连续帧间的特征对应关系较难确定，存在漏检、特征增加或减少等情况。

3.2.3 基于区域的跟踪

该算法的基本思想是先得到包含目标的模板，再在序列图像中运用相关算法跟踪目标。此方法的优点在于当目标未被遮挡时，跟踪精度非常高、跟踪非常稳定。但缺点首先是费时，当搜索区域较大时情况尤其严重；其次，算法要求目标变形不大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。

3.2.4 基于模型的跟踪

基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。这种方法不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强，但计算分析复杂、运算速度慢，模型的更新较为复杂，实时性较差。

3.3 行为分析

行为分析即行为识别与理解，是在运动目标检测和跟踪的基础上，使用有效的算法对动作行为模式进行分析、识别，并用自然语言等方式加以描述，从而提高视频监控系统的智能化程度。其中，异常行为识别是行为分析的核心问题之一，最主要的是如何定义异常行为和提出判断异常行为的依据。目前，国内外许多学者在视频监控中异常行为分析和识别的研究中做了大量的工作。常用的方法大致可以分为两类，即基于模型的行为分析方法和基于相似度量的行为分析方法。

3.3.1 基于模型的行为分析方法

基于模型的行为分析方法，首先事先确定某种异常行为的判定准则，然后根据准则条件从视频序列中提取运动目标的外形、运动等特征信息，利用获得的特征信息使用半监督或者人工的方法建立正常行为的模型，通常使用隐马尔可夫模型（Hidden Markov Models，HMM）及其改进方法对由图像序列中特征信息所表示的状态进行建模，对于那些不匹配正常行为模型的观测，系统将认为是异常行为。

3.3.2 基于相似度量的行为分析方法

基于相似度量的行为分析方法，利用异常行为难定义、易发现的特点，不需要预先定义人体行为模型，而通过自动的从图像序列中学习正常行为的模式，实现异常行为检测。该方法的检测流程：首先对视频按照某种规则进行分段处理，并从分段的视频序列中抽取特征组成该段的矢量特征，然后利用聚类和相似度量的方法进行行为分析，最后将类别较少的视频认为是异常。

3.4 系统实现

根据公安工作的实际情况，本文利用Matlab GUI设计并开发了视频影像智能侦测系统，主要功能包括了视频播放、视频实时增强、运动检测、目标跟踪、异常分析及系统参数设置，系统主界面如图2；视频播放界面如图3，可以实时播放视频或连接监控探头，对视频进行单帧操作；视频实时增强界面如图4，支持对视频采用直方图均衡、双向直方图均衡、直方图规范和模糊处理的方法实现对比度实时增强，利用频域法或时域法实现平滑和锐化等实时增强及降噪工作；本文经过比较最终采用混合高斯模型的背景差分法与Kalman滤波器相结合的方法实现运动检测及目标跟踪，检查及跟踪结果如图5；最终的异常检测采用性能可靠、运算快速的隐马尔可夫模型（Hidden Markov Models，HMM）。通过实验表明，本系统可简单、快速、准确有效的检测到异常行为并进行报警提示。

图2 系统主界面

图3 视频播放界面

图4 视频实时增强界面

图5 运动检测及跟踪结果

4 结论

数字化、网络化、智能化是视频监控领域发展的必然趋势。智能视频监控的出现恰恰体现了这一必然趋势，它与普通的视频监控系统相比，具有更加强大的图像处理能力和智能分析能力的特点。本文针对智能监控的研究现状，从公安工作的实际情况着手，设计了异常行为检测系统各功能模块并对其中的关键技术进行了深入研究，提高了视频监控系统的能力，使视频资源发挥出更大的作用，最终为刑事案件侦破提供线索和证据。

[1]R obert T．Collins，Alan J．Lipton，Takeo Kanade．A system for video surveillance and monitoring [R]．Technicalreport，2000．

[2]I．Haritaoglu，D．Harwood，L．S．Davis．Real-time surveillance of people and their activities[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)．

[3]CALDERARA S,CUCCHIARA R，PRATI A.Detection ofabnormalbehaviorsusingamixture ofVon Mises distributions[A].IEEE Conference on Advanced Video and Signal Based Surveillance[C].London：IEEE，2007．

[4]北京清大维森科技．安易检人脸检测视频盒[EB/OL]．Http：//tsingdavision.com/html/cn/product/ show/2010/0709/58．html．2014-1-10．

（责任编辑：孟凡骞）

TP391.4

A

2014-5-29

辽宁省科技厅自然科学基金项目（编号：2013020008）。

许锋（1977-），男，山东莱州人，中国刑警学院声像资料检验技术系副教授，博士，主要从事声像资料检验鉴定研究。