基于目标分割与行为预警的视频智能监控∗

郝平

（陕西工业职业技术学院咸阳712000）

基于目标分割与行为预警的视频智能监控∗

郝平

（陕西工业职业技术学院咸阳712000）

为了解决当前视频监控技术由于环境复杂多变，导致视频运动目标检测有误的问题，论文提出了基于相邻帧差与背景差分的视频监控与智能实时分析算法。首先，融合相邻帧差算法与背景差分算法，建立视频目标分割算子。然后根据异常行为事件视频图像特征，设立异常特征阈值，建立报警监控机制。最后，基于C#语言与Aforge.NET开源库，开发实现论文算法的智能监控。实验测试结果显示：与当前视频监控技术相比，在面对目标成像规律不稳定时，论文算法拥有更高的监控判断准确度。

相邻帧差；背景差分；视频监控；图像特征；Aforge.NET

Class NumberTP391

1 引言

随着社会的发展，人们的生活越来越好，对经济的服务需求也日益增长，而ATM机更是极大地方便了群众，但同时也有着极大的安全隐患，一直以来，银行都是安全技术防范发展的要害部位，也是国家重点安全防范和高风险单位，在银行周边布防监控是非常普遍和必要的，尤其是对ATM机周边［1～2］。传统的ATM视频监控采用人工读取的方法，以便在事后对录制下来的视频进行取证，从而排查事件纠纷、破获针对ATM的犯罪案件［3～4］。但是，这样一来，只能实现事后取证，就有可能错失解决事件的最好时机，而且有些事件如待发生后再解决，不仅费时费力，即使能够找到证据，造成的损失也可能无可挽回。根据调查分析，ATM监控录像中也存在大量的冗余信息，这些冗余信息既增加了存储资源的消耗，还给后续工作人员对录像进行回放分析带来了困难和时间上的消耗。如何应用智能监控技术保证ATM运行安全，变被动防守型的事后取证为主动防御型预警，已成为当今金融自助服务领域亟待解决的问题。

在智能监控方面，国内研究人员已经将计算机视觉技术引入到该领域中，对其展开研究，如张泰［5］提出了视频监控中人员翻越行为检测算法，采用“目标检测-人员跟踪-轨迹分析”的流程，将混合高斯模型得到的前景区域与KLT光流法得到的特征点运动信息结合起来，提出了一种新型跟踪算法，该算法仅使用图像的灰度信息作为输入，一定程度上能够适应目标形变及遮挡，达到智能监控的目的。但是，此技术依靠准确的前景模型，在监控拍摄环境变化大且速度快时，往往影响了监控分析功能。叶爱萍［6］提出了智能监控系统在汽车生产线上的应用系统，于IFCM聚类算法的自适应背景建模与更新方法，对像素灰度取值进行无监督聚类，自适应选取不同个数的聚类构建各像素背景模型，随场景变化进行聚类修改、添加和删除以完成背景自动更新；联合背景差分信息、三帧差分信息和空间邻域信息的前景检测方法，达到了智能监控的目的。然而，这种技术依赖视频目标与背景的强对比度，在对比度不高或背景复杂时，往往不能精确智能分析监控视频。

对此，为了在环境复杂多变的条件下提高智能监控技术的准确度，本文提出了基于相邻帧差与背景差分的智能监控分析算法，通过分析连续帧差算法原理，保存前后相邻图像并相减，判断差值是否大于设定阈值，实现对视频有无运动目标的检测。然后，在此基础上，再建立图像背景模型，进行图像背景差分运算，进一步准确检测运动目标并分割，提取特征信息（面积、周长等）。最后，基于C#语言与Aforge.NET编程，测试了本文算法的监控精度。

2 本文智能监控分析算法

本文算法流程见图1。首先，对视频图像帧进行读取与保存，利用相邻帧差分模型，即前后两帧图像相减，以图像差值的阈值，判断是否有快速移动或者可疑的目标存在。并结合高斯混合背景模型，建立图像背景模型，进行前景图像与背景之间的差分运算，提取前景目标即运动目标，分割出对象，根据对象分割结果的属性，判断当前监控视野内是否正常。由于ATM监控中异常事件，往往是在单位区域内运动目标过多，导致面积周长过大，故以此作为评价监控正常与否依据，即检测目标周长面积过大时系统报警，反之系统正常。如图2所示，监控视野的环境内容较多，背景复杂。本文算法的目的就是要从此类背景中检测出运动目标。

图1本文机制架构

图2背景图像

2.1 基于相邻帧差的运动目标检测

为了分割出监控视频中运动目标，引入基于相邻帧差方法，通过对视频图像序列中相邻两帧作差分运算，比较两帧图像对应像素点灰度值的不同，从而获得运动目标轮廓的方法，当监控场景中出现物体运动时，两帧之间就会出现比较明显的差别，可以得到两帧图像像素点差的绝对值，由此进一步通过判断它是否大于所设定的阈值，来分析视频或图像序列中运动目标的特性，从而确定视频图像序列中有无运动物体，其检测过程见图3。

图3相邻帧算法流程

运动目标的存在使得视频图像中不同帧像素存在局部的明显差异。相邻帧间差法是在将两个或多个相邻帧作差分运算，获得差分图像后进行二值化处理，然后与某个阈值进比较，以获得运动目标区域：

式中，fi(x，y)与fi+1(x，y)为i与i+1时刻采集到的图像帧，bi(x，y)与bi+1(x，y)为i与i+1时刻的背景图像数据，mi(x，y)与mi+1(x，y)为i与i+1时刻的目标数据，ni(x，y)与ni+1(x，y)为i与i+1时刻的噪声数据。

再根据前后两张图像帧，建立如下帧差模型：

式中，di+1(x，y)为相邻两帧图像帧差，当差值大于某阈值时，判定为运动目标：

式中pi+1(x，y)为帧差检测结果，1代表发现运动目标，0代表未有运动目标出现，t为帧差阈值。

本文首选采用帧差算法检测是否有可疑运动目标出现，然后再用背景差分分割目标，这样既提高了分割检测准确度，同时提高了系统效率。如图4所示，图中运动目标为一男子，即本相邻帧算法检测出的运动目标。本节算法流程如图4所示。

图4监控画面

2.2 基于背景差分的运动目标分割分析

完成运动目标检测，本文采用背景差分技术进一步对目标进行精确分割，见图5。首先，为视频图像序列建立背景模型，提取不含运动目标的参考背景，通过将当前视频图像帧和参考背景进行比较或者减法运算，由于运动目标和背景在灰度或色彩上存在较大差别，每一像素点的像素差值和预先设定的阈值比较，结果大于设定阈值时，则判定有运动目标，即确定出亮度较大的区域，即认为是前景区域。首先，建立高斯模型［7～8］：

式中，μ代表该样本点高斯概率分布的均值，Σ代表协方差矩阵，接着对模型值η归一化处理得wk。建立好K个高斯模型之后，取前b个高斯模型的值进行求和，如果满足式（6），则认为能够提取到背景模型Background：

其中，T表示阈值，对于不同的应用场景可以选择不同大小的阈值。

如果应用场景比较复杂，则用于建模的高斯模型数量较多，那么就应该设置相对较大的阈值。反之，则应该设置相对较小的阈值。完成背景差分模型建立，即可进行前景目标提取计算：

其中，Image(i，j)表示的是视频序列中的第k帧图像位置为第i行j列的像素点的灰度值，Back⁃ground表示的是其对应的背景图像，Difference表示提取到的前景图像，Result表示前景图像经过阈值范围判定后形成的二值图像。如果前景图像某位置的像素点的灰度值在阈值范围内，则认为此像素点为背景像素，否则为前景像素［9～10］。

以图4为目标，利用背景差分技术对其完成分割，结果如图6，依图可知，本文算法准确的分割出运动目标。

图5相邻帧算法流程

图6分割检测结果

3 实验与讨论

为了体现本文算法的优势，将监控视频分割检测性能较好的技术：文献［5～6］设为对照组，并基于VS2010平台C#语言开发实现，算法实验参数如：正常运动目标面积（324），正常运动目标周长（231），运动速度（2m/s）。

本文采用相邻帧差分和背景差分相耦合的检测算法。本文将相邻帧差分用于检测有无，背景差分用于目标分割与分析，提取出目标面积、周长、运动速度，由于ATM监控中异常事件，往往是在单位区域内运动目标过多，导致面积周长过大，故以此作为评价监控正常与否依据。最终实现对监控视频中异常行为的检测，达到智能监控的目的。本文算法开发的系统界面见图7，该界面提供了“视频采集与保存”、“异常识别”、“人员统计”。

图8为监控下的实时视频。如图9所示，为本算法对异常情况的检测结果，可见准确地检测出异常并报警，同时标注出智能分析后的异常区域。

而利用对照组文献［5］技术处理图8时，由于此技术依靠准确的前景模型，在监控拍摄环境变化大且速度快时，往往影响了监控分析功能，如图10所示，对异常情况未能检测出并报警。

利用对照组文献［6］技术处理图8时，由于依赖视频目标与背景的强对比度，在对比度不高或背景复杂时，往往不能精确智能分析监控视频，如图11所示，虽检测出异常情况并报警，但对异常行为区域识别失误，未能达到准确智能分析视频的目的。

图7监控系统界面

图8监控实时界面

图9本文检测结果

图10文献［5］检测结果

图11文献［6］检测结果

4 结语

为了解决当前视频监控系统由于环境复杂多变，导致视频智能分析有误的问题，工件定位不准确导致移栽错误的问题，本文设计了基于相邻帧差分与图像背景差分的监控视频智能分析算法，实现对视频图像的序列保存读取、相邻帧相减、图像背景建立、背景差分、前景提取分割和属性智能分析。实验结果表明：与监控智能分析技术相比，在需要保证抗背景干扰且多变的需求下，本文方法具有更好的处理识别精度，为ATM智能监控的实现提供了技术保障。

［1］吴群.现代智能视频监控研究综述［J］.计算机应用研究，2016，11（17）：196-199.

［2］Antonio C.Nazare Jr.，William Robson Schwartz.A scal⁃able and flexible framework for smart video surveillance［J］.Computer Vision and Image Understanding，2016，144（12）：801-809.

［3］Sung Chun Lee，Ram Nevatia.Hierarchical abnormal eventdetectionbyrealtimeandsemi-realtimemulti-tasking video surveillance system［J］.Machine Vi⁃sion and Applications，2014，25（1）：133-143.

［4］彭臻，王田，李晨阳.采用蚁群算法的移动摄像头探访规划［J］.华侨大学学报（自然科学版），2014，8（5）：533-536. PENG Zhen，WANG Tian，LI Chengyang.Mobile camera using ant colony algorithm to visit the planning［J］.Jour⁃nal of Huaqiao University（Natural Science Edition），2014，8（5）：533-536.

［5］张泰.周界视频监控中人员翻越行为检测算法［J］.西安交通大学学报，2016，21（21）：283-287. ZHANG Tai.Personnel perimeter video surveillance over the behavior detection algorithm［J］.Journal of Xi'an Jiao Tong University，2016，21（21）：283-287.

［6］叶爱萍.智能监控系统在汽车生产线上的应用［J］.制造业自动化，2016，17（12）：47-50. YE Aiping.Application of intelligent monitoring system in automobile production line［J］.manufacturing automation， 2016，17（12）：47-50.

［7］尹雷.基于异构多核嵌入式平台的视频监控系统［J］.微电子学与计算机，2016，16（4）：181-185. YIN Lei.Based on heterogeneous multi-core embedded platform of video surveillance system［J］.Microelectronics and computer，2016，16（4）：181-185.

［8］Bo Zhang，Zhongfu Ye，Xu Xu.An improved method of spectrum extraction based on 2-D Gauss model for LA⁃MOST［J］.The Scientific World Journal，Experimental As⁃tronomy，2013，36（2）：1-19.

［9］LiYao，MiaogenLing，J.Shu.AnImprovedMix⁃ture-of-Gaussians Background Model with Frame Differ⁃ence and Blob Tracking in Video Stream［J］.The Scientif⁃ic World Journal，2014，12（7）：1012-1021.

［10］Shiping Zhu，Zhichao Guo，Li Ma.Shadow removal with background difference method based on shadow position and edges attributes［J］.EURASIP Journal on Image and Video Processing，2012，2（1）：1-15.

Video Intelligent Monitoring Based on Object Segmentation and Behavior Warning

HAO Ping
（Shanxi Polytechnic Vocation College，Xianyang712000）

In order to solve the problem that the current video surveillance system is complex and changeable，the video intel⁃ligent analysis is wrong，the video surveillance and intelligent analysis real-time system based on adjacent frame difference and background difference is proposed in this paper.Firstly，based on the analysis of the principle of adjacent frame difference algorithm and background subtraction algorithm，the advantages of the two algorithms are analyzed，and the video object segmentation algo⁃rithm is established.Then，according to the characteristic of the abnormal behavior event video image，set up the abnormal charac⁃teristic threshold，set up the alarm monitoring mechanism.Finally，based on the C#language and the Aforge.NET open source li⁃brary，the development and implementation of this algorithm and system.Experimental results show that：compared with the current video surveillance system，in the face of the target imaging law is not stable，the algorithm has a higher monitoring accuracy.

adjacent frame difference，background subtraction，video surveillance，image feature，Aforge.NET

TP391

10.3969/j.issn.1672-9722.2017.07.019

2017年1月7日，

2017年2月26日

郝平，男，硕士，讲师，研究方向：视频监控、信息技术、嵌入式技术及应用。