基于视频处理的智慧社区监控系统

崔 涛 ，赵 江 ，刘 密 ，王 斌 ，谢蜀娟 ，杨中国 ，赵艳红 ，范 峰 ，张翔宙

（1克拉玛依市白碱滩区人民政府 克拉玛依 834000）

（2克拉玛依市金牛新能源技术发展有限公司 克拉玛依 834000）

（3中国石油大学(北京)石油数据挖掘北京市重点实验室 北京 102249）

（4北京京鸿祥云科技有限公司 北京 101400）

基于视频处理的智慧社区监控系统

崔 涛1，赵 江2，刘 密1，王 斌2，谢蜀娟1，杨中国3，赵艳红4，范 峰1，张翔宙3

（1克拉玛依市白碱滩区人民政府 克拉玛依 834000）

（2克拉玛依市金牛新能源技术发展有限公司 克拉玛依 834000）

（3中国石油大学(北京)石油数据挖掘北京市重点实验室 北京 102249）

（4北京京鸿祥云科技有限公司 北京 101400）

视频监控系统已广泛安装并应用在社区，但主要依靠人工观察监控视频，对特殊人群、特殊服饰、特殊车辆的监控，无法实现24小时的监控，且浪费大量的人力物力。采用视频处理技术实现视频中的特殊人群和车辆，对设定人群、车辆及时发出安全预警，其意义在于提高社区的安全程度，促进视频监控产业的发展，提升监控系统的实用性。同时利用视频处理识别技术对早期火焰、人群大规模聚集等活动进行及时发现、预警，提高社区应对突然性事件的反应速度和能力，为建设智慧社区、智慧城市做出突出贡献。

社区安全；人群识别；服饰识别；视频监控

1 引言

陡增的城市人口和巨大的流动性给公共安全带来了巨大的挑战[1]，2014年在发生在昆明火车站和广州火车站的暴力事件更是给有关监管部门提出了更好的挑战。如何利用现有的监控资源，自动、实时的发现并预报一些常见的突发事件成为智慧社会乃至智慧城市建设的重要内容。特别的是随着科技的发展，利用高科技产品犯罪的现象给公安人员防范、侦破犯罪行为也带来了巨大的挑战。犯罪嫌疑人的排查工作艰难，成功率低下。社区安全是城市安全的重要组成部分，应在应急准备、预警预测、应急处置等过程中发挥更大的作用[2]。但是目前大多数的社区在应对公共安全事件中反应较慢，不具备应对突发事件的基础设施，社区工作人员的公共安全知识匮乏[3]。因而建立面向智慧社区的监控系统，建立社区发现可疑人员的预警和应急处理机制，完善基础设施，可以更好的武装社区安全人员以及预防和应对突发事件的发生，保障公共安全。

视频监控是社区安全重要的组成部分也是目前最可靠的安防技术，已在机场、火车站、地铁、社区等公共场所安装和应用。大部分监控都是被动式的用于事后查验，然而这种方式下，大部分的监控视频并没有被安防人员看到和分析。研究表明，当人类在连续22分钟观看一个几乎静止的监控画面之后，99%的画面信息就会丢失。即便是能看到监控画面，安防人员也不能及时辨别或者记忆到犯罪嫌疑人的相貌。其次，监控视频会占用大量的存储空间，一个200万像素的摄像头每天的存储量在43G左右。一般录像数据只保存一个月左右，可以根据实际情况来决定。但是，这些占用大量存储资源的监控视频并没有很好的得到利用，最多只是打上了时间标签。一旦有社区安全事件发生，就需要大量的工作人员，反复的查看视频，找到可疑人员，工作强度很大，费力费时。2012年南京发生的“1.6”抢劫案件，1500名民警花了一个多月的时间查看了1万多台摄像头的视频，却只发现了20多秒与嫌疑人相关的视频。目前的部分监控视频中有人脸识别功能，但是只用在特定场合，比如各个机场安检、2008年北京奥运会、2010年上海世博会、深圳罗湖口岸等[4-5]。

视频监控系统作为智慧社区的最重要组成部分，是一个集多媒体信息、计算机交互、通信、实时处理等技术的综合体。目前，这种系统允许手动控制云台和镜头、自动录像、远程传输并存储视频到硬盘；部分系统还和报警传感器联结的功能[6-7]。面向智慧社区的视频监控系统不同于传统的监控系统的地方在于，利用视觉处理技术去自动完成一些耗费人力而且效率不高的工作，比如：人群计数、入侵检测、目标跟踪、行为识别等。

同时随着科技的发展，深度学习在图像处理领域取得突破性的进展，比如A.Krizhevsky[8]等人首次将卷积神经网络应用于图像分类任务中，并取得了ILSVRC-2012中的图像分类和目标定位任务第一。香港中文大学的DeepID项目[9]在户外人脸识别(LFW)数据库中取得人脸识别准确率为97.45%。Wei Liu[10]等人在VGG16分类模型的基础上，利用多尺度的特征图，直接预测物体所在的位置和类别，在VOC2007上取得了72.1%的MAP。Hyeonseob Nam[11]等人在利用多个共享层基础上抽取的特征用于对单个物体实现跟踪，获得VOT2015最好的成绩。M.HadiKiapour[12]将服装检索场景形式化为商品相似计算的问题，并设计了一个特定类别的相似度计算的网络参数训练模型。在40万的电商数据，以及4万组的同款商品上进行训练，能准确识别裙子、外套、上衣、裤子等。

利用现有的视频监控大数据资源，研究基于视频数据的人物身份识别算法、服装识别算法、车辆识别算法，开发一套基于高性能计算技术的实时视频预警系统，让社区安全实时监控发挥最大作用。该智慧社区视频监控系统结合先进的现代计算机技术、图像智能分析技术，并用先进的监控设备，旨在为居民提供一个高科技、安全的生活环境和一流的安全防范监控系统。

2 系统构成

2.1 系统拓扑结构

智能社区视频监控系统由监控摄像头、网络连接设备、识别视频服务器、数据库服务器、web服务器等部分构成。系统总体结构示意图如图1所示。

图1 智慧社区监控系统总体结构

2.2 系统功能结构

系统主要实现以下三个核心功能：

（1）管理摄像头分组，存储和显示监控视频，远程控制摄像头角度、焦距调整等；

（2）检测报警功能，实现人员身份检测、明火检测、特殊车辆检测、特殊服饰检测、人群聚集检测。同事根据设定的阈值，对检测到的内容进行分级预警；

（3）预警管理功能，用于向web前端发送图片和报警信息；

（4）可视化功能。

2.2.1 视频监视功能 对于封闭式社区的情况，摄像头安装在主要道路、活动广场、人群出入频繁区域，系统通过网络将实时画面推送到监控中心，并接入到智能识别服务器中。监控管理人员能通过软件对云台进行控制，并调整摄像头的拍摄角度，以获取最佳观察视角，直观的掌握整个社区的安全动态情况[13]。提供公安人员下载、回放视频的功能，并存储视频到3个月左右的时间。

2.2.2 检测报警功能 社区安全监控系统主要功能就是对特殊人群、特殊车辆、特殊事件如人群聚集等情况的发生进行及时预警。系统包括的主要的预警功能如图2所示。

图2 主要预警功能模块

（1）火焰检测。社区中的火灾会严重威胁人生安全和财产安全，对发生在初期烟雾和发出的明火的检测极为重要。系统对社区重要区域进行7*24小时实时监控，启用该功能后可及时检测到监控区域内发生的烟雾以及明火，随即发出警报，通知物业人员做出相关处理防止火势的蔓延。

（2）车辆检测。社区的重点车辆和重点关注人群密切相关，对车辆的关注也就是对人群的关注，因此在社区实现7*24小时的车辆监控十分必要。车辆的监控还是主要通过车牌的识别来实现，对主要路口的车辆进出实现车牌定位和识别，记录车辆的活动规律。基于大数据的分析，对车辆的出行规律进行分析和建模，当异常出行发生的时候，可以及时发现和尽早干预。

（3）人员身份识别。社区安全极为重要，掌握重点人群的活动记录能帮助控制、管理重点人群，及时发现他们的异常活动、及时预警等。对重点人物的活动规律进行分析，一旦有异常活动规律出现，就可以及时发现，让社区管理人员及时排除外逃的可能性等。

（4）运动检测和行人检测。社区中特定时间禁止行人通行或车辆通行的区域，系统会自动检测行人或车辆的出现，并发出预警[14]。此功能应用在一些重要区域，除了工作人员能靠近，其他人员一律不能靠近，行人检测就是能及时发现这些可疑人员，并记录他们的活动影响。同时，部分区域是不允许车辆进入，例如：跳广场舞的场所。系统能自动发现车辆驶入这个区域，及时发现并预警，有效保障这个区域的活动自由。

（5）特殊服饰检测。由于名族服装的特殊性，可以利用特殊服装的定位、识别，对特殊人群的发现进行辅助。暴恐分子的服饰有着特定的特征，如常见的星月服、里切克、吉里巴普服等，这些特征在做服饰检测时都可以作为明确的正样本来识别，负样本的服装就很多了，包括日常的正装、运动服装、表演服装等。

（6）人群聚集检测。人群的不正常聚集通常伴随着特殊事件的发生，通过视频监控及时发现人群聚集和预警，让社区管理人员进行有效的干预是基于视频监控的社区安全监控系统的必须的模块功能。人群的发现主要是通过对人体的检测实现人群的计数，设定一定的阈值，当人群的个数超过了规定的阈值就进行报警。

（7）摔倒检测。今年来，人口老化等问题日益突出，老年人在小区活动的时候会出现意外摔倒的情况，基于视频的摔倒检测成为了一个研究热点。系统中集成了相应的摔倒检测算法，对主要区域的中老年人摔倒等情况进行实时监控，并做出有效判断。首先是对人体进行跟踪，当人体的特征比如：身高等发现明显的变化的时候，可以判断出摔倒等现象的发生。系统将自动将该图像保存，并发送到相应的监管平台，预报给相应的人员[15]。

2.2.3 预警管理

（1）实时预警

提供黑名单管理功能，包括增加、删除和查询黑名单，例如把重点关注人群的信息(包含姓名、性别、身份证号、家庭住址、人脸照片等信息)增加到黑名单数据库，然后对主要出入口的摄像头配置人脸识功能。这些摄像头就可以针对出入的人群，定位出人脸区域，然后将人脸和黑名单上的人群进行对比，实时记录可疑人出现的时间、地点等信息。如果对于特别关注的人物，要提高预警报警等级，实现实时报警。对于部分重点人物，无法获取到除了身份证意外的照片，则要通过抓拍的方式，人工核验一些生活照片，并更新到黑名单中的人员照片库中。只有收集到足够多的人员照片库，才能建立更加可靠的人脸识别模型。系统还提供历史出现记录查看等功能。人员身份识别是该系统中最终的功能，图3展示了相应的识别过程。

图3 人员身份识别功能模块

（2）历史查询

系统保存了历次报警记录，不管是火焰识别、车辆识别、人员身份识别的结果都保存在系统的数据库中，监控人员可以根据地点和时间查看相关的报警记录。对重要的人员身份识别，可以将抓拍到图像更新到黑名单底库中。

（3）人脸图片搜索

提供一个可疑人员的图片，系统能搜索到相关的记录，出现的位置、时间等信息。因为系统只是记录了出现在黑名单中的人员，因此不在黑名单中的人员无法搜索到。因此，系统将要重新检索所有的监控视频，自动巡检，找到和图片特征一致的人员，并记录他们出现的时间、地点，当时的影像等。该功能可以用来帮助公安人员快速查找相关人员的出入情况。

（4）可视化

车辆出入、人员活动等按照时间排列，可以研究车辆出入的活动规律，人员活动的规律等。研究他们是否具有周期性，是否发生了异常现象等。这部分功能需要系统具有可视化的功能，并能在地图上绘制运动轨迹，按照时间划分进行直方图显示等。

3 系统部署

该系统的软件功能是要建立在正确的硬件基础设施上的，在主要道路的出入口，用于车辆识别和人员识别的摄像头有角度和距离的限制。因为目前的智能识别算法对于低像素、远距离情况下，人员身份识别是不准确的。而用于人群密度统计和火焰识别的摄像头对距离的要求不是那么高，可能远距离情况下，识别效果都能达到精度要求。本章以人员身份为例，说明摄像头的安装角度和要求。

3.1 摄像机的高度和角度

为了保证人脸识别的准确率，除了设备本身的品质，现场摄像机的安装部署也非常重要。一般为了保证现场人车的正常通过，摄像机高度不应低于4米，高度不应该高于5米，在此高度上，人脸识别水平距离应该在20米左右，可正负5米。以人体平均身高1.7米计算，摄像机俯仰角在7～12度范围之内，能够满足人脸识别算法要求。

3.2 摄像机规格选型

摄像机的分辨率选择与所要覆盖的现场宽度正相关。如图4所示，一般200万分辨率摄像机可以覆盖3米的宽度。镜头的选择主要和摄像机靶面、摄像机分辨率以及需要覆盖的宽度相关。一般来说，在同样覆盖宽度需求的条件下，摄像机靶面越小所需要的镜头焦距越短。摄像机分辨率越高，单位面积上获得的人脸像素越多。

图4 摄像头安装示意图

4 结语

智慧监控系统是社区安全重要的组成部分，智能识别技术是智慧监控中的核心内容。图像处理情况在深度学习浪潮下得到飞速发展，系统集成了人员身份识别、车辆识别、火焰识别、服饰识别等识别功能。系统提供了实时视频展示，识别记录、报警预警等功能。在主要路口和出入口等地方部署摄像头，并和相应的识别服务器联结，系统运行过程中，就会实时的分析处理视频图像并把识别结果推送到web前端。在web前端，按照预设的预警等级，可以实现不同的报警功能。对识别的历史纪录，按照时间序列进行绘图，统计发生频率，分析周期性的规律，及时发现数据中的异常现象。本系统能为建设智慧社区提供强有力的监控功能，为公安机关布控可疑人群提供方便快捷的工具。提高了社区的异常现象及时发现并预警的能力，增强了小区应对突发事件的能力，改善了小区保障小区居民的人生、财产安全的能力。

[1]李岩，陈翔.广州市小城镇社区安全预警系统构建[J].今日湖北旬刊，2014(1).

[2]余树华，周林生.社区应急管理的定位研究[J].华南理工大学学报(社会科学版)，2016，18(1):46-56.

[3]王颖.城市社区治理中的公共安全保障问题研究[J].发展，2015(3):97-98.

[4]桑海峰，吴丹阳，王会.视频监控下的人脸跟踪与识别系统[J].计算机工程与应用，2014，50(12):175-179.

[5]王炜，田野.人像识别系统在视频监控领域的应用[J].警察技术，2014(5):12-15.

[6]赵俊.智能视频监控系统关键技术研究[D].西安电子科技大学，2007.

[7] Kuehl C S.Architecting HD full motion video into military avionics infrastructures[C].Document analysis systems,2010:4.E.4-1:4.E.4-12.

[8] KrizhevskyA,Sutskever I,Hinton G E,et al.ImageNet classification with deep convolutional neural networks[C].Neural information processing systems,2012:1097-1105.

[9] Sun Y,Wang X,Tang X,et al.Deep Learning Face Representation from Predicting 10,000 Classes[C].Computer vision and pattern recognition,2014:1891-1898.

[10] Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[C].European conference on computer vision,2015: 21-37.

[11] Nam H,Han B.Learning Multi-Domain Convolutional Neural Networks for Visual Tracking[C].Computer vision and pattern recognition,2015:4293-4302.

[12] Kiapour M H, Han X,Lazebnik S,et al.Where to Buy It:Matching Street Clothing Photos in Online Shops[C].International conference on computer vision,2015:3343-3351.

[13]余腊生，刘勇.基于网络的智能视频监控系统的设计与实现[J].计算机工程与设计,2009（16）：3879-3882.

[14] Lin Lizhong,Liu Zhiguo,Zhang Yubin.Research on Detection and Tracking of Moving Target in Intelligent Video Surveillance[C].Computer Science and Electronics Engineering(ICCSEE),2012 International Conference on, 2012:477-481.

[15] Li Y,Yin Y.Towards Suspicious Behavior Discovery in Video Surveillance System[C].Second International Workshop on Knowledge Discovery and Data Mining. IEEE Computer Society, 2009:539-541.

The video-based Surveillance System of Intelligent Community

Cui Tao1,Zhao Jiang2, ,Liu Mi1,Wang Bin2,Xie Shujuan1, Yang Zhongguo3,Zhao Yanhong4,Fan Feng1, Zhang Xiangzhou3.
1.Karamay Baijiantan District People's Government, Karamay, 834000, China ;2.Karamay Jinniu New Energy Technology Development Co. Ltd, Karamay,834000, China; 3.Petroleum Engineering and Data Mining Lab, College of Geophysics and Information Engineering, China University of Petroleum, Beijing ,102249, China; 4.Beijing JingHongXiangYun Technology Co.,Ltd, Beijing,101400, China.

The video-based surveillance system is widely used in the community, but it is mainly relay on manpower to take a close look on the special persons, special costume and special vehicles. A multiple of human resources are wasted.So the utilization of intelligent techniques in the surveillance system is vital to improve the degree of security and the application effect. The main function of the intelligent system consists of the real-time detection of person and special vehicles automatically from the video. In addition, the early detection and warning of flame and crowd gathering enable the community to quickly cope with some emergence situation. In conclusion, the intelligent video-based surveillance system will make a great contribution to the construction of intelligence community and city.

Community safety; Population identification; Dress recognition;Video monitoring

TN948.6 【文献标识码】A 【文章编号】1009-5624（2018）02-0127-04