云计算在安防管理平台中的应用

2013-07-03 13:40劳定雄
中国公共安全 2013年14期
关键词:海量监控分析

文/劳定雄

作者系高新兴科技集团股份有限公司首席架构师

视频监控由八十年代的模拟闭路电视开始,在经历了数字化、网络化等重要发展历程后,如今正迈向系统融合和视频大数据的新时代。与此同时,也不得不面对由此引发的一系列问题。本文认为,云计算技术能为这些问题提供良好的解决方案。

安防管理平台目前发展现状

视频系统与其它系统之间的协同与融合

安防管理平台目前主要是针对视频监控的管理,GB/T28181-2011标准的发布和实施,将在很大程度上改善各大平台厂家各自为战、互不兼容的乱象,安防行业也迎来了“大联网”的潮流。而其它系统例如警综、消防、卡口、门禁等,只是基于视频浏览等基础功能进行有限的对接。但随着技术能力的发展和信息平台的建设,多个不同系统之间的协同应用是一个重要的趋势,这些系统之间将能实现无缝的深度整合,形成社会化的融合大系统。

图1:视频监控数据量的增长趋势(单位:PB)

视频大数据爆炸性增长

首先,数据生成的厚度和精度不断提升,高清技术要求不断提升视频数据精度,高分辨率和高帧率成为视频监控建设主流需求。其次,数据的生成点不断增加,每年的监控覆盖范围和监控点、卡口数量都以30%以上的增长率快速增加。我国安装的监控摄像头逐年增长,目前已超过3000万个,每年产生数万PB的数据量。如图1所示。

据统计,目前在大数据中占主导地位的是图像视频数据,2012年其占比已达到了80%,2013年预计接近90%。

安防管理平台在大数据时代的发展困境

高清、联网、协同、融合,这些特性在提供了更有效的安防监控管理手段的同时,也带来了信息处理的难题。首先,数据的爆炸式增长,意味着需要付出更多的努力才能在更多的数据中寻找到有价值的信息。其次,视频数据的非结构化特征决定其蕴含丰富信息的同时,价值密度却不高,大多数的视频是无用的,它们在存储之后几乎不会被浏览,却又必须在硬盘中保存相当的时间。所以,如果仅靠人力来甄别所有这些信息的价值,是极其困难的。如何让这些海量的数据更好地为社会服务,对安防行业来说是一个必须面对的挑战,体现在以下几方面。

视频大数据的海量存储和管理

在安防应用中,视频监控数据通常进行集中存储和管理,监控数据并发地持续写入安防管理平台的存储系统中,作为备份或提供浏览访问。这些数据具有高并发、大容量的特点。以720P为例,在5Mbps的码率下,每个摄像头每天产生的视频数据约42GB,而一个中等城市的监控规模一般为数千到数万个摄像头。同时,这些数据一般要求必须在系统中保存一个月以上。对普通的文件系统来说,其块大小一般为1-16KB,用于存储视频监控数据会产生较大的开销,大block的设计更适合此类存储。存储系统还必须具有高级别的容错性,存储介质的故障率通常较高,故障发生时不应造成监控数据的丢失。此外,由于城市安防项目的不断建设,系统需要进行在线扩容和升级,这就要求存储系统具有高度的可扩展性,可在系统中简单便捷地增加存储设备。

目前一般采用分级集中存储的方案,在区级、地市级的子平台中存储所管辖区域的监控数据,而与上级平台之间通过提供接口来实现数据的单向访问。子平台中的存储系统通常使用iSCSI磁盘阵列来进行存储,针对不同的应用等级而选择相应的RAID级别,以达到平衡其性能与容错性的目的。在当前的应用之下,大部分数据仅仅只是被写入存储系统中,而在将来,数据可能被频繁地读出以供系统进行数据挖掘和智能分析。相比较而言,云存储是更理想的方案,在大容量、并发性、吞吐量、可靠性、可扩展等方面有着天然的优势,除了能更好地满足安防监控数据存储的各项需求,还能更方便地开展数据的再加工和再分析,可以更好地实现数据共享、协同监控。

视频大数据的信息分析与抽取

图像视频数据的理解和识别一直是计算机视觉领域的难题,计算机通过对像素的分析,可以很容易获得图像的色块、纹理、形状等信息,但无法像人一样对其蕴含的丰富内容进行识别并进行语义上的描述,这也称为“语义鸿沟”。因此,我们仍然要耗费大量的人力物力,在海量的视频监控数据中查找有价值的信息。最近十多年来,基于内容的智能分析在安防领域得到了研究和推广,但目前也仅局限于较低层次的应用,例如人脸识别、车牌识别、物体检测、人流统计、周界防范等。智能分析的除了受限于算法的发展,更受限于计算能力的发展,智能分析的算法复杂度较高,而且其样本数量庞大,非普通计算系统所能胜任。

近期发生的一些典型案件,其侦破过程都耗费了大量人力物力在海量的视频中寻找蛛丝马迹,例如波士顿爆炸案,警方称每段视频至少要看400遍。而在长春“304”案件中,投资上亿元的天网工程未能发挥作用,也引起公众的强烈质疑。目前监控系统所获取的绝大部分视频数据,仅仅作为备份证据存储在硬盘中,监控系统几乎没有能力对这些非结构化的视频数据进行任何有价值的挖掘,导致我们陷入管中窥豹的困境。那么,我们该如何管理和利用这些体量巨大而且不断增长的视频数据?

视频转码也是安防监控中常见的需求,应能根据视频的等级、时效等因素制定转码策略,选择在空域、时域上重采样后重新压缩,或者转换成更高级别的编码标准,例如最新发布的H.265,从而可以更有效地利用存储资源、适应更丰富的终端类型。

视频大数据的信息融合与协同

安防监控的发展趋势是融合化,多种系统之间资源和数据深度共享,实现统一协作。通过对多种关联数据进行挖掘,可以分析出更有价值的信息。例如利用卡口系统的数据和监控视频的录像,获得指定车辆的行驶轨迹,可用于套牌车辆的检测或嫌疑车辆的追踪。利用人像、指纹、社交网络等数据,进行针对人员的刑侦线索分析。此外,还可进行社会舆情分析、金融诈骗分析、案件规律分析、事故灾害分析、公共交通优化等等更深层次的应用,为公共安全的指挥决策、情报分析提供有力的支撑。

基于云计算技术构建安防管理平台

云计算的概念在2006年被正式提出,是一场由互联网行业发起的技术革命,而在其它行业,也如火如荼地开展了相应的研究和应用。安防监控面临的各种问题,归根结底是对海量的安防数据进行存储、处理、分析的问题,同时又能灵活地提供多样化的应用服务,云计算无疑是最热门也最适合的解决方案。

基于云计算的安防管理平台整体架构

面对广域范围密集监控下不断增长的海量视频数据以及多个城市管理部门的多元业务需要,广域级安防管理平台需要解决数据中心管理、底层资源虚拟化、海量数据存储与分析、多元业务集成与融合等关键问题。

安防管理平台采集视频数据和其它与安防相关的业务数据,存储在云计算系统中,并根据应用请求和任务策略进行相应的计算处理,并呈现给用户。具体来说,安防监控平台的云计算系统可抽象为物理资源层、云计算框架、功能服务层。如图2所示。

图2:安防管理平台的云计算应用框架

其中,视频接入、数据采集、内容分发、应用管理通过独立的服务集群来完成,云计算系统专注于对大数据的存储和处理。

物理资源层

物理资源层的主要任务是统一组织管理云计算系统涉及的各类物理资源,包括计算节点、存储节点、数据库、网络传输设备在内的各种底层异构物理资源,经过虚拟化管理和调度,对平台提供自由扩展的能力集合,可实现快速有效地存储由监控业务产生的海量视频数据资源。

物理资源层有两种实施方式,一种是建设广域级的云计算数据中心,汇聚和处理各类安防业务数据,构建“警务云”或“安防云”,甚至成为智慧城市的组成部分。另一种方式是构建视频监控系统内的小型云计算平台,仅负责存储海量的视频数据和抓取少量的外部系统数据,并对它们进行处理,如智能分析、视频转码、车辆轨迹分析等。

功能服务层

功能服务层基于面向数据的理念,将服务抽象成访问、融合、服务策略三大部分。访问包括对数据的检索、查看、统计,也包括对实时视频和历史录像的转发和播放。融合则是将各种类型的数据进行关联,可以挖掘更深层次的融合应用。服务策略提供了指示监控云执行实时指令或计划任务的方法。

通过在本层中统一实现各种基本功能模块,包括离线或实时地对数据进行处理、分析、挖掘,如人脸识别、指纹比对、行为分析等,通过协议供上层不同应用程序请求执行,使上层尽量使用系统中统一的服务功能,可消除软件上的重复建设、相互孤立和标准不一。

云计算框架层

云计算框架层包括存储、计算、控制三个部分,它屏蔽云计算平台的编程细节,提供简单开放的接口,使功能服务层的功能模块可以很容易地进行云计算相关任务的开发。

基于云计算框架的开发与传统开发在理念上稍有不同,传统软件设计原则的侧重点在于稳定性、低延时、局部性能等,而云计算时代在很大程度上是对大数据进行处理,它的评估指标发生了偏移,因此更多地考虑可扩展性、多用户、高吞吐量、容错性、全局效率等问题。另外,稳定性的问题变得不再突出,云计算假设系统是不确定的,它可以容忍故障,能够保证整个系统不受某个环节出错的影响。

结束语

对于安防监控来说,如果仅仅是利用云计算平台对监控数据进行存储,并不能发挥云计算的威力,关键的是要把数据的存储和对数据的处理有效地整合起来,形成一个强大的可扩展的智能化监控大系统。此外,还有一项重要的工作,是对云计算平台应用算法的研究。根据安防监控的应用需求,研究更优化的各类算法,包括视频处理、智能分析、机器学习、数据挖掘等各个方面。

猜你喜欢
海量监控分析
一种傅里叶域海量数据高速谱聚类方法
The Great Barrier Reef shows coral comeback
隐蔽失效适航要求符合性验证分析
海量快递垃圾正在“围城”——“绿色快递”势在必行
你被监控了吗?
Zabbix在ATS系统集中监控中的应用
电力系统不平衡分析
电力系统及其自动化发展趋势分析
一个图形所蕴含的“海量”巧题
一种海量卫星导航轨迹点地图匹配方法