徐红娟, 周海波, 刘忠山, 王 健
(桂林长海发展有限责任公司, 广西桂林 541001)
视频监控云服务平台架构及关键技术研究
徐红娟, 周海波, 刘忠山, 王 健
(桂林长海发展有限责任公司, 广西桂林 541001)
结合视频监控系统“云化”的发展趋势,提出通过构建视频监控云服务平台来提升视频应用效率和视频服务实战的能力,并按照“平台+工具”的设计理念给出了详细的架构设计和组成;接着重点对云存储系统、多租户技术、视频服务运营体系和智能工具集中关键技术的设计和实现进行详细论述;积极探索建立新的视频监控服务模式和服务体系,提出通过引入专业化视频监控服务运营商来负责视频监控资源和服务平台的建设和维护,实现公共安全服务化的目标。
视频云服务; 视频服务运营; 多租户技术; 智能视频工具
近年来,随着公安机关警务工作信息化应用的不断深入和警务指挥调度要求的不断提高,视频图像信息已经成为公安机关治安防范、打击犯罪、指挥通信和内部监督的重要手段,成为公安机关战斗力新的增长点。但由于历史原因,大部分视频监控系统由各级公安机关、各业务警种以满足自身应用需求为目标独立建设,建设的时期不同、模式不一,采用的设备品牌繁多、技术标准不统一,缺乏综合应用的顶层设计和统筹规划,一方面造成一定程度的重复建设,另一方面,各系统之间的互联互通和跨区域、跨警种之间的图像信息共享十分困难,使得各系统采集的大量视频图像信息资源十分分散,不能充分利用服务实战,而分析应用主要依赖人工浏览,费时费力且效率不高,整体应用水平较低。
随着云计算和物联网技术出现及其产业化, 为解决目前公安机关视频图像信息整合与共享工作中面临的问题提供了新的途径。对于构建公安机关视频图像信息整合与共享平台来说,势必会产生海量数据, 传统的硬件架构服务器将很难满足数据管理和处理要求, 同时随着数据中心的大量建设, 可能会浪费很多的资源。云计算并不是单纯的技术问题, 而是方法论, 是思维方式和工作方法的改变, 是一种新的服务方式。它以应用为目的, 通过网络将大量的硬件、软件和数据等资源按照一定的结构体系连接起来, 并随应用需求的变化不断调整结构体系,建立一种内耗最小、功效最大的虚拟资源服务中心, 组成一个庞大的资源池, 并作为服务通过网络传输给用户。云计算的超大规模、虚拟化、高可扩展性、高可用性、以及按需服务的特点与建设视频图像信息整合与共享平台的需求和目标不谋而合。因此在依托云计算技术的基础上进行视频图像信息整合与共享平台建设是一个必然发展趋势。
视频监控云服务平台是在云计算技术浪潮下整合软硬件的系统资源,按照“平台+工具”的架构理念设计,并涵盖“端、管、云”的整体云计算解决方案。平台是基础,参考云计算的技术架构分为基础设施即服务、平台即服务、软件即服务和终端即服务的四层架构,主要实现系统和数据的整合应用,重点是基于视频联网的平台层和基于视频监控服务运营体系的应用层开发。视频监控通过前期的“天网工程”等项目的推进已经在基础设施的建设上初具规模,因此针对视频监控服务警务实战的效果越来越被看重,从这个角度出发通过视频联网把原来的监控点转化为监控面,形成广域监控区域对打击违法犯罪将发挥更大的作用;另外通过视频监控服务运营体系提升对视频监控系统的管理,逐步形成由视频运营服务商建设和维护视频监控系统,办案民警和当事人通过使用视频资源和技术服务来进行按需付费的模式,彻底颠覆目前的视频监控运营模式,把视频资源和技术真正的转化为服务提供给客户。目前视频监控服务实战的最大障碍是低效,因此针对视频的专业化工具集将是视频应用的关键,主要实现对视频和相关数据的专业化、智能化、高速化处理,降低“视侦”技术门槛、简化处理流程、提升处理效率。常用工具集包括:视频摘要、视频浓缩、特征检索、行为分析、模糊图像处理、万能转码器、车牌识别、人脸识别、远程抓拍、图像编辑和标记等。工具和平台直接通过插件方式进行快速集成,形成针对不同应用场景、不同警种的专业化应用系统,提升用户的效率和易用性。视频监控云服务平台详细架构如图1所示。
基础设施即服务(Infrastructure as a Service):重点关注物理设备的虚拟化、管理维护的自动化和节能环保,并通过虚拟化技术实现系统运行的高可靠性和数据的容灾备份。
平台即服务(Platform as a Service):重点关注基于云存储和分布式计算平台的视频监控联网平台,通过云存储技术实现对海量视频数据的存储,通过分布式计算平台提供对视频快速处理的能力,通过GIS平台实现视频操控的可视化。具体包括针对视频的实时点播、历史回放、流媒体转发、集中存储、系统运维等业务功能,此外还包括用户、权限、设备、日志等基础管理功能。
软件即服务(Software as a Service):重点以公安视频行业应用需求为切入点,以提供运营视频资源和技术服务为出发点,实现卡口、电警、监控、侦查等专业化视频业务系统,并通过和公安警综、人口库等业务系统的对接,实现视频综合应用系统。此外,通过专业化工具集的开发和集成大大提升视频处理的效率。
终端即服务(Terminal as a Service):云终端主要包括两大类,一类是用户使用人机交互类设备,主要是PC机、笔记本电脑、智能手机和上墙大屏矩阵;另一类是视频信息采集类设备,主要是各类摄像机和DVR设备。Tass层主要是实现对终端设备的接入管理,实现智能化的信息采集和数据推送。
2.1 云存储系统
随着高清相机的大范围推广应用,海量视频的存储需求越来越强烈。对于传统的存储方案,硬盘的I/O操作是最大的瓶颈。因为就计算机发展的趁势来看,CPU和内存之类的设备在性能上提升得很快,而对于硬盘来说,因为一直是采用机械原理来读写,所以发展得很慢,可以说在读写性能方面一直没有得到如同CPU和内存那样的提升。如一块物理硬盘它的随机存取的速度为100~300次/每秒,如果要将它的速度提高到30 000次/每秒,单块硬盘是不可取的,那么就需要通过100块硬盘同时读写来实现。但是大部分硬盘文件系统并不能很好的利用硬盘的I/O能力,如何更好的利用硬盘I/O成为我们方案要解决的重点。
为了能够解决大数据量的存储问题,本平台采用了基于数据分片的解决方案,依据视频录像的数据特点,将数据分散在不同的存储介质上,然后通过建立镜头、区域等一系列的索引和访问接口,来帮助应用程序快速地存储和访问数据。后台分布式存储系统对于应用程序是完全透明的,它不需要了解数据是如何被存储和如何被访问,应用程序访问存储系统时,完全和访问同一个网络文件服务器相同。云存储系统的体系结构如图2所示。
Chunk数据服务器- 真正的存储服务器,它操作硬盘,读写数据,在当前方案中它是一个文件系统,用于视频数据的存储。
Index索引服务器- 它管理所有的Chunk数据服务器,它提供了哪份数据存储在哪台服务器上的信息。
存取访问接口- 它根据Index索引服务器的信息读写Chunk数据服务器上的数据,同时也提供读写数据的事务管理。可以说它将应用程序和存储系统分开,使得应用程序不必知道存储系统到底是如何实现,对应用程序来说它完全是透明的。
应用程序- 它是存储系统的的使用者。
2.2 SaaS多租户技术实现
SaaS(Software as a Service)多租户软件架构是随着互联网技术的发展,尤其是以Web2.0 为代表的技术逐渐成熟而兴起的一种新的软件架构模式。它通过网络提供软件服务,服务商将应用软件统一部署在服务器上,租户可以根据自己的需求,向服务商定购所需的软件服务,并按定购服务的功能和使用时间,向厂商支付费用,并通过网络获得支持。SaaS多租户技术是通过共享软硬件资源来提升系统的使用效率,主要通过系统的高性能、可配置性和伸缩性3个重要特性来进行衡量,最核心需要解决的问题是数据隔离问题。
视频监控云服务平台是一个面向服务运营管理的分层级、分部门、分警种的可配置软件平台,并且需要对租户实现随着前端相机数量和视频处理工具集的增减对系统资源进行动态调整和扩展,另外视频处理是一种计算密集型应用,特别是对视频的智能化处理需要大量的计算资源,因此高性能的计算能力也是视频云服务平台必须具备的功能。从以上的分析可知多租户的高性能、可配置性和伸缩性3个方面的特性也是视频监控云服务平台需要重点关注的特性。下面主要从多租户技术中的数据隔离策略、视频数据存取放置策略、系统可配置性和用户权限管理等几个方面对视频监控云服务平台进行详细说明。
多租户系统中常用的数据隔离策略主要有3种:独立数据库、共享数据库- 隔离数据架构、共享数据库- 共享数据架构。本系统以使用单位作为租户单元,通过基于共享数据库共享架构模式实现租户数据的隔离,租户业务数据在同一个模式中集中存储和管理,通过在表上增加tenant字段来进行区分,在系统实现时通过面向方面的编程技术来统一进行租户隔离数据的处理,简化了系统开发。
视频数据存取放置策略就是研究如何将系统中的视频数据分割成合理的片断,放置到合适的数据节点上,以达到降低系统的处理费用、提高系统分布并行处理能力和增强结点自治性的目的。本系统采用云存储技术,通过监控镜头和录像时间作为视频数据存放区域的核心分割条件,将数据分散在不同的存储介质上,来帮助应用程序实现快速的数据存储和访问,这部分的详细信息可以参考“云存储系统”中的论述。
系统可配置性和用户权限管理主要包括3个层面的功能需求,首先是用户可以对使用软件的界面、功能布局进行动态调整和配置;其次系统可以对用户具有的业务功能模块和权限进行动态配置;最后就是可以动态的配置用户使用的监控镜头、存储空间、网络带宽等系统资源。通过建立元数据驱动的系统框架,将租户用来描述业务数据的元数据单独管理,为不同租户实现数据个性化定制提供了基础。另外通过基于角色的访问控制(RBAC:Role-Based Access Control)权限管理办法,采用“用户- 角色- 功能- 数据”的结构来设计权限系统,把整个权限管理过程分成4步:
(1)模块和操作构成一个完整的功能单元;
(2)数据具有归属属性,通过该属性把数据归类到对应的实组织或者虚组织中,形成数据单元;
(3)功能单元、数据单元分别与角色相关联;
(4)角色再与用户关联,形成完整的权限管理体系。
通过该方法实现了用户与访问权限的逻辑分离,功能和数据的权限分离,进一步方便了多租户架构下的权限控制,详细参考图3。
图3 多租户的权限控制
2.3 视频监控服务运营体系
目前的视频监控系统的建设主要有3大类,一类是由政府投资建设的公共安防视频监控系统,主要是城市的重点区域、重点路段、关键路口的监控系统;第二是由企业自建的监控系统,如银行、医院、住宅小区等单位内部监控系统;另外就是由个人建设的家庭视频监控系统。这3类监控系统都是由用户自行建设、自行维护、自行使用,这种“孤立”的模式一方面是对监控资源的极大浪费,同时也会使视频监控应用的效果大打折扣。视频监控本身是一项复杂的应用技术,需要专业化的工具、人员来进行专业化的使用,才可以真正达到服务实战的效果,提升视频应用水平。
通过天网工程的建设,目前视频监控已经覆盖了大部分区域,很多案件都可以通过视频监控系统找到线索,但是在涉案视频线索的查找过程中,由于人员、资源、技术等各方面的限制,仅仅由办案民警进行视频线索的提取是非常耗时和困难的,而且积极性也没有保障。因此如果可以提供一个平台让当事人进行视频线索的查找将是最有效的方式,当事人一方面掌握现场较为准确的时间、地点和环境等信息,另外由于涉及到自身利益对查找视频的积极性也非常高。通过当事人自己查找视频线索,把办案民警从一个视频线索查找者转化为一个视频线索的使用者,可以大大降低民警在查找视频线索上的投入,专注于案件的侦办工作,从而提高了效率。
视频服务运营商是专业化提供视频监控资源服务的厂商,主要负责视频监控资源和服务平台的建设维护工作,并提供专业化视频监控应用服务。视频监控服务运营商的引入将可以有效解决目前遇到的视频监控服务实战的瓶颈问题,一方面通过加强视频监控联网、系统维护等工作确保系统的可用性,另一方面提供视频监控服务平台供当事人和办案民警使用,同时通过专业化的技术人员、视频处理工具和第三方业务系统的数据整合来为客户提供更优质的视频监控服务,让办案民警专注于案件侦办本身,大大提升视频监控服务实战的能力,如图4所示。
图4 视频服务运营系统
视频服务运营系统就是一个为用户提供专业化视频监控服务的系统平台,具体包括运维管理、视频调阅、专家协助、视频库、计费管理等业务功能。运维管理是对监控系统的运行状态进行监控,特别是前端相机,及时发现故障,进行升级维修,确保整个系统的可用性,具体包括摄像头数量统计、故障分析、在线率统计、应用成效统计、报障管理、通报管理、绩效考核等功能。视频调阅是用户用于查找视频线索的模块,可以实现历史视频查询、播放、下载、截图和信息标注等功能,主要用于当事人查找视频并及时进行视频信息标注和记录。专家协助一方面是为用户查找视频线索提供技术支持,特别是一些专业化工具的支持,可以大幅度提升效率,另一方面是主动服务于民警办案,进行案件视频的查找,为案件的尽快侦办提供视频线索。视频库是存放案件视频线索的存储空间,当事人可以把在视频调阅中发现的视频线索通过标注提交到视频库,办案民警可以直接在视频库中查看视频线索,进行案件的侦办。计费管理是对用户使用的资源和服务进行统计,方便后续的按需付费。此外,在视频监控服务运营系统的实际应用过程中还必须具备完善的权限和安全管理体系,这个部分需要按照相关的法律和流程进行严格管理,避免发生监控资源滥用导致个人隐私泄露的问题。
2.4 智能视频处理工具
智能视频处理是将视频分析、机器视觉和模式识别等新技术有机地结合在一起,可以对实时监控视频或历史录像视频进行自动分析提取,形成对描述同一目标(人员或车辆)或事件在时间上和空间上连续的动作轨迹,在一定程度上实现自动预警,提高视频分析研判的工作效率。智能视频处理工具通过规范化的web service接口实现和平台的通信,主要包括如下几类。
行为分析:实时检测场景中拉横幅、撒传单、越界、反向移动、人群聚集和统计等行为,发现异常目标自动报警。
视频摘要浓缩:主要解决海量视频的快速观看问题,通过对视频背景建模、分析,剔除视频中静止图像,在同一画面叠加显示不同时间点的运动目标,对特征物体进行提取,建立视频索引,同时支持通过点击浓缩后视频中的特定目标查看该目标出现的原始视频片段,并可进行原始视频的单帧截取。
快速检索(特征匹配):实现按颜色、类型、区域快速检索出历史视频中的人和车,并可以根据框选的图片内容在历史和实时视频中实现自动的特种匹配,发现嫌疑目标自动报警。
万能转码器:实现对视频流和存储格式的自动识别和统一转码,形成标准化的视频格式,方便后续的智能化处理。
模糊图像处理:实现对视频、图片的亮度、白平衡、去雾、去模糊等多种智能处理。
人脸识别:系统根据人的脸部图像进行抓拍和存储,与信息库内(黑名单)的人脸图像进行比对分析,发现嫌疑人员会自动报警。
车牌识别:通过实时联网整合全区卡口的车辆通行信息,也可对视频中的车辆牌照号码进行识别,再结合PGIS的支撑,实现对车辆、车主信息的综合查询和实时比对报警。
本文提出通过构建“平台+工具”的视频监控云服务平台来提升视频应用效率和视频服务实战的能力,解决目前视频应用的瓶颈问题,并积极探索建立新的服务模式和服务体系,实现公共安全社会化服务的目标。
(1)深入分析了视频监控系统的发展现状,提出通过构建视频监控云服务平台来解决视频监控系统遇到的问题。
(2)对视频监控云服务平台的架构进行了深入研究,提出通过“平台+工具”的设计理念来构建视频监控云服务平台,并给出了详细的架构设计和组成。
(3)重点对视频监控云服务平台的云存储系统、多租户技术、视频服务运营体系和智能工具集中关键技术的设计和实现进行了详细的说明。
(4)通过对视频监控建设现状的分析,提出通过引入专业化视频服务运营商来负责视频监控资源和服务平台的建设和维护,提升视频应用的效率和水平。
[1] 中华人民共和国公安部. 视频安防监控系统工程设计规范:GB50395—2007[S]. 北京:中国计划出版社,2007.
[2] 中华人民共和国公安部. 城市监控报警联网系统技术标准:第一部分 通用技术要求:GA/T 669.1—2008[S]. 北京:中国标准出版社,2008.
[3] GHEMAWAT S, GOBIOFF H, LEUNG S T. The Google File System[J]. ACM SIGOPS Operating Systems Review, 2003,37(5): 29-43.
[4] HWANG K, DONGARRA J, FOX G C. Distributed and Cloud Computing: From parallel Processing to the Internte of Things[M]. San Francisco: Morgan Kaufmann Publishers Inc, 2012.
[5] WHITE T. Hadoop: The Definitive Guide[M]. Sebastopol: O’Reilly Media Inc, 2011.
[6] 朱文武. 多媒体云计算[J].北京:电子产品世界, 2011,18(9),18-23.
[7] 陈康,郑纬民.云计算,系统实例与研究现状[J],软件学报,2009,20(5):1337-1348.
[8] 李铮.多媒体云计算平台关键技术研究[D].合肥:中国科学技术大学, 2011.
[9] 叶伟. 互联网时代的软件革命——SaaS架构设计 [M].北京: 电子工业出版社,2009.
[10] 朱近之. 智慧的云计算:物联网发展的基石[M].北京:电子工业出版社,2010.
[11] George Coulouris,等. 分布式系统:概念与设计[M]. 金蓓弘,曹冬磊,等译. 北京:机械工业出版社,2008.
(责任编辑 陈小明)
广西科学研究与技术开发计划项目(桂科攻1348020-13)。
徐红娟(1985—),女,广西桂林人,设计师。研究方向为软件工程、云计算、智慧城市。
D918.2