基于云存储视频监控系统的研究

张海山

（武汉邮电科学研究院 湖北 武汉430074）

基于云存储视频监控系统的研究

张海山

（武汉邮电科学研究院 湖北 武汉430074）

视频监控系统对海量视频数据存储和智能视频分析的需求日益突出。针对系统硬件计算能力有限，用户需求的多样性，系统扩展性复杂等问题，云存储技术有很大突破。通过虚拟化技术构建资源池，使用Hadoop分布式文件系统存储海量视频数据，使用Map/Reduce编程模型实现大数据并行计算，为用户提供实时视频监控和智能视频分析服务。

云计算；云存储；视频监控；Hadoop分布式文件系统

互联网的迅猛发展，不仅改变了我们的生活方式，也颠覆了各个领域的经营与管理。随着网络信息化技术的日益完善，使得视频资源的联网共享成为视频监控、IPTV等大数据领域的迫切需求，现有分散的视频资源正在朝集中化的方向发展。随着海量视频数据的快速增长，传统的视频监控难以满足在大数据计算分析、存储及数据共享等上的需要，或者说很难以更低的成本，更灵活的扩展性，更健壮、更可靠、更安全的系统架构来满足行业需求。因此，云计算开始运用到大规模视频监控领域。

1 相关知识

“云计算”并非是一种新的计算技术，而是结合多种计算技术，以最优性价比为目的的综合型计算模式。通过云计算技术，将海量的资源通过网络连接起来，用户能够共享数据、协同计算，网络中的计算机、服务器共同对外提供服务，并使之透明化[1]。

1.1 云计算

云计算是分布式计算、并行计算和网格计算的发展，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和各种软件服务[2]。

云计算通过虚拟化技术，将大量异构的网络服务器和不同厂家的网络存储设备构建成统一的资源池，通过互联网连接起来，用户不需要了解云存储系统的细节，也不必掌握专业的云技术知识，只需要关注自己需要什么样的资源，以及如何通过互联网来获得相应的服务。云计算为大规视频监控系统提供超强计算的能力，灵活地为用户提供各种服务，同时减少系统建设、升级及运维管理的成本，提高系统资源的利用率和系统运行的可靠性。

1.2 云存储

云存储是在云计算的基础上衍生和发展出来的一种技术。它通过网络将各类存储设备汇集起来，通过网络集中管理，共享数据，其灵活的扩展性，可以对外提供数据存储和业务服务以及与存储相关的增值应用。

云存储系统以网络服务器和网络存储设备为基础，构建成一个大规模的存储集群，采用大规模分布式文件系统对存储资源集中管理，可以提供上海量的存储空间同时也可以为大量用户提供服务，推动了大数据时代的发展。云存储系统的成本远远低于传统的存储系统，并且具有良好的可扩充性和可靠性，推动着大规模视频监控系统的变革。

2 基于云存储的监控系统

目前，云存储的实现并不存在技术上的障碍，它需要云设备、云软件、云服务等有机地集合在一起，为用户提供无障碍的云服务[3]。将存储设备和应用软件相结合，通过分布式文件系统架构实现由存储设备向存储服务的转变。

2.1 云存储系统的结构模型

与传统的存储设备相比，云存储不再是单纯的存储设备，通过虚拟化技术，将无数分散的服务器和存储设备通过网络组织起来，统一管理，协同工作，通过应用软件对外提供存储服务。云存储系统结构模型[4]由物理存储层、基础管理层、应用接口层和用户访问层组成，如图1所示。

图1 云存储系统的结构模型Fig.1 Structural model of cloud storage system

2.2 基于云存储监控系统的设计

基于云存储的视频监控系统在逻辑上可分为前端视频采集、云端数据管理中心、视频业务服务和客户端管理系统。如图2所示。

前端视频采集通过网络连接到云存储系统，云存储系统为每一路高清IP摄像头分配足够的带宽。高清IP摄像头将采集的高清视频流进行压缩编码，然后再将压缩编码后的视频流封装成能在网络上传输的IP数据包，通过Internet上传到云资源池中。

云端数据管理中心对云资源进行自动监控、自动调度和集中管理等一体化运维操作，通过虚拟化存储技术、Hadoop分布式文件系统、云计算等技术结合应用程序实现存储设备内容的分发、数据删冗、数据压缩、数据加密、数据备份与数据恢复等功能。

视频业务服务运行在云端数据管理中心之上，是云资源的应用集合，根据用户的不同需求，提供相关的业务服务。

客户端管理系统通过公用API接口访问视频相应的业务服务。客户端管理系统的每个操作对应着一个业务请求，通过网络接入、用户认证、权限管理等安全策略验证后，方可访问相应的业务。

3 关键技术及实现

随着网络技术的发展，人们对智能安防提出了新的要求，传统视频监控系统的局限性越来越突出，视频监控系统的网络化、智能化以及安全越来越受到人们的关注和重视。基于云存储的视频监控系统在数据存储与安全，实时转码，视频智能分析等方面具有自身独特的技术优势。

3.1 数据存储与安全

Hadoop分布式文件系统[5]是现在主流的分布式文件系统之一，具有高容错性，可以运行在低成本的计算机硬件基础上[6]。Hadoop分布式文件系统为读写数据提供了大吞吐量，可运行需要大量数据计算的应用程序，非常适合大规模视频监控系统的应用。

Hadoop分布式文件系统也采用了主从架构，它的集群是由一个Namenode和多个Datanode组成。Namenode是一个中心服务器，其主要负责管理文件系统的命名空间以及客户端对文件的访问操作。Datanode负责管理文件块的创建、存储和删除，并且在Namenode的统一调度下进行文件块的复制操作。

Hadoop分布式文件系统将每个文件分成一系列固定大小的数据块，除了最后一个，所有的数据块大小都为64MB。为了容错，提高系统的可用性，存储在Datanode中文件的数据块都会有副本。一般情况下，用户的文件有3个副本，系统会将第一个副本放在本地节点上，将第二个副本放到同一机架的另外一个本地节点上，而将第三个副本放到云存储系统不同机架的一个节点上。当某一节点的数据被破坏后，可以读取其它节点的副本，提高数据的安全性，同时保证了系统的可靠性。

3.2 实时转码

视频监控需要系统具有超强的计算能力，对实时性要求也特别高。云存储系统具有超强的计算能力，再结合开源软件FFmpeg，为用户提供一套集音/视频采集、格式转换、音/视频编码解码为一体的实时客户端系统。

FFmpeg支持多种编码、解码，能够动态地对音/视频进行转码，也能动态从音/视频源中获取数据。FFmepg可以通过参数设置（包括比特率、帧率、帧大小、屏幕高宽比）控制音/视频文件的转换，解决了用户多样化终端访问的问题，比如PC、手机、iPad，要求的视频格式各不相同。

3.3 视频智能分析

Map/Reduce计算框架是Google提出的软件架构，适用于处理大数据的分布式计算，非常适用于大规模视频监控系统。原理是将大任务分解为成百上千块的小任务，然后发送到计算机集群中，协同处理，共享数据。

Map/Reduce将所有的操作分解为map函数和reduce函数，通过将大型分布式计算分解为一系列对数据键值对的操作，实现大规数据模集的并行运算。可以利用Map/Reduce计算框架优化视频压缩编码、解码以及关键算法，如图像识别、人脸识别、移动跟踪和轨迹组合优化、高斯融合等算法，提高监控图像质量，提升监控图像的使用价值，满足视频监控行业智能化、高清化的新需求。

4 结束语

云存储不仅仅是数据的存储，主要是提供数据处理的服务，增强了数据应用的高效性和灵活性。云存储从架构上改变了传统视频监控系统模式，使得系统的容量扩容、海量数据处理、运营成本等问题迎刃而解。随着网络的全面普及和海量视频共享的迫切需求，目前云存储研究与应用还存在不少挑战，还需要做大量的研究和尝试。

[1]MARSTONS.Cloud computing-the business perspective[J].IEEE Conference Publications,2011:1-11.

[2]李玲娟,张敏.云环境下关联规则挖掘算法的研究[J].计算机技术与发展,2011,2l(2):43-46.LI Ling-juan,ZHANG Min.Reserch on algorithms of mining association rule under cloud computing environment[J], Computer Technology And Development,2011,2l(2):43-46.

[3]王鹏.云计算的关键技术与应用实例[M].北京:人民邮电出版社,2010.

[4]张明.浅谈云存储技术与应用[J].信息技术,2010,39(3):15-17.ZHANG Ming.Discuss cloud storage technology and applications[J].Information Technology,2010,39(3):15-17.

[5]Castleman K K,Digital Image Processing[M].America:Electric And Industry Press,2011.

[6]Attebury G,Baranovski A,Bloom K,et al.Hadoop distributed file system for the grid[C]//Proceedings of the IEEE Nuclear Science Symposium Conference2009,2009:1056-1061.

图9 视频处理后输出Fig.9 The final video after codec

5 结论

经实验表明，该系统可以对摄像头采集到的模拟视频信号进行采样量化，并实现对原始视频数据MPEG4编解码的功能，最终将视频数据稳定输出到显示屏上。本次设计达到了预期的目标。DM368芯片功能比较全面，硬件设计相对更简便，又拥有丰富的软件资源和算法库支持，可以大大缩减相关视频处理项目的开发周期，并同时在很大程度上增强系统可靠性。该设计除此之外该系统还支持H.264编解码，可以通过网络接口和Linux运行平台进行网络传输。整个平台功能丰富可扩展性高，为其他视频处理设计提供了参考。

参考文献：

[1]齐谊娜，徐海龙，王晓丹.H.264与MPEG-4压缩编码标准的分析与比较[J].计算及测量与控制,2006(14):720-722.QI Yi-na,XU Hai-long,WANG Xiao-dan.Analysis and comparison between H.264 and MPEG-4 compresssion encode standars[J].Computer Measurement&Control,2006 (14):720-722.

[2]陈功,黄祥林,卓力.MPEG4-基于对象的多媒体压缩新标准[J].测控技术,2002(21):26-29.CHEN Gong,HUANG Xiang-lin,ZHUO Li.MPEG-4:Objectbased multimedia compression standard[J].Measurement& Control Technology,2002(21):26-29.

[3]Texas Instruments Inc.TMS320DM368 Digital System-on-C-hip(DMSoC)[C]//Technical Reference Manual,2011.

[4]沈沛意，张亮，等.DAVINCI技术剖析及实战应用开发指南[M].西安：西安电子科技大学出版社,2012.

[5]赵俞建.基于DM368处理器的单通道视频编码器系统软件设计[D].杭州：浙江大学,2012.

[6]吴笑天,鲁剑锋,王宇庆,等.基于DM368的无人机视频压缩系统的设计[J].液晶与显示,2014(12):1117-1123.WU Xiao-tian,LU Jian-feng,WANG,Yu-qing,et al.Design of UAV video encoding system based on DM36[J]8.Chinese Journal of Liquid Crystals and Display,2014(12):1117-1123.

[7]李宇成,李聪.基于DM368的视频处理及软件设计[J].计算及测量与控制,2013(10):2865-2871.LI Yu-cheng,LI Cong.Video processing based on DM368 and software design[J].Computer Measurement&Control, 2014(12):1117-1123.

Research of video surveillance system based on cloud storage

ZHANG Hai-shan
（Wuhan Research Institute of Post and Telecommunications，Wuhan 430074，China）

Demand for massive video data storage and intelligent video analysis of video surveillance system is outstanding.The limited of hardware calculation ability,the diverse needs of user,the complexity of system expansion and so on,cloud storage technology has great breakthrough.To provide users with real-time video monitoring and intelligent video analysis service,Building resource pool through virtualization technology,using the Hadoop Distributed File system store massive video data,using Map/Reduce programming model to realize large-scale parallel computing.

cloud computing;cloud storage;video surveillance;Hadoop distributed file system

TN919.85

A

1674－6236（2015）10-0169-03

2014-09-16 稿件编号：201409141

张海山(1988—)，男，湖北枣阳人，硕士研究生。研究方向：信号与信息处理、云存储。