基于Hadoop大数据技术的视频监控系统的设计

谌江波

摘 要：大数据时代，“信息爆炸”给传统的视频监控提出了巨大的挑战，随着科技的发展，采用以Hadoop大数据技术的视频监控系统可以克服传统视频监控所带来的问题，数据分析和数据挖掘的利用在不同领域改变着我们的生活。

关键词：Hadoop；大数据；视频监控

1 大数据的背景

Google研发的计算机AlphaGo战胜了韩国棋手李世石，这件事不仅是人类在机器智能领域取得的一个里程碑式的胜利，而且标志着一个新的时代——智能时代的开始。

计算机之所以能战胜人类，它不是靠逻辑推理，而是靠大数据和智能算法。在数据方面，Google使用了几十万盘围棋高手之间对弈的数据来训练AlphaGo，这是它获得所谓的“智能”的原因。这些算法已经在其他智能应用的领域获得了成功。今天，计算机已经开始完成很多过去必须用人的智力才能够完成的任务，比如：医疗诊断，阅读和处理文件，智能电网，互联网，智能交通、提前预测犯罪行为、怀孕预测等等。

2 大数据关键技术

网络视频监控实现最大的价值主要是利用大数据技术，其大数据的来源是视频监控数据，采用数据分析和数据挖掘的技术，可以更大程度的实现其潜在价值。大数据的基本处理流程与传统数据处理流程有一定的差异，主要区别在于：因为大量的非结构化数据的存在，大数据就要在每个部分利用并行处理、分布式存储（HDFS）等技术来处理。大数据所采用的关键技术包括：数据采集技术（ETL）、分布式文件系统（HDFS）、分布式数据库（HBase）、并行计算处理（MapReduce）、大数据的内容分析等。如图1所示。

3 Hadoop大数据技术

Hadoop作为开源分布式存储和计算平台，应用非常广泛，百度、亚马逊、Facebook、淘宝等都在用这项技术，HDFS分布式文件系统和MapReduce分布式计算技术都是通过Google产生的，Hadoop是它们的开源平台，不论是分布式存储，还是分布式计算架构都要是高要求、高标准，高可靠性、高性能的。

Hadoop的分布式文件系统HDFS主要负责各个节点的数据存储，实现高效的数据读写过程。首先，一个应用程序被Hadoop的MapReduce编程模型和框架所分解，变成众多微小的工作单元，然后将这些微小的单元分配到集群节点执行，在MapReduce架构下，一个准備提交的应用程序称为作业（Job），从一个作业划分出的、运行于各个计算节点的工作单元称为任务（Task）。

Google的MapReduce模型是由Hadoop来完成的，Google的MapReduce最开始用在的地方是在搜索引擎里的并行计算，它的两个主要部分是：Map（映射）和Reduce（化简），MapReduce就是由这两个词组合而成的，因此就变成了一个分布式计算框架。在实际过程中，并行计算非常繁杂，而且有些还是运行在庞大的集群上，所以MapReduce就可以将他们抽象出来到这两个函数中，Map和Reduce进行下一步的处理。MapReduce工作思路是将未处理的数据集（或任务）分解为多个小的数据集（或小任务）然后发送到集群节点中执行，每台计算机节点再处理自己的那部分信息，MapReduce则迅速整合这些反馈并形成答案，简单说就是任务的分解和结果的合成。如图2所示。

输入数据->Map分解任务->执行并返回结果->Reduce汇总结果->输出结果

4 大数据与视频监控

目前全国各个城市都建设了大量的视频监控系统，如何在海量的摄像头及录像数据中预防、发现、调查恶性事件变得非常重要。行业预期通过对视频数据进行分析，挖掘视频数据中可疑人员的人脸、行为轨迹、动作、打扮及车辆车牌、车身颜色、号码、轨迹、违章等信息，以实现对未发事件的提前预防、正发生事件的应急响应及已发事件的快速调查。

海量和非结构化数据是视频监控数据的两个核心的特征。随着视频网络化、移动化、高清化、数字化的发展，视频监控数据是越来越巨大，而且是呈指数级别增加的趋势。以音视频及图片为主的非结构化数据增长的趋势尤为明显，传统的视频监控数据管理越来越难以满足这个时代大数据的要求。

4.1 高清视频监控尚存在的问题

4.1.1 海量数据如何存储和拓展的问题

视频监控系统24小时工作的特征使其源源不断地产生大量数据，高清视频监控系统视频数据流量更大，传统集中存储模式下，需要基于现状并考虑未来一段时间扩展需求进行部署，这样的部署不利于系统后期扩大存储的设计。视频监控系统的存储和拓展必须能够随着技术的进步而动态的，而且可以保持现有的系统不容易损失严重。存储若采用分布式存储架构，则可以进行灵活地扩展部署。

4.1.2 海量数据如何计算和分析的问题

海量视频数据智能分析的有效性将是未来大型安防监控系统的重要指标。对于地铁、机场及平安城市等公共安全监控系统，一旦发生事故，成千上万的摄像机录像需要检索或者回放，即使常态下未发生事故时，也需要对视频数据进行分析、提取及信息挖掘。传统集中存储及串行分析的模式下，效率较低，耗时较多而无法满足事故发生后快速调研判断的需求。分布式计算系统架构可以并行同时在多个节点进行计算，以解决此问题。

4.1.3 系统高可靠性和冗余问题

海量视频存储，尤其是金融及其他重要应用，存储周期较长，而一旦发生事故，要求视频录像数据保证可用，这要求视频数据的存储备份具有高可靠性。传统视频存储利用DVR或NVR进行存储，并利用存储备份服务器进行二次备份，操作控制监控设备显得复杂得多。

4.2 大数据视频监控优势

以Hadoop为主的大数据技术，核心特点是分布式存储架构（HDFS）及分布式计算框架（MapReduce）。Hadoop架构非常适合一次写入，多次读取、高效计算、海量数据的存储及分析计算，而高清网络视频监控应用正好契合这些特点，视频监控资源通过网络进行分布存储〔到不同节点〕，视频数据一旦写入，很少需要修改，但是可能需要多次读取〔录像回放〕，并有高效计算需求〔视频实时分析及二次分析、检索等需求〕。

基于Hadoop大数据架构，高清视频监控系统性能大大增强：

4.2.1 扩展更加灵活

基于Hadoop的分布式系统架构，可根据后期需求进行灵活扩展以满足不同阶段的需求，而不必在初期进行大而全的投资，系统节点的添加和删除、节点任务的转移非常灵活。

4.2.2 系统延续性高

虚拟化及大数据技术架构对底层硬件设备的要求并不高，在HDFS的集群中，可灵活进行集群及节点的布置，相关的数据节点所需的硬件价格更加低廉，可靠性可以由软件技术来保障，可以不需要采用价格昂贵的硬件，使之价格大大的降低。

4.2.3 数据分析和数据挖掘技术效率更高

数据分析能让我们从大数据中分析出很多有价值的信息。数据挖掘则是让我们能从大数据中发现某种过程，某种关系，某种模式，某种趋势，某种规律，进而为领导层提供决策的依据，使得高清视频监控的使用更加高效。常用的数据挖掘方法主要有分类分析、关联分析、聚类分析、神经网络等。

5 结束语

随着视频监控的发展，再加上IT新技术的应用与融合，以Hadoop大数据技术在视频监控系统领域的作用更加突显，保障着各个领域的安全。

参考文献

[1]巴丽娟.大数据应用架构下视频监控云存储发展[J].中国公共安全（综合版），2014（9）：131-134.

[2]林青.云领安防大数据时代——安防大数据时代下的视频监控解决之道[J].中国安防，2013（9）：38-42.

[3]李涵.大数据技术：助力视频监控迈入“智能安防时代”[J].城市建设理论研究（电子版），2015（9）：3720-3721.

[4]西刹子.安防天下：智能网络视频监控技术详解与实践[M].清华大学出版社：第1版，2010.

[5]雷玉堂.安防&智能化：视频监控系统智能化实现方案[M].电子工业出版社：第1版，2013.