基于Hadoop云存储高速公路远程视频监控系统的研究与设计

( ， 710077)

1 引言

高速公路与其它类型公路相比，具有线型好、设计标准高、交通流量大、行车速度快等特点，如不采用先进的管理措施，在交通量大、气候恶劣的情况下，极易发生交通事故和交通阻塞。为此，需要在一些车流量非常大的高速公路上部署全程的监控系统，通过上述监控系统能实时对监控路段内的交通流量和交通运行状况进行监视，并能对所监控路段的天气状况进行检测，以便交管部门能及时、快速地对关键路段实施适时的交通管理措施，及时发现各种异常情况并采取应急措施，以保证高速公路高速、安全、经济地运营管理。

Hadoop是一个分布式系统基础架构，用户可在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System，HDFS)。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上，而且它能提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，这样可以流的形式访问文件系统中的数据。因而，现如今缺少一种结构简单、设计合理、安装布设方便且使用操作简便、使用效果好的基于Hadoop的高速公路远程视频监控系统，其能简便、快速且有效完成对高速公路上需监控路段的交通流量和交通运行状况进行实时监控。

2 云计算与云存储

2.1 云计算

云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通[1]。

2.2 云存储

云存储是在云计算概念上延伸和发展出来的，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时[2]，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

3 基于Hadoop的云存储系统

3.1 Hadoop简介

Hadoop 是一个对海量数据作出分布式处理的软件框架，是由Apache基金会开发管理的，开发者在不需要了解具体的底层细节的情况下就可以开发分布式应用，充分利用Hadoop 提供的海量数据存储和处理能力[3]。作为一个开源的分布式文件系统，可以部署在很便宜的PC机器上进行集群管理。

3.2 Hadoop系统结构

Hadoop 最初是起源于 Apache Nutch 开源网络搜索引擎项目的一部分，主要实现了一个分布式文件系统 HDFS 和并行运算软件框架 MapReduce[4]。

随着人们对Hadoop的关注越来越密切，又开发出一些子项目提供配套服务，逐渐发展为如下的一些子项目[5]，如图1所示。

图1 Hadoop结构框架

Core：主要是分布式文件系统相关的一系列的通用 I/O 接口和组件[6]。

Avro：是一种跨语言 RPC 数据序列系统，提供持久化的数据存储。

HDFS:具有高容错特性的分布式文件系统，提供集群支撑技术，由数据节点、名字节点等核心组件构成。

MapReduce:一个分布式数据处理框架，在计算时先是把一个任务分解为多个子任务，这些子任务分别处理后的结果再汇总在一块就是最后的分析结果。

ZooKeeper:一个分布式高复用性的协调服务，主要提供分布式锁之类的辅助服务，用于构建其他的分布式应用程序。

Pig:这是一种数据流语言和运行环境框架，主要是用来检索非常大的数据集合，它的正常运行主要依赖于 HDFS 和 MapReduce[7-8]。

ChuKwa:一个分布式数据收集和处理系统，主要是运行 HDFS 中存储数据的收集器，然后使用 MapReduce 分析生成数据报告。

Hive：一个分布式数据仓库，主要功能是来管理 HDFS 中存储的数据，然后提供了基于 SQL 的查询语句。

HBase：一个分布式的基于列存储的数据库系统，它使用 HDFS 作为底层存储，同时也提供了支持 MapReduce 的批量式计算和点查询机制。

3.3 HDFS 设计理念

HDFS是一种通过流式数据访问模式进行海量数据存储的基于网络的文件系统，用户可以创建、移动、删除和重命名文件。HDFS的设计理念如下[9]：

3.3.1 海量数据

海量数据指的是大小有几百GB甚至是几百TB的数据文件，随着信息化办公的加剧，数据的积累必将越来越大。

3.3.2 小文件众多

每个文件的索引目录以及块大约上百个字节，如果存储百万数量级的文件，每个文件占有一个块大小，就至少需要百兆的内存索引，索引超出了目前单个磁盘存储的能力。

3.3.3 数据低延迟访问

HDFS的设计是针对高数据吞吐量的，就必然会以延迟访问为代价，所以一般要求延迟性低的应用不适合。

3.3.4 流式数据访问

由于HDFS中的数据量级是TB和PB，这些数据不会经常的修改，最常用的就是读取处理。文件只有一个写入用户，操作还在文件末尾进行，不支持多个写入者。

3.3.5 容灾机制

HDFS不需要专用的高配置硬件，在一般机器上就可以完成集群的安装配置，可以快速对故障进行检测和自动修复。

3.3.6 透明性

如果HDFS设置成本地文件系统，那么读写分布式资源的程序可以不用修改地读取本地文件，要做修改的就是配置文件。

4 基于Hadoop云存储高速公路远程视频监控系统的应用研究

4.1 采用的技术方案

图2 基于Hadoop云存储的高速公路远程视频监控系统方案图

本系统采用的技术方案，如图2所示。包括分别布设在多个需监控高速公路路段上的视频监控装置、对多个视频监控装置所采集视频信息进行存储的云存储平台以及布设在交通管理部门监控室内的上位监控装置，多个视频监控装置与云存储平台之间均以无线通信方式进行双向通信；云存储平台为分布式计算处理服务器集群，包括多个分布式计算处理服务器，视频监控装置与多个分布式计算处理服务器之间均以无线通信方式进行通信；视频监控装置包括外壳和安装在外壳内的电子线路板，电子线路板上设置有数据处理器及分别与数据处理器相接的电源模块和无线通信模块一，外壳上安装有视频采集单元，视频采集单元与对其所采集视频信息进行去噪与增强处理的视频处理电路相接，视频处理电路与数据处理器相接；多个分布式计算处理服务器上均接有与无线通信模块一进行双向通信的无线通信模块二；上位监控装置包括与多个分布式计算处理服务器进行双向通信的上位机和与上位机相接的电视墙。

4.2 基于Hadoop云存储高速公路远程视频监控系统的特征

(1)视频监控装置包括移动支架和安装在移动支架上且能带动外壳在水平面上进行旋转的电动旋转座，外壳安装在所述电动旋转座上。

(2)视频监控装置包括布设在外壳上的GPS定位单元，GPS定位单元与数据处理器相接。

(3)视频监控装置包括与数据处理器相接的计时电路。

(4)上位机与多个所述分布式计算处理服务器之间均通过ADSL网络进行双向通信。

(5)数据处理器为ARM微处理器。

(6)上位机与对交通管理人员进行调度的调度主机相接。

4.3 基于Hadoop云存储高速公路远程视频监控系统的优点

本系统与现有技术相比具有以下优点：

(1)结构简单、设计合理且安装布设及接线方便，投入成本较低。

(2)使用操作简便且智能化程度高。

(3)使用效果好且实用价值高，能实时对监控路段内的交通流量和交通运行状况进行监视，并且通过所采集视频信息能对所监控路段的天气状况同步进行检测，以便交管部门能及时、快速对关键路段实施适时的交通管理措施，及时发现各种异常情况并采取应急措施，以保证高速公路高速、安全、经济地运营管理。

综上所述，本系统结构简单、设计合理、安装布设方便且使用操作简便、使用效果好，能简便、快速且有效地对需监控路段的交通流量和交通运行状况进行实时监控。

5 结语

针对上述现有技术中的不足，提供一种基于Hadoop的高速公路远程视频监控系统，其结构简单、设计合理、安装布设方便且使用操作简便、使用效果好，能简便、快速且有效地对需监控路段的交通流量和交通运行状况进行实时监控 。

[1] 徐强,王振江. 云计算：应用开发实践[M].北京:机械工业出版社,2012：1.

[2] Jadeja Y, Modi K. Cloud computing - concepts, architecture and challenges[J].Computing, Electronics and Electrical Technologies (ICCEET), 2012(3): 877 -880.

[3] 申红芳，罗四维，赵宏.集群计算系统的模型结构[J].计算机应用研究，2004(2)：52-55.

[4] Ghemawat S，Gobioff H， Leung S.The Google File System[C]//In Proceedings of the19th ACM Symposium on Operating Systems Principles.Lake George:NY,2003：3-7.

[5] 汪锐.基于 Hadoop 的公安系统信息存储平台[D].上海：上海交通大学，2012：15-17.

[6] DeClute G，Varda A， Thompson M. File Index System for Mass Storage Device[M].US：Patent，1991：1.

[7] Rajkumar Buyya.高性能集群计算[M].北京：电子工业出版社，2008：10-46.

[8] Gibson G，Nagle D，Amiri K,et al. A Cost-effective，High-bandwidth Storage Architecture[M].ACM：SIGPLAN Notices，1998：3.

[9] 赵姗.集群系统作业调度优化技术研究与实现[D].西安：西北工业大学，2006：20-52.