面向监控系统的大数据云存储系统的设计与实现

孙林林

摘要： 随着海南自由贸易港的建立，洋浦港在“面向东南亚的航运枢纽港、石油化工、浆纸一体化和油气储备基地”的“一港三基地”的作用愈发重要，港区的发展，业务量的增加，急需部署一套视频监控存储系统。本文从项目背景、用户需求进行分析，根据系统设计原则、建设内容，提出了规划设计方案，完成了洋浦港区口岸服务中心的监控系统的优化。

Abstract： With the establishment of the free trade port in Hainan， the role of Yangpu Port in the "one port and three bases" for "shipping hubs， petrochemicals， pulp and paper integration， and oil and gas reserve bases for Southeast Asia" has become increasingly important. With the development of the port area and the increase of business volume， it is urgent to deploy a video surveillance storage system. This article analyzes the background of the project and the needs of the users. According to the system design principles and construction content， it proposes a planning and design plan and completes the monitoring system optimization of the port service center in Yangpu Port Area.

关键词：监控系统；大数据云存储；优化

Key words： monitoring system；big data cloud storage；optimization

中图分类号：TN954 文献标识码：A 文章编号：1006-4311（2018）26-0215-03

1 项目概述

洋浦港区口岸服务中心已经分两期建设了视频存储系统，已经实现了初步的视频存储统一管理。为了能够承载新增的高清视频录像存储业务与视频智能应用业务，需部署一套视频监控存储系统，并且新增的存储系统需要能够整合现有的存储系统，实现旧设备的再次利用以及存储资源的池化，统一管理、统一规划、统一分配和资源共享存储资源，不仅简化了应用缓解，也大大节约了用户建设成本，同时提供更强的存储和共享功能。为了实现视频监控数据高效、稳定、快速的存取服务，并实现便捷、可靠的统一管理及运维，提高社会治安防控体系水平，加快新建扩建、视频资源的共享和应用业务的整合。

2 用户需求

2.1 可靠性需求 随着容量和存储设备的增加，视频监控数据的来源越来越多样化，需要保证海量监控数据存储的安全性和可靠性是传统视频存储面临的巨大挑战，在满足数据可靠性的同时，还需要更高的硬盘利用率，避免牺牲大量的存储空间（原始数据几倍的存储空间）来满足数据可靠性要求。并要求存储系统具备7×24小时的不间断写入的能力。在系统运行的过程中，运行压力的持续或加大系统能够通过集群技术、虚拟化技术动态自动调整业务压力，将业务响应的压力进行分散来减少单点压力过大。

2.2 扩展性需求 能够提供海量存储和高速读写性能，以应对数十PB级的视频存储需求；能够快速扩容，在动态调整具体监控区域的存储资源时要求能够做到良好的靈活性，不但能够增加存储资源的配给，也能够减少存储资源的配给工作，充分体现出良好的扩展性，并且扩容后性能随容量同步提升，设备一旦融入云存储系统后立即可用作为整体存储资源的一部分进行调用，在扩展存储设备时要求能够支持对接标准第三方存储设备；保证在线系统增加、减少设备时业务不中断；存储系统部署方便，无需复杂的配置，可快速支持业务运行。

2.3 可用性需求 提供海量存储空间、提高I/O吞吐能力以及保障数据安全后，为了确保数据得到持续有效的保护并且随时可用，存储系统的运行维护至关重要，直接决定了业务系统的持续运行能力。良好的可用性，将复杂的应用、繁琐的操作流程简单化。提供相应的大容量存储系统的集中化管理软件，用户在唯一的界面上就能够准确并安全地进行配置、部署、监控整套存储系统，简化存储系统的安装、配置、监控、日常维护和故障处理，能够为用户对设备状态、资源、报警、升级、扩展，维护方面提供便捷。

2.4 资源整合需求 新增存储系统可整合原有的IP SAN存储资源，实现旧有设备的再次利用以及存储资源的池化，进而实现对存储资源统一管理、统一规划、统一分配和资源共享。整合后的云存储资源需要具备云存储高性能，跨节点冗余技术，横向扩展能力，便捷维护等特性且流媒体服务器能正常访问并进行数据读写磁盘空间，用户无须关心空间是通过怎样的方式提供的。

2.5 系统兼容性需求 由于存储系统前端采用的视频服务器/流媒体服务器等会存在多种可能的操作系统，也可能是不同服务器厂商的不同型号产品，因此存储系统需要具有广泛的操作系统兼容性和与不同型号主机的良好互操作性。不能出现对主流的服务器和操作系统的兼容性问题，因此存储系统要能提供和支持标准的协议和接口等。此外，为了便于整体的运维系统平台搭建，存储系统需要按照国内外相关的技术标准与规范，提供标准的API 接口，以支持构建统一的视频管理集成应用平台。

2.6 大数据分析需求

①视频存储系统除了需要满足基本的视频采集、传输、存储，回放等业务以外，还需要满足智能分析、视频转码、视频摘要、全局检索、视频归档、时空重构等多种智能化的应用需求，存储系统必须满足 Paas 层大数据与云计算业务平台核心性能需求。②视频存储系统需满足兼容 Hadoop大数据处理标准接口与 Openstack 云计算接入标准，且能够为其他业务应用提供不同性能资源池。③视频存储系统需提供海量大数据计算基础资源池，为智能分析系统提供高性能，高可靠，统一标准接口的数据资源，保证视频图像资源的智能化运用。④随着云计算发展，视频存储系统能够灵活满足不断增长的存储性能与计算性能的需求。结合上述需求，本次建设将采用云存储扩容和优化管理。

3 系统设计原则

通过对用户视频监控存储平台的需求了解，结合存储系统的应用特点，在建设过程中应当遵循如下原则：

3.1 安全可靠性原则 系统支持分布式架构；系统支持从硬件层面，数据层面到业务层面高可用，满足可用性原则；系统支持存储系统集群，满足高可靠性需求；系统具备充分的数据冗余，数据容错能力；系统具有专业的技术保障体系以及数据可靠性保证机制；系统在存储节点损坏时（包括硬盘，机柜的故障），不会丢失数据；系统在发生数据损坏时，有数据自愈能力；对工作环境要求较低，环境适应能力强；确保系统具有高度的安全性，提供安全的登录和访问措施，防止系统被攻击；异常掉电后不丢失数据，供电恢复后自动重新启动并自动恢复正常连接；系统器件选择要考虑能支持 7×24小时连续长时间大压力下工作。

3.2 扩展性原则 系统易于扩展，支持 EB 级数据存储；系统在容量扩展时，性能得到提升；系统选择标准化的部件，利于灵活替换和容量扩展。

3.3 先进性原则 系统必须严格遵循国际标准、国家标准和国内通信行业的规范要求；需符合存储技术以及 IT 行业的发展趋势，所选用的产品型号已规模上量；所有的系统处于先进的技术水平，确保较长时间内技术上不落伍；系统的处理能力要达到业内领先，对于本次业务的使用要留有一定的余量，以满足后续升级的需求。

3.4 开放性原则 系统必须支持国际上通用的标准网络存储协议、国际标准的应用开放协议；与主流服务器之间保持良好的兼容性；兼容各主流操作系统及应用程序；可以与第三方管理平台集成，提供给客户定制化的管理维护手段；满足今后的发展，留有充分的扩充余地。

3.5 易维护性原则 系统支持简体中文，通俗易懂，操作方便、简单；系统具有充分的权限管理，日志管理、故障管理，并能够实现故障自动报警；系统设备安装使用简单，无需专业人员维护；系统容量可按需要在线扩展，无需停止业务；系统功能扩充需要升级时，支持不中断业务升级；支持图形化界面管理方式。

4 建设内容

4.1 建设内容 ①新增5台磁盘阵列和190块硬盘，增加现有的存储容量，保证扩容的存储空间。②新增1台40K 三项UPS主机和电池柜，以满足现有机房断电后的设备持续工作。③对原有的管理系统升级，升级为云存储管理系统，以便用户更好的服务和管理。④针对1、2期改造，及本期项目的3年运维服务，要求7*24技术支持，4 小时响应，8小时到场，24小时内解决问题。本项服务费为运维服务费，不包括设备损坏更换费用。

4.2 设计思想及目标 针对洋浦港区口岸服务中心监控的需求。本期数字监控系统增加云存储 1 套、原有系统平台的升级，用来扩大港区口岸监控范围及视频存储。增加一台40K UPS，以保障现有机房断电后的持续工作。由于原有建设一期、二期的维保服务已经到期，所以在本次建设内容里增加了对原有一、二期建设的维保服务内容。本次方案，主要是针对视频监控应用场景，根据用户对容量和性能的需求，本次存储系统配置5台存储节点，190 块4TB SATA磁盘，并且NCS10000存储系统通过分布式切片及负载均衡技术，充分利用硬件和网络的性能，构造高效的数据通道，满足用户对存储容量和性能的需求。通过多端口千兆网络互连前端的应用节点和后端的集群存储节点，可以保证存储设备的性能输出达到最大化。存储节点一方面用来存放文件系统中所有的元数据信息，包括文件目录树组织、属性维护、文件操作日志记录、访问控制信息、存储位置等，管理整个系统的命名空间，对外提供单一的系统映像。另一方面用来存储用户的实体数据即视频录像数据等，当客户端访问系统时，首先访问存储节点中的元數据信息，获取将要与之进行交互的存储节点的信息，然后访问这些节点来完成数据读写，用户可以通过扩展存储集群来获得更多文件管理的能力以及更大的聚合带宽与存储容量，灵活、无缝、平滑的扩展方式让用户可以有效地控制成本。

5 视频云存储平台规划设计方案

为了解决传统视频监控系统面临的数据量大、效率低、信息孤立、可靠性差、兼容性差等问题，为了满足存储管理海量视频监控数据，保证数据安全的同时，进行简易化合理的视频监控数据的存储管理以及提高存储系统读写性能，提升视频监控数据的处理效率，将存储系统的价值发挥到最大。同有科技专门针对安防监控行业应用自主研发了一套NetStor NCS10000云存储系统。NCS10000存储系统为前端应用服务器端提供一个全局统一命名空间，方便用户数据的统一管理，减少了人力管理和维护的成本，并且数据的全局共享可以加强各计算节点之间的写作，提高了作业的运行效率。

作为海量存储系统，NCS10000能够组合上万台以上存储节点，在线扩展至 EB 级别存储容量，并可以同时管理上千亿个文件，单个目录可以满足千万级的文件数量的读写，NCS10000集群存储系统通过多存储节点集群技术和高效的海量文件检索技术，在存储上千亿个文件的同时，能够保持极高的文件检索效率。NCS10000集群存储系统通过多台存储设备，提供并行的数据存储服务，在应用服务器端向存储系统上写文件时，文件将会根据一定大小进行分片，然后存放到多台存储设备上；在应用服务器端读取文件时，则并发的从多个存储设备上读取数据，组合后供应用服务器端读取，显著提高存储的读写性能。并且NCS1000O存储系统支持动态的扩展容量，无需中断应用的运行，而且随着存储设备和数据的增多，整套系统的性能也会呈现线性的增长，完全满足用户针对业务不断发展所产生的容量和性能需求。

6 结语

本文首先分析了用户需求，根据系统设计原则、建设内容，提出了基于NetStor NCS10000 云存储系统的视频云存储平台规划设计方案，完成了洋浦港区口岸服务中心的监控系统的优化。

参考文献：

[1]施朗，艾雄军，马方方.一种面向视频监控的云存储系统设计与实现[J].电子技术与软件工程，2015（08）.

[2]赵铁柱，邓见光.面向大规模数据备份的云存储网关研究[J].计算机光盘软件与应用，2013（12）.

[3]于成龙，王梓涵.面向云存储的非结构化数据存储研究[J].计算机光盘软件与应用，2014（19）.