安防云存储技术在智慧城市中的应用

夏伟 吴翔 张文超

摘要：高清视频图像资源需求逐渐扩大，导致智慧城市存储系统出现数据稳定性不足、数据检索慢、数据管理分散等问题。基于此，文章介绍了安防云存储技术的概念及特点，详细分析了如何实现多种复杂信息的统一存储、分布式存储资源的统一管理、海量数据的分析和快速检索，并结合智慧城市视频监控系统的实际需求，探讨了应用安防云存储技术的路径。

关键词：云存储技术；视频监控系统；智慧城市

中图分类号：TN948.6  文献标志码：A

0 引言

近年来，智慧城市高清视频监控系统规模快速扩大。传统的DVR或NVR存储已经难以满足大规模集中存储的要求。大规模的IP SAN集中存储建设已经成为主流。随着视频、图片、数据等信息的快速增长，海量数据的快速检索需求对存储系统的性能提出了更高的需求，基于云存储的解决方案也已经逐渐实现应用。视频存储设备是整个视频监控系统的基石，提升存储设备的稳定性和可靠性，会大大提升整个监控系统的负载和吞吐能力，同时也能适应高清和智能监控的需要。

1 安防云存储的概念及特点

1.1 安防云存储的概念

“云”是一种“资源池”，由一些可以自我维护和管理的虚拟计算资源构成，通常是一些大型服务器集群，包括计算服务器、存储服务器、宽带资源、软件和应用等。安防云存储是指针对安防行业视频图片业务场景进行深化设计，基于分布式架构实现的文件存储系统可以提供对象语义或文件语义。

云存储系统的结构模型包括存储层、基础管理层、应用接口层3个层次。

存储层是DAS、NAS、SAN等物理存储设备，也是云存储架构的最基本层。

基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，集合了多种存储设备的性能对外提供服务。

应用接口层提供多种存储接口，实现数据的接入和各系统之间的对接。

1.2 安防云存储的技术特点

（1）拓展性强，采用云存储技术架构可实现无缝在线扩展。集群存储系统，已经突破了NAS、SAN、等传统产品的各种限制，真正实现了用户数据的云存储管理。（2）高可靠的跨节点冗余［1］，提供整体高可靠性。采用独特的冗余算法，进行数据保护，保证数据与冗余数据分配到集群的不同的机器上，避免系统中任何部件损坏、服务器损坏、网卡损坏，均可保证数据安全可靠并自行恢复到健康节点，业务不受影响无需停机维护。此外，提供高聚合带宽，满足高并发音视频点播需要。

2 智慧城市視频监控系统存储中遇到的问题

大规模数字化高清智慧城市系统的建设涉及海量视频、图片等信息的采集、存储、分析和使用过程。

随着智慧城市对于高清视频图像资源应用需求的不断提升，对于存储系统的需求已经不仅仅是提供大容量的可靠性存储［2］。更重要的是需要实现多种复杂信息的统一存储、分布式存储资源的统一管理、高效及可靠地实现大量信息的记录、实现海量数据的分析和快速检索。视频监控系统存储中常会遇到如下问题。

2.1 数据稳定性不足

传统存储设备采用的是NVR、IPSAN磁盘阵列等设备堆叠方式，各存储设备之间相互独立，缺乏冗余机制，单台设备故障情况下会出现数据丢失，进而影响到存储数据的稳定性。

2.2 系统数据检索慢

智慧城市监控系统数据模式已经越来越复杂，不仅仅包括视频监控存储，还包含高清卡口、电子警察和社会资源等视频、图片、信息的存储［3］，在复杂的海量信息当中查询并提取出有效信息也会越来越困难，而检索的效率与存储架构和文件系统设计直接相关。

2.3 数据管理分散

由于数据包含视频、图片、信息，而管理系统分别对应多种数据系统，各系统之间相互孤立，缺乏有效联动，进而影响数据的有效管理。

2.4 磁盘故障率高

近年来，磁盘容量急剧增大，大容量磁盘在带来高性价比的同时，也使得磁盘数据的安全问题愈加明显，其中最突出的就是磁盘故障率过高。磁盘的制造过程十分复杂，工艺十分精密，过度的碰撞和长期工作在震动环境下极易造成磁盘盘片与磁头结合不严密，甚至有磁头断裂的现象。如果磁盘在工作时所受到的冲击和振动超出了磁盘所能承受的范围，磁盘的磁头就会撞击其磁盘面，导致磁盘面受损，磁盘失效。有统计数据表明，机械损伤造成的失效磁盘数量约占失效磁盘总数的一半。

3 安防云存储系统的关键技术实现

安防云存储系统是基于分布式架构实现的，原理是将数据分散在所有的存储节点上，并且由云存储客户端直接与存储节点进行数据读写通道的链接［4］，使云存储服务器在数据存储与读取过程中，同时会有多台存储服务器对应用服务器的需求进行响应，形成一个多对多数据访问通道，大大提升数据读写带宽，提高计算工作效率，Ceph采用Crush算法替代分布表，最大化地分离数据与元数据管理，缓解Hash算法处理存储设备增删时带来的数据迁移问题。其中，关键技术涉及以下几个方面。

3.1 数据切片和I/O聚合带宽

以写入一段0～30min的录像文件为例，当写入模式为非冗余模式，元数据的调度策略为配置成离散分布模式，此时数据会根据分片策略，如5min粒度，分散写入不同的存储节点，读取该文件时客户端会从云存储数据管理服务器中获取到该文件的映射模式，并发地从多个存储节点中同时读取，形成类似迅雷下载一样的并发效果，成倍提升读取速率，这种模式对读取而言完全是一种线性的带宽和计算能力聚合的过程。非冗余策略的另一个优势是，由于数据的离散分布，避免了对某一个客户端数据分布过于集中，当节点失效时损失过大的问题。存储节点I/O聚合带宽，云存储系统中大量的数据I/O请求都被分散到多台存储节点上，使得所有的存储节点上的磁盘性能和网络带宽都可以同时得到充分利用，这样云存储系统的聚合带宽由多台的存储服务器上的I/O带宽相加而成，可以满足多台计算应用节点并发访问的带宽需求。I/O聚合带宽如图 1所示。

3.2 海量数据分布存储技术

由于监控原始视频图片源源不断产生，为了保证数据稳定可靠，需要应用全栈对象存储支撑技术。对于图片存储而言，由于其海量元数据、访问性能、存储效率等方面面临巨大的挑战，通过元数据压缩编址、序列化命令队列（Serialization Command Queue， SCQ）等技术，可以提高图片存储吞吐量并达到视频存儲的速率要求，且通过直接寻址技术，可有效解决海量图片的快速检索问题。

3.3 海量数据管理技术

目前主流云存储系统由如下组件组成，元数据管理服务器（Mdserver）、存储数据节点（Ndserver）、存储服务客户端（ClientAPI）。这种分层管理技术，引入智能路由（元数据管理服务器能智能地根据最短最优以及存储服务质量评价技术来选择存储路径），并通过数据传输技术，使得单个存储节点性能最大化。同时，极大地降低元数据管理服务器的负荷，使得单台元数据管理服务器能管理上千台存储节点，而且在中心存储管理节点异常的情况下，存储业务也能维持不中断。数据分层管理技术如图2所示。

3.4 防震、防尘、防腐蚀技术

磁盘的制造过程十分复杂，工艺十分精密，虽然各大磁盘厂商都在磁盘中加入了防震抗摔功能，但碰撞和震动依然是困扰磁盘的几大杀手之一。因此，在使用3.5 inch磁盘时必须尽量减少外界冲击振动对磁盘的伤害。

3.4.1 在磁盘模块结构件上做减震措施

磁盘减振结构如图3所示，在拉手条和磁盘之间加有一条缓冲垫，称之为阻尼减振垫片，阻尼减振垫片是由一种能够吸收冲击和振动的弹性体材料做成的，隔断了从拉手传到磁盘的震动。

3.4.2 风扇模块的减震

在PCB固定支架（图4中透明零件）与风扇盒底座之间也有缓冲垫，即黄色椭圆形标示的零件。风扇的震动传到风扇盒底座，由于缓冲垫的作用，震动不能传递到PCB支架、PCB以及背板，因此不会影响到磁盘，到达防震的作用。

3.4.3 防尘结构设计

灰尘也是磁盘应用中遇到的比较多的问题，有些环境比较恶劣，灰尘较多，导致磁盘及板上器件堆积灰尘，从而导致设备和磁盘工作不正常或者失效。

为了防止严重的粉尘造成磁盘故障率偏高现象，在入风口面板处设计可更换的防尘网，当防尘网堵塞严重时，系统检测到磁盘温度偏高，会发出告警。

4 安防云存储技术在智慧城市中的应用

智慧城市视频监控系统是为公安、交警、政府等部门提供基础视频图像来源，视频存储作为图像数据和报警事件记录的基础载体。大容量、高并发的视频监控存储系统并不是存储设备的简单堆积。依托于云存储技术应用的视频监控系统，更高的存储设备容量能够有效应对当前数据海量化、快速增长的趋势［5］。

为解决视频、图片等业务数据存储的安全性、稳定性等问题，提升数据的检索能力，本文引入云存储技术提升系统的可靠性和效率，实现多种复杂信息的统一存储，分布式存储资源的统一管理，高效及可靠地实现大量信息的记录，实现海量数据的快速检索和分析。因此，安防云存储技术可在全国范围内智慧城市中得到广泛应用。

参考文献

［1］刘孔涛.关于云存储的视频监控系统研究与实现［J］.信息系统工程，2018（1）：43.

［2］郭向前，乔慧聪.浅谈基于云存储技术的视频监控系统在油田生产中的应用［J］.云南化工，2017（12）：33，49.

［3］赵云.智能视频监控系统在城市轨道交通的应用与发展趋势［J］.科技创新与应用，2016（34）：250.

［4］李培岭.基于RTSP无线流媒体在油田视频监控中的应用研究［D］.济南：山东大学，2015.

［5］薛超.浅析云存储在监控领域的发展和简单应用［J］.中国公共安全，2017（增刊1）：124-126.

（编辑 李春燕编辑）

Application of cloud storage technology in smart city monitoring system

Xia  Wei， Wu  Xiang， Zhang  Wenchao

（School of Electrical and Electronic Engineering，Wuhan Institute of Shipbuilding Technology， Wuhan 430050， China）

Abstract：  With the expansion of the demand for high-definition video image resources， the data stability of the smart city storage system is insufficient， the data retrieval is slow， and the data management is scattered. Based on this， the article introduces security cloud storage technology， detailed analysis of how to achieve a variety of complex information unified storage， unified management of distributed storage resources， mass data analysis and rapid retrieval， and combined with the actual needs of smart city video surveillance system， discusses the application of security cloud storage technology path

Key words： cloud storage technology; video surveillance system; smart city