云存储技术在公安领域的应用

文/褚兰超

云存储技术在公安领域的应用

文/褚兰超

云存储是分布式存储技术与虚拟化技术结合的产物，是分布式存储技术的最新发展。本文解析了镇江公安信息化建设面临的挑战，并介绍了云存储的含义和架构，并且和传统存储的优缺点进行了对比分析。在视频监控和执法记录等业务中的应用，解决容量和性能扩展困难等问题。

分布式存储 云储存 SAN+共享软件

某市道路监控系统已接入千余路视频、日过车图片量达200万，该系统在视频专网所记录的视频及图片是基于传统磁盘阵列进行存储，随着城市规模不断扩大和新的安全管理需要，道路监控规模逐年增大，原有系统存在诸如容量和性能扩展困难等问题。同时，公安内网中执法记录及审讯等需要大存储空间的应用系统也均存在着存储空间与性能不足，急需扩容的需求。

1 原系统存在问题

1.1 缺少存储空间

视频专网：道路新增扩容后每日过车量将增加到600万。按照视频保存1个月，图片保存2年的要求，将现有所有点位接入后共需5000TB的存储空间与54台视频接入服务器。而现有存储空间仅928TB。

公安内网：仅现采集的警情执法记录月增长量约为8TB左右，每年产生约100TB的执法记录数据。

1.2 设备单点故障问题

原有数据接收服务器无高可用设计、存储也是由单台磁盘阵列提供，系统存在很大的设备故障风险：如果数据接收服务器故障将导致整个区域数据无法接收和保存下来，ISCSI磁盘阵列故障也将导致整个区域数据无法接收和保存下来。

1.3 存储容量和性能扩展性问题

随着使用量规模的扩大，原有传统磁盘阵列的存储模式在性能和容量方面很难有效扩容以适应规模的增长。在大规模视频、图像接入和用户高并发访问时，由于存储系统的瓶颈而导致的读写性能问题日益突显出来。

2 云存储的架构设计

鉴于现有系统对存储系统的需求，同时考虑到未来的项目建设方向。方案设计采用分布式云存储系统，分别在视频专网和公安内网部署云存储。如图1。

2.1 各模块设计

2.1.1 性能设计

每一个过车记录都会产生一张过车图片数据，很快产生的碎小文件数可达百亿级，方案采用全对称分布式架构，无独立元数据服务器设计，避免独立元数据服务带来的单点故障和性能瓶颈问题，即使大量数据存储的情况下，仍能保持良好的存储性能，确保在海量文件中能够快速读取需要的文件。

2.1.2 可靠性设计

系统提供M+N节点级冗余保护级别。云存储系统内置完整的故障恢复流程，消除了单点故障。集群中的硬件故障和人为误操作都会以正常的恢复流程进行自动处理，整个流程对用户完全透明。高可用机制保证了该系统能够7×24h不间断的提供稳定的存储服务。

2.1.3 远程数据同步设计

云存储系统内置全局文件系统，具备跨广域网的卷同步功能。全局文件系统负责统一管理分布存储在物理上完全独立的各个数据中心中的所有数据，智能决策数据在各个数据中心的布局以及数据在数据中心之间的自动迁移，充分发挥由各个数据中心构成的整体平台架构的服务能力。

全局文件系统的基本目标有两个：

（1）为在分布式环境下的应用提供简单的访问环境，本套系统完全可以采用本地访问的模式使得应用在分布式环境下高效运行。

（2）为高效的存储提供智能化的存储及管理支撑，通过全局文件系统的功能可实现跨地域的统一管理，满足业务未来对存储系统的要求。

2.1.4 扩展性设计

图1：方案设计图

图2：整合后用户应用的示意图

存储系统具有弹性能力，意味着可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源。考虑到系统未来系统的扩容，服务器及存储硬件扩容要求不受品牌锁定和限制，连接存储的服务器客户端要求没有数量限制。

2.1.5 整合利旧性设计

云存储管理平台采用挂载IP-SANFCSANNAS等其它存储空间的方式，整合IPSANFC-SANNAS等原有存储资源，实现旧有设备的再次利用以及存储资源的池化，进而实现对存储资源统一管理、统一规划、统一分配和资源共享。云存储整合磁盘阵列存储示意图如下：原阵列存储的卷空间分别分配到云存储的各个节点上，实现负载的均衡。

整合后用户应用的示意图如图2。

3 和传统存储架构的对比分析

传统存储架构主要包括直连存储(DAS)、存储区域网络(SAN)、网络附加存储(NAS)以及在他们基础上衍生的一些新技术。存储架构最根本的区别在于：存储格式，如块数据或文件；存储与应用之间的控制流和数据流方式。存储格式定义了访问方式，以及访问共享数据时的机制、同步和安全。控制/数据流方式则定义了为带宽准备的并发机制。存储架构不同最终决定了存储系统的性能和扩展性。

3.1 SAN+共享软件捆绑NAS功能

SAN+共享软件的实现方式。该架构将集群分为计算节点和I/O节点。I/O节点作为一个整体通过IP网络为所有计算节点提供数据存储服务，I/O节点之间采用节点间共享的SAN存储，因此需要配置SAN共享的软件。

采用SAN+共享软件的实现方式，虽然可以满足聚合存储带宽的目的，但是不能满足公安行业应用系统对高扩展性、高安全性的要求。

3.2 通用NAS解决方案

通用NAS存储实现方式。该架构实现比较简单，部署1台或多台NAS磁盘阵列，作为文件服务器，连接至LAN以太网，供前端服务器共享访问。此方式虽然可以满足管理简便，易于使用的目的，但由于此架构的限制只能做到RAID级别冗余，不能满足公安行业对高可靠性、高安全性、高性能的要求。因此，此种方案同样也不适合本项目建设需要。

4 云存储解决方案的价值

云存储系统主要优势是高速，即聚合所有硬盘及网络带宽，提供存储服务。还有就是安全，可实现节点级安全；除此之外，结合项目情况与云存储系统特点，本方案的价值如下：

4.1 海量文件高速读写检索

云存储系统可支持EB级存储空间，高效的管理上百亿个文件，单目录可以高效支持千万级的文件数量。

4.2 扩展性价值

采用基于横向扩展机制设计的的分布式云存储系统，可扩大容量；同时，存储系统处理性能呈线性增长，也可实现在不影响前端业务应用的情况，进行无缝的扩容。

4.3 对整套方案架构的价值

实现存储层数据同步，减少网络中数据流占用的带宽及应用主机过多的处理数据交换问题，有效地提高网络及应用主机的使用效率，为紧急事件争取了宝贵的时间。

4.4 长远角度分析对老旧设备进行整合的价值

基于云存储技术可实现对老旧设备的整合，保护原有投资，提高资源利用率。

5 结论

面对海量数据的增长，企业如何提供足够的空间去存储数据？对于资源有限的单位或企业来说，云存储是一个很好的解决方案。云存储是一个以数据存储和管理为核心的云计算系统。云存储系统将多种存储设备、多应用、多服务协调工作，不同存储设备之间通过集群技术、分布式文件系统等，实现多个存储设备之间的协调工作，对外提供同一种数据访问服务，并提供更大更好的海量数据访问性能，提高数据的安全性，整合现有计算和存储资源，降低数据的管理成本，满足未来的弹性部署扩展。

作者单位 镇江市公安局 江苏省镇江市 212000

褚兰超（1980-），男，江苏省镇江市人。大学本科学历。研究方向为计算机。