基于云存储的铁路综合视频监控系统方案研究

2021-03-09 01:34程智源
铁路通信信号工程技术 2021年2期
关键词:存储系统数据中心架构

程智源,严 瑾

(中铁二院工程集团有限责任公司,成都 610036)

1 概述

铁路是国家重要的交通基础设施,是关系国家发展和经济命脉的重大基础建设,兼具便民、安全、经济、高效等特点,加快铁路发展已经成为社会各方面的共识。随着铁路路网规模的不断扩大,铁路的建设逐渐演变成为一个集成化的综合工程,铁路运输指挥、生产管理、设备监控等都离不开视频监控系统。随着各业务部门的视频需求不断增加,视频监控系统向数字化、高清化的不断发展,使得视频存储硬件设备和存储数据量激增;同时,铁路视频监控数据的重要程度越来越高,视频数据的丢失所带来的损失与影响巨大,因此如何有效地管理视频监控系统的数据及设备成为铁路建设的重点和难点。

随着物联网和大数据技术的发展,视频监控存储技术也在不断的发生改变。目前,铁路综合视频存储系统的部署主要采用服务器+ 存储区域网络(Storage Area Network,SAN)存储架构,前端采集的监控数据通过服务器中的管理模块存储到 SAN设备中。由于 SAN 存储采取了集中管控的方式,数据的接入、存储和转发都依托于服务器,对服务器的承载负荷面临着十分巨大的挑战; 另一方面,铁路综合视频监控系统具有海量视频数据随机读写、单站前端图像并发压力大等特点,传统的 IP- SAN存储系统由于单一设备的局限性, 一旦发生集中回放,单一节点容易出现性能瓶颈,并且目前的存储方式无法实现存储单元之间的数据共享冗余,无法形成一个整体的安全防护系统管理。因此,传统的存储系统逐渐无法完全满足铁路综合视频监控系统不断发展的多样化需求。

云存储是一个以数据存储和管理为核心的云计算系统,通过并行计算、分布式、虚拟化等网络技术的融合,实现海量数据与资源的集中供给、多维数据融合,具有弹性扩展,负载均衡及高级别可靠性等显著优势,能够有效满足存储容量扩展、便捷共享以及统一管理等需求,可有效解决传统存储方式无法解决的一些问题,作为一种新型存储技术,云存储在铁路综合视频监控系统的建设有着可观的应用前景。

2 视频存储技术发展及应用

视频监控系统的数据及设备管理是铁路建设的重点和难点,随着视频监控系统朝着数字化、网络化、智能化方向的发展,视频监控存储技术也在不断的发生改变。

2.1 传统视频存储技术

早期的监控系统采用的是盒式磁带录像机(Video Cassette Recorder,VCR )存储,实现最基本的影像功能和记录功能;第二代存储是DVR(Digital Video Recorder,硬盘录像机), DVR 通过计算机及网络技术,采用数字化视频图像处理方式将视频存储在硬盘上,实现了存储的数字化以及远程网络管理功能。

第三代存储是网络存储,分为网络硬盘录像机(Network Video Recorder,NVR)和SAN 存储。网络存储由存储器件和内嵌的系统软件组成,允许用户在网络上进行数据的存取,通常占有局域网 (Local Area Network,LAN)上的节点,网络存储大大降低了应用或企业服务器的负载,集中管理和处理网络上的所有数据,可有效降低用户成本。

2.2 服务器+SAN存储

服务器+SAN 存储架构基于以太网技术,通过TCP/IP 协议标准进行数据传输,一般适用于集中数据信息存储。由于服务器+SAN 架构的存储系统建设成本低、技术配置简单、可靠稳定,并且拥有良好的兼容性、可扩展性、硬件平台通用、数据共享等优点。因此,服务器+SAN 存储的架构在大规模、网络化、数字化的视频存储被广泛应用,在铁路视频监控系统的应用中处于主流存储地位。

2.3 云存储技术及应用

随着视频监控系统在公共安全领域的价值不断的凸显,用户需要监控的范围及对录像存储的时间变得越来越大,因此视频监控系统产生的录像文件也变得越来越多。同时基于传统操作系统的文件式存储受限于系统索引个数的限制,以及单文件系统对硬盘的读写IO 较慢,因此不再适应未来的发展要求。

云存储是具有数据存储和管理功能的云计算系统,不仅是具有超高性能的新技术、新设备存储模型,也是一种创新型服务模式。云存储采用集群、分布式计算、虚拟化等技术,将多个存储设备通过网络连接在一起,集合所有存储设备构成共享的统一存储资源池,共同对外提供高性能、高可靠性的数据存储、访问、处理等服务,云存储统一的资源池便于集中管理,灾备冗余、灵活扩展、有效利用。

云存储系统的物理架构如图1 所示,主要由存储层、基础管理层、应用接口层、访问层构成。

图1 云存储系统架构模型Fig.1 Architecture model for cloud storage system

存储层主要由相关硬件设施组成,包括中心节点、元数据节点、存储节点。存储层设备往往分布于不同地区且数量庞大,通过广域网、光纤通道或互联网进行数据传输。元数据节点主要负责云存储系统的数据管理、索引、访问及处理,实现并发访问、集中管理、灾备冗余等功能;基础管理层是云存储系统最为核心的部分,主要通过集群、分布式文件、虚拟化、高性能网络计算等技术,实现存储层设备间的协同工作,构成统一的存储资源池,共同对外提供海量数据管理、访问、分析等服务;应用接口层是在存储层和基础管理层之上构建的服务接口,各运营单位可根据自身需求提供不同的应用接口和服务,是云存储系统中最为灵活多变的部分;访问层可按照使用者的不同需求提供相应的访问服务接口。

相较于传统的视频存储技术,云存储的优势十分显著。云存储可将视频数据分散存储至多个节点,通过负载均衡技术将各节点的存储数据按需分布于各个节点上,有效避免了存储资源冗余及浪费,可有效预防元数据处理能力出现瓶颈。在数据安全和恢复方面,云存储可提供多种保护机制 ,通过数据自愈、灾备冗余等手段,可有效实现多节点保护功能,即使单一节点的存储设备发生损坏,云存储系统也不会发生传统存储手段发生的数据全部损坏,对于未损坏部分的数据仍然可读、可用。

目前,华为、海康、中科曙光等多家厂商提供的云存储系统架构、设备类型各有不同,在构建铁路综合视频监控系统的过程中,为了实现不同厂家平台、设备互联互通、有效利旧、资源共享,需要对视频云存储技术标准和设计原则进行规范。

3 云存储方案设计原则

云存储方案的设计应当能够满足铁路综合视频监控业务使用需求,同时还应具备一定的先进性、兼容性和稳定性,使系统具有容量扩容及升级换代的可能。结合云存储的技术特点,在方案设计时建议符合以下3 个方面的原则。

3.1 先进性

1)系统的可扩展性,支持500PB 级单卷数据存储,并在项目设计方案中考虑冗余,以满足后续升级的需求。

2)采用标准化的部件,利于灵活替换和容量扩展,在扩展系统容量时,应当确保系统的性能得到线性提升。

3)系统的设计需符合存储技术以及IT 行业的发展趋势,确保系统技术水平和处理能力达到业内领先。

3.2 兼容性

1)需支持国际通用的网络标准协议、国际标准应用开放协议,支持多种业务应用接入。

2)采用业界主流的硬件平台、操作系统、数据库,确保各节点服务器间的相互兼容。

3)接口层可以与第三方应用集成,根据客户需求提供定制化服务。

4)系统应具备弹性扩展能力,满足今后扩容需求。

3.3 稳定性

铁路综合视频监控系统的数据具有用户数量大、范围广、实时性强的特点,为确保系统运行可靠,数据不丢失,应增强系统安全防护能力。建议符合以下原则:

1)系统采用分布式存储架构,具有较强伸缩性;

2)系统支持存储系统集群,满足高可靠性;

3)系统具备充分的灾备冗余、数据容错能力,防止数据丢失、损坏;

4)系统具有标准的技术保障体系,在硬盘、服务器等设备发生损坏时,读写业务不会中断,不会造成已有数据的丢失;

5)系统具备数据自愈能力,在数据损坏时不会造成数据丢失。

4 云存储方案总体架构

为规范视频监控系统的统一管理,最大限度发挥视频监控系统在运输生产中的作用,目前的铁路综合视频设计分为三级架构,视频核心节点位于国铁集团,视频区域节点位于各铁路局集团公司,Ⅰ类、Ⅱ类视频接入节点位于各站段内。根据既有综合视频系统设置方案及云存储的特性,本文提出铁路综合视频监控系统云存储平台的方案架构。

4.1 云平台架构

根据云存储系统物理结构,云平台的逻辑架构如图2 所示。

图2 云平台逻辑架构Fig.2 Logical architecture of cloud platform

逻辑架构自下而上分为以下4 层。

1)基础设施层

基础设施层为云平台提供基础能力,主要由通用服务器、存储设备、网络设备等物理基础设施构成。

2)资源池层

通过虚拟化软件对物理资源进行虚拟化,提供统一的计算、存储和网络资源池。资源池层同时具有一定的运维能力,包括对本地设备状况的监测、告警、分析、预测等。

3)服务层

服务层通过虚拟数据中心(Virtual Data Center,VDC)进行灵活的资源分配,数据中心通过云主机、物理机、网络IP 按需提供各项服务,例如数据索引、信息融合等。

4)管理层

管理层提供运维、运营功能,通过管理多个数据中心的资源池,实现资源融合共享、统一管理,包括布控预警、统计报表、性能分析、服务审批等功能。

通过调研分析多个铁路局集团公司综合视频监控系统的运维情况,考虑到既有设备设施情况,建议将各铁路局视频监控业务区域节点改造成为云数据中心,依托于数据中心构建云平台。铁路综合视频监控系统云平台架构如图3 所示。

4.2 云数据中心

由于云存储系统需要足够大带宽的网络进行前端数据的传输,考虑到目前各路局区域节点处网络带宽、机房空间、维护人员等多种因素,建议将云数据中心设置于各铁路局集团公司区域节点。

通过区域节点作为统一入口时,因网络带宽等原因,仍然无法在物理数据中心完成实时视频流、告警信号等数据的存储和转发,为解决该问题,需要引入云计算中的分布式技术构建虚拟数据中心。

VDC 是一种逻辑隔离技术,在物理资源池化后,按照使用者的业务需求,将资源池内的资源灵活分配给不同部门;管理员可以将VDC 内的资源进行自主分配,包括云主机、云磁盘、物理机、弹性IP 和各项应用服务。

通过构建虚拟数据中心,云存储平台实现物理分散、逻辑统一功能,便于资源池的统一调度和管理。虚拟数据中心包括服务中心和运维中心,服务中心提供统一的运营管理,实现入口、服务以及支撑流程的统一;运维中心有机连接各个数据中心,实现铁路综合视频监控云平台系统的整体运营和统一运维。

图3 铁路综合视频监控系统云平台架构Fig.3 Cloud platform architecture of railway integrated video monitoring system

4.3 段级云平台

对于视频云平台的部署, 需根据运营单位的需求在管辖段内设立不同的段级云平台,实现段级的集中管理和调度。对于单一数据中心,可以部署一个或多个段级云平台,各平台包括元数据服务器和数据节点2 类设备。

分布式云平台的架构由数据中心和多个段级云平台组成,根据需求定制化路局管理业务组织,并提供统一管理服务进行整体调度,实现视频资源的共享分配。全局统一管理服务负责承载整个视频云平台多个段级云平台的统一管理和数据共享,实现统一入口、全局信息统一管理、容灾及业务请求管理、历史日志查询等功能。

随着人工智能、大数据、物联网等技术的发展,前端设备芯片的计算能力日趋提升,使得智能分析业务逐渐向前端设备转移,大规模的并行计算和神经网络算法等技术使得视频前端设备的图像处理能力、人工智能程度不断提升;另一方面云存储具有极高的开放性,除了基本的视频管理、分析、检索等业务服务,还会搭载统一的算法、应用等接口,云平台可根据场景需求快速集成新算法,同时支持第三方业务的快速上线,“端云协同”的视频架构可使智能化效率达到最大。

5 结论

视频云存储系统具有高性能、弹性扩展、易于管理、高可靠性等特点,可以满足高清视频海量数据信息的存储需求。本文针对视频云存储的设计原则及总体架构进行阐述,提出基于云存储的铁路综合视频监控系统建设方案与建议,为铁路综合视频监控系统下一步的发展提供了一定的参考方向。

猜你喜欢
存储系统数据中心架构
基于FPGA的RNN硬件加速架构
分层式大数据存储系统缓存调度策略与性能优化
浅析数据中心空调节能发展趋势
功能架构在电子电气架构开发中的应用和实践
构建富有活力和效率的社会治理架构
关于建立“格萨尔文献数据中心”的初步构想
天河超算存储系统在美创佳绩
2017第十届中国数据中心大会榜单
基于Hadoop 的海量医药电商数据存储系统设计与开发
VoLTE时代智能网架构演进研究