云存储技术在铁路视频监控系统的应用

崔圣青，王毅勇

（中国铁路济南局集团有限公司济南通信段，山东济南250001）

0 引言

铁路综合视频监控系统自建设以来经过了十几年的发展，建设规模不断扩大，应用范围越来越广泛，重要程度逐步提高，在铁路行车指挥、生产组织、客货运输服务、作业监控、抢险救援以及治安防范等方面发挥了不可替代的作用。

随着技术发展水平提高和设备更新速度加快，用户对视频监控系统的体验和需求不断发生变化。摄像机从标清模拟到高清IP数字，分辨率CIF（352×288）、4CIF（704×576）/D1（720×576）、720P（1 280×720）、1080P（1 920×1 080）、4K（4 096×2 160）……逐步提高，编解码格式经历了MPEG4、H.264、H.265等；视频码流从单路4CIF、25帧/s标清视频流2 Mb/s提升到单路1080P、25帧/s高清视频流6 Mb/s（采用H.264）、4 Mb/s（采用H.265）［1-3］等。伴随图像清晰度的提高和视频路数的增加，直接引起视频数据流量的海量剧增，原有的硬盘录像机、网络视频录像机（NVR）、磁盘阵列等存储模式及网络附属存储（NAS）、开放系统的直连式存储（DAS）、IP构建存储局域网络（IPSAN）等存储架构不再适合大容量数据的存储、调用和管理［4-5］。

1 铁路视频监控系统应用现状

目前中国国家铁路集团有限公司（简称国铁集团）管内综合视频监控系统摄像头计上万路，存储时间分别为30、15、3 d［3］。

铁路视频监控系统存储架构大多采用IP-SAN技术，通过存储服务器的独立冗余磁盘阵列（Redundant Arrays of Independent Disks，RAID）卡将多块物理磁盘逻辑化成为1个磁盘分区，并通过小型计算机系统接口（Internet Small Computer System Interface，ISCSI）协议将逻辑磁盘分区导出至前端摄像机，进行视频录入。普速线路的Ⅱ类节点接入几十路平均视频，其中，高清摄像机数量约占总数的10%，其余为模拟摄像机。

2 云存储关键技术

2.1 数据保护机制

2.1.1 纠删码

云存储系统可同时提供文件级及块级数据保护，用户可根据需要设置不同的保护级别，纠删码数据保护机制采用N+M数据保护模式，其中N代表原始数据被切片的数量，数值为2、4、8、16；M代表生成的校验数据数量，数值为1、2、3、4。当系统配置的存储服务器（存储集群）台数≥N+M时，可以允许M台存储服务器同时损坏；当配置的存储服务器（存储集群）台数＜N+M时，系统自动将冗余保护机制从服务器级别降为磁盘级别，可以允许M块磁盘同时损坏。M为4代表存储系统最多允许4台存储服务器或4块磁盘同时损坏［6］。

4+2纠删码数据冗余模式见图1，当N+M为4+2时，数据在存储时按照文件写入粒度将文件切分成4个片段并生成2个校验数据，再将6个片段分别存储至不同存储服务器，允许同时损坏的存储服务器或跨存储服务器损坏的磁盘数量为2。

图1 4+2纠删码数据冗余模式

当系统存储服务器≥6台时，允许2台存储服务器同时损坏，这2台存储服务器上可损坏任意数目的磁盘；当3台≤系统存储服务器＜6台时，支持1台存储服务器损坏或跨存储服务器2块磁盘同时损坏；当系统存储服务器=2台时，支持跨存储服务器的2块磁盘同时损坏。同时损坏2台存储服务器数据保护机制见图2。

图2 同时损坏2台存储服务器数据保护机制

2.1.2 参数配置

N+M纠删码不同数据保护模式下的具体参数见表1。

表1 N+M不同数据保护模式下的参数表

实施案例1:某站有视频352路，4M码流，存储90 d，可用容量为1 521 TB。可以采用8+2保护模型，空间利用率为80%；也可以采用4+1保护模型，空间利用率也为80%。实施中多数人选择8+2保护模型，配备存储服务器总台数≥10台。实施案例2:某站有视频40路，其中10路为高清摄像机，存储10 d；剩余30路为模拟摄象机，存储7 d，4M码流，可用容量为27 TB。实施中多数人选择2+1保护模型，配备3台12盘位2 TB的存储服务器，空间利用率为66.7%；当存储服务器损坏1台后自动降级为磁盘级4+2模型进行保护。

2.1.3 副本

副本数据保护机制是将文件按照规则分段存储至存储服务器，其中每一段都会有2个以上（可根据需求设置2、3、4个副本）的有效副本存放至不同的存储服务器。如1个文件file A被切分成segment1-N个片段，文件file A的segment2片段的2个副本分别存放至存储服务器S1的磁盘D1和存储服务器S2的磁盘D1，当S1宕机或者S1的D1失效时，用户依然可以从S2的D1上读取file A的segment2片段，同时系统将会自动在另一台存储服务器如S3的D2上产生segment2的新副本。副本数据保护机制见图3。

图3 副本数据保护机制

2.1.4 保护效果差异

云存储系统中，纠删码保护和副本保护利用不同的机制对数据进行保护，主要区别体现在存储空间利用率。副本保护机制存储空间利用率较低，不同重要程度、不同应用场景下使用不同副本机制，空间利用率最大为50%；而纠删码保护机制存储空间利用率较高，根据不同数据模型选择和存储服务器配置，存储空间利用率可达50%～94%。

2.2 负载均衡

将文件按照一定方式进行切片，采用数据智能均衡算法，将所有数据读写压力平均分配至云存储系统的存储服务器所有磁盘，实现所有磁盘的压力均衡，提升并发访问效率，降低硬件负载压力和损耗程度，形成一个高性能的共享存储池，为前端提供高聚合带宽读写访问，避免压力分配不均衡造成的设备性能降低。

云存储系统根据设备可用容量、负载情况、接入任务数以及读写性能等，自动进行存储服务器级和磁盘级的负载均衡和资源分配。负载均衡系统通过提供智能IP管理，实现存储服务器IP地址的自动添加和迁移。

当存储服务器在线扩容时，可将数据自动均衡至新添加的存储服务器，实现数据均衡的同时，数据安全级别允许同时损坏存储服务器节点和磁盘数量增加，提高了存储系统整体数据安全保护级别。

2.3 数据自愈

云存储系统内置自动故障探测机制，当探测到某个存储服务器或存储服务器磁盘发生故障时，会自动触发数据自愈恢复流程。在正常设备中分配新的空间，重新恢复存储设备中有效的受损数据，区别于传统存储系统对整个磁盘所有块的数据恢复，可以有效减少数据恢复过程中的数据传输量。

在云存储系统中，1个磁盘的数据段对应冗余数据平均分布在存储集群的其他存储服务器上，损失的数据也将平均恢复至整个存储集群，数据恢复过程由正常状态的存储服务器并发进行，是一种多对多的数据恢复模式。

由于数据恢复过程中所有存储服务器共同参与，所以存储服务器集群的规模越大，参与恢复的存储服务器数量就越多，整个系统的恢复速度也越快，安全程度就越高，传统的IP-SAN设备数据恢复依托于硬件RAID卡，若数据恢复过程中硬件RAID卡出现故障，会造成数据丢失，且只有损坏磁盘的这1台盘阵设备进行盘阵内数据恢复，与云存储系统的所有服务器均参与数据恢复相比较，时间较长。

当数据恢复完成，整个系统立即成为最高安全状态，这时再发生设备失效不会导致数据丢失；在系统负载较小时，也可选择手动进行数据自愈恢复［7］。

2.4 在线扩容

云存储系统中的元数据服务器集群和存储服务器集群支持在线动态扩容。存储服务器集群扩展包括:存储服务器、存储服务器中磁盘扩展，扩展的容量可即插即用。而且随着存储服务器数量增多，存储系统的聚合带宽也会呈线性增长。

元数据服务器集群扩展带来文件存储数量的增长，整个扩展过程对应用平台完全透明，扩展的元数据服务器立刻能够提供服务，前端应用无需进行手动配置。随着元数据服务器数量增多，存储系统提供的元数据服务能力也会呈线性增长，可管理的文件总数也线性增加［8］。

当需要进行存储资源扩展时，只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对其进行虚拟化整合，容量融入集群；同时，扩展过程中，用户的正常业务不中断，实现存储资源在线扩容。

2.5 跨站数据同步

云存储系统具有数据同步功能，实现业务自动切换，保证业务正常运行和数据安全。具体包括:支持远程备份，自动进行小文件打包、大文件合并等多样备份需求，能同时进行无限制的并发备份，提供高效并发备份机制；具有远程复制加密传输功能，可保证数据隐私和数据完整；利用掉电保护技术确保备份数据不丢失；能快速备份、及时恢复、性能自动调优及保证业务连续性；对重复数据进行对比筛查，进行增量备份，节省存储空间；可完全兼容传统的备份环境。

2.6 面向云存储系统的“三员管理”

云存储系统中分系统管理员、安全管理员、安全审计员3类角色。系统管理员主要负责存储系统的日常运维工作；安全管理员主要负责对用户进行权限分配以及对客户端的授权，对访问云存储系统用户的行为进行审计；安全审计员主要负责对云存储系统的2类管理员行为进行审计。“三员管理”存在三员的约束条件，三员必须独立，不能由1个人兼任三员中的2个或以上角色，同时，系统管理员、安全管理员和审计管理员不能以任何其他身份登录云存储系统，不可以对云存储系统的日志进行修改。

3 云存储应用

3.1 分布式云存储

为了验证云存储系统方案可行性，国铁集团相关部门申请了科研项目，2019年组织云存储厂家及既有综合视频监控系统平台厂家进行了云存储的各项功能验证。选取相邻的2个Ⅱ类视频接入节点，每站采集点约为40路，每路数据平均流量为4 Mb/s，站间距约40 km。

采用纠删码方案，在两站的通信机房分别部署3台存储服务器。服务器级采用2+1纠删码数据保护模式；存储磁盘级采用4+2纠删码数据保护模式。两站云存储系统设备分别接入既有视频管理平台，既有视频流直接写入相应车站的云存储系统的存储服务器。两站的视频流与云存储服务器通过光纤设备交叉互连实现容灾，构建成1套云存储系统。云存储系统架构示意见图4。

图4 云存储系统架构示意图

3.2 功能验证

为进行功能验证，对云存储系统工程应用前后进行对比（见表2）。由表2对比可知:

表2 云存储系统工程应用前后对比

（1）铁路点多线长、网络带宽有限，在不改变既有铁路综合视频监控系统结构的条件下，云存储系统设备可以替代目前铁路视频监控系统中的IP-SAN存储设备［9］，符合Q/CR 575—2017《铁路综合视频监控系统技术规范》的相关要求［3］。

（2）通过采用数据分段切片、虚拟化分散均衡存储、副本/纠删码数据保护、数据自愈恢复等技术，采用多种安全权限管理，云存储技术可明显提高铁路视频监控系统整体安全性。

（3）云存储技术能够实现铁路视频监控系统存储容量动态在线扩容，可根据需要实现即插即用，并且存储服务能力、聚合带宽呈线性增长，系统正常运行不受影响。

（4）云存储系统采用纠删码数据保护机制，在部分存储服务器损坏、存储系统内多块磁盘同时损坏时，仍然可以保证数据安全性以及存储系统正常读写访问，存储容量利用率为66.7%。

4 结论

云存储技术可满足铁路视频监控系统中大量的视频数据存储、分析和应用需求。云存储技术解决方案得到越来越广泛应用，具体应用应考虑在具备4 GE或10 GE［10］良好传输条件的前提下，大量数据相对集中存储，充分发挥云存储技术的负载均衡、数据保护机制、数据自愈能力等特点，云存储系统的安全可靠性越高，服务能力越强，技术优势才能够充分体现。