基于城轨云的地铁视频存储系统设计与应用

陈瑞军,王晓东

(呼和浩特市城市轨道交通建设管理有限责任公司，内蒙古自治区 呼和浩特 010000)

0 引言

传统的视频存储方案主要以IP-SAN、CVR等常规的网络存储方式为主，但随着《中华人民共和国反恐怖主义法》的执行，地铁视频监控存储90天已经成为强需求。常规存储方案的缺点有：前端相机与后端存储强关联，存储难以负载分担，存储设备工作强度不一；后端存储只可采用“机头+扩展柜”形式作纵向扩展，造成容量增大而性能下降的窘境；存储设备相互独立，设备管理需要逐一进行，存储规模庞大造成运维压力巨大；传统的RAID5数据冗余方案只能提供硬盘级保护，会造成不可控的数据丢失风险。

基于云计算、大数据等发展而来的云存储技术，在集群管理、容量扩展、统一运维、数据冗余等方面，相对常规存储有了质的提升，能够充分满足线网级视频存储需求。呼和浩特市地铁1号线、2号线在建设过程中，经过专家多轮论证和上线前的有效测试评估，最终确定视频监控采用云存储模式。

1 视频存储系统设计方案及优势

在设计呼和浩特市地铁1号线、2号线城轨云之初，针对视频云存储的设计方案就颇具争议。经过专家多轮论证和上线前的有效测试评估，该市地铁采用视频云存储的技术设计方案，即：前端摄像机产生的视频流可直接存储到视频云存储系统，不需要虚拟机参与封装及转发；同时，搭建统一的视频平台，通过云中心统一实现云存储管理、录像调取等应用功能。

云存储相对常规存储的优势如图1所示。

图1 云存储相对常规存储的优势

1.1 视频云存储系统

视频云存储系统是针对安防视频监控场景定制开发的一种专用云存储系统，天然适配视频、图片类等非结构化数据，通过独特的流式数据结构设计，在存储效率和性能上远超文件云存储系统。视频云存储系统采用视频流直存模式，前端视频流、图片流在云存储系统内直接存盘，无需任何协议转换，符合GB/T 28181—2016要求。该系统在增强系统可靠性的同时，可大幅降低项目成本。视频云存储[1-5]系统依据非结构化数据存储特点进行设计，无需逻辑卷，因此在虚拟化空间上没有任何限制，可平滑扩展容量。

视频云存储系统针对安防业务定制开发，在满足传统视频业务的同时，也可满足公安新业务的应用要求。高并发低延时的即存即取，结合定向小I/O图片优化应用，适应公安部门中长期建设需求。

1.2 与文件云存储相比的优势

文件云存储系统采用数据中心通用集群网络存储设备(network attached storage,NAS)云存储方式，系统逻辑架构采用虚拟机挂载卷。视频云存储先通过虚拟机进行封装再转发到云存储，然后将封装后的数据离散化，以文件带的形式分布在各个卷内。

从存储效率上讲，传统文件云存储系统仍按结构化数据方式，对视频、图片等非结构化数据进行存储，存储效率难以满足线网级海量前端存储要求，且文件存储模式极易产生文件碎片，长时间运行后存储性能下降明显。

从项目成本上讲，文件云存储系统需要增加大量流媒体服务器，以完成视频流、图片流向文件格式的转换。因此，流媒体服务器极易成为系统瓶颈，会大幅提高项目成本。

从虚拟化能力上讲，文件云存储的虚拟化基础依然难以摆脱逻辑卷的束缚，大容量逻辑卷稳定性存在一定的缺陷，严重情况下可能导致视频数据丢失。

从安防行业的应用来看，文件云存储无行业特色，对公安部门人脸识别等新业务的支撑力较弱，较多的中间环节致使系统反应迟钝，无法实现人脸图片的即存即取，不利于现有业务以及后续拓展应用的实现[6-7]。

综上所述，视频云存储系统作为行业专属定制化产品，相比文件云存储系统优势明显。

2 视频存储系统云服务模式

呼和浩特市1号线、2号线城轨云是全国城市轨道交通系统中第一个全面上云的项目，其运用模式、运维方式都在摸索探讨中创新。按照常规的建设方案，地铁需要在控制中心或车辆段扩建机房，组建运维团队，满足视频云存储系统运行和维护要求。这种方案实施起来有一定的难度：云存储设备对运行环境要求严格，现有机房难以满足高规格的应用需求；视频云存储占用机房空间大，虽然当前建设仅以1号线、2号线为主，但是需要充分考虑后续线路扩容的要求，规划较大的机房空间，势必造成资源长期闲置；云存储设备需要专业维护，现有运维团队压力较大。

考虑到上述因素，选择了购买服务的建设模式。视频云存储设备由运营商负责采购、安装、调试及运维。这种建设模式与呼和浩特市实际情况相匹配：从建设成本看，内蒙古自治区能源丰富，运营商作为用电大户，电力使用成本更低，良好的机房网络资源及环境能够满足云存储严苛的使用要求；从扩容层面看，运营商机房可以满足即用即扩的要求，接入后续线路毫无压力；从运维层面看，运营商能够提供专业的运维团队，保证云存储更加安全、稳定地运行。

视频云存储购买服务模式优势如下。

①建设更加节约、高效。充分利用运营商高标准机房资源、网络资源、供电资源，可满足云存储设备严苛的环境要求。

②扩容更加迅速、简单。依托运营商机身充足的机柜空间，按需进行项目扩容，可适配任意时间、任意规模的扩容需求。

③运维更加便利、安全。有效利用运营商专业运维团队，可保证云存储系统的稳定、安全运行。

3 视频存储系统特点

3.1 设备级数据保护

呼和浩特市地铁云存储系统通过分布式纠删码(erasure code,EC)算法构建基础的数据保障机制，提供N+M高可靠数据保障能力，目前可支持到N+4的高级别保障。在N+M数据保障机制设计中，一份数据被写入时可按照一定大小划分为N个数据块，并以N个数据块为基础计算出M个校验块。以(N+M)个块为一组基础存储单元，称之为条带。条带中块数据故障和缺失只要不超过M个，都可以依据算法将丢失的数据块恢复出来，以此提供数据的可靠性保障。通过这种模式，视频云存储系统就可以实现设备级的数据保护。即使整机出现故障，也可以通过数据重构的方式实现数据的恢复，不会造成数据丢失。呼和浩特市地铁架构如图2所示。

图2 呼和浩特市地铁架构示意图

3.2 存储空间的高效管理

在存储空间的管理方面，视频云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现一个持续的、超大规模的数据资源池，称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。视频云存储系统支持存储空间的动态扩大或缩小，可以平滑扩容接入后续线路，不会对现有业务造成任何影响。

3.3 直存技术

常规存储方案在应用于视频、图片业务时，仅提供容量空间而无业务流程的优化功能，存储路径需经过多个设备环节而增加故障发生概率，导致成本整体上升。呼和浩特市地铁云存储系统将安防应用与存储技术相结合，前端视频和图片数据可以直接写入云存储中的存储节点，在缩短数据存储路径、提升数据存储性能的同时，还节省了大量服务器投资。

3.4 两级存储

传统地铁项目中，存储设备按照本地视频本地存储的模式来进行方案设计。虽然有部分项目采用设备间备份技术，但在异常情况下，数据不可查、不可用的问题仍然明显。呼和浩特地铁云存储在国内首次采用站点7天短时存储和中心90天全时存储的双录模式，站点和中心视频数据保持实时一致，即使在异常情况下也可正常进行数据访问。在出现大面积磁盘损坏或者设备故障时，数据重构具备四级恢复模式，时刻保证业务应用无异常[8]。

4 结论

本文针对当前地铁视频系统中常用的IP-SAN、CVR等存储方式存在的问题进行分析，创新性地设计了基于城轨云的视频存储方案。通过纠删码(EC)、资源虚拟化、直存技术、分级存储等方式，有效地解决了传统方案中视频存储负载难以分担、容量难以扩展的难题。经过呼市地铁1号线、2号线的应用实践验证，基于城轨云的地铁视频存储系统运行稳定，有效保障了地铁的正常运营，可为其他城市地铁视频系统建设提供参考。