私有云存储在视频监控中的运用分析

马莹平

（上海万为实业有限公司，上海 200083）

0 引言

在安全防范系统中，目前存储的需求主要是基于高清监控的海量视频、抓拍图片检索、人脸比对的应用，传统的存储系统目前还停顿在底层数据的录入及文件存储阶段，旧的系统无法站在视频应用的角度考虑问题，针对现今安防行业的实际需求，必须考虑由底层业务流数据结构设计到上层业务应用的调度策略，进行数据整段合理划分，达到海量高清网络视频流的持续且大规模的写入。

云存储是为了满足当今视频大规模、长时间存储的应用，延伸和发展出来新的存储模式，即将所需的网络视频监控中大规模不同类型的存储设备通过协议对接、软件集成等方式来协同工作，利用虚拟化的技术搭建一套云存储系统，共同对外提供业务访问功能及数据存储功能。

海康威视视频监控厂家针对此功能，研发的视频融合云存储是指可以根据不同的业务需求和场景不同灵活进行设计调整，既可以应用于公有云环境部署，也可以应用于私有云环境部署。对上层应用系统提供高并发，低延时，高安全的数据存储服务。

1 项目需求

上海中西医结合医院视频监控系统设计构想，按设计规范及业主的需求，视频监控存储需达到图像保存90天，图片保存180天。医院在2014年和2017年改造为数字监控系统，摄像机约500台左右。此次新建视频监控系统摄像机设计约为250台左右，原存储设备采用了宇视NAS V1800 及DM3.0综合安防应用服务器，原系统存储模式为采用NAS 存储模式，配置4TB 硬盘，达到图像保存30天，图片保存90天。

视频监控系统改扩建后，由于宇视产品无法满足智能安防的需求，新系统设计采用海康威视产品，整个视频监控系统将新旧兼容，统一在海康视频监控系统视频综合平台B20下进行管理，即将原来搭建的500路宇视IPC-B302、IPC-B502 摄像机产品通过符合ONVIF 协议规范所提供的WEB 服务接口，进行ONVIF 规范接口跟IPC 通信，从而接入海康B20统一管控平台，存储部分将原系统宇视NAS 提供的容量挂载到海康威视云存储iVMS-5120上，整合后确保院方在同一平台下使用整个监控管理平台。

云存储的构思是由于机房位置大小受限，为了满足此项目视频监控系统的存储需求，本文设计采用了海康威视iVMS-5120云存储系统，来搭建医院私有云存储系统来解决存储应用，此系统针对项目情况，可以解决通过新旧存储设备的集群化、虚拟化支持医院小型私有云存储服务，让用户在投入低的情况下即可获取云存储服务。

海康威视iVMS-5120云存储系统扩容时可以自动识别新增设备，在集群内添加设备的IP 地址，系统即可自动识别，并同时进行虚拟化整合，集群里就可增加新的容量，统一为存储资源的一部分。

在容量扩展过程中，可实现存储资源的在线扩展，系统部署在云资源上的存储业务可正常运行，不受任何影响，确保系统不会因为扩容而中断正常的存储业务。

图1 系统原理图

2 系统功能特点

2.1 数据融合存储的多种类

支持高清视频、高清图片、数据文件、对象、结构化数据存储统一融合；统一接管多种设备协议，支持iSCSI、FC、CIFS/NFS 异构协议。

2.2 高清视频存储功能

系统支持7×24小时大码流视频录像、录像回放和管理、文件快速检索的功能，对于视频回放，做到相应优化，如I 帧序列回放等功能。

系统支持对存储的录像通过多种方式进行检索，如按照文件类型、文件标签、录入时间段等方式。

系统回放功能，可按照文件类型、录入时间、正序、倒序、倍数等方式进行。

存储文件支持锁定、循环覆盖（时间、空间）、标注等管理方式。

2.3 图片存储功能

系统支持图片文件的快速写入、压缩、裁剪、并发下载等功能。

支持按URL 或时间段的方式进行获取。

支持按照图片尺寸、大小、像素等进行压缩。

提供直存和非直存两种图片存储方案。

2.4 文件存储功能

系统支持CIFS/NFS 协议进行NAS 文件存储。

2.5 智能化结构存储功能

系统支持应用数据按需汇聚分析后的存储，提供融合直存、多重备份、全量提取等功能。

2.6 对象文件存储功能

系统支持对象文件存储服务。

3 存储应用场景

（1）高清视频、图片、文件业务直存，所有文件的存储缩短了路径直接写入存储节点，更大程度提升存储性能。

（2）例如1 路高清4Mb/s 码流的摄像头1 天的数据10秒左右即可下载完成，达到极速提取的应用效果。

（3）针对AI 图片智能分析应用场景，小I/O 图片提取可达到2000张/秒。

（4）广泛适用于抓拍动态图片存取、设控图片与预警读取对比、静态库图片检索比对场景。

（5）I 帧快速修改、定位、标注、存储的周期采用了文件存储容量和存储时间双重轴线策略等，能使客户在调取录像的过程中不再需要反复读取完整录像。

（6）融合数据迅速调取场景，高清视频、图片、文件及对应的智能化结构数据的全量提取，同时可开发给第三方应用。

4 系统架构设计

海康威视视频融合云存储系统（iVMS-5120）主要的应用模块主要是由云存储管理模块、流式数据存储模块、对象文件存储模块组成，三大模块之间相互配合，针对大数据智能分析应用，和非结构化数据特点，旨在为用户提供高可靠、高效率、高稳定的存储服务。

iVMS-5120微视云存储系统采用分布式EC 存储技术，与视频、图片、对象、智能化结构存储结合，根据数据保障级别要求可部署N+M 保障机制，N+M 具体取值根据系统规模变化可自动调整。系统条带中只要不超过M 个块数据故障和缺失，都可以将丢失的数据块依据算法快速恢复，用来提供数据保障的可靠性。云存储系统在运行中可以实现在多台设备故障的情况下数据不丢失，在设备产生故障时快速的进行数据的恢复与重构，且可支持基于不同业务种类进行重构的排序，确保重要数据优先重构工作的优先级。

高清视频存储能支持接入各种类型前端实时/历史/事件等视频流式数据文件存储；图片能存储支持包括车辆、人脸、物品等各类图片存储；对象存储对外提供存储服务以对象接口的方式现实；文件存储能支持包括以NFS 或CIFS 方式进行文件存储服务；智能化结构存储是指支持对高清视频、图片文件等分析后产生的智能化结构数据提供的存储类服务。

图2 逻辑架构图

4.1 系统设备层

系统架构最底层、最基础的部分是设备层，能支持标准的磁盘阵列设备，通过对设备层的整合达到为云存储系统提供系统的容量基础，为各类应用服务提供足够存储容量。

4.2 对象存储层

本层在系统设备层的基础上结合对象存储服务完成分布式存储的读写功能，并将存储容量按照流式文件系统格式进行虚拟化整合。多个OSD 的资源管理和分配通过资源管理模块，经由虚拟化的方式构建Bucket 存储池，用Object 方式将数据写入对应存储池中。

采用分布式EC 技术与对象存储技术相结合，用灵活的N+M 策略来实现对数据内容更高安全级别的保障。

4.3 功能实现层

主要实现的应用存储功能包含视频功能、图片功能、文件功能三个主要应用。基于视频功能不仅实现了高清视频录播、文件下载、视频回放等基础功能，还包含多种基于安全防范系统应用扩展功能。图片、文件等的存储功能同样是基础上做到应用与存储更优结合，扩展丰富的安全防范系统应用。

4.4 系统接口层

采用丰富的接口种类以灵活的应用功能给上层提供服务。系统接口种类可分为REST 协议、SDK 接口、SNMP 协议等，以此提供不同的应用服务，同时接口种类可以根据实际业务类型，开发不同的应用服务接口来满足实际需求。在智能化系统的设计中可实现和视频监控平台、IBMS 平台、运维平台等的对接；实现了与智能分析系统的对接。

5 系统存储容量计算

5.1 网络视频监控系统容量计算规则

存储文件类型：7×24小时定时录像、报警触发录像。

视频文件的存储计算是采用了H.264编码算法：

项目设计的摄像机为200W 像素，存储的码流为4～8Mb/s，本项目使用4MMb/s 码流进行存储计算，此码流能在确保清晰度、还原度的情况下使存储文件达到存储综合效果最佳。

按90 天存储要求来计算1 路摄像机的存储空间：4Mb/s×3600秒×24小时×90天/1024/1024/8=3.71TB，

依据项目具体情况（规划建设新建视频监控系统250套，兼容旧系统500套），总的存储容量约为928TB。

5.2 车牌信息图片抓拍容量计算规则

车辆抓拍图片信息格式采用了JPEG 格式进行编码，压缩因子不高于70，符合ISO/IEC1544 ∶2000规范，输出照片文件大小约为300KB 左右，项目一个单车道按日均1000辆流量估算，图片信息存储按6个月的时间的容量计算公式如下：

1000辆×0.3MB×1车道×30天/月×6个月/1024/1024＝0.05TB

图片总存储容量=单车道容量×车道数×卡口数量

车辆图片存储数据根据具体情况（按照3个车辆卡口，双向六车道计算），图片存储的容量需求为：单车道容量×6×3=0.9TB。

整体系统需求空间裸容量A=视频文件存储总容量+图片文件存储总容量

5.3 存储设备的计算规则

5.3.1 数据的冗余容量

设计采用离散随机存储，来提高整个系统吞吐量，在保障存储节点时采用了集群技术，可以保障当部分存储节点故障时业务保持不中断。在设计时考虑到业务切换后数据不出现提前覆盖，在项目设计规划最终总容量的10%来做适当冗余空间。

5.3.2 纠删码的开销容量

本系统是采用分布式EC 技术，并且提供N+M 模式的数据保障机制。每N 个数据容量需求提出后会产生M个校验容量的开销量。整个纠删码空间可用利用率为N/（N+M）。

5.3.3 系统重构的预留容量

数据保障是采用纠删码方式，当监控硬盘或者存储设备发生故障时会自动重构故障的硬盘或设备，在设计时系统需额外预留一部分重构容量。按最终总容量的10%计算。

5.3.4 格式化的损耗容量

对底层存储进行格式化是采用了对象存储虚拟化方式，在格式化过程中会损耗容量为最终总容量的5%。

5.3.5 项目容量合计

项目所需总存储容量C=A[1+10%（重构冗余比例）+10%（数据冗余比例）+5%（格式化损耗）]/[1-[M/（N+M）]]

5.3.6 硬盘数量的计算

系统的硬盘采用4TB 监控级硬盘，标准的监控4TB硬盘的实际容量通过转换得出4/1.024/1.024/1.024/1.024T B=3.63TB。

硬盘数量D=1200（TB）/3.63TB=330块

6 系统保障机制

N+M 保障机制与分布式算法相结合，在存储时将条带中的各个块数据分散到不同存储设备中，若系统中出现了若干监控硬盘或者存储设备故障都只会损失部分块数据。条带基础存储单元中只要不超过M 个块的数据故障和缺失，丢失的数据块都可以依据算法恢复出来，数据保障得到有效保证。

系统数据保障机制是通过分布式EC 算法构建基础的，灵活的N+M 提供数据高可靠保障能力，系统可支持到N+4的高级别保障。数据保障机制N+M 在设计中，数据写入时按照大小划分为N 个数据块，以数据块为基础计算出校验块，由此得出一组N+M 个块作为条带基础存储单元。

7 宇视NAS 与海康视频云存储对接

为达到统一监控平台的使用效果，原搭建的视频监控系统与新系统须进行对接，海康威视视频融合云存储系统支持其他厂家存储设备的接入，是将宇视NASV1800设备提供的容量挂载到海康iVMS-5120视频融合云存储系统上，NAS1800支持标准NFS 协议，由异构网关运行云存储软件，执行向前端取流，存储部分统一由海康威视视频融合云存储系统调度和管理。

图3 系统原理图

8 系统搭建后的效果

系统搭建完成后，在满足用户需求的情况下对整个项目实现对新旧系统的应用及存储提供统一服务，整个视频监控系统达成了统一管理、存储、运维，系统运行高效，稳定，兼容性强。

云平台能满足包括：视频存储、文件存储、图片存储、系统管理、运维管理等功能。主要的重点在于关注安全防范行业内的视频抓拍、图片对象、文件功能与云存储功能的结合。

存储设备采取集群化的管理，未来中西医结合医院的视频扩容，可通过增配存储节点SSD，即可满足未来存储需要。

9 结束语

系统的搭建是通过池化服务的概念在资源池内封装不同类型的业务，为项目的用户和上层业务来提供一个统一的、可调用、透明的的虚拟化存储资源池。通过接口协议可以让其他第三方标准数据存储节点资源统一接入云存储系统进行资源融合。

视频融合云存储对整个大数据平台应用提供分析支撑，体现在对海量高清视频和图片文件等数据提供并发、高速、安全的数据服务支撑。海康威视iVMS-5120云存储系统作为整个视频监控解决方案的重要组成部分，提供兼容、安全、灵活、高效的数据存储服务，向大数据平台提供高效的数据来源，全面服务视频大数据的工作开展。视频融合云存储可以提供获取海量数据用于进一步的分析计算，生成有价值的结构化数据。