高清化浪潮下的存储解决之道

□ 文/周宇杰



高清化浪潮下的存储解决之道

□ 文/周宇杰

相较IPSAN，以及其他集中存储模式而言，云存储的优势是显而易见的。

在持续高清化发展趋势下，720P、1080P的高清监控前端已经成为市场主流，4K高清也已跃至前台，原来的D1、CIF逐渐成为过往云烟。

视频监控大联网和高清化的联合推动使得视频监控系统的监控点数目越来越多，视频码流越来越高，存储时间则要求保持不变甚至更长。相比数字标清的时代，视频存储容量的增长速度飞快，一个视频监控系统中上千TB的存储规模已不再罕见。

面对平安城市等大型安防项目的推进，存储数据量空前、数据类型也是丰富多样，除了监控视频，更有各类智能分析输出的语义、截图等一系列资源，从目前来看，云存储是安防系统发展的必然选择。

新技术：云存储技术的发展与优势

随着IT系统逐步云化的趋势以及安防监控系统规模的不断扩大，云计算技术逐步应用到安防系统中，且主要集中于存储系统。实际上，安防系统视频数据量的快速膨胀以及存储资源应用的不断丰富，传统存储出现了上述的各类问题，云存储目前已经成为众多安防厂商的重要产品，且系统已在推广应用过程中得到不断的完善，并日臻成熟。

相较IPSAN，以及上述集中存储模式而言，云存储的优势是显而易见的，这里以科达天际云存储为例：

1、云存储系统由多台云存储设备构成，但是提供统一的虚拟存储空间，用户和业务系统在使用云存储时只感知空间，不感知节点，不用关心存储空间由哪些存设备构成，这些设备放在何处。所有的用户都可以同时读写这个统一的存储空间。云存储提供集群化管理模式，用户只需要登录到云存储系统的一个IP地址，就可以看到所有的存储设备状态、相应的磁盘状态以及整体存储空间的使用情况。系统还会针对不同的异常和故障问题及时的给出告警通知和日志记录，大大简化了管理员对存储系统的维护和管理工作。

2、云存储系统采用基于纠删码的分布式离散存储策略，需要存储的数据信息都被条带化、离散化，直接拆分成多个数据块，然后计算冗余校验数据块，再分散存储到不同的云存储设备中，数据的分散程度和冗余程度可以通过系统进行灵活设置。通过纠删码的冗余校验机制，系统提供数据高可靠性保护，可以允许系统坏多块硬盘，甚至多个存储设备节点而不会造成数据丢失，或者只影响和丢失很小部分的数据，其他数据的读取不受影响，写入则完全不受影响。此外，由于采用系统级离散存储，多个存储节点中都有相应的数据块和校验块，在硬盘损坏后恢复硬盘数据时由多个存储节点在空闲的空间内同时进行重构，要比传统的基于磁盘的Raid快得多，重构速度可以达到1个小时以内。

3、云存储系统采用纠删码离散存储策略，任何一段视频都被拆分成多个数据块分散并同时存储到多个存储节点中，因此，对该段视频的读取都由多台存储设备同时提供服务，避免了通过单台设备读取而造成的性能瓶颈。

4、云存储系统提供统一存储空间，统一命名空间，对于不同的业务系统，对存储系统的访问是一致的，这些数据在权限控制下都可以通过统一的命名路径直接进行读取，从而提升了不同业务系统间数据信息的共享能力。

科达的“天际“云存储，在具备以上所有安防云存储特性的同时，还有几点独特之处：

1、支持BBU电池。天际云存储在每个存储节点都配备了BBU电池，当某个存储节点发生异常断电时，存储节点会及时保存缓存中的数据到磁盘，确保数据不会丢失，并同时向控制节点发送告警通知，由控制节点操作，“屏蔽”该存储节点，将设备断电时期的业务迁移至其他存储节点，从而避免数据丢失。

2、支持仲裁模式，高度容错。天际云存储支持仲裁模式，当所有控制节点（元数据节点）全部异常时，启动仲裁模式，视频存储的业务不会中断，数据不会丢失；当控制节点恢复后，存储节点会自动同步异常期间数据信息至控制节点，恢复整个系统。

3、存储内容更多样。与一般安防云存储只支持视频和图片存储不同，天际云存储不仅可存放视频、图片数据，还可以存放多种类型的一般的文件数据。

4、更加标准、开放。天际云存储具备多种开放的、标准的业务数据访问接口：支持NFS、S3、FTP等通用接口及基于SDK的专业服务接口，同时还支持HDFS接口服务，可与业界的云平台大数据系统进行对接。

云存储技术补全不足

目前，随着IT信息技术以及云计算技术的不断发展，云存储技术已有了很大的进步，但仍然存在进一步完善的空间。

1、提高可靠性与安全性。

为满足可靠性、安全性的要求，需要云存储系统提供更为可靠、安全的数据保护能力和访问控制机制，特别是对于互联网应用的情况，必须能够保证用户的数据安全性，提供多层面的数据服务保证。

此外，由于大规模数据存储对硬盘的读写能力要求较高，而硬盘恰恰是存储系统中最易损坏的设备。因此，云存储系统对硬盘的优化读写以及容错机制，还可以进一步优化，充分利用硬盘的最新技术在提升数据可靠性和读写性能的同时，降低硬盘损坏率，减少硬盘损坏对数据和系统的影响。

2、数据与计算的进一步结合

云存储作为一个庞大的数据存储中心，一般都由很多存储节点组成，如果这些节点能够同时具备便捷计算的能力，直接在数据存储的节点上完成数据分析工作，那么计算的过程将不需要通过前端网络实现过多的数据存取调度业务，从而降低业务网络运输的压力，也提升了总体数据分析的速度。

3、更高效的数据冗余

目前，很多云存储系统，特别是互联网上的云存储系统，都倾向于采用多副本方式实现数据冗余，提升数据的可靠性，但这必然会带来存储空间使用率低下的问题；而针对大规模视频监控系统的安防云存储来说，副本方式几乎是不能接受的，建设成本太高，性价比太低。因此，必须采用更为先进的技术，在降低数据冗余度的同时，能同时提高数据的可靠性，纠删码是其中一类技术，相信以后还会有更新的技术。

4、高效异地容灾技术

异地容灾技术目前还主要针对计算机业务系统，和轻量级的数据存储（如银行数据库等），而像安防监控那样海量的数据存储系统，真正的数据异地容灾还无法很好的实现，其主要的原因是安防存储的数据流量太大，数据存储的体量也太大，传统异地容灾技术成本太高。因此，我们需要更新的技术，来实现此类海量安防视频数据的异地容灾机制，提高系统整体的可靠性。

5、可针对特定专业用户的专业化数据存储服务定制能力

目前，针对通用市场的互联网云存储仍以单一的存储服务为主，不管是互联网云存储或是安防云存储，在专业化定制服务方面仍需加强，让存储系统与用户的各项业务结合更紧密，比如针对特定业务的数据存储管理优化，提升特定业务数据存储和调阅的效率；对存储内容提供更丰富的信息描述，以及数据标签等，充分发挥云存储自身的特性的同时提升专业服务能力。

求创新：IPSAN存储技术的进步

从目前云存储技术的发展情况来看，与IPSAN相比，现有云存储系统的安全性必然比不上与互联网存在物理隔绝的IPSAN存储，不少行业级客户更愿意选择传统IPSAN存储。

云存储前期建设成本要比IPSAN要高得多，对于某些中小型项目而言，建设云存储未必合适。所以，IPSAN仍需自我创新，满足市场需要。

与云存储相比，IPSAN一个极大的劣势就是随着存储数据量的不断膨胀，数据存储的可靠性越来越难保证，详细体现为：

IPSAN存储设备对数据的保护依赖于本机磁盘组的Raid技术。业界一般采用Raid5，能允许1块硬盘损坏，但如果同时有2块硬盘损坏，这个Raid组的数据就会丢失。所以，如果出现硬盘损坏，需要尽快更换硬盘进行Raid重构，恢复数据。而在数据重构期间，如果再出现一块硬盘损坏，数据就会丢失，因此Raid重构时间越短越好。

然而，Raid重构的时间跟硬盘容量有关系，以3T磁盘为例，按照在线修复的模式，磁盘的平均写入速度在50MB/s左右，此时Raid5修复的时间长达16个小时。实际应用中，一般都在20个小时左右。随着当前的硬盘容量越来越大，3T硬盘已经成为主流，4T也已经普及，一些地方甚至用上了6T硬盘，这必将导致Raid的修复时间窗口越来越大，在这个窗口内，第二块盘损坏的概率也越来越大，再考虑到长时间高码率并发读写导致的硬盘故障率上升，存储设备数目庞大导致的维护响应时间延长，视频数据的可靠性越来越难以保证。

针对现有Raid技术容错能力有限、重构时间长等缺点，科达在近期推出拥有自主研发的“RaidX”存储技术的VS200G（L）系列IPSAN，有望解决IPSAN发展中可靠性的问题，其主要特点为：

1.永不瘫痪：使用传统Raid5，坏2块盘，Raid整个瘫痪，剩余硬盘数据取出也很困难。而应用RaidX，即便磁阵中只剩下1块硬盘，依然可以读写；剩余因公安上的数据轻松读取。

2.持续保护：使用传统Raid5，一有盘坏，后写数据无保护，再发生故障数据了丢失风险高。而应用RaidX，即使掉盘，后续写入的数据也会具备容错功能，不用担心磁盘掉线导致数据安全性风险。

3.维护方便：传统存储阵列数据重建，必须更换坏盘才能开始重建，维护起来很麻烦；而应用RaidX，可以先恢复数据，再更换硬盘；重建过程中直接重建到空闲空间，动态调整重建速度不降低读写性能。

4.直接增减：使用传统Raid阵列，无法在使用途中更换硬盘，想扩展或缩减都要重建数据；而RaidX支持动态扩展和缩减容量，缩减过程无需配置，直接拔出磁盘即可（缩减的硬盘需要有空闲空间）。

结束语

技术服务于应用。面对高清/超高清浪潮袭来，无论是云存储或传统IPSAN，亦或是其他安防存储技术，在经过海量监控项目的实践与考验后，都将日益贴合各自的适用市场，市场特性、使用针对性越来越强，且越来越贴近实际项目应用需求。

作者单位：苏州科达科技股份有限公司