郑皓天
摘 要:视频监控系统在铁路发挥的作用越来越大,监控范围越来越广,视频数据量急剧增加,IPSAN存储技术高成本的特点越来越突出,而采用冷存储技术有利于降低建设成本。冷存储具有低成本、长寿命优点,能满足铁路视频监控系统的基本需求,是未来存储应用的方向。
关键词:视频;冷存储;低成本;高可靠;长寿命
铁路视频监控系统是监控行车安全的有效手段,采用网络化、数字化视频监控技术和IP传输方式的铁路综合视频监控系统,为铁路行车、货运、客运、公安等有关部门提供所需的视频信息。
1 铁路视频监控系统存储现状
铁路视频监控系统存储以IP存储网络(IP-SAN)方式为主,也有个别专业视频采用光纤存储网络(FC-SAN)、直连式存储(DAS)或网络附属存储(NAS)等方式。IP-SAN相对其他几种方式的优势在于:(1)IP网络技术相当成熟,IP-SAN减少了配置、维护、管理的复杂度。铁路总公司现有的网络管理人员就可以完成日常的管理与维护工作。(2)由于是基于IP网络的存储系统,数据的迁移和远程镜像非常容易,只要网络带宽支持,基本没有距离限制,更好的支持异地容灾。(3)基于IP网络的存储系统,以传统以太网的价格实现同等于光纤网络的性能,实现真正的即插即用Plug & Play,无需客户端软硬件升级、零维护成本、使用人员无需技术培训,降低企业的拥有成本与维护成本,而且升级扩容简单方便。
2 铁路视频监控系统存储存在问题
视频监控系统在铁路发挥的作用越来越大,监控范圍越来越广,清晰度越来越高,存储时间也由原来3~15天提升到15~90天,视频数据量急剧增加。目前这些数据采用单一的高性能存储、IPSAN方式进行数据存储,其成本将大幅攀升。但是,大多数空前增加的数据却是“冷数据”,即不常访问的数据。存储这些不常用的数据存储设备的空间利用率低、能耗高、成本高。
3 冷存储的应用
根据铁路视频特点,3天内占5%的数据是热数据,3~7天占15%的数据是温数据,7天前占80%的数据是冷数据。将这些访问频率极低的“冷”数据存储在一个高性能IPSAN存储设备上,其性价比不高。如果我们能把他们迁移到一个专为冷数据而设计的低成本存储层中,将能大幅降低功耗,从而延长存储设备的寿命,降低系统全寿命周期成本。
应用冷存储系统,随着时间的推移,冷数据访问频率非常低,其所在的硬盘平常处于断电状态,访问这些数据时需点亮这些硬盘,访问时间相对IPSAN方式慢一些。右图中显示的四个相互关联的预期存储寿命、访问频率、访问速度和成本与服务级别协议、冷存储模型随时间的关系。
冷数据使用模型要求与服务级别协议、时间关系图
冷存储有较低的访问频率和随时可访问的特性。虽随时可访问,但访问速度有所降低,服务级别有所降低。访问冷数据响应时间大约在5-10s,由于访问的都是历史数据,对实时性要求不高,对铁路视频监控系统使用者来说这是在可以接受范围之内,因此采用冷存储技术将大大节省铁路视频应用成本。冷存储具有以下几个优点:
一是低成本。对存储系统中海量的数据进行智能分析和管理,将冷热数据分离,冷数据移至低功耗的硬盘中,通过智能电源管理技术,实现硬盘空闲时自动断电,有数据访问时自动加电,有效降低存储服务器整机运行功耗。随着时间推移,热数据变成冷数据,并不断迁移到冷存储空间中,使得热存储空间得到反复使用,存储更有效,极大节约投资。
二是长寿命。大量的冷数据移至低功耗的硬盘中,在硬盘空闲时自动断电,硬盘的寿命得以大大延长。
三是高可靠。冷存储采用纠删码数据保护方式,缺省配置N:M,硬盘损坏数<=M时依然可以恢复数据,12:4方式存储可靠性是RAID5的4倍,效率等同于5副本。数据采用离散化策略,数据分散在不同节点的不同硬盘上,数据不会丢失。定期进行系统扫描和数据重构,提高访问速度。
四是高密度。由于大多数硬盘处于断电状态,只有少量硬盘处于点亮转台,因此,一台存储服务器能够管理更多的硬盘,一个标准机柜可实现几个PB存储,大大节省通信机房面积。
4 结论
冷存储的优势不仅仅停留在节省成本,还在性能、可访问性、数据完整性、安全性和兼容性等多方面也有不错的表现。特别是在大数据中心领域将大放异彩,开创数据存储新生态。随着冷存储技术的不断成熟和发展,将来在铁路视频监控系统海量数据存储方面将发挥重要的作用。