浅谈安防存储技术发展趋势

2018-09-07 06:03王景彬
中国公共安全 2018年7期
关键词:码流存储技术存储空间

□ 文/王景彬

存储设备作为数据的载体,具有无法衡量的价值。而安防存储,由于其数据量的庞大,更是在存储市场占有相当一部分的比例。随着智慧城市、平安城市、天网等概念的提出,视频监控所需的存储空间需求在大幅的提升。例如,一座小型的城市,要想实现公共区域无死角的监控,需要少则几千,多则上万的点位。如果按照1万路1080P视频,采用H.265视频压缩技术,存储1天就需要200TB的存储空间。而通常这种平安城市的视频要求存储至少90天甚至1年之久,轻轻松松就达到了几十甚至上百PB级别的存储容量。

伴随着这么大的容量的需求,势必要引起存储技术的革新。而安防存储技术一直以来都是围绕着容量、性能、安全性3个方面来发展的。由于安防行业存储的数据类型比较单一,多以视频和图片为主。所以提升存储空间的主要途径基本只有两种,一是增加设备进行扩容。二是从数据源本身出发,压缩数据源,降低数据的空间占用率。

监控存储的三种产品形态

毫无疑问,基于扩容的方式是简单直接的,但也是最耗费资源的。安防行业的存储主要分3种类型,NVR、集中存储和云存储。基于NVR的扩容主要是通过增加设备,配置集群的方式来进行。由于NVR本身只适用于小型监控场景,自身一般只配备1至16块硬盘,所以这种方式所能扩充的容量也非常有限,主要适用于超市、小区等场景。集中存储相对NVR而言涉及到的扩容技术就更复杂了些。集中存储的技术经历了从IPSAN到流直存的过程。相对NVR而言,IPSAN更重视数据的集中存储和统一管理,并具有非常出色的容量扩展能力,因此IPSAN更适用于大规模部署。IPSAN主要通过连接扩展柜的方式进行扩容,这种方法简单直接,但劣势也很明显。那就是随着扩展的增加,主机的负担会逐渐加重,到最后会出现单点故障、扩展柜的读写速度与主柜脱节等问题。为了解决这一问题,安防厂商后来逐渐开发出了安防特有的视频存储技术,视频流直存技术,其对应的设备被称之为网络存储服务器。网络存储服务器的扩容只需将新的设备接入局域网络,通过IP地址等网络协议即可进行连接。在2PB级别以下中小型项目中,这种方式可解决用户的绝大多数需求。云存储是一种新型的存储技术,在单纯的存储的基础上,还加入了云计算功能。它的扩容与集中存储类似,但除了通过基本的网络协议连接之外,云存储还需要进行集群配置才能让新加入的节点接入到虚拟集群中。

监控存储面临的挑战

从数据源本身出发,更多涉及到的是图像处理技术。视频压缩编码技术经历了由早期的H.264到H.265,到目前个别安防厂商自主开发的编码技术。传统蓝光1080P视频的码流大小是8Mb,H.264编码可以实现将1080P分辨率的视频流压缩至4Mb码流。H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准,可以将1080P分辨率的视频压缩到2Mb码流,存储空间节省了一倍。关键的是,在视频文件大小逐渐被降低的情况下,人眼观看的视频质量还能保持不变。当前的安防市场正值H.264到H.265的切换时代,市场数据显示,H.264产品,不论是前端相机,还是后端存储设备,所占的市场份额都在逐渐被H.265设备所取代。可见,视频压缩技术的更新是未来存储市场发展的趋势。在此趋势下,几家安防行业内的领军者纷纷推出了更优于H.265的压缩技术。例如,天地伟业S+265技术,已经可以实现将1080P视频流压缩到1Mb大小码流,存储空间相比于H.265又降低了一倍。那么,如此高效的压缩编码技术是如何实现的呢?据相关人士透露,绝大多数视频监控的场景其实可以分为两部分,一部分是背景,另一部分是运动的人和物。背景通常是固定不变的,这部分可以分配低码率进行传输,而对于运动的人和物,则可以分配高码率,最后进行合成,就可以实现1Mb码率的效果。

在满足了容量需求之后,存储的写入读出速度成了一个新的挑战。随着高清化视频监控的普及,1080P分辨率几乎成了安防项目采购的最低配置,而4K等分辨率也逐渐在安防市场崭露头角。前面也已经提到,在一个小型的平安城市项目中,几千或上万的点位数已经成为常态。那么如果按照1000路1080P前端,8Mb码流来算的话,每秒产生的数据量就有8GB。对于如此大的接入带宽,目前安防市场的主流解决方法就是采用网络存储服务器搭建局域网的方式来解决的,也就是我们所说的集中存储方式。目前市场上主流的项目级集中存储设备已经可以实现单台接入1024M的带宽,基本满足了数据写入速度。但在实际应用中,让服务器以满负荷的接入带宽运行的场景并不多,原因有二。首先,由于服务器本身硬件架构的设计,长时间满负荷运行对CPU等核心配件的消耗较大。其次,安防市场主流集中存储的机型多为24盘位和36盘位,拿24盘位举例,如果安装6T硬盘,只能对400路1080P分辨率,2Mb码流的视频存储18天。超过这个时间,就会进行循环删除。而对于智慧城市这种应用场景来说,视频存储的市场最起码是3个月。所以为了更好的利用集中存储的性能,大盘位的网络存储服务器应运而生,逐渐由传统的24盘位切换到48盘位,甚至72盘位。未来随着数据量的继续增大,大盘位的网络存储服务器将会占据更多的存储市场。

在容量和性能初步满足了用户的需求之后,安全问题成了最终的考虑点。如此庞大的数据量,如何保证设备长时间运行数据不丢失?服务器也好,硬盘也好使用寿命大多在5年至10年之间,设备损坏可以更换,但如何实现将损坏存储介质之中的数据成功恢复呢?传统存储都是通过磁盘之间做raid组来实现容错。Raid是将多块物理磁盘虚拟成一块逻辑磁盘的一种技术,监控领域应用比较多的是raid5模式,可以实现1快raid组中一块硬盘发生损坏,坏盘中的数据能自动恢复到raid组中,初步具备了容错性。但raid方式只是将容错的基本单位停留在了硬盘上,如果服务器节点故障,仍然会造成单点数据丢失。面对这种安全性需求,云存储应运而生。

云存储是安防存储的新未来

云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统。从物理上看,云存储是一台一台独立的服务器,但在使用的时候,用户只会看到一个虚拟的存储池,统一对外提供存储服务。市场上常见的云存储提供厂商有百度云,阿里云,华为云等。这些云存储厂商构建一个数据中心,然后对外提供这部分存储空间的使用权,这种模式我们可以称之为公有云。而安防云存储与之有些不同,由于大量的视频数据在实时产生,所以如果将这些数据存储在异地,对网络带宽将是一个非常大的挑战。不仅如此,如果是像平安城市这种涉及到公共安全的视频数据,更是不能让其在共有网络中传输。所以,安防厂商一般都会选择帮用户在本地构建自己的数据中心,也称之为私有云。提高安全性势必要增加冗余度,而如何利用最小的冗余度提供最大的安全性,则是安防厂商在技术一直努力的方向。在这个方向上,安防云存储随之出现。

云存储相对于集中存储而言主要有两大优势,第一,实现了负载均衡。云存储对外提供统一的数据接口实现存储功能,至于数据存进来之后如何找到合适的位置落盘,则是由云存储内部的集群软件统一调配的。这种调配机制可以保证集群中每一台设备上存储的数据量比较平均,读写速度也比较均衡,防止局部读写压力过大,最大限度的利用了集群的性能优势。第二,云存储具有超强的容灾性。云存储的容灾性主要体现在其内部所搭建的纠删和副本池。通过N+M这种N台存储节点加M台纠删节点的配置方式,可以实现集群中M台节点发生损坏,数据不丢失,录像业务不中断。

当前市场上的安防云存储主要有两种架构,对称架构和非对称架构,两者各有优劣势。非对称架构的云存储由云存储管理节点和存储节点组成。管理节点通常使用高配置的服务器来进行资源调配的功能,存储节点一般所用配置较低。这种方式的优势在于,由于存储节点数量较多,管理节点数量较少,整体的成本会偏低。但劣势也很明显,一旦管理节点发生损坏,整个存储集群将无法使用。对称架构与非对称架构的区别就在于它没有管理节点,而是把管理节点虚拟到集群中。这样做的好处就在于,省去了一台服务器,节约了成本。其次,从安全性考虑,由于管理节点虚拟到集群中,并在节点之间不断转移,就可以实现节点损坏的随机性。也就是说,不再指定固定的某台服务器不能损坏。目前安防云存储市场的趋势更加倾向于对称架构,只要成本允许的条件下,推荐使用对称架构的云存储。不仅因为其安全性较高,更是因为这种架构具有可拓展性。通过将每台独立的服务器虚拟成一个存储池,可以在里面划分不同的存储空间,然后在各个空间内运行虚拟机,进而可以实现各种不同的业务。一套硬件实现了所有业务,构成了一个超融合系统。这个概念已经有个别厂商投入使用了,效果还算比较理想。所以说,云存储是安防存储市场未来的发展趋势,而对称架构的云储存是未来云储存市场发展的趋势。

猜你喜欢
码流存储技术存储空间
基于多种群协同进化算法的数据并行聚类算法
数字电视TS码流协议简要分析
苹果订阅捆绑服务Apple One正式上线
高清网络摄像机图像延迟分析及解决方案
用好Windows 10保留的存储空间
关于计算机网络存储技术分析
多级分布式云存储技术在公安领域的应用研究
数据存储技术的应用
一种比较ASN.1码流差异的方法
IRD对TS流的处理