近几年来,中国视频监控行业经历了从平安城市项目建设到现在的智慧城市项目建设的重大转变。伴随着物联网应用落地和普通家庭民用市场的兴起,整个安防行业市场规模迅速壮大。而用户群体和市场需求的迅猛增长,带动了视频监控行业技术持续创新。尤其是视频监控图像质量由起初的模拟信号标清发展到现在的数字信号高清,以及今年由行业巨头海康威视发起的超高清4K摄像机。他们的每路视频码流从512Kbps到2M、4M及10Mbps不断增大,由最初用户对视频图像数据刚开始只看不存或少量保存到现在的长时间储存;使视频数据呈现爆炸性增长的态势,起初的DVR存储和服务器本地硬盘保存已经满足不了大量视频数据快速储存需求。
再者,大量数字高清IPC的高速建设,带动了视频存储技术快速发展。尤其是基于IP网络架构的存储技术日新月异,围绕视频监控行业应用涌现出了大量形态的存储产品,如NVR/CVR存储、网络存储服务器、存储一体机、云存储等等。这类存储形态归属于IP SAN存储的范畴,他们占据整个安防存储市场的主导地位。而另外一类存储产品FC SAN存储,FC SAN原来是特殊行业核心业务系统使用,现在已经逐渐下沉到安防行业,例如新疆、湖南等地已经开始使用。对于整个安防存储市场总量来说,当前仅占有很小的份额。
当前智慧城市和物联网及智能家居加速建设,其中核心部分都是以视频监控为中心,尤其是视频监控系统呈现出高清,智能化和融合应用特点。视频监控系统大量高清视频应用带来海量数据需要及时快速保存下来,而当前围绕海量视频数据存储需求,监控存储设备市场顺应发展出现了大量新形态的产品。常见的主要存储设备有:NVR,IP SAN和FC SAN及安防云存储或通用集群存储。
随着高清摄像机的数量不断增多和录像周期的延长(多数在15天以上),NVR产品因自身容量小而不能满足需要。IP SAN和FC SAN产品是基于网络化的存储架构,可以灵活实现容量扩展;可是,IP SAN/FC SAN存储设备数量越大,带来存储服务器数量也越多,使用时间越长存储性能反而越低,关键是容易产生单点故障而中断服务。因此,监控厂商在视频数据存储方面做了深入研究,必须联合专业存储技术开发出适合安防数据存储需要的新形态存储产品,即视频直写存储设备。安防行业专业名称:NVR磁盘阵列或NVR网络存储。就国内安防存储设备市场而言,对应的名称主要有NVR存储,智能视频存储,视频网络存储服务器和CVR存储等。这些设备,涉足安防行业的从业人员都能耳熟能详,并且日常工作中会经常给客户推荐使用。这类产品技术方案解决了当前大中型项目客户的使用需求。
所有这些视频存储产品在满足1000路以下或存储容量在2048TB以下中小规模,带给用户的使用体验效果觉得还很好的。但是,在此规模上继续增加的话,就会让用户觉得设备数量太多,响应速度变慢,产生数据安全性差和维护管理太累等诸多现实的问题。
纵观国内视频监控存储技术的发展,按照前端摄像机的类型划分,主要分为模拟和数字两大类,围绕模拟信号和数字信号的存储需要,视频存储设备产品出现了DVR、NVR、SAN网络存储、存储一体机,甚至大型存储系统——云存储等。这些产品的共同特点是视频专用存储,同时具有视频监控技术和存储技术的特征。并且,他们针对不同的用户应用环境存在不同的存储解决方案。下面就对当前视频存储设备的主流视频存储技术做分析:
前端分散存储主要划分为DVR、DAS和NVR存储共3类;其中DVR(Digital Video Recorder)——数字硬盘录像机,习惯上称为硬盘录像机,主要用于模拟监控系统,它用设备内置硬盘存放视频数据。NVR存储是DVR存储的网络化升级产品,主要用于接入IP网络摄像机。他们的特点有:价格低廉,简单易用;可提供1,2,4,8,16,24个硬盘槽位,适合于前端点比较分散或网络环境不具备集中存储条件的小规模监控环境。
从2003起,一直延续到现在,DVR存储多用于监控点较少、较分散,数据保存周期短(大多在7天左右),数据安全要求不高的领域,如小型公共场所监控、物业小区视频监控和工地、厂矿企业视频监控等。
而DAS(Direct Attached Storage)——直接附加存储,其依赖于服务器主机操作系统进行数据的IO读写和存储维护管理,数据读写等任何操作都要占用服务器主机资源(包括CPU、系统IO等)。DAS存储的数据量越大,对服务器硬件的依赖性和影响就越大。2005年起,曾经占据了一段市场主流地位,到2008年逐渐退出。DAS存储可以看成是对DVR存储的有限扩容应用,常用于监控点少、比较集中,数据保存周期长,数据安全要求不高的领域,如中小型公共场所监控、物业小区视频监控和厂矿企业视频监控等。
SAN(Storage Area Network)——存储局域网络,SAN是大规模应用的先进和成熟的海量数据存储架构,是建立在服务器集群和存储设备之间的网络,给服务器集群提供集中式共享存储空间方便管理。SAN存储模式适用于各类数据存储的应用,在大中型监控系统中的应用也越来越广泛。SAN存储模式根据传输链路的不同可以分为FC SAN和IP SAN。
FC SAN存储
FC SAN是指基于FC通道的SAN存储。开放的、标准化的光纤通道技术使得FC SAN非常灵活。FC SAN存储技术的特点:
1)高效性:8Gb光纤已经广泛应用,系统性能方面十分优越,用户访问速度非常快捷。
2)灵活性:只要通光纤的地方,都可以将其与应用服务器通过光纤进行连接,做到真正的数据大集中。
3)稳定性:由于光纤性能较高,在其运行过程中稳定性最好。
FC SAN在高性能高稳定性需求的数据库应用中应用很广泛。但是,FC SAN也存在很多不足之处,例如传输距离的限制,各厂商对FC标准解释不同,成本居高不下,建设成本过高等。
IP SAN存储
iSCSI(Internet SCSI,互联网小型计算机系统接口)是一种在Internet协议网络上运行的SCSI协议,特别是以太网上进行数据块传输的标准,iSCSI协议上建设的存储局域网称为IP SAN。
IP SAN的优点主要有:成本投入小 ,利旧性好;人才较多,管理维护成本低; 基于IP网络无距离限制;组建方式灵活,可扩展性高。
利用IP SAN存储技术构建存储架构如图1所示:
图1 IP SAN存储架构
采用IP SAN的监控存储方案的优势:
1)低成本实现监控数据的集中化存储和统一管理,可靠而稳定;
2)存储设备与视频服务器、监控客户端可以建设存储区域网络,共享性良好;
3)传输带宽更灵活,存储区域网络可以建设成百兆或千兆网络,满足多种环境下前端和客户端的存储、点播等需求;
4)存储系统扩展性强,后期扩容方便;
5)可靠性极好,多台存储共用时彼此之间是相互独立的,避免单点故障;
2006年起,IP SAN正式进入平安城市建设;如:全球眼和宽视界等大型视频监控项目监控中心。与DVR本地存储相对,该存储方式更适用于监控点数量大、相对集中,工作环境较好,数据保存周期长,数据安全要求高的领域,如金融、机场、大型商业楼宇等,而“全球眼”、“宽视界”、区县一级的“平安城市“项目等更适合使用中心集中存储方式。
DVR存储,DAS存储和SAN存储三种方案使用过程,给用户和厂商带来了以下6个问题:
1)视频读写一般都需要通过视频服务器,会造成性能瓶颈;当视频监控路数达到一定程度时,将不得不增加视频服务器数量,这样又造成服务器总体资源浪费,成本提高,随着系统规模的增加,这部分的开销将十分庞大。
2)所有数据流的读写要经过视频存储服务器,一旦视频存储服务器出现故障,整个系统都将中断服务,即存在单点故障。
3)监控系统的特性决定了图像数据周期性地删除、覆盖,采用通用的文件系统必然造成大量的碎片,导致存储性能逐步下降。
4)供电条件、设备网络环境等因数造成设备无法保证无限期不间断供电,一旦发生断电,将造成文件系统的损坏、数据的只读甚至丢失等问题。
5)海量数据信息系统对数据检索的速度要求非常高,在这种模式下视频数据检索很难满足需求。
6)文件系统卷大小有限,无法管理海量卷;容量扩展不易,存储服务器、存储设备同时增加。
为了解决以上存储监控技术的种种问题,主流监控厂商联合存储厂商开发出了视频直写存储技术――即把录像功能,流转发和播放功能嵌入到存储设备中,实现编码器数据流直接写入存储,平台和客户端可以直接从存储中取数据及点播。这样可以提高系统性能和可靠性,同时降低客户使用成本。
这一类视频直写存储同时可支持IP网络存储的SAN和NAS功能,除了标准的ONVIF/RTSP/PSIA/SIP/iSCSI及NAS协议的支持外,也支持编解码器前端设备或平台厂商自定义的流媒体协议。按照视频直写的数据形态具体划分,主流的有流媒体直写,块直写和文件直写共3类;其中,流媒体直写方式犹如水管输送水流直接注入水库;其他直写方式则像先把水流分装入水桶,然后再把水桶运输到水库边一桶一桶倒入水库。由此看出,流媒体直写存储是当前视频存储效率最高最稳定的;而流媒体直写技术已经被纳入公安部GB28181补充稿正式向公安行业推广。(如图2)
图2 视频直写存储物理拓扑和数据流示意图
视频直写存储方案的优势:
1)开放式接入前端,支持RTSP/ONVIF/PSIA/SIP等标准协议的直接接入;
2)前端设备以流媒体协议方式直接写入视频数据,省去存储服务器和流媒体服务器;
3)性能高,并发写入性能较IP SAN模式提高一倍;
4)可独立组网,支持直接录像、检索、回放、转发功能;
5)解决了覆盖写碎片问题和掉电后文件系统不稳定问题;
6)存储具备本地快速检索功能,数万条视频数据,可以在1秒钟之内完成检索。
7)兼容性好:提供配置、检索与回放的二次开发接口及控件,充分利用灵活对接的特点,兼容多种主流编码器及平台产品。
2008年起,视频直写存储技术应势而生,该直写方案克服了以上问题并且通过实际应用取得了成功。在主流厂商的大力推动下,该直写存储方案逐步替代了IPSAN存储转存方案,占据近3年视频监控存储方案的主导位置。并且当前已经广泛应用于平安城市、电信全球眼、网通宽视界以及银行、交通、智能楼宇等视频监控行业。
以上提及的监控存储技术在不同的监控环境中都已经应用,可以满足大中小型监控系统的存储需求。但是对于特大型监控系统(上万路视频前端),要求达到PB级的存储容量,靠单设备和单客户端的文件系统是做不到的,必须有虚拟化、集群化和离散存储的解决方案。
近几年兴起的云计算云存储技术充分利用了虚拟化集群存储技术,可以实现存储空间的动态扩展、多设备负载均衡、多设备冗余等,为特大型监控系统的建设提供了新的思路。云计算是信息技术发展新趋势,云存储是在云计算概念上延伸和发展出来的一个新概念,是指通过集群应用、网格技术、分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的存储系统。
就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种和应用相结合的数据存储服务。所以严格来讲,云存储不是单一存储设备,而是一种存储和应用的结合。
安防云存储系统物理拓扑如图3所示:
安防云存储方案的主要特征:
1)采用虚拟化技术全面整合存储容量,始终对总容量进行管理和维护,按需分配录像卷且能够灵活调整大小。
2)采用视频流直写存储设备模式,节省用户投资。
3)视频流通过离散算法均衡切片,视频数据分布式存储,同时以集群响应方式提供数据并发服务,如高速的并发下载。
4)采用全系统集群工作模式,保证各设备间业务实时负载均衡,提高设备利用率;同时系统任意节点故障,系统都能实现智能接管,保证系统业务不中断,数据不丢失。
5)全域一体化索引技术,全面提升查询速率,达到秒级响应。
6)提供标准API接口、WebService接口与行业平台对接,透明存储业务处理流程,避免重复开发;同时在大数据智能分析方面提供数据预分析支持等。
7)支持标准IP SAN存储设备接入,保护用户已有投资,利于系统整合。
图3 安防云存储系统物理拓扑图
2011年起,随着云计算技术的兴起,对数据存储速度提出非常高的要求。存储厂商为了配合云计算的高速数据储存需要,借用了云计算的设计思路发展而来一种全新存储技术——云存储技术。云存储方案弥补了视频直写存储技术容易出现单设备热点效应问题并且成功发挥了高性能和高可靠服务能力的特征。通过2012年到2013年国内公安行业一些平安城市项目实际应用取得了成功。当前在主流厂商的大力推动下,安防云存储方案逐渐显现有替代IP SAN和视频直写存储方案的发展趋势。未来几年,大中型安防项目建设中,安防云存储会占据视频监控存储方案的主力位置,必将会快速地应用于平安城市、电信全球眼、网通宽视界以及交通、大型企业园区等视频监控行业。
未来几年,视频路数在2000路以下,且存储周期30天以内的中小规模视频监控系统会以视频流直写存储为主;像视频路数在2000路甚至10000路以上的,且存储周期30天以上的大规模视频系统会以安防云存储为主;并且大规模的甚至特大规模的视频监控系统普遍出现,自然就带来了存储空间在10000TB以上的存储系统需求,存储设备数量也会在100台或几百台的规模。
对于特大规模的视频监控项目来说,不但需要高效集群化存储系统对外做好空间统一读写服务,而且更需要全域存储资源虚拟化集中统一管理。这就是当前视频存储市场中最高端解决方案----安防云存储。安防云存储不但要管好海量数据,而且要为大数据应用分析系统提供高速读写支撑服务。然而,当前存储行业中的通用集群存储因市场定位为通用数据类存储解决方案,通用数据大多是指文件类和数据库类等结构化数据;而视频数据是非结构化数据,所以对安防视频数据来说,它并不是适合安防行业的存储解决方案。
相信,安防云存储必然很快发展成为视频监控存储市场的主流解决方案,也会是首选的最佳方案。安防云存储解决了当前安防行业已经开始面临海量数据存储的管理,单一热点设备性能瓶颈和智能分析应用问题,国内不少平安城市项目正积极与行业巨头,如海康威视联手建设安防云存储。2013年在华东地区就出现了5个以上的平安城市项目成功部署了安防云存储系统,并且通过用户实际使用取得了非常成功的视频业务应用体验。