□ 文/徐旺
近几年来,随着科技的发展和技术水平的不断提升,高清化、网络化、智能化的多种安防监控产品层出不穷,大大丰富了各行各业对安防监控产品的需要。同时,随着近年来“平安城市”、“雪亮工程”等安防项目在全国范围的开展和深入,机场、地铁以及景区等用户对于视频监控范围、监控点数以及网络传输画面视频质量等要求不断提升,带动了视频监控行业技术持续创新。
视频监控图像质量由起初的模拟信号标清发展到现在的数字信号高清,以及超高清4K摄像机,每路视频码流从512Kbps到2M、4M及10Mbps不断增大,使视频数据呈现爆炸性增长的态势,其中最核心的技术就是存储,存储在安防行业的发展过程中经历了磁带存储、DVR、NVR、SAN直存等产品形态,新兴的软件定义、云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是写入和读取两个功能。传统的分布式存储如DVR、NVR产品,只能对监控点位分散的结构通过划分若干监控区域进行分布式存储,保证基本的写入需求,对于大规模读取的性能无法按需满足;监控领域的集中式存储主要指SAN、一体机设备,这类设备通过RAID、增加扩展柜的方式获得了单机的大规模写入空间,满足了高密度的需求,但是对于视频的读取仍无法做到按需分配;云存储的架构真正做到视频的写入、读取按需分配、线性扩展,增加独立的存储节点即可获得更高的读和写性能。
纵观国内视频监控存储技术的发展,按照前端摄像机的类型划分,主要分为模拟和数字两大类,围绕模拟信号和数字信号的存储需要,视频存储设备产品出现了VCR、DVR、NVR、SAN网络存储、存储一体机,甚至大型存储系统--云存储等,这些产品的共同特点是视频专用存储,同时具有视频监控技术和存储技术的特征。
下面就当前视频存储设备的主流存储技术做分析:
第一类存储是早期的监控系统采用的VCR存储(磁带),VCR存储实现了最基本的记录功能或记忆功能。这个存储技术在2000年初较为盛行,主要以国外的品牌为主,国内企业较少涉足。由于年代较于久远,而且磁带存储的诸多不足,在这里不做详细介绍和点评。
第二类的存储属于前端分散式存储,主要包括DVR和NVR;其中DVR(Digital Video Recorder)—数字硬盘录像机,习惯上称为硬盘录像机,主要用于模拟监控系统,它用设备内置硬盘存放视频数据。NVR存储是DVR存储的网络化升级产品,主要用于接入IP网络摄像机。他们的特点有:价格低廉,简单易用;适合于前端点比较分散或网络环境不具备集中存储条件的小规模监控环境。
从2003起,一直延续到现在,DVR、NVR存储多用于监控点较少、较分散,数据保存周期短,数据安全要求不高的领域,如小型公共场所监控、物业小区视频监控和工地、厂矿企业视频监控等。
第三类存储:SAN集中存储设备。SAN(Storage Area Network)—存储局域网络,SAN是大规模应用的先进和成熟的海量数据存储架构,是建立在服务器集群和存储设备之间的网络,给服务器集群提供集中式共享存储空间方便管理。SAN存储模式适用于各类数据存储的应用,在大中型监控系统中的应用也越来越广泛。SAN存储模式根据传输链路的不同可以分为FC SAN和IP SAN。
FC SAN在高性能高稳定性需求的数据库应用中应用很广泛。但是,由于FC SAN设备传输距离的限制,各厂商对FC标准解释不同,成本居高不下,建设成本过高等原因,在安防领域很少被使用。IP SAN设备由于成本投入小,管理维护成本低,基于IP网络无距离限制,组建方式灵活,可扩展性高等特性,使其在安防领域广泛被使用。
利用IP SAN存储技术构建存储架构如下图:
采用IP SAN的监控存储方案的优势:
低成本实现监控数据的集中化存储和统一管理,可靠而稳定;
存储设备与视频服务器、监控客户端可以建设存储区域网络,共享性良好;
传输带宽更灵活,存储区域网络可以建设成百兆、千兆、万兆网络,满足多种环境下前端和客户端的存储、点播等需求;
存储系统扩展性强,后期扩容方便;
可靠性极好,多台存储共用时彼此之间是相互独立的,避免单点故障;
与DVR本地存储相对,SAN集中存储方式更适用于监控点数量大、相对集中,工作环境较好,数据保存周期长,数据安全要求高的领域,如金融、机场、大型商业楼宇等。
第四类存储:视频直写存储。在经历了DVR、NVR存储和SAN存储三种方案使用过程中,给用户和厂商带来了一些问题:例如:流媒体服务器会造成的性能瓶颈、单点故障;海量数据信息系统对数据检索的速度慢;文件系统卷大小有限等。为了解决以上种种问题,主流监控厂商联合存储厂商开发出了视频直写存储技术:即把录像功能,流转发和播放功能嵌入到存储设备中,实现编码器数据流直接写入存储,平台和客户端可以直接从存储中取数据及点播。这样可以提高系统性能和可靠性,同时降低客户使用成本。
这一类视频直写存储同时可支持IP网络存储的SAN和NAS功能,除了标准的ONVIF/RTSP/PSIA/SIP/iSCSI及NAS协议的支持外,也支持编解码器前端设备或平台厂商自定义的流媒体协议。直写方式犹如水管输送水流直接注入水库;其他直写方式则像先把水流分装入水桶,然后再把水桶运输到水库边一桶一桶倒入水库。由此看出,流媒体直写存储是当前视频存储效率最高最稳定的。
视频直写存储物理拓扑和数据流示意图:
视频直写存储方案的优势:
开放式接入前端,支持RTSP/ONVIF/PSIA/SIP等标准协议的直接接入;
前端设备以流媒体协议方式直接写入视频数据,省去存储服务器和流媒体服务器;
性能高,并发写入性能较IP SAN模式提高一倍;
可独立组网,支持直接录像、检索、回放、转发功能;
解决了覆盖写碎片问题和掉电后文件系统不稳定问题;
存储具备本地快速检索功能,数万条视频数据,可以在1秒钟之内完成检索。
兼容性好:提供配置、检索与回放的二次开发接口及控件,充分利用灵活对接的特点,兼容多种主流编码器及平台产品。
2008年起,视频直写存储技术应势而生,直写方案克服了以上问题并且通过实际应用取得了成功。在主流厂商的大力推动下,视频直写存储方案逐步替代了IPSAN存储转存方案,占据近几年视频监控存储方案的主导位置。并且当前已经广泛应用于平安城市、雪亮、以及银行、交通、智能楼宇等视频监控行业。
以上提及的监控存储技术在不同的监控环境中都已经应用,可以满足大中小型监控系统的存储需求。但是对于特大型监控系统(上万路视频前端),要求达到PB级的存储容量,同时要求满足高性能、高可靠性,靠单设备和单客户端的文件系统是做不到的,必须有虚拟化、集群化和离散存储的解决方案—云存储。
云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。从严格意义上讲,云存储不是存储,而是服务。云存储已经成为未来存储发展的一种趋势,云计算和云存储正引起一场技术革命,安防行业也不例外。
安防监控视频图像的高清显示、海量非结构化的数据存储、多元信息融合、音视频图像的分析挖掘、大规模数据的智能分析及决策需要引入云计算、云存储等多种先进技术,尤其在平安城市、智能交通、智慧城市以及跨地域的大规模行业应用当中,对于这些行业中海量的视频图片等非结构化数据存储系统的需求,意味着数据存储能力和计算处理性能的提升,存储产品要求具备高性能、高容量、高可靠性以及可扩展性,同时需要实现与安防行业应用的深度结合,满足安防系统海量视频数据管理的特殊业务应用。
目前,云存储在各大行业安防市场中,都已有规模性的部署和使用。例如,智慧城市和平安城市的建设,就要求在视频监控方面,需提供海量的存储系统,能并充分利用好存储的数据进行深入的分析处理。传统的存储技术无法满足社会发展的需求,云存储在安防领域的应用将会成为必然的选择。
安防云存储系统物理拓扑如下图:
云存储在视频监控前景越来越广阔,云存储的作为未来发展的风向标,与传统存储相比,安防云存储主要有以下优势:
高速存取:安防云存储需要面临高并发、高码率的数据存储要求,面对的都是高清、高码率的视频存储,存储系统需要提供高性能的数据吞吐能力。安防云存储通过采用数据离散式存储机制,每一个监控点的录像都以分块形式,并发存储于不同的存储节点中,在读取时,这些存储节点将并发提供服务,避免了单台设备读取的瓶颈,速度比传统存储快几十倍,可以满足平安城市等大型安防项目中,海量并发存储、读取的需求。
安防集成:在实际应用中,安防云存储与各项业务系统结合非常紧密,如图侦、视频智能分析等,在存储阵列中直接集成视频录像管理、视频回放和媒体转发业务,充分利用云存储高可靠硬件和网络。同时,安防云存储提供标准sdk接口,可以方便让客户对安防业务系统进行二次开发,与安防业务系统更为紧密的集成。
码流直存:安防云存储由于其使用场所、用户的固定性以及用户对视频高效应用的要求,一般都会采用码流直存的方式,从而简化系统的架构,降低故障点,提升系统部署的效率以及运维成本,而且云存储一般也是架设于专网之中,更能保障录像的质量。
检索迅速:针对系统中会产生PB级海量监控数据,存储设备的数量达数十台上百台,因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具,具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警,图像化系统检测等功能。在海量视频存储检索应用中,检索性能尤为重要,因此数据检索的速度对安防存储显得至关重要。
安全可靠:当在线存储系统出现故障后,热备机可以立即接替服务,当故障恢复时,服务和数据回迁;若故障机数据需要调用,可以将故障机的磁盘插入到冷备机中,实现所有数据的立即可用。
在安防行业,涉及的数据信息类型很多,以数据的结构类型来看,包括各类非结构化、结构化及半结构化信息。其中,非结构化数据主要包括视频录像和图片记录,如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录,系统日志记录,运维数据记录,摘要分析结构化描述记录以及各种相关的信息数据库,如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据,指纹记录等。
利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用。对于视频图像等非结构化数据的分析和处理,这些技术很多已在初期应用中不断改进和完善,很多更新的智能分析技术仍处在研发过程中,对这类数据的分析和处理也将成为安防大数据的核心价值点。而大数据的核心是应用,从数以亿级的数据里提取出最有价值的决策信息,对于安防而言,这种价值体现在最短的时间内找到对准确的事件真相,也就是还原案事件的过程或者做出相应的预测。因此云存储为安防大数据的价值也就体现在“快”,云存储和大数据的云搜索引擎相互匹配,高校存取高效检索。
云存储技术在安防行业中的运用与发展是一个长期持续的过程,技术生长的土壤需要不断注入创新的养分。随着云存储在安防行业的持续深入,对于安防行业的理解愈发全面,云存储在安防行业中的专业化程度也会不断加强。也只有理解业务需要、尊重业务需求才能促使云存储安防化的进程不断前行。
视频监控技术的不断更新换代,对存储技术也提出了更高的要求。网络化、智能化是视频监控系统一个非常重要的方向,要求能提供基于网络的智能化存储、检索和回放。因此构建下一代视频监控系统,其存储部分将不再是单纯的存储单元,而应该是一个联系前端的智能处理和后端智能检索的整合的系统。