大数据架构下安防迈入存储大时代

□ 文/本刊记者 罗超

大数据的驾临，让原本就十分充裕的信息社会对于数据的应用更加渴望，如何让数据安全的留存和进行分析应用，就是存储的应有职责。或许你会惊讶，全球数据量信息一半左右并非来自于影像视频，却货真价实来源于监控视频。也因此，在大数据的架构之下，视频监控存储迈入了大时代。

大数据的驾临，让原本就十分充裕的信息社会对于数据的应用更加渴望，如何让数据安全的留存和进行分析应用，就是存储的应有职责。或许你会惊讶，全球数据量信息一半左右并非来自于影像视频，却货真价实来源于监控视频。也因此，在大数据的架构之下，视频监控存储迈入了大时代。

中国成为全球最大监控存储市场

这是最好的时代。据IHS Markit统计，2017视频监控存储的外部系统（不包括存储硬盘）市场容量在77亿美元左右，市场容量增速极快，尤其是中国市场。中国早在平安城市项目推动之下，就已经成为全球最大摄像机销售区域市场，这也助推中国成为全球最大的监控存储区域市场。

原因在于：首先，近两年随着智慧城市项目的投资以及雪亮工程等计划推动下，中国的信息基础设施得到快速发展。据IHS Markit发布的报告，中国是全球最大的摄像机拥有量国家，2017年中国在公共和私人领域共装有2.76亿个监控摄像头，预计到2020年，这一数字将增长二倍以上，达到6.26亿台。而美国2017年只拥有大约9000万摄像头，区域市场位居全球第二。摄像机量的增多带来的数据增长，促使中国监控存储市场占据全球市场的最核心地位；其次，与监控存储配套的摄像机在数量上的剧增，也在技术及规格上也迎来了质的飞跃，如图像分辨率出现小规模化4K应用和4/500万摄像机的大量应用；再次，在中国视频监控摄像机的感知价值得到更多用户关注，更多行业用户倾向于存储更多及更长的视频数据，以便于行业化的业务应用；最后，在大数据时代，让中国的监控存储迎来了大时代，多种存储方式并存大发展，以下围绕大数据为监控存储带来的变革进行分析。

大数据为监控存储带来变革

大数据为监控存储带来诸多变革，变革意味着新商机，我们从技术本身和产品形态两方面分析。

大数据为监控存储带来数据安全问题

从技术层面看，视频监控技术如今正面临日新月异的变革，其组成单元之一的监控存储同样如此。大数据时代下的视频监控，网络安全一词在近五年备受重视与关注，之于监控存储那就是存储数据安全的问题了。可以明确看出，大数据之下监控存储的数据安全迎来了挑战。表现为几点：

其一、基础设备的风险：包括监控中心的存储设备、服务器和前端节点设备的安全性、网络设备的安全性、传输线缆的安全性等。设备的安全可靠是整个大数据安防系统安全运行的基础。

其二、信息存取的风险：包括用户非法访问、数据丢失、数据被篡改等。系统信息的安全，主要运用各种加密技术、存储技术、及备份方案来达到系统信息的安全。

其三、信息在网络上传输的风险：包括视频信息、录像数据信息、用户信息等在传输过程中保密性、完整性的保障以及传输链路上的节点设备的安全。另外还包括前端采集设备、社会监控资源接入监控专网的安全。

其四、系统运行的风险：包括接入设备的识别和认证、设备运行故障、软件病毒、恶意代码、以及设备控制的优先级调度等。系统运行时的风险控制主要依靠视频监控软件平台来保障，软件平台可以完成设备管理、故障监控、访问控制、用户管理、鉴权机制等一系列的功能来保障整个系统的安全运行。

基于以上，视频监控存储的安全问题带来了挑战。那么，与之相关的视频监控综合管理平台在数据安全方面就得下功夫，平台在软件内部底层设计和存储转发转码等技术应得以重视。数据安全除了在平台方面努力之外，我们还应该看到对城市监控规划建设的摄像头，基本能覆盖城区主要路段。所有录像文件分散存储在辖区派出所（使用SAN/NVR存储）、市局监控中心等。各中心使用磁盘阵列同步备份存储重点监控点的信息。对监控存储的视频文件有权限获取的用户可随意使用，容易造成敏感数据的扩散使用，甚至造成非法用户的盗用。对监控视频文件进行安全存储和受控使用，是目前智慧城市和雪亮工程信息化建设和安防建设的重点工作之一，需要借助技术手段进行安全控制。所以在当下的NVR和IP/FC SAN都需要注重存储数据安全的有效防护，主要在访问控制、动态加密、数据筛选、安全集成、日志审计方面把控。

当然，从技术层面上分析云存储比肯定比本地存储更加安全有效，因为云存储是IT移植过来的技术，许多大公司都投入大量资源来提高和保持系统的云存储安全性和稳定性。目前，云存储是最安全的应用模式，通过纠删码技术将数据进行切片，分布存储在多个节点设备上，在意外发生设备级故障的时间，存储数据将保证不会丢失。同时，对于重要数据还可以采用多个IDC机房异地备份的机制，即使发生火灾、地震等灾害时，仍可以保证数据的安全性。该建设模式是数据安全等级最高级别，但需全部数据均传输到中心机房，并采用数据冗余机制，在带宽、存储硬件方面的成本相对较高。比如：华为的云监控存储方案采用N+0组网，无需调度服务器，多台设备自发进行负载均担，单节点故障时，系统内其他节点自动接管业务，并在故障节点恢复后，重新接管前端设备；采用safevideo专利存储技术，延长磁盘使用寿命、保障数据安全及录像业务持续性；并在整个系统中采用N+0集群的方式，在不浪费系统资源的情况下，做到系统负载均衡，单节点出现故障后及时迁移。通过块存储技术消除磁盘碎片提升磁盘性能，使用媒体专用RAID技术，LUN不失效技术保障数据安全（在双盘损坏情况下，数据仍可读取），最大限度保障监控系统数据安全。

云存储支撑大数据安防应用

从产品形态方面看，大数据时代为监控存储带来最直接的变化就是云存储的到来。记者在采访大华大数据研究院技术人员时得知，云计算和云存储就是为大数据服务的。那么，在大数据架构下的云存储具体解决了视频监控哪些存储需求和弊端呢？

其一，IP SAN存储方式是网络时代最为主流的存储方式，这类存储系统与摄像机设备也大量销向东南亚、中东和非洲等新兴市场。在这些市场上，中国设备厂商除了提供更具性价比的IT存储方案之外，也顺其自然地进入到这些区域的监控市场中。但大数据架构下IP SAN的弊端也很明显。IPSAN存储方案，一个业务只能在一个控制器上工作，实现不了并发读写，极易造成系统整体负载不均；同时设备容量提升到一定规格后，性能会遭遇瓶颈，不能再随容量同步提升。云存储大多采用分布式架构+计算存储节点的方式，允许所有存储节点并行访问整个系统中的任何文件，且可以实现并发读写，相当于多个人干一个活，读写效率远远优于传统IPSAN存储；当设备容量增加时，性能可随容量线性增长，性能无瓶颈。

与此同时，以4K为代表的超高清监控需求之下，视频监控单文件的容量越来越大，每个文件能够到达GB级的规模，视频联网平台存放各省厅上传的视频文件，在项目后期视频文件的总容量甚至能够到达PB级别的容量。这个时候项目本身所使用的存储将面临容量扩展的问题。单台IPSAN设备最高也就能扩展1-2个PB左右的容量，而云存储随着节点数的增多，当前最高可扩展至20PB的容量，能够降低整个项目的总体采购投入和管理维护成本。此外，传统IPSAN存储在扩容时需要给上层业务服务器重新分配空间，严重影响上层视频共享业务的连续性。而云存储能够自动识别扩容节点，实现秒级部署，不会影响业务。

其二，相较于更为传统的NVR存储，从性能和容量上看，单台存储设备的性能和扩展性基本可以满足PB级以内的视频接入和图像存储需求，但是要接入成千上万路高清1080P，甚至是4K 视频，存储几十PB甚至上百PB 的数据。无论是性能还是容量都无法应对，因为单台NVR无法实现其性能与容量的线性增长。如果采用多台NVR叠加的方式来实现增加的视频接入和图像存储需求，那么多台存储设备间相互独立，缺乏有效的数据整合与协同处理能力，也会存在诸多问题，比如：统一管理、存储资源按需分配、资源融合、设备性能和存储空间共享及利用等一系列问题。而云存储就能有效解决NVR之类单台存储设备的技术瓶颈。通过集群应用、网络技术、分布式文件系统等将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储可对系统内的设备资源、带宽资源、存储空间资源等进行有效整合，可为用户提供大容量、高性能、高可靠的透明存储服务。云存储有几大特点：线性扩展的高并发读写性能、海量存储空间的弹性扩展、海量存储空间的弹性扩展、提升设备资源处理和存储空间共享能力、提升设备资源处理和存储空间共享能力、总拥有成本较低等。

通过以上比较，云存储无疑是安防的未来，安防企业也在纷纷角逐云存储方案，与专业的数据存储厂商共同努力推出能满足用户业务需求的多样性云存储解决方案，也有靠一己之力完成的，比如：海康金融视频云存储方案，由视频云存储管理服务器和视频云存储存储设备组成。视频云存储管理服务器负责系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等工作，是整个系统的控制指挥核心;视频云存储存储设备是前端数据取流、存储业务执行的基础设备。该方案有三大技术亮点：首先是虚拟化的存储资源整合分配。即存储资源池的合而为一，无论池中云存储存储设备的多寡，全面整合存储容量，始终以1个IP地址呈现，对总容量进行管理和维护；应用中，可按照实际需求对总容量进行分配;针对业务调整，分配后的容量可以灵活进行扩大和缩小。其次是离散存储实现高并发和大吞吐的处理性能。采用流数据离散算法对数据进行均衡切片，数据块分布式存储于存储池的节点中，由此奠定了数据高效性的基础.该方式有助于降低单点故障数据的丢失概率和风险；而以集群的响应方式，提供并发服务，提高响应及传输速率，如高速并发下载。第三是高效集群技术保证存储系统的高可靠性和数据安全性。集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力；集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效；系统采用N+M系统级高可靠性和业务持续性，全面提升安全系数。依据海康的此方案来看，云存储之前说提及的优势再次显露无疑。

值得一提的是，大数据之下是一个安防存储并行发展的大时代，虽然云存储有太多的优势，但之于中小项目而言，最主流的NVR和SAN都有其优势，毕竟整个安防传统企业能做云监控存储方案的，寥寥几家而已。记者在去年《市场给予的机遇，监控存储多方式并存》一文中已经表达了类似的观点，也对于其他存储技术也做了详尽表述，在此不在重复。

总而言之，安防企业要做云存储必须要做好技术储备，不断和数据存储厂家对接，了解各个行业业务的共通性和差异化，制定个性化的行业云存储解决方案，同时开放多种数据访问接口，为对接智慧城市和雪亮工程做准备。而硬盘厂商也要针对安防视频监控存储市场提供容量更大、稳定性更高、具有更高性价比的硬盘产品，促使视频监控存储大时代的发展。

迎战大数据，监控硬盘存储格局与介质新变化

硬盘作为存储介质，对存储大时代发展的重要性不言而喻。每年关于存储专题我们都较少涉及到硬盘这一层面，本文就较为详细谈谈监控硬盘。

纵观全球硬盘市场，近二十年最为主流的硬盘企业屈指可数：希捷、西数、东芝、三星、富士通、日立和IBM（世界上第一块硬盘诞生在1956年，由IBM制造），基本都来自美国、日本和韩国这三个国家，但硬盘行业也在吞并中竞争。2002年，日立公司与IBM公司达成协议，以20.5亿美元的价格收购IBM公司旗下的硬盘产品部门，该行业第一个并购案发生。可惜的是，十年之后的2012年，美国硬盘制造商西部数据以48亿美元收购日立环球存储科技公司。与之时隔不久的是在一年前，也就是2011年，西数最大竞争对手希捷也完成了对三星硬盘业务的并购。2009年东芝也完成了富士通硬盘业务的并购。

希捷是全球最大的硬盘、磁盘和读写磁头制造商，也是最布局监控硬盘的企业。在DVR时代一直延续到2015年之前，希捷监控硬盘无人出其左右，最大市场份额能达到接近百分之八十。2015年西数监控硬盘强势崛起，大有与希捷试比高的态势。尤其是2017年起，希捷和西数监控硬盘的差距进一步缩小。截至目前监控硬盘格局为：希捷仍然是高歌猛进，西数奋起直追，东芝不甘人后。可以说，希捷仍然占据监控硬盘最大市场份额，毕竟海康、大华这两家巨头都与希捷签订了战略合作协议。当然西数也为这两家企业做定制化的开发，比如在2016年西数采用HelioSeal氦气填充技术的8TB紫盘为海康专用。而东芝开始崛起得益于SSD（固态硬盘）的发力，也是这三家厂家中最早涉足SSD的硬盘企业。

在大数据时代，监控硬盘产品本身形态也发生了巨大变化。海量数据对监控存储行业也带了巨大的挑战，需要全新的技术以及产品形态来满足企业对数据存储的需求。固态硬盘在监控存储强势崛起，相比较于传统机械硬盘，在容量、价格和数据安全性等方面要弱于机械硬盘，但其具有机械硬盘所不具备的特点：不怕震动，温度范围宽（形变小），运转安静没有噪音，而这些恰恰是传统硬盘的性能瓶颈。由于视频监控在许多特定的场合，对整个监控硬件性能要求非常高，任何单点出现故障，都会引发整个系统的崩溃。在实时监控使用机械硬盘，对于监控摄像机采取的数据需要写入硬盘，所以硬盘一般长期处于运转状态，硬盘的长期数据写入，势必会造成传统机械硬盘机械部件，包括磁片的磨损，且一旦损坏，往往会造成数据无法恢复而让整个监控系统失去应有的效用。固态硬盘采用闪存介质，闪存单点可达到40万次的擦写次数，MTBF可达200万小时，固态盘使用寿命为10年以上。可以看出，固态硬盘大有取代机械硬盘之势头，尤其涉及到AI应用和大数据方面。比如海康V系列视频监控级固态硬盘，配合海康7系列硬盘录像机作为前端摄像机的视频录像存储设备；由于SSD自身独特的电子芯片结构和固有的抗震防摔属性，有效的降低了前置路面振动以及灰尘对硬盘的影响。而且海康还十分聪明的将固态硬盘与机械硬盘结合，保障存储数据安全。海康V系列存储产品采用硬盘盘组存储模式，即同一路摄像机视频流既存放在硬盘录像机的机械盘HDD中，又存放在该录像机的固态盘SSD中。当机械硬盘发生故障时，固态硬盘亦可继续录像，确保视频录像不丢失,充分保障了录像的完整性。网络上流行语：相杀相爱，也在监控硬盘产品中显露无疑。

不管是哪种产品形态，在大数据时代对于监控硬盘最大的考验，是海量数据存储处理能力和存储数据的安全性问题。目前由于视频数据的爆炸式增长，意味着需要投入更多的资源以及付出更多的努力，才能在这些体量庞大的数据中寻找到有价值的信息。目前各大监控存储厂商也发现单个节点的存储设备无法适应海量的视频监控数据的管理需求，其发展没能跟上数据增长的速度。现在的NVR一般是存储8块硬盘，每块硬盘最大10TB，市面上主流用的是3TB。所以单个硬盘的扩容是很难以跟上海量视频数据的增长，这就需要安防企业与监控硬盘厂家和数据存储厂家不断优化。比如说：空闲时刻降低记录速率、过滤掉不需要备份的内容、选择最优的编解码器等。

前不久东芝的新锐产品就是10 TB监控硬盘，为了解决海量视频的压力该产品最多支持 64 个高清摄像头； 256MiB 大容量缓冲区/缓存，改善视频流性能。而东芝为了解决海量视频压力问题带来了黑科技，是第二代GMA磁头，该磁头在以往磁头基础上加入了一款微动，可以精准控制磁头定置，保证硬盘读写数据时能及时响应。由于采用了从上到下移动的技术，能够提供更加精准的位置，准确性方面大约提升了30%左右；新的SoC架构，能为视频监控优化的firmware，性能更优。

海量数据也会涉及到非结构化问题，早在2005年当安防企业对硬盘还未重视时，希捷已经开始与客户一同学习，发现非结构化数据和结构性数据的硬盘需求是不一样的，SV35监控硬盘就是当年推出的定制化产品。当下的深度学习技术对于非结构化处理十分有效，在人工智能盛行的年代，希捷带来了全球首款人工智能视频监控硬盘“酷鹰人工智能”，是为人工智能打造的定制化产品。它扩大了客户和伙伴的创造空间，便于客户部署下一代深度学习和视频分析应用。该系列硬盘具备超高的吞吐量和优化的缓存，能够提供低延迟和极佳随机读取性能，实现对视频图像的迅速定位与传送，并进行影像分析，有助于推进决策、消除云数据交换和处理的延时。另外，该硬盘还配有希捷ImagePerfect AI固件，能够无损记录高质量的重要视频片段，同时支持智能NVR的多路视频分析，确保视频监控图像信息不会丢失。

具体规格方面，酷鹰AI监控硬盘仍是3.5寸标准规格，容量10TB、8TB，缓存256MB。

数据存储安全的重要性，可以通过2017年底从红黄蓝幼儿园事件进行分析。在警方通报中写明“经调取涉事班级监控视频存储硬盘，发现已有损坏。经专业公司技术检测，系多次强制断电所致。经查，该园库管员赵某某（女，45岁，河南省人，住在监控室）感觉监控设备噪音大，经常放学后将设备强制断电。”从这不难看出监控专业硬盘的重要性，而很多用户为了贪图便宜和认为监控级与普通硬盘功能一样才会导致此次事件在事后无法查证。监控级硬盘对于视频监控应用中大数据量并行写入、重复擦除写入、高温高湿等应用场景都进行了优化，可以更好地保护数据。比如西数紫盘，在DVR和NVR等设备的兼容性上具有优势。NVR内置的Linux系统需要用到的ext4文件系统等有了更好支持，而且在监控环境下，需要较大的存储空间和读写效率，比起普通硬盘，西数紫盘就支持相当于普通硬盘 3 倍的工作负载评级，轻松应对高频次的读写环境，并且通过IntelliSeek 技术可以帮助降低有害的环境噪声和振动，所以放在NVR里不会像普通硬盘那样有较大的嗡嗡声；之前提到的希捷“酷鹰人工智能”系类都提供2年Seagate Rescue数据恢复服务，免数据丢失的后顾之忧，可谓深刻把握客户心理需求，量身定做；东芝采用 RV 传感器技术来抵消附近硬盘或散热风扇振动的影响，降低噪音。

总之，在大数据时代下监控硬盘以数据为原材料、以机器学习为引擎的是发展趋势，至于固态硬盘和机械硬盘的一较高下的结局如何，还是等未来几年由市场给予答案吧。

结束语

这是最好的时代，大数据为监控存储带来了诸多新机遇，也在技术层面拔高到新的层面，产品形态的多样性并存发展也是监控存储大时代下的写照之一。总之，大数据能让监控存储，再次腾飞。