分布式存储在电视台制播网的应用探讨

2012-08-15 00:44广东工业大学计算机学院杨煜彬
电子世界 2012年8期
关键词:制播存储设备存储系统

广东工业大学计算机学院 杨煜彬

电视台对制播网络的要求都非常高,不仅要功能强大、特效丰富、优质高效、流程合理,最重要的是安全稳定、高效率、低风险。而网络存储系统的性能,直接关系到整个网络的稳定和安全。高清制作开始广泛应用的今天,网络对存储和带宽的要求飞跃式的增长,存储架构的选择与应用显得至关重要。

一、高清制播网对存储的需求

1.存储容量

高清素材的高码流,决定了存储高清所需要的磁盘空间需求剧增。一般高清节目素材的码流为100Mb/S,加上编辑用的低码流素材和音频素材,一个小时的节目素材存储所需的硬盘空间需要在50GB左右。另外,收录节目素材和合成成品节目素材的空间也相应提高。考虑到磁盘空间的利用率控制在70%的原则和扩展余地,一般中小型高清编辑网的素材存储量都需要达几十个TB。

2.存储带宽

以一个10个高码流编辑、上下载工作站点,10个低码流编辑站点、4台合成服务器、4台用于收录素材和合成素材迁移的迁移服务器的制播网络作为例子。每个高码流编辑工作站100Mb/S的写带宽,100Mb/S*2层=200Mb/S的读带宽;每个合成服务器的写带宽为100Mb/S,读带宽为100Mb/S*3层=300Mb/S;每个迁移服务器的带宽占用为300Mb/S;还有低码流编辑站点码流、音频码流等其它比较低码率的带宽读写忽略不计。按照这个规模计算,极限读写混合带宽将达到6Gb/S左右。考虑网络系统需要20%的带宽作为冗余,存储设备所需带宽达到7个多Gb/S。

3.存储安全

安全生产是电视制播的生命,制播网当然也不例外,对于制播网的安全与稳定性能的要求接近苛刻。存储系统是整个网络基础平台中一个十分重要的组成部分,一旦存储系统出现问题,编辑带宽甚至编辑素材和成品节目就会出现问题,就会影响到电视节目的生产效率,甚至会影响到节目的正常播出,所以存储系统在整个系统中的地位可以说是重中之重。在高使用带宽、大容量、读写频繁的应用环境下,要保证存储系统的稳定、安全备份,还需要在容量与带宽上保持高可扩展性,这些都是高清制播网所需面对的问题。

二、针对制播网络应用的存储解决方案

存储容量的扩展,即是存储在纵向的扩展,在存储产品容量增长速度飞快的今天,通过选取或者更换大容量磁盘,扩展磁盘阵列柜的方式,比较容易实现。较之存储容量的增加,存储读写带宽的增加,即是存储在横向的扩展,实现起来困难不少。按照之前分析,目前普通的光纤存储或者是ISCSI存储,单台设备很难能达到7Gb/S的读写带宽,读写带宽已经成为存储设备的瓶颈所在。而且在如此高容量和读写带宽的应用背景下,大量数据的备份恢复,出现灾难时带宽的保证,对于电视台制播系统来说,都是非常重要的问题。针对这些情况,很多厂家提出了各种存储系统架构的解决方案:

1.对等存储构架

将A、B两个存储设备作为相等的存储,读写工作站同时向A存储和B存储上写入相同的数据,在读取数据时按管理软件的规则向A、B存储同时读取,获得双倍的读取带宽。由于两个存储的数据一致,所以在数据上能起到安全备份的效果,但是在其中一台存储发生故障后,读取的带宽就剩下一半,而且数据恢复时也需要占用一定的带宽。在存储的扩展方面,因为两个存储只是简单的对等关系,所以存储扩展时,只需要简单的增加相应对等的存储设备,对系统造成的影响不大。这种对等的AB存储模式,相对简单,即使存储数据分配软件出现问题,也能够直接使用单个存储进行数据访问,在一定程度上,提高了该系统构架的安全性。但是,该存储构架只能在数据读取方面,为存储的读取带宽减轻一半的压力,对于存储系统读写带宽的横向扩展能力有限。

2.存储网格概念构架

存储网格是指运用网格思路和技术,包括虚拟化和开放标准。实现分布、异构的存储和数据一体化,为各类网格应用服务。就像计算网格一样,存储网格也是一种有机的“智能单元”的组合,各个“智能单元”之同可以有效地协同工作。而这种所谓的“智能单元”,则是由一些基础的硬件设备来组成。

存储网格的行为方式类似于单个资源,它智能地共享工作负荷以确保存储网格的单个部分不会过度负载。在数据的写入时,管理设备将数据智能的复制、分片后写入多个智能存储设备中,对数据起到安全备份作用。在读取数据时,管理设备按照写入的信息,向多个存储设备智能的读取数据,起到负载均衡和带宽增加功能。并且存储的容量与带宽会随着网格中智能存储设备的数量增加而增大,所以智能存储设备的应用数量,也直接影响到该构架的工作效率。

3.云存储概念构架

云存储是一个以数据存储和管理为核心的云计算系统,是通过集群应用,将网络中各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。具有数据高效的备份和针对不同应用的实时迁移功能。

在这种存储构架的工作模式下,各个存储的容量和带宽,数据的存储及备份的数量和位置,都可以通过云计算系统的管理进行协调分配,以达到最理想模式。从存储的横向扩展或者故障恢复方面分析,这种存储系统都有非常突出的优势,但是必须有复杂的计算管理系统作为支持,维护相对复杂。

三、应用的探讨

以上谈到的几种存储系统架构,都是应用了分布式的存储概念,将数据资源打散分布,通过多方协作来完成存储系统的纵向扩展与横向扩展。电视台高清制播网络的存储系统构架,突破普通的单一存储方式,向分布式存储方向发展是一种趋势,也是其自身高可靠性、高可扩展性、高容量、高带宽的需求。而针对电视台制、播、存相应环节对存储的需求,分布式存储的结构也应有相应的选择。

在节目素材制作合成阶段的存储,核心制作部分对系统的实时性要求非常高,上下载和合成环节中,存储带宽哪怕出现极短时间的超载,都会使节目的质量出现问题。而且制作网的核心制作部分的工作站点和存储系统一般地域跨度不大,现时普遍选用FC存储这种对带宽稳定性最有保证的存储设备。加上不同素材类型容量与带宽可遇见性高,可简单的进行手动分配存储区域等存储特点,对等存储这种解决方式,可能更适合于编辑制作这部分的存储系统构架。

播出网的存储主要来至于制作网、媒资网与播出上载工作站的迁移数据,数据的实时性要求不是很严格,但与日俱增的素材码率及播出时间,也让存储容量和存储速度面临很大的挑战。针对存储的特性,许多播出网络都采用IPSAN这种物美价廉的存储设备来完成。而IP-SAN网络架构,特别是万兆以太网的推广,正使存储网格这种存储方式得到更好的发挥。纯以太网的架构,让数据站点与存储的接入地域跨度增大,并且存储带宽可以伴随着存储容量的增大而增加。

媒资网由自身海量的存储需求,从在线、近线的磁盘存储到磁带、光盘储存,一开始就决定了其存储设备的多样化,异构化。“云存储”的概念无疑对用户系统提供了更智能化、虚拟化的存储后端,让用户数据的读写选择处理,在存储系统的强大运算中解决,提高用户读写的效率。

四、结束语

一个良好的存储系统解决方案应能适应数字资源的海量存储和不断增长,同时能够满足当今网络环境复杂性和扩展性的不断提高。随着电视台制、播、存网络的发展,分布式存储的架构应该会得到越来越多的使用。实际应用中,究竟选用哪种存储技术方案还是几种方案的整合,不能一概而论,盲目追求最新潮方案。最适合需求的方案,才是最好的方案。

[1]张海涛,等.“云存储”在广电行业的应用探讨[J].广播与电视技术,2011.11.

[2]刘福明,等.网格与存储[J].重庆三峡学院学院报,2006.3.

[3]杨枫.高清节目制作网络系统数据存储技术应用研究[J].广播与电视技术,2010.12.

猜你喜欢
制播存储设备存储系统
分布式存储系统在企业档案管理中的应用
天河超算存储系统在美创佳绩
大数据背景下网络综艺节目的制播模式新变化研究
美剧在中国流行的原因及借鉴意义
电视制播网网络安全防范方式探讨
Windows 7下USB存储设备接入痕迹的证据提取
基于Flash芯片的新型存储设备数据恢复技术研究
广播电台应急广播制播业务分析
华为震撼发布新一代OceanStor 18000 V3系列高端存储系统
一种基于STM32的具有断电保护机制的采集存储系统设计