IP-SAN存储在高清制作网升级改造中的应用

刘伟 龙廷波 王路 徐州广播电视传媒集团



IP-SAN存储在高清制作网升级改造中的应用

刘伟 龙廷波 王路 徐州广播电视传媒集团

【摘要】本文分析了从标清向高清过渡时期制作网存储的关键指标，分析了几种组网方案，并且根据实测数据提出了高性价比的制作网存储解决方案。

【关键词】IP-SAN ISCSI 高清

一、前言

广电数字化、网络化建设已经进入了高清时代。我台的新闻频道在2012年就已经率先建设了高清非编网。为了尽一步推进高清化进程，我台打算再建设两个高清非编网，用于接替我台原有的两个标清非编网。从标清跨越到高清，伴随而来的就是视音频数据爆发式的增长。对承担节目制作任务的非编网来讲，则意味着存储带宽和容量的成倍增加。本文讨论了高清环境应该选择何种方式的存储网络架构及在高清环境下如何应对高企的存储成本。

二、现有制作网络架构及存储需求分析

标清时代的非编网通常有两种网络架构。一种是IPSAN的网络架构。这种架构通过ISCSI 协议，用千兆以太交换机连接存储设备和工作站。

另一种是采用FC-SAN+以太的双网结构。后端配置FC接口的存储设备，以FC SAN交换机为连接方式，站点配置FC的HBA卡，通过8Gb或者16Gb的光纤通道，运行FC协议来进行数据传输，以太网主要用来传输管理协议。

对于大规模、高带宽、多站点需求的非编网，以前都采用FC-SAN+以太的双网结构。近两年随着万兆网络的成熟和成本降低，以万兆接入为核心的新一代IP存储的性能得到了大幅提升。这种架构后端采用集群存储和高速NAS存储结构，以以太网络作为基础数据交换通道，存储和以太网交换机通过万兆接口连接，工作站通过万兆或者千兆网络与交换机互连。这种架构也逐渐开始在较大规模的非编网中得到应用。

在确定采用哪种方式搭建高清网之前，先来分析一下我台原来的标清非编网。原来的两个标清网都建设于2007年，后来在2011年进行过扩容。这两个网都采用了典型的IP-SAN 架构。编辑采用了DVCPRO25格式，25Mb码流，要求每个站点支持4轨视频，按照25个站点设计，极限情况共需要带宽为25*4*25/8=312.5MB/S，再考虑20%左右的冗余，则存储设备带宽大致要求为400MB/S。综合考虑到数据的存储容量要求，我台配置了两台DELL EQ6000存储阵列。每台阵列配置了16块7200转1T容量的SATA硬盘，实测每台阵列的带宽可达到250MB－280MB/S。

我台拟建设的高清网采用SONY的XDCAM格式，码流为50Mb。按照以上的计算方法，带宽加倍，需要800MB/S的带宽。如果保持节目存留周期不变，存储容量也要加倍。

如果采用FC-SAN网络架构或者集群NAS存储来组网，就相当于搭建一个全新的系统。无论是交换机，还是存储，都价值不菲。考虑到原有标清网的存储和交换设备性能都尚好，在满足性能要求的前提下如果能对旧设备充分加以利用，无疑可以保护投资、降低成本。我们决定论证中小规模的高清非编网能否也采用IP-SAN的架构，能否充分利用这些状态尚佳的旧设备，把IP-SAN标清网升级到高清非编网。

三、高清制作网存储方案

图1　IP-SAN结构图

我们通过理论分析和数据实测，充分利用原有设备，最后采取了在IP-SAN标清网基础上升级的方案。因为我台要建设高清播控系统，同样需要升级播出整备系统的二级缓存。我们将原有的播出二级缓存配置的两台DELL EQ6100存储分别配置到两个高清网。将这些设备整合后每个高清网的配置如下：两台DELL EQ6000存储阵列，一台DELL EQ6100存储阵列，两台DELL 7048交换机，服务器硬件设备也全部采用原有设备，只对管理软件进行了升级。非编站工作站则全部更新为高清工作站。IPSAN结构图见图1。

性能分析如下：如前文所述，高清网对带宽的理论需求为800MB/S。一台DELL EQ6000能提供250-280MB/ S带宽，一台EQ6100配置24块1T容量的SATA硬盘，实测带宽达到350MB/S。3台阵列的后端硬盘一共能提供接近900MB/S的带宽。至于接口带宽，每个EQ6000和EQ6100后端都提供4个IP千兆接口与交换机连接。每个IP接口可以提供120MB/S，采用端口聚合技术，每个阵列可以提供360MB/S的接口带宽。3个阵列采用虚拟化技术，虚拟为一个“存储池”，后端磁盘带宽和接口带宽都能提供800MB/S的理论要求带宽。至于工作站的接口带宽，以运行4轨视频计算，需要25MB/S带宽。交换机和网卡的千兆接口也能满足要求。可见无论后端的磁盘、接口，还是前端的工作站，都能支撑足够的带宽。存储使用各环节带宽计算见图2。

图2　存储使用各环节带宽计算

图3　高清网存储性能监测图

反映存储设备性能的主要指标除了带宽，还包括IOPS和响应时间。IOPS的概念是每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。在Web、E-mail、数据库等小文件、结构化数据频繁读写的环境下，性能主要由IOPS决定。而视频流由于大多是非结构数据的顺序读写，随机读写的数量不是很大，对IOPS的指标要求并不是很高，是典型的大带宽、小IOPS应用环境。响应时间能保证视频不中断、连续即可。高清网的IOPS和响应时间的实测数据如图3所示。

观测期内存储瞬间最高IOPS值为3159.9，平均IOPS为56.16。响应时间方面，工作时间的平均值在30ms以内，观测期内的总平均值为5.14ms。可见IOPS和响应时间符合存储的整体表现，没有达到存储的性能瓶颈。

我们实施升级方案时并不是只根据理论计算就贸然实施，实际上还参考了长期的数据监测。根据我台制作网长期的数据实测，发现带宽的实际使用情况和理论计算相差很大。即使不增加一台EQ6100，系统提供的带宽也足够实际使用。因为实际使用时所占用的带宽远远低于理论计算的极限值！我台标清网的实测带宽数据如图4所示。

经分析，带宽比预计的低很多有如下几个原因：

图4　标清网存储带宽监测图

1、新闻网中大多数工作站剪辑时只用到一轨视频。即使包装合成用机，长时间调用4轨视频的情况也很少，更多的是使用多轨字幕。而多轨字幕并不占用多少视频带宽，只是耗费CPU、内存、显存等单机资源。CPU+GPU技术在极大提升编辑系统的兼容性、稳定性和性能价格比的同时，采用帧缓冲技术，减轻了带宽传输的压力。

图5　高清网存储带宽监测图

2、剪辑人员在剪辑时经常会停顿，并间或拖动时间线。此时视频流已经读入缓存，并非一直从存储设备的硬盘阵列中直接读出。通过在应用层使用大缓存机制，有效降低网络吞吐带宽的约束。每一次磁盘I/O操作都将经过IP-SAN存储内置的一个类似交换机的设备从前端众多的主机端口中读取或者写入数据，而这些操作都是基于IP交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，IP-SAN存储都具有大缓存区。利用这个大的缓存区可以避免视频流从硬盘阵列中读出，提高存储性能。

标清网存储划分为3个卷，由图4可见在25Mb码流的情况下，标清网一个卷的实际使用带宽峰值只有70MB/S，整个存储的带宽峰值约为210MB/S，那么50Mb码流高清网的实际使用带宽峰值就是420MB/S。高清网的实测结果证实了这一点。

图5是高清网的实测数据，一个卷的带宽峰值为145MB/S，整个存储带宽峰值约为435MB/S。可见原有存储的带宽实际上就能够满足新建高清网的要求。当然，由于码流的翻倍，如果不增加存储，系统的素材保留周期就会缩短。高清网存储带宽监测图见图5。

四、结论

数据实测和理论分析可以得出以下结论：

1、非编系统的实际使用带宽一般都会远远低于系统设计的极限带宽。

2、升级为高清网，也许根本就不需要更新存储交换设备。

3、如果搭建的高清非编网规模不是很大，如果在标清时代使用的ISCSI存储阵列依旧性能完好，那么，完全可以采用升级IP-SAN存储架构的方式来建设高清非编网。

我台充分利用原有设备，将IP-SAN结构的标清网的存储和交换设备应用于高清非编网，整个系统只是增加了一台原有的存储，真正的新增成本只是更新了高清非编工作站。而系统性能完全满足要求。此种升级方案性价比很高，为高清非编网的建设和升级改造提供了一种新的的解决思路。