郑州电视台高清制作网存储架构

郑州电视台 梁晓东

郑州电视台高清制作网存储架构

郑州电视台 梁晓东

一、存储系统的沿革

早期的计算机主要采用的是串行存储器存储数据，随后不久又使用磁鼓存储器。到了20世纪50年代中期，主要使用磁芯存储器作为主存储器。在20世纪60年代中期以后，半导体存储器取代了磁芯存储器。在逻辑结构上，并行存储和从属存储器技术的采用提高了主存储器的处理速度，缓和了主存和中央处理器速度不匹配的矛盾。1968年IBM-360/85最早采用了高速缓冲存储器，高速缓冲存储器的存取周期与中央处理器主频的周期一样，由硬件自动调度高速缓冲存储器与主存储器之间的信息传递，从而使中央处理器对主存储器的绝大部分存取操作，可以在中央处理器和高速缓冲存储器之间进行。

二、存储系统的结构

1.存储系统。存储系统是硬件基础平台中一个十分重要的组成部分，尤其在电视台节目制作系统中，存储系统的重要性更是十分重要，一旦存储系统出现问题，就会影响到电视节目的生产效率，甚至会影响到节目的正常播出，所以存储系统在整个系统中的地位可以说是重中之重。除了安全性方面考虑外，系统的可扩展性，维护的难易程度，投入成本的高低，以及使用的方便程度都是在建网之初需要考虑的问题。

2.FC-SAN结构。FC-SAN结构从20世纪90年代发展到现在，其技术成熟度非常高，除了成本投入大这方面的劣势以外，其在安全性、高效性、兼容性、可扩展性和易维护性等方面均有着明显的优势。但是，如果全网几十个站点都使用FC-SAN接入的话，则成本投入太大，并且也不现实。为解决这一难题，笔者想到了使用NAS结构，以太网下的NAS结构可以省去昂贵的FC设备，从而解决了成本高的问题，但是随之而来的情况是带宽也降低了，使得大量的终端站点无法同时编辑高码率的素材。编辑站点的任务是节目制作而非节目播出，节目制作人员只需浏览低码率的素材即可达到节目制作的目的，因此，完全可以在节目制作完成之后再打包生成高码率的节目成品。到这里，问题已经迎刃而解了，整个存储系统采用FC-SAN结构，少量终端站点配置为FC-SAN终端（可直接访问中心存储进行高码率的编辑），而多数终端站点配置为NAS终端（通过NAS服务器访问中心存储，一般用低码率编辑，NAS服务器相当于FC-SAN终端，它把访问到的中心存储共享出来，供NAS终端来访问），这样就形成了SAN+NAS的存储网络架构。存储规划如表1所示。

表1 存储规划

三、存储系统的组成

1.存储系统的整体特点。郑州电视台高清制作网是以在线存储为核心的存储体系。中央在线存储器采用2台EMC公司的CX480存储系统，在2个控制器上配置8个FC主机通道分别连接在2个核心光纤交换机上，这样，系统中各个站点通过连接任意1个FC通道都可以访问到存储系统，且系统不会引起单点故障，最大限度地保证了系统业务的不间断运行。在数据安全方面，每台CX480都做了Raid5处理，同时，为了使中心存储上的素材多一层安全保障和最大限度地保护节目和素材，2台CX480存储器之间通过实时镜像的方式来确保系统的安全性，当任意1个存储器出现故障时，另外1个存储器可以支撑整个制作业务的正常运行，保障系统内部不存在单点故障。

2.存储盘阵具体规划。系统采用的2台EMC CX480具有完全相同的规划结构，使用的硬盘为容量450G的磁盘矩阵，每个盘柜共有43块硬盘。具体规划分为以下3个部分。

（1）1个1.8TB的Raid5组（Raid Group0），划分为1个150G、1个100G和1个1.6TB的数据卷。

（2）4个3.6TB的Raid5组（Raid Group1～4），每9块硬盘组成1个Raid组，采用Raid5级8+1的模式。采用每个盘箱3块盘的方式充分利用盘箱磁盘通道带宽。共划分为8个1.8TB的逻辑卷。

（3）2块全局热备盘。每个Raid组的逻辑LUN创建在同1个StorNext数据条带组中。Raid组共有2个文件系统，av-y共用Raid Group 0的1个条带组，av-x共用Raid Group 1的4个条带组。

四、存储容量与带宽

中央在线存储系统主要承担系统中所有的有卡站点与服务器对高码率文件的访问，是系统的核心设备。容量和带宽是设计存储网络需要考虑的主要因素。

1.容量分析。在郑州电视台高清制作系统中，中心在线存储部分采用双控制器、双电源、全冗余的光纤磁盘阵列，存储缓存由带电保护器和冗余散热系统组成。使用的盘阵为EMC公司的原厂硬盘。双控制器激活8个独立的4G主机端口，采用16G的存储缓存。物理有效存储空间为17.1TB（可进一步扩展至480TB），按照每存储1h的高清资料需要50G的空间来计算，17.1TB可以满足超过340h的存储需求。

2.带宽分析。根据本网各种工作站、服务器数量、编辑码率、视频流数量以及其他的相关参数，对带宽进行分析。带宽分析如表2所示。

表 2 系统带宽分析

3.业务扩展分析。通过对编辑合成站点以及有关服务器所需带宽的累加得知，系统的极限并发读写总带宽约为670MB/s，而我们本次的A，B存储选型均为EMC CX480，通过测试，单个存储可以提供700MB/s的混合读写带宽，也就是说，1个存储就完全可以承担整个系统的业务需求，再通过索贝的FISEC安全技术，将A、B存储完全实时镜像，可以保证当某个存储出现问题后，业务可以无缝地切换到另1个存储继续进行，同时通过性能的均衡负载，可以提供1400MB/S的混合读写带宽，完全能够保障高标清制作业务的安全、稳定开展。

五、存储管理服务器

本系统中配置了2台MDS存储管理服务器，用于管理光纤磁盘阵列，主要为有卡工作站或者服务器提供光纤磁盘阵列访问验证，并且也为有卡工作站或者服务器读写存储在光纤磁盘阵列的低码率素材提供访问通道。存储管理服务器MDS是网络存储共享的核心，MDS服务器除了安装StorNext文件共享软件外，还安装有StorNext Failover MDS备份软件，一旦其中1台MDS服务器发生故障，另外1台MDS服务器可以自动接管共享的管理工作，切换在30s以内完成。

六、存储管理软件

1.存储管理软件。目前主要的存储管理软件有Tivoli SANergyFS、SGI CXFS、ADIC Centravision、Veritas SANpoint direct、HP Transoft FibreNet、StorNext等，从软件的稳定性、可靠性以及实际运行环境的使用情况来看，StorNext在视音频应用领域的各种技术指标表现均较好，且实用性更强。

2.StorNext。StorNext存储管理软件承担了对共享磁盘阵列磁盘文件及元数据管理，监控磁盘访问的工作站和服务器的磁盘读写，并且具有2次共享的功能，即可以将安装有StorNext客户端软件的服务器映射为IP网络的文件服务器，以太网工作站即可通过该服务器实现对共享磁盘阵列的访问。

3.StorNext File System。作为StorNext管理套件中的核心SAN文件系统，StorNext File System为异构客户端提供了对集中式磁盘存储的高性能共享访问。通过整合能够被多个操作系统访问的数据，StorNext File System极大降低了存储设备的需求。而且，由于多个客户端能够同时共享相同的文件，因此消除了通过局域网移动大型文件和存储重复文件副本的需求，提高了存储效率，减少了网络瓶颈。