桑晓霞,周 侃,杨 锋
射阳广播电视台,江苏盐城 224300
小型电视台存储技术应用探讨
桑晓霞,周 侃,杨 锋
射阳广播电视台,江苏盐城 224300
本文讨论了SAN技术在县级台的应用,对SAN的硬件和软件、管理软件以及协议标准作了详细的介绍,与其它存储技术做了简单的比较,对广播电视行业几种常见的网络架构进行了分析,对SAN的数据容灾备份和灾难恢复进行了探讨,并就SAN技术在县级台的应用做了一个基于媒体资产管理系统的SAN搭建方案。具体分析了搭建SAN所用到的各种设备和技术,包括SAN的硬件设备、使用的协议、网络架构、编码格式、管理软件、备份方式、备份恢复方案等。
SAN;存储技术;小型电视台;网络;媒资管理系统
随着广播电视数字化、网络化的高速发展,视音频节目数量的日益增长,抢救基于磁带存储的老节目素材以及考虑现有节目素材的存储都迫在眉睫。在这种情况下,节目资源的即时存储、快速调用、数据管理和数据安全都愈发变得十分重要。解决这个问题的方法就是采用SAN。而SAN则是现代网络存储技术中广泛应用的主流技术。在电视台,随着各个部门的联系越来越紧密,视音频节目数量越来越多,数字化进程的日益加快,节目资源的即时存储、快速调用、数据管理和数据安全都愈发变得十分重要。通过SAN把各个部门联系起来,不光节省了时间和金钱,而且解决了上述的问题。由此可见,研究SAN存储技术对加快电视台数字化进程以及电视台的战略性发展都有着不可估量的作用。
1.1 存储区域网络
按照存储网络工业协会(SNIA)的定义:SAN(Storage Area Network,——存储区域网络)是一种利用Fibre Channel等协议连接起来的,可以在服务器与存储系统之间直接传送数据的网络。
SAN是一种存储网络系统的体系结构,它采用独特的连接技术(如FC光纤通道)构建与原有的LAN不同的专用于存储的网络,存储设备和服务器之间通过串行SCSI协议采用Block1/0的方式进行数据传输。SAN是基于专用的光纤通道构建的网络,数据传输方式是数据块传输。
SAN的主要思路是将LAN上的存储转换到主要由存储设备组成的SAN上,使得数据的访问、备份和恢复不影响LAN的性能,在有大量数据访问时,不会大幅度降低网络性能。基于SAN的存储模式既实现了集中式的数据存储和管理,又解决了数据流量的瓶颈,同时又具有较强的灵活性、可扩展性和连接能力等特点。
1.2 SAN的硬件
1.2.1 存储设备
1)廉价磁盘冗余阵列RAID,包括磁盘阵列、光盘库、磁带库等大容量存储设备。常用的RAID(Redundant Arrays of Inexpensive Disks)是一种大数据量的数据存储方法,用在日益增长的图像系统、多媒体开发系统和因特网上的各种服务器中。
组成磁盘阵列的不同方式成为RAID级。RAID技术经过不断的发展,现在已拥有了从 RAID 0 到 53等10个RAID 级别,分别为RAID 0、RAID1,RAID2,RAID3,RAID4,RAID5,RAID6,RAID7,RAID10,RAID53。
2)磁带库是一种机柜式的,将多台磁带机整合到一个封闭的系统中的数据存储设备,是离线备份存储系统中的关键设备之一。
1.2.2 SAN网络设备
SAN网络中主要包括如下的设备:
1)主机和主机适配器(FC-HBA):连接SAN存储设备的主机必须有和SAN存储设备连接的主机适配卡(Host Buss Adapter, HBA)。HBA是一个I/O设备,类似于SCSI卡和网卡;
2)FC-AL集线器: FC-AL集线器又称为光纤环路仲裁环集线器,FC-AL集线器的设备连接方式类似于一般的集线器,设备连接呈现星形而逻辑结构为仲裁环;
3)FC交换机:类似于FC-AL集线器,FC交换机也是SAN存储结构的组网设备,负责主机与存储设备的连接;
4)桥接设备:桥接设备起到将以前的并行的SCSI存储设备连接到SAN网络中的作用;
5)连接缆线:用于连接SAN的设备。
1.3 SAN软件
SAN的应用和管理软件包括:备份软件、存储资源管理软件、网络共享管理操作系统软件。
1.3.1 资源管理软件 SANegry
SANergy使用户能够通过实施存储区域网络(SAN)透明地共享公用存储器、卷和文件的存取;可以使UNIX、Windows和Apple Macintosh系统在卷、文件和字节级上跨平台共享存储资源,从而比基于服务器共享的方式大大增加吞吐量,降低管理费。通过合并存储空间和消除多主机环境中常见的复制数据而获得的高性能共享式存储环境,能显著降低成本。
1.3.2 网络共享管理操作系统软件
常见的网络共享管理操作系统软件有NetWare、UNIX、Linux和 Windows Server 2003等,一般选择Windows Server 2003作为共享管理的操作系统软件和服务器操作系统软件。Windows Server 2003提供许多全新的SAN友好特性,允许操作系统更轻松地处理SAN上的数据与设备。
1.4 SAN协议和标准
1.4.1 SAN协议
1)FCIP是在TCP/IP上用管道技术来实现SAN的互联的协议。它采用封装技术将FC协议封装在IP包中,以使它能够通过IP网。已经拥有SAN网的用户可以通过FCIP调整已经存在的SAN存储网络,以使它们能够扩展到城域网和广域网。FCIP是一种将多个孤立的SAN存储网络连接起来的手段;
2)iFCP协议称为互联网光纤通道协议,是利用TCP/IP协议传送光纤通道数据的协议。IFCP作为网关将不同SAN网络中的存储设备连接起来,形成统一的网络存储系统;
3)iSCSI协议的实质是实现了基于TCP/IP网络传输SCSI指令,也就是说SCSI over IP,从本质上说它与FC协议之间的区别仅在于传输层的协议不同,而对于应用层来说是完全透明的,通过iSCSI协议可以实现对存储设备的数据块级别的共享访问。
1.4.2 SAN标准
在存储领域,现在主要有两种主要的标准:FC-SW2光纤通道标准和MIB标准。光纤通道标准用于保证光纤通道交换机之间的兼容性。这是“开放交换机光纤网提案组(OSFI)”的专门性委员会制定的FC-SW2标准。
2.1 电视台建造SAN的必要性和可行性
随着电视节目音像资料的数字化存储的实现,将涉及到压缩、存储、网络传输、管理等信息处理技术,而不是简单的存储方式和存储介质的改变,它是电视台实现节目生产数字化的一个重要组成部分。由于电视台的节目素材具有数据量大、带宽要求高、数据安全敏感等特征,建造SAN已是大势所趋。
2.2 系统设计原则
1)开放性:设计的系统是开放式的;
2)先进性:采用的技术是先进的、符合发展方向的,同时是成熟的、稳定的。系统的设计、设备的选型及工程的施工,符合我国广播电视规范。符合国际广播电视发展潮流;
3)可扩充性:系统具备较强的升级扩容能力、当存储、编目、检索工作量扩大到至当前系统无法承担时,系统可以通过特定的设备(数据流磁带库、磁盘阵列、工作站点等),能在不影响和中断当前制作系统运行下,进行系统的平滑升级;
4)安全性:系统的安全性设计是整个系统的设计的关键环节。采用可靠的技术手段,在媒体资料存储安全、数据传输安全、内部网络安全保护、软件容错及质量控制等各方面确保整个系统的安全性;
5)可维护性:系统具备完善的管理性能,设备简单、直观、维护管理方便。在系统设计中提供有效的系统监控手段和软硬件工具,以便监测网络通信系统、计算机主机和存储系统的运行状态,保证系统正常运行。
2.3 系统拓扑结构
在此方案里,采用以SAN来搭建一个媒体资产管理系统,从性价比考虑,系统网络架构采用目前应用广泛的以太网和FC光纤网相结合的双网结构。所有工作站点可以通过iSCSI控制器访问中心FC存储上的高码率素材,局部采用FC SAN点对点与磁带库系统连接,系统内部建造全SAN高速网络。
2.4 编码格式选择
采用MPEG 2编码格式用于节目制作和播出,选用H.264或者MPEG4编码用于低码率编目和检索。文件交换格式采用MXF。
2.5 SAN软件的选择
选择常见的Windows Server 2003 作为网络管理操作系统和服务器操作系统,SQL server 2000 作为数据库软件。
一、严格执行最低建设要求。列入政府补助范围的农村危房改造(含新疆农村安居工程)要在设计、施工、验收等环节严格执行最低建设要求,确保农村危房改造后每户住房均不低于最低建设要求。
选用SANergy作为资源管理软件,iSCSI磁盘阵列用于低码率素材存储,光纤磁盘阵列和磁带库可用于高码率磁带存储。
2.6 SAN采用的硬件
2.6.1 各个媒资工作站配置
管理工作站4台4台8台4台2台2台2台4台上下载工作站音视频转码工作站编目工作站非编工作站节目收录工作站审片工作站检索工作站
2.6.2 服务器配置
MDC服务器:MDC(Metadata Controller)是指元数据控制器,它是SAN网络中设备访问磁盘阵列文件的最为重要的核心服务器,如果发生故障会导致网络中的各功能工作站无法访问盘阵内的共享资源。
2.6.3 交换机配置
以太网交换机:选用了2台具有48端口的千兆以太网交换机,每个交换机在满足需求的同时预留了8个端口,具有一定的扩展性。两台交换机连接方式是级联。
另外还有其他一些设备:包括路由器,转换器等。
2.7 SAN使用的协议
采用SCSI协议、FC光纤通道协议,TCP/IP协议。
2.8 SAN通信的方式
SAN文件是以数据块的形式传输的,而不是数据流。与设备通信的过程是:计算机的应用程序通过运行在服务器本机上的文件系统与磁盘阵列对话。应用程序请求本机文件系统把某一个目录下的文件传到应用程序的缓冲区,这是文件系统开始计算该文件占用的磁盘扇区的LBA地址,计算好后文件系统向SAN请求把LBA的某个扇区里的内容传给文件系统。SAN磁盘阵列接收到这个请求之后,便从它自身的众多磁盘中提取数据,通过FC网络传送给运行着文件系统程序的节点(服务器主机)。文件系统接收到扇区内容之后,根据文件系统记录截掉扇区多余的部分,将整理后的数据放入请求这个数据的应用程序。
2.9 备份恢复方案
2.9.1 备份软件的选择
在这里,考虑到各种复杂情况,建议采用专业的备份恢复软件:惠普公司的HP OpenView软件进行备份恢复。
2.9.2 备份系统架构和备份类型的选择
根据本系统FC+以太网的特点和所具备的条件,从节约成本和性能优劣考虑,同时使用LAN备份、手工备份、SAN备份3种备份方式。
2.9.3 备份数据的保存方式
根据本此方案实际需求,考虑到具备磁盘存储和磁带库的条件下,为了达到最好的服务质量、更快速的服务响应以及既定的备份策略,所以采用D2D2T方式。
2.9.4 容灾备份架构
该架构的特点:
1)采用了高效的LAN备份、手工备份、SAN备份3种备份方式,占用尽量少的网络带宽。第一次完全备份,以后只要做增量备份就可以了;
2)能够对操作系统软件、数据库等进行备份;
3)快速的恢复,能够快速的恢复文件系统上的单个或者多个文件;
4)方便维护管理,可以支持远程的维护和管理;
5)支持断点续传;
6)采用LAN备份、手工备份、SAN备份3种备份方式对数据进行备份恢复。
随着全国各地电视台的数字化改造不断深入,以往的基于磁带存储的素材都急需数字化。在媒体资产的概念提出的情况下,节目素材也成为一种经济收入来源,很多磁带的寿命已经到期,如果不加以抢救,以前的各种素材就会丢失。这对任何一家电视台来说都是一笔不小的损失。再者,记者刚刚拍回来的素材以及各种节目也需要及时的存储、编辑和管理。这时将SAN技术应用到电视台中就成为解决问题的好办法。
TN94
A
1674-6708(2010)32-0234-02