广西电视台新闻非编网盘阵空间管理和应用方法探讨

李海彬 杨 波 广西电视台

广西电视台新闻非编网盘阵空间管理和应用方法探讨

李海彬 杨 波 广西电视台

本文介绍了我台新闻频道非编网盘阵空间的管理和应用。通过EMC双盘阵、“单读双写”、交叉存储等软硬件技术提高了数据冗余，保证了数据的安全性和可靠性；辅以使用NAS副盘阵分流EMC主盘阵的部分数据，使主盘阵的空间得到有效的利用，从而实现了安全性和空间利用率的双赢。

FC-SAN LUN RAID5 NAS磁盘阵列

一、引言

随着电视节目的高清化制作，非编系统对盘阵容量的需求也越来越多，但是受制于设备机房空间、硬件扩容成本等原因，一旦盘阵正式使用后，我们就难以对其容量进行大幅增加。在保证数据安全性的条件下，如何通过技术手段进行有效管理，从而提高盘阵空间的利用率是一个课题。在本文中，将以我台新闻频道为例，介绍我们目前的一些管理办法。

二、广西电视台新闻频道非编网简介

我台新闻频道目前使用的非编网由北京中科大洋公司搭建，项目共分为两期进行，从2013年开始一期建设，至2014年二期建成，投入使用至今将近4年。非编盘阵总容量312T，非编站点88台，配音站点6台，系统结构如图1所示。非编网采用FC-SAN + LAN双网结构，其中文件读写走FC-SAN通道，数据通信走LAN通道，这也是非编网最常见的结构。

图1 新闻频道非编网拓扑图

三、非编制作网主盘阵的选用和配置

3.1 FC-SAN盘阵

主盘阵由2套FC-SAN结构的EMC盘阵组成，盘阵控制器型号为VNX5700，各独自管理11个DAE。FC-SAN表示采用的是光纤通道（FC，Fibre Channel）技术，其侧重于数据的快速、高效、可靠传输，在非编网络系统中得到大规模的广泛应用。

3.2 硬盘类型

EMC盘阵使用两种类型的硬盘，一种是基于SAS接口的3.5寸硬盘，单个容量为600G，转速15K，另一种是基于NL SAS接口的3.5寸硬盘，单个容量为2TB,转速7200。

目前基于SCSI、IED接口的硬盘已经淘汰，新一代的硬盘主要以SATA、SAS、NL SAS接口为主。

SATA即串行ATA接口，它是ATA/IED接口的替代品，主要用于家用台式电脑，优点是硬盘容量大，价格便宜；缺点是接口速度和磁盘转速偏慢，故障率高。

SAS即串行连接SCSI，是新一代的SCSI技术，此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。SAS主要应用于服务器和盘阵，优点是接口速度、磁盘转速、稳定性更高；缺点硬盘容量小，价格昂贵。

NL SAS是介于SAS和SATA之间的一个产品，它同样使用SAS接口，但转速、容量与STAT相当，价格略高于STAT。我们可以这么简单的理解：采用SATA硬盘的身躯，套了SAS的头（接口）。

NL SAS更注重容量和价格,SAS更注重性能上的考虑，在选择硬盘时，这里采用了这两种类型的硬盘进行组合使用。

3.3 RAID配置

非编网的磁盘阵列选择RAID5。RAID5没有单独指定的奇偶检验盘，而是交叉地存取数据及奇偶校验信息于所有磁盘上，其最少由3块硬盘组成，容量为单个硬盘容量×(N-1)，其中N表示组内硬盘总数。

RAID5等效的奇偶检验盘是1块，损坏1块硬盘并不会影响数据的完整性，但如果达到2块以上时就是灾难性的，这表示整个RAID5的数据将可能全部损坏，因此盘阵系统中需要预留一定的全局热备盘，随时替换各RAID损坏的硬盘。

采用SAS和NL SAS接口的两种硬盘分类安装在多个不同的磁盘托盘（DAE）中，每个DAE可装载15个3.5寸硬盘，其分配图2所示。

图2 DAE硬盘分配

0-6号共7个硬盘组成一个RAID5，7-13号共7个硬盘组成另一个RAID5，即每个DAE创建两个RAID5。14号硬盘则作为全局热备盘使用，当任何一个DAE内的硬盘出现故障时，它都可以去接替工作。

3.4 MetaLUN配置

LUN的全称是Logical Unit Number，也就是逻辑单元号，在基于Windows平台的操作系统中，每个LUN可以当成一个“物理磁盘”使用。在盘阵管理中，LUN在RAID中划分，每个RAID可以分为1至多个LUN，但全部LUN加起来的总容量不能大于这个RAID的容量。

当磁盘阵列采用RAID5时，由于其等效的数据校验盘只有1块，因此每个RAID5的硬盘数量不宜太多，一般不会超过10个。假设每个RAID5仅建立一个LUN，由于Windows操作系统的可用盘符仅26个，即A～Z，因此当一个盘阵中的LUN大于26个时，Windows系统将无法使用这些LUN。

为解决这个问题，EMC VNX5700提供了将现有LUN组合成MeatLUN的功能。在专业存储领域，MeatLUN特指可以提供更大空间、更高性能、更安全的LUN，MetaLUN的总容量可以大于RAID组的容量。将SAS硬盘组成的RAID5组与NL SAS硬盘组成的RAID5组，分别组合成以下MetaLUN：

表1 EMC盘阵各MetaLUN配置

其中名称中带有“SAS”的表示这个MetaLUN的硬盘采用SAS接口，带有“SATA”表示这个MetaLUN的硬盘采用NL SAS接口。在EMC盘阵二中，分配了一个很小的MetaLUN，其名称为SAS3，容量只有3TB，这个LUN原设计作为外网向非编网上传文件的临时存储区，因此当初分配的容量很小。3.5 文件系统

文件系统采用StroNext，它可以让UNIX、Linux、Windows 和/或Macintosh操作系统中运行的应用程序并行访问同一文件存储区，轻松实现文件共享和投资保护。其开放式架构拥有极强的扩展能力，允许基于SAN和LAN的客户端进行数据共享。

StroNext软件分为Server版和Client版。Server版的软件步署在2台DELL R720服务器上作为主/备MDS服务器；Client版的软件步署在大洋非编终端及一些业务服务器上（如迁移服务器、打包服务器），作为MDC使用。

四、基于“单读双写”和交叉存储的文件管理方案

这个高清非编网是按全网络化制播的思路设计的，由于全部素材都存储在盘阵中，除记者拍摄的原始素材外，不再将合成的视音频文件下载到磁带或蓝光盘中，因此必须要有一个备份，因此引入了“单读双写”和交叉存储的文件管理方案。4.1单读双写

在大洋非编终端上编辑节目时，根据系统管控平台的配置，分别写入主、备两个存储区，这样一个文件就有两份；在读取时，首先读取主存储区的文件，如果读取失败自动去读备存储区的文件，这种方式称为“单读双写”。

这种方式与盘阵的RAID1有点类似，但RAID1是基于硬件实现的，而“单读双写”则是通过软件来实现的，传输效率会低一些。

4.2 交叉存储

新闻频道的两台EMC VNX5700盘阵控制器是相对独立的，某一台的故障并不会影响另一台的使用，因此在对文件作“双写”时，采用交叉存储的方式，如果栏目的主存储建立在EMC盘阵一的，其备存储区就建立在EMC盘阵二，如表2所示。

表2 EMC盘阵各栏目主/备空间分配

由于文件交叉存储在两个EMC盘阵中，当某一个盘阵出现故障而不能读写时，非编系统会将读写存储在另一个盘阵里的文件，使系统得以正常运行。

五、利用NAS副盘阵减轻FC-SAN主盘阵压力

为了缓解、减轻FC-SAN主盘阵的压力和提高磁盘利用率，在非编网中部署了一台小型的NAS盘阵系统，其由16个3TB 的SATA硬盘组成，每7个硬盘组成一个RAID5，保留2个热备盘，实际可用容量为36T。

FC-SAN光纤网络的盘阵系统与NAS相比具有传输效率高、时延小、占用主机资源少等优点，其数据处理以block（块）的方式进行，适合大文件的实时读写，是NAS盘阵无法达到和替代的，但是在非编网中并非所有的应用都是需要高速的磁盘读写能力的，在某些环节仍然可以使用NAS盘来替代FC-SAN，下面是我们应用的两个例子。

5.1 作为外网向非编网上传文件的临时存储区

在主盘阵系统初始化配置时，外网向非编网上传文件的临时存储区只分配了3TB的空间，即前面提到的名为SAS3的LUN。当外网向非编网上传文件时，基于安全和防病毒方面的考虑，采用了大洋的文件摆渡系统，其在结构上对两端的网络进行了物理上的隔离，仅允许指定的文件通过，如图3大洋文件摆渡系统改造前/后的结构(改造前)所示。

图3 大洋文件摆渡系统改造前/后的结构

在文件经过流程最终上传到大洋非编网，要使用这些文件时，必须通过非编工作站软件将其“导入”到指定的栏目存储区才能使用。由于“导入”后的文件并不会自动删除，而是需要网管人员定期删除，因此会产生一定的积压，使临时存储区的空间变小，从而可能影响后续的上传。

在非编网络系统正式启用后，由于各个LUN已经分配使用，此时要对SAS3扩容比较困难，只能采用其它办法。

经过分析发现，在整个文件上传及“导入”过程中，对盘阵的读写速度要求并不高，可以简单的理解为一个复制粘贴的过程，于是对此系统做了少量改造，大洋文件摆渡系统改造前/后的结构(改造后)所示。

在摆渡服务器和非编客户端中将NAS盘阵通过域控映射为X：盘，并修改摆渡服务器传输参数，使上传后的文件不再存储到SAS3，而是存储到X：盘即NAS盘阵中，这样在非编客户端就可以导入了。这种方法一方面解决了设计时SAS3容量分配不足的问题，另一方面减轻了主盘阵的负担。

5.2 作为FC-SAN主盘阵“单读双写”备存储区的过渡存储区

在采用“单读双写”和交叉存储的工作方式后，整个非编系统的文件安全性有了很大的提高，但是也产生了一个较大的问题，即如果全部的栏目都采用这样的工作方式，则盘阵的实际可用容量将会大幅下降，理论上最多只有原来的一半，这就表示312T的容量只能当156T来使用。

使用非编软件读取盘阵文件时，如果栏目主存储区正常时，并不会去读取备存储区的文件，即备存储区的文件是用不上的，基于此我们作了一个测试，步骤如下：

（1）通过非编软件导入1个视频文件，由于设置了“单读双写”，此时会在栏目主、备存储区各产生一个同样的视频文件。

（2）新建一个大洋故事板，将此文件拖到视频轨后，保存故事板并退出。

（3）不通过大洋非编软件，直接进入栏目备存储区的目录并删除此视频文件。

（4）打开大洋非编软件播放刚刚新建的故事板时，一切正常。

（5）退出大洋非编软件后，将栏目主存储区的这个视频文件“剪切”到备存储区，模拟主存储区故障后，使用备存储区进行恢复。

（6）再次使用非编软件播放此故事板，仍然一切正常，没有出现错误提示。

结论：大洋非编对文件进行读取时，只根据数据库中记录下的目录名+文件名对此文件进行读取，对栏目设置了“单读双写”功能后，主、备存储区的文件如果损坏或丢失了，可以通过复制的方式还原回去。

根据测试结果制定了这个管理方法：定期将栏目备存储区的一些文件（以创建日期为分割点），以剪切的方式迁移到NAS盘阵存储，在这一期间如果栏目主存储区出现问题，可以使用NAS盘阵备份的文件进行恢复；如果没出现问题，在下一次迁移数据时删除这批次文件，并将本期栏目备存储区的文件剪切过来。通过这种方式，可以使备存储区中近期创建的文件与主存储区同步，而过期的文件将被迁移到NAS盘阵作一个过渡，直至最后被删除。

在采用这种管理方式后，主、备存储区不再需要按1:1的比例进行容量配置，目前大致按3:1的比例进行配置，这样即解决了空间浪费的问题，安全性也没有下降太多。

六、结束语

数据冗余是数据安全的关键，在冗余数据增加的同时，盘阵的有效空间也相应减少，这是一个两难的问题。在本文中，通过分析非编系统使用盘阵的特点进行优化和改造，使盘阵空间得到了合理利用，而安全性也有一定的保障，在某种程度上达到一个平衡点。