基于FiSEC的存储系统及其在山东教育电视台的应用

冯怀成

(山东教育电视台，山东 济南 250014)

基于FiSEC的存储系统及其在山东教育电视台的应用

冯怀成

(山东教育电视台，山东 济南 250014)

以山东教育电视台对存储系统升级应用为例，分析并探讨了基于FiSEC的存储系统技术特点，从数据复制、重复数据删除、灾难恢复和文件管理系统等方面做了相关介绍，并对存储系统升级中遇到的系统带宽设计、设备选型和应用配置等问题进行了探讨。

存储系统；FC SAN；FiSEC

山东教育电视台每天9点至23点的教育新闻、专题栏目、影视剧等支柱节目的不间断播出，在节目采、编、播的高强度工作需求下，采用常规SAN架构的核心存储光纤磁盘阵列目前承担着巨大的负载压力。核心存储的60 Tbyte光纤磁盘阵列采用日立公司的HDS2500，系统非编上下载，日常节目编、制、审和送播，卫星收录，演播室回采，总编室电视剧和移动审片等多种核心业务的存储都完全依赖于此盘阵，目前有效容量仅仅剩余12 Tbyte，且每天盘阵机动容量不足3 Tbyte。随着山东教育电视台节目量的急增和高清电视剧节目的大量引进，技术运维人员每天不得不定时清理大量素材以保持盘阵稳定；在重大活动和节假日时，存储系统更加无法满足各栏目的需要，HDS2500盘阵已处于不稳定状态，中心存储随时会进入故障高发期，存在对电视台的节目生产造成灾难性和致命性损害的风险。如何在灾难来临时避免丢失关键数据而导致生产中断和恢复数据的大量重复劳动，是山东教育电视台需要面临和解决的首要问题。

1 系统改造目标

针对山东教育电视台网络存储系统现状，对高清网存储系统进行双备份改造和升级已经刻不容缓，不但需要对现有SAN架构的存储进行在线的容量扩容，还需为日常操作中的误删素材进行有效的备份，在系统中心主盘阵出现故障之后系统可迅速切换到备盘阵上，实现数据不丢失及实时热切换。存储系统设计以高可用性、高安全性、高性能、可管理性为目标，能够实现主备存储数据实时备份、存储故障的自动切换以及存储故障恢复后的数据同步功能，确保网络用户的数据安全及业务流程安全。

2 FiSEC网络存储技术

基于FiSEC[1]技术的存储系统由主备控制服务器、同步服务器、文件存储驱动程序等单元组成，是一个高可靠性的文件存储环境，适合网络非编、制作、包装、采集、编目等各种应用的存储，支持主备存储数据实时备份、存储故障的自动切换以及存储故障恢复后的数据同步功能，以确保数据安全及业务流程顺利执行，FiSEC技术体系架构如图1所示。

图1 FiSEC技术体系架构图

2.1 数据复制

FiSEC采用了分布式存储常用的IRP驱动复制技术，当存储控制服务器获取到到用户写入请求时，为了充分保护数据，使数据在硬盘掉线时也始终可用，FiSEC控制服务器会将此请求复制，并同时将数据分别写入到多个物理存储路径中，实现存储之间的数据备份与复制，形成分布式的软件存储架构。系统在提交任何一个写数据操作之前，数据向相邻的路径节点进行同步复制，当只有用户数据以及系统元数据被周边路径节点复制后，FiSEC控制服务器才将收到指令进行数据写入，这种容错技术保证了同一份数据至少在两个不同路径的存储空间中保存。FiSEC控制服务器可根据数据访问频度，自动对数据存储链路进行优化，以便对热门访问数据进行快速高效的寻址，对于典型的数据读取操作，可通过客户机程序的本地存储资源控制器发送请求。

2.2 重复数据删除

为充分利用系统空间，获得更高的存储容量性价比，FiSEC系统通过删除重复数据来有效增加磁盘层容量，并同时增强高性能存储的工作效率，而且纯粹由软件定义实现的重复数据删除解决方案，不依赖于任何定制的专用集成电路和超大规模可编程专用集成电路，此功能对于存储控制服务器是完全透明的。FiSEC系统提供了两种对重复数据进行删除的机制：一种称作内联性能数据删除，可以减少应用程序工作集的缓存占用，从而大幅提高存储性能；另一种称作全局性的MapReduce数据删除技术，利用了经典的Google矢量编程模型，在插入数据时使用SHA-1映射算法提取数据指纹并将数据指纹存储在FiSEC元数据层，FiSEC定期对元数据进行全局性规约处理，将高聚类性的数据指纹认作是重复数据，依据相同指纹的多个副本进行删除并应用到文件系统层。而对于正被读取的数据，数据会保存到内容缓存中，对具有相同指纹的数据的任何后续请求都将直接从缓存中提取，这样在可以增加FC SAN的有效存储容量的同时，用SAN存储控制服务器芯片的硬件辅助功能，最大程度地降低存储数据删除操作的性能开销。

2.3 灾难恢复

FiSEC主备控制器之间采用心跳检测机制，发生系统灾难故障时自动执行数据切换功能，通过数据路径冗余实现服务的高可用性，当主存储损坏或故障掉线时，FiSEC控制服务器把主存储的物理路径切换指向备存储以实现自动切换，整个切换操作对应用层用户完全透明，不需对应用程序做改动调整，使正在进行的读写操作不中断，因而不影响本地应用的运行。主存储故障排除后，由FiSEC同步服务器自动将备存储的数据同步镜像回主存储，以确保主备数据的一致性。FiSEC技术基于文件级的存储访问控制策略，对节目采集、编辑过程中存储的数据进行读取智能分流，数据读取时分别从多个卷读出，实现了多倍读带宽和负载均衡，兼顾读写存储的可靠性和可用性，同时还极大地提高了读取效率。

2.4 文件管理系统

FiSEC采用了基于SAN的FiShare[2]共享文件管理系统，对节目的元数据与文件数据分离存储，通过对元数据进行双备份来提高存储安全性，并支持分区容量在线扩展、自动碎片整理、多数据卷自动扩展等功能，操作管理更加简易。FiShare文件系统对视频文件进行了专门优化设计，采用智能优化的存储策略，将视频文件划分为较大的多个连续片段，极大提高数据读写效率，提高采、编、播的存储效率和可靠性和保障网络视音频应用的安全高效运行，满足广大收视用户对高带宽与响应快速的需求。

3 存储系统改造方案

3.1 系统带宽分析

根据山东教育电视台日常工作需求，高码率采用 50 Mbit/s 的MPEG2-IBP格式，低码率采用4 Mbit/s的 MPEG-4 格式，非编站视频编辑按4层计算，系统满负荷运转时所需存储带宽分析如表1所示。其中视频文件的生成按照并发4路码流计算，并支持2路节目的并发，视频数据读取(从SAN到下载工作站)和写入(上传工作站到SAN)均要求1 000 Mbit/s带宽。读操作合计需6.36 Gbit/s带宽，写操作需1.3 Gbit/s带宽。

由此可见，系统并发访问带宽需1 100 Mbit/s，现系统混合(读操作约占70%、写操作约30%)带宽约为1 500 Mbit/s，在原存储系统满负荷运转情况下，工作带宽已达到在线存储带宽总能力75%以上，系统带宽也急需扩容，以保证原系统正常运转。

3.2 设备选型与设计

山东教育电视台高清综合制播一体化网络系统包括卫星收录、节目采编、节目演播室直播回采、媒资资产管理、总编室编单和移动审片等多个子系统，若将所有的素材数据放在一个存储上，数据丢失风险会加大，故新存储系统架构采用主存储加备存储结构。原核心存储为日立HDS2500光纤盘阵，设计应用60 Tbyte，并逻辑划分为分别存放高、低码流素材的X、Y盘，且所有的主盘X、Y均从主存储盘阵HDS2500中划分，为保证存储系统升级后的兼容性，系统备存储选择了34 Tbyte的HDS的AMS系列盘阵，备盘阵划分为M、N两个盘，M盘容量大小为24 Tbyte，专门用于总编室存储上载的高清电视剧，N盘容量10 Tbyte，用于新闻上载素材的备份。

表1 系统存储带宽分析

访问类型业务类别涉及设备设备数量/台视频码率/(Mbit·s-1)视频流数量带宽需求/(Gbit·s-1)读视频编辑低码率编辑工作站544008读视频迁移下载工作站11读视频编辑精编工作站155043读视频编辑无卡工作站3544056读配音配音工作站350406读生成650412写视频迁移上传工作站11写生成650103

为降低成本，系统采用台里现有的8 Gbit/s主机光纤通道与盘阵进行直连，配置双控双活控制器，并配置共58块600 Gbyte较低速的7 500转SATA磁盘，其中两块磁盘用来当作热备盘，系统根据现有的网络结构进行IP规划和配置，存储控制器采用冗余电源、冗余风扇配置以提高安全性。

原配置的独立磁盘冗余阵列RAID5技术，通过在各个磁盘上交叉的存取数据和奇偶校验信息，这种技术在实际操作中有“写损失”的缺点，即每一次数据写入操作将产生四个实际的读、写操作，其中两次是读取旧的文件数据及奇偶校验信息，两次写入新的文件数据及奇偶校验信息，因而RAID5的数据写入性能较差，对数据传输的并行性效率不高，且当其中硬盘出现故障掉线后，整个阵列的性能将大大降低。鉴于电视台节目播出的安全性，原HDS2500的60 Tbyte主盘阵改用了RAID5+1技术，即带奇偶校验信息加双备份机制，在RAID5基础上外加一个热备盘，当系统里有硬盘掉线后，系统自动将热备盘加入阵列。

3.3 服务器配置

原存储系统FC-SAN高清网络中有172.16.50.44和172.16.50.45两台全网监控服务器，利用这两台服务器安装并配置FiSEC-MCE中心控制引擎服务器端，其中服务器172.16.50.44配置为提供FiSEC-MCE中心控制引擎服务，172.16.50.45做其服务器热备使用。将主备盘阵盘符映射到服务器172.16.50.44上，让它可以同时监测到X、Y、M、N这4块逻辑盘。在这两台服务器上安装FiSEC-MCE服务程序，并设置好服务器本地IP。对于其他服务器设置在有权限存取主盘X、Y的同时可存取备盘M、N，并配置MDS存储管理主备服务器(配置FiShare软件)1台，NAS控制服务器4台，高清转标清的接口服务器2台，CLIP迁移服务器6台，RENDER后台打包服务器6台。

为循环利用光纤盘阵的有效存储空间，通过设置存储占用“水位线”或者存储时间先后为条件自动删除文件来优化系统存储容量，通过设置主备存储的异步恢复与删除，当造成主存储人为误删除的情况下，在较短时间内可以在备存储中找回并恢复到原存储中，以免造成不必要的素材损失，文件删除设置用于备存储上的定期删除文件，因备存储上教育新闻的实效性和可行性，设计保留机制只留存48 h内的新闻素材。

3.4 客户端应用

总编室客户端共5台高清工作站，其中3台有卡工作站通过光纤直接连接主盘阵，2台无卡工作站通过NAS连接，为保证总编室上载、编辑电视剧更加方便简单，把新加盘阵24 Tbyte的M盘配置给总编室独立使用，5台工作站全都获取存取M盘权限，用于存储电视剧节目，并将总编室存储高码率的素材盘配置映射到HDS AMS的M盘，低码率新闻素材仍然存放在原HDS2500盘阵的Y盘上，这样原HDS2500盘阵的X盘只存放新闻高清素材。

山东教育电视台高清新闻系统共有12台非编有卡工作站，并通过光纤交换机与中心主盘阵直接连接，37台无卡非编工作站和两台编目工作站，通过NAS控制服务器与中心主存储相连。为保证主备存储数据一致性，在需要进行数据备份、读写分流和切换盘符的站点上的网络内，所有的有卡工作站和无卡工作站全部安装了FiSEC客户端软件，并配置好相应服务器的IP地址。

客户端工作站可进行本机的实时备份，备份任务是由控制服务器创建并统一发送给客户端，再由客户端程序执行完成的。当客户端收到任务指令后，在写主存储的同时，由FiSEC存储控制器实时备份到备用存储上，整个操作对客户端工作站用户来说是透明的。

编辑工作人员对每天上载的教育类新闻素材进行实时备份，一但当天的主盘阵发生故障，系统可以实时切换到备盘阵中，使素材不至于丢失，还能保持新闻的完整性、可靠性和实效性。当存储盘阵HDS2500发生故障、存储控制器查询不到逻辑硬盘X盘时，客户端程序会向控制器发起请求切换，当请求数达到预先设置阈值时引发切换指令，FiSEC控制器在较短时间内将切换主存储X盘符到备存储M盘的物理路径，完成切换操作，以保证X盘符始终有效，让写入操作可以继续下去。

当发生主盘阵与备盘阵的切换后应及时恢复故障的盘阵，不可使备盘长期承担主盘工作，硬件故障恢复后，要待FiSEC服务器和MDS先恢复正常启动后再重启客户端工作站，FiSEC才会自动恢复网络盘的映射，主存储故障排除后，由FiSEC专用的数据同步服务器将备存储的数据同步到主存储，确保主备存储的数据一致。

4 小结

在新技术层出不穷的今天，电视节目制作的实时性、可靠性和安全性显得尤为重要，电视台的数据安全越来越成为工作中的重中之重。为保证数据在任何情况下不受到损失、最大限度地保护数据资产，山东教育电视台存储系统应用的FiSEC技术具有主备存储数据实时备份、存储故障的自动切换以及故障恢复后的自动恢复功能，并对应用层透明，即使中心控制引擎器发生故障也不会造成电视台应用的重大故障，从而大大减低了整个存储系统的故障率，使我台网络存储系统具有了安全保障。

[1] FiSEC安全增强软件[EB/OL].[2015-06-20]. http://www.sobey.com/html/product/soft/show_415.html.

[2] FiShare共享文件管理系统[EB/OL].[2015-06-20]. http://www.sobey.com/html/product/soft/show_414.html.

[3] 王春建.电视非编网素材的实时备份[J].广播电视信息，2011(11)：91-94.

责任编辑：哈宏疆

Storage System Based on FiSEC and Application in SDETV

FENG Huaicheng

(SDETV,Jinan 250014,China)

The technical features of the storage system based on FiSEC are introduced taking the application and upgrading for storage system in SDETV for an example, inculding data replication,duplicate data deletion, disaster recovery, the file management system and so on. The design of network bandwidth, equipment selection and configuration in storage system’s upgrading are also discussed.

Storage system; FC SAN; FiSEC

TN948

B

10.16280/j.videoe.2015.20.022

2015-03-06

【本文献信息】冯怀成.基于FiSEC的存储系统及其在山东教育电视台的应用[J].电视技术,2015，39(20).