分布式集群存储系统的应用探讨

高峰 六安市广播电视台

随着广播电视技术数字化、网络化、高清化的发展，国家广电总局从2009年开始大力推进电视高清化建设，明确了以现有频道高标清同播过渡的方式，自上而下有序推进高清电视发展。随着央视和各省级卫视率先实现高标清同播，全国众多的县市级广播电视台高清化建设成为大势所趋。为此，我台从2016年开始，加快了电视频道高清化转换进程，对全台电视制播体系的高清化升级改造进行了科学规划。其中，高清编辑制作网和媒体资产管理系统于2017年开始建设，2018年初投入使用，经过近两年的实际运行，系统各项功能稳定可靠。下面就该项目建设中的核心设备——分布式架构集群存储系统的技术特点和应用情况做些探讨。

广播电视台的制播网对存储系统的读写带宽、并发访问效率、存储容量、安全性、容错性都有着极高的要求。通过对FC-SAN(光纤通道区域网)、IP-SAN(IP通道区域网)、NAS(网络附加存储)、集群存储系统等几种存储技术的比较，我们选择了技术先进、成熟稳定的分布式集群存储系统。

传统的SAN 与NAS 存储设备，分别提供的是数据块与文件这两种不同级别的存储服务。虽然SAN 存储具有较高的读写带宽，但是构建和维护起来非常不便，而且由于数据块和网络需求等原因，SAN 存储也很难扩容。NAS 存储的构建和维护虽然比较简单，但是由于其聚合设备(NAS 头)的瓶颈，造成其性能受到局限。而分布式集群存储技术将NAS 和SAN 两种存储结构的优势进行了有效地整合，使之既具有NAS 的跨平台共享数据和基于策略的安全访问，易于构建和操作等优点，又具有SAN 的高读写带宽和交换网络结构可伸缩性的优点。

分布式集群存储系统将多台单一的存储设备，通过高速交换网络连接起来，聚合成一个存储设备来使用。以多个存储节点来分担存储负荷，数据分布在各个节点上，即使整个存储节点故障，系统也能自动恢复。它突破了传统存储设备容量、性能上的局限，可以根据业务需要进行动态扩展，且在扩展容量的同时，存储性能随之呈线性增长，可轻松获得PB 级的存储容量和10GB 级的并发访问带宽。因此，无论是节目资料存储管理所需的海量数据存储，还是高清节目制作所需的高并发访问带宽，都能很好的满足。系统的空间管理十分方便，其具有的统一命名功能，可以将所有节点的存储容量聚合成统一的存储资源池，进行统一管理，避免了维护多个存储设备的困难。

我台的分布式集群存储系统配置了6 个节点，每个节点16 只盘位，共安装96 只6TB SATA 盘，集群裸容量576TB，采用3+3 副本模式节点冗余后，约有260TB 实际使用容量。每个节点有2 个10Gbps 的万兆以太网端口，用万兆光纤分别接入2 台核心交换机，2 台交换机之间用40Gbps 堆叠线缆互联，避免了集群存储网络的单一故障点，提升了带宽和安全性。每个存储节点读写复合带宽约500MB/s，集群带宽约3000MB/s，足够支持40 个站点4 轨100 Mbps 码流高清视音频的实时编辑，以及6 台转码合成服务器的集群打包服务。集群中的每个节点均为可热插拔的硬件架构，电源等关键部件冗余配置，全局热备6 只硬盘，在3+3的副本模式下，可任意坏掉1 个节点，不影响系统运行。

我台的高清制作网和媒资系统共用一个存储资源池，根据节目制作和资料存储这两种工作的特点及需求，我们利用系统的空间管理功能，将存储资源池进行虚拟切割分配。编辑制作划分70%存储空间，约180TB，媒资管理划分30%存储空间，约80TB，两个存储空间相对独立，互不侵占对方使用空间，实现了存储资源池的物理隔离。同时，我们利用系统的带宽控制功能，灵活调配集群带宽资源，实现有限资源的高效管理。我们对提供节目打包服务的6 台转码合成服务器进行限速，指定每台带宽最大20MB/s，集群带宽最大120MB/s，避免打包服务满负荷运行时占用大量带宽资源，充分保障编辑制作对高带宽的需求。

对于广电行业来说，制播网络的安全性是首要考虑的问题，而中心存储的安全性，更是至关重要，除了加强人工巡检维护以外，一套存储安全监测控制模块必不可少。我们使用系统的运维监控功能，对分布式集群存储系统中的各个节点、电源、硬盘等硬件和存储容量、读写带宽、网络流量等资源消耗情况进行实时监控，并将其投放在技术办公室的显示屏上，一旦出现硬件故障或者资源不足等情况，可以通过闪烁、变色等方式进行提示。以期在故障发生之前，就预测可能出现的故障隐患，或在故障发生之后迅速定位故障点，为及时排除故障、恢复工作提供相关依据。

我台的这套6 节点分布式集群存储系统已经投入使用2年，在此期间运行高效、安全可靠、读写带宽稳定，保障了我台20 多个栏目的制作和资料存储，得到了编辑记者们的一致好评。