流媒体服务系统存储架构升级探析

张智骞 彭方翔

（广东南方新媒体股份有限公司，广东 广州 510012）

全球信息化的发展，使得基于IP的业务必将成为信息产业的主流业务。IP网络消除了传统媒体(电视、广播、报纸)之间，传统信息产业（电信业、广播电视业）之间的边界，促使它们之间更广泛的融合，形成无所不包的全业务特性。同时，互联网的广泛应用催生了一系列的新媒体。IP网络的去边界性决定了融合是新媒体行业发展的必然趋势。媒体融合态势下，传统媒体与互联网、移动互联网等新兴媒体传播渠道有效结合，实现资源共享、集中处理，能够衍生出多种形式的信息产品，多渠道广泛传播给受众。基于以上发展理念，南方新媒体提出构建面向服务、面向融合的“广电+”全业务融合云平台（以下简称“融合云平台”）来作为整体的基础架构平台，从服务端实现已有业务系统的整合，从客户端实现各垂直业务的统一支撑，达到多业务、多屏终端用户统一平台管理的目的,如图1所示。

图1

图2 推流服务层级图

在融合云平台中，流媒体服务系统作为流媒体应用的核心系统，是向用户提供视频服务的关键平台。流媒体服务器的主要功能是对流媒体内容进行采集、缓存、调度和传输播放。流媒体服务系统的主要性能体现都取决于媒体服务器的性能和服务质量。因此，流媒体服务器是流媒体应用系统的基础，也是主要的组成部分，如图2所示。

一、系统现状

（一）内容分发网络

谈到流媒体系统，就不得不谈通常被称为内容分发网络Content distribution network（以下简称“CDN”）。完整的CDN通常由四部分构成：内容路由系统、内容分发系统、内容存储系统和内容管理系统。其中，内容路由系统负责将用户的请求调度到适当的设备上，通过全局和本地负载均衡系统来调度，实现的主要方法包括DNS、应用层重定向、传输层重定向。

如果说内容路由系统是帮助用户找到合适的设备，那么内容分发系统就是把用户需要的内容分发到不同服务节点的过程。通常，内容分发网络包括三个层级：边缘节点层、中心节点层和源站节点层。

内容存储系统是针对用户对流媒体内容的实际需求，在内容分发网络的三个层级节点实施相应的内容存储策略，达到有效提高用户请求的响应时间、提高存储空间的利用率、降低回源次数的目的。

内容管理平台主要负责整个CDN系统的内容注入、收录、发布等。

（二）流媒体服务系统

融合云平台的流媒体服务系统主要负责上线内容的统一介质存储、统一切片、实现统一向公网提供点播视频流。流媒体服务系统与多个厂家的CDN对接，实现多CDN回源与多CDN切换，如图3所示。

图3 推流服务系统架构图

按照完整CDN系统的技术概念，融合云平台的流媒体服务系统属于整个CDN系统的源站节点，负责内容管理和源站节点层面的内容存储和内容分发；内容路由、边缘节点层和中心节点层的内容存储和内容分发则通过租用服务的方式，对接CDN服务提供商的系统（以下简称“CDN”）来向用户提供服务。

流媒体服务系统第一期建设在2015年完成，由2台DELL R730服务器作为硬件组成，每台服务器挂22个1.8TB的SAS硬盘作为本地存储。两台推流服务器以高可用集群（HA）的主从模式进行工作，主从服务器之间通过心跳线相连以虚拟路由冗余协议（VRRP）来监视和维护两台服务器的主从工作模式。

流媒体服务系统软件采用Apple HTTP Live Streaming(HLS)技术规范，与上游的媒资管理平台通过接口方式以FTP注入点播媒资数据、以UDP注入直播媒资数据，对视频数据切片、存储、索引、流化处理后输出到CDN或用户终端，让用户使用播放器观看点播视频。系统功能模块如图4所示。

图4 推流服务系统功能模块图

流媒体服务系统采用TS封装格式输入输出，视频编码格式为H.264，音编码格式为AAC-LC。为用户提供更好的体验，因为采用分片的特点，HTTP streaming还可以实现媒体播放过程中的码率切换（码率自适应）。系统支持最多4000个应用层并发连接，按平均每个并发连产生1200Kbps的码流计算。

经过了两年的使用，业务的积累使得流媒体服务系统的点播存储空间使用率逐渐增加，两台推流服务器已经挂满了硬盘且存储容量的使用率已达到90%。因此，本次系统升级应解决以下问题：①根据业务规划，系统存储容量由17T扩展到30T；②优化系统存储结构，简化系统存储容量的横向扩展。

二、系统升级方案设计

围绕存储扩容和存储结构优化两个需求，在源站节点层面采用由单级源站架构升级为源服务器节点和缓存服务器节点的两级源站架构。这个设计有以下两个优点：

第一，将属于内容管理的内容注入、收录、发布功能和属于内容存储的缓存服务功能分开，内容管理功能放在源服务器节点，缓存服务功能放在缓存服务器节点。因为内容管理和缓存服务都是对内存和磁盘I/O高消耗的功能，将两个功能放在不同的节点能够提高推流服务系统的整体效率和稳定性，同时便于将来的系统扩容。

在并购支付多元化的发展趋势下，不同并购支付方式会对并购双方股东产生什么影响，并购双方应如何选择对企业最有利的并购支付方式，这些问题成为并购支付方式选择时需要考虑的首要问题。本文通过实证研究来估计企业选择并购支付方式的影响因素和不同并购方式对企业绩效的影响。

第二，在内容存储上，根据CDN的回源数据，区分出媒资中的热点数据并放在缓存服务器节点上。在两级源站架构下，当CDN回源的时候，将首先访问缓存服务器节点，缓存服务器节点没有数据再将访问请求重定向至源服务器节点。在缓存服务器节点配合使用缓存淘汰算法，可以使缓存服务器节点保持90%以上的访问数据命中率，这样就实现了热点数据的区分，极大地提高数据的利用率。

要实现两级源站架构的设计，有以下两种可行的技术方案。

（一）分布式集群文件系统

已有的2台流媒体服务器作为内容存储的缓存服务器，作为缓存服务器节点，负责向CDN的数据请求提供缓存服务。新增4台服务器，作为源服务器节点，负责内容管理服务的内容注入、收录、发布，同时还作为内容存储的源服务器，存储所有注入的媒资文件。系统功能模块如图5所示。

（二）网络附属存储系统

已有的2台流媒体服务器作为内容存储的缓存服务器，作为缓存服务器节点，负责向CDN的数据请求提供缓存服务。新增4台服务器，作为源服务器节点，负责内容管理服务的内容注入、收录、发布。同时将已有的网络附属存储系统（以下简称“NAS”）挂载在源服务器节点，存储所有注入的媒资文件。系统功能模块如图6所示。

（三）方案比较

比较两种方案，方案一着重于在源服务器搭建分布式集群文件系统，源服务器使用SAS硬盘可以保证两级节点都有高I/O性能，但是SAS硬盘的成本价格较高；方案二则选择NAS系统上的硬盘分区挂载于源服务节点下，作为共享存储型集群文件系统，在存储扩容的时间和价格成本上体现了较大的优越性，但NAS系统能否满足CDN回源时产生的I/O压力存在不确定性。

经过综合考虑，方案二成了首选方案，NAS系统的I/O速率和网络传输的速度成为了下一步的测试中两个重要的考量指标。

三、系统升级方案测试

（一）CDN回源数据峰值流量模型

根据半年的统计数据，CDN全天的连接数平均在一亿五千万次，其中约10%的数据需要回源，在源服务器产生一千五百万的连接数，这其中的80%集中在20点至22点的2个小时以内；按照平均每个访问的码率为1.2Mb计算，在访问量集中的时候，在目前的流媒体服务器产生峰值为2000Mbps的 I/O。

回源数据中的80%集中占全部媒资数据的20%，剩下的20%分散在全部媒资数据的80%中，将集中占全部媒资数据的20%的回源数据看作是热点数据，即热数据占全部数据的20%，热点数据与非热点数据的比例是1︰4。

（二）热点数据分析

针对以上CDN回源数据的特征分析，根据源站服务器节点、缓存服务器节点的两级存储设计，在满足缓存服务器节点存储容量与源站服务器节点存储容量的比例大于1︰4时，缓存服务器节点的I/O主要是来自热点数据的访问，NAS系统的I/O则是来自非热点数据的访问。按照目前回源数据的特征，非热点数据的访问占回源数据的20%，在访问量集中的时候，缓存服务器节点向源服务器节点请求数据会在NAS系统对应产生峰值为400Mbps的I/O，以NAS系统测算的2Gbps峰值 I/O，这完全可以满足。

另外，缓存服务器节点本地存储17T，源站服务器节点使用NAS系统的存储容量为30T，二者比例为1︰1.76，在这个比例达到1︰4，即源站服务器节点的NAS系统存储容量在增加到85T之前，在当前CDN回源数据峰值流量模型保持不变，都不会对NAS系统的I/O产生更大的压力。如果NAS系统存储容量扩展超过85T，可以通过增加缓存服务器节点的存储容量来控制两个节点的存储容量比例大于1︰4。因此，以NAS系统实现推流服务系统的两级源站架构在技术上是可行的。

四、结束语

本文针对流媒体服务系统的内容存储的升级需求，采用了基于NAS系统的“源站服务节点+缓存服务节点”的两级存储结构设计，在满足业务需求的同时降低了存储扩容的时间和经济成本，具有重要意义。

图5 方案一系统功能模块图

图6方案二系统功能模块图