视频网格中自适应热度变化的条块化存储

单芝栋

(中国人民解放军69240部队，新疆乌鲁木齐830011)

0 引言

目前，视频网格［1］采用基于 CDN［2］的存储机制，其结构主要由中心服务器、边缘服务器以及用户组成。每个服务器是由多个计算元件(Computing Element，CE)和存储元件(Storage Element，SE)组成［3］。每个服务器的CE处理用户的服务请求;中心服务器的SE存储视频网格中所有的视频文件;边缘服务器的SE存储具有高热度的视频文件副本。当用户向本域边缘服务器申请视频文件时，若本域边缘服务器的SE已存储此视频文件，则直接提供给用户;否则，用户需要通过主干网远程访问其他服务器申请此视频文件。

在CDN存储机制中，视频网格中大量的次热度视频文件未被存储在边缘服务器的SE上，用户需要通过主干网远程访问其他服务器才能获得这些视频文件，这将造成传输延迟。文献［4－6］提出了解决该问题的方法。在文献［4］中，每个视频文件被分为若干视频数据块，并且存储于不同的边缘服务器。这种存储机制增加了边缘服务器存储视频文件的数量，但热度低的视频数据块长时间处于未被点播或是很少被点播的状态，造成存储资源的浪费;文献［5，6］提出的视频点播机制利用P2P技术使接收相同视频服务的用户之间形成视频文件共享群，但由于部分用户点播行为不稳定造成共享群中的其他用户不能稳定地接收视频服务，这将影响系统的性能。因此，视频文件的热度在视频文件的存储调度过程中起关键作用，这就需要分析用户的点播行为，尤其是视频文件热度变化，才能对视频文件进行合理的存储调度。

1 视频文件的热度特点

视频文件的热度在空间上的分布符合Zipf分布，可表示为:

式(1)表示在n部视频文件中第k部视频文件的热度。θ为常数，称为深度因子，其取值为［0.271，1］［1］。在 θ分别取 0.6，0.7，0.8，0.9，1.0 时，利用式(1)计算n为不同值时的Pk值，并累计求和，得出相同的热度值域空间分布图，如图1所示。

图1 视频文件热度值域空间分布

随着视频文件数量的增加，开始阶段热度值急剧增加。高热度视频文件的热度值和占总热度值和很大的比例，但是在急剧增长之后，热度值仍具有较高的增长趋势，这说明也有较多的用户申请次热度视频文件，尤其是在大规模的用户和海量的视频文件的互联网平台上的视频网格中。在CDN存储机制中这些视频文件没有被存储在边缘服务器的SE，用户需要通过主干网远程访问在其他服务器申请这些视频文件，造成传输延迟。

每一个视频文件都存在内热度，即在同一部视频文件的不同部分的点击率也存在差异。一般情况下，在视频文件开始播放时，用户由于各种原因中断视频点播，此时视频文件的开头部分的点击率会高于视频文件后面部分的点击率。在CDN存储机制的视频网格中，存储在边缘服务器上部分热度高的视频文件，只是开始部分点击率高，而后面部分的点击率低，这造成了边缘服务器存储资源的浪费。研究结果表明，用户接收视频服务超过为5 min［7］时才能确定整个视频文件都具有较高的点击率，即用户需要整个视频服务。

视频文件的热度在时间上的变化一般遵循以下过程:当一部新的视频文件刚加入视频点播系统时，在开始阶段，申请此视频文件的用户不断增加，热度呈上升趋势;达到峰值后由于用户对此视频文件的兴趣下降，热度会急剧衰退;一段时间后由于申请此视频文件的用户很少，热度变化趋于平缓。在CDN的存储机制中，热度被分为高热度和低热度，不能充分体现热度在时间上变化的多态性。

2 自适应条块化存储机制

2.1 视频文件的分块机制

自适应热度变化的条块化存储机制的视频网格拓扑结构以CDN分布式存储机构为基础，视频网格中每个视频文件被分为若干体积相同的视频数据块，数量一般不超过10块［4］。

2.2 边缘服务器存储诸元的设置

2.2.1 存储诸元的划分和功能

边缘服务器的SE包括视频播放区和暂存区2部分。视频播放区的功能包括:① 当视频文件具有高热度时，存储其全部数据块;② 当视频文件具有次热度时，根据热度的不同，从第一块开始，连续存储不同数量的视频数据块。暂存区的功能包括:①存储少量次热度视频文件的部分视频数据块，这些数据块与在视频播放区内正在被点播的视频数据块组成完整的视频文件，提供给用户;② 视频播放区更新时，存储被本域边缘服务器SE的视频播放区淘汰的数据块，作为其他边缘服务器的视频播放区的辅助更新源。

2.2.2 暂存区的空间设置

假设每个边缘服务器的SE体积为T，在单位时间内申请视频服务的用户数量为λ，用户申请具有次热度的视频文件的概率为μ，则在单位时间内申请次热度视频文件的用户数量为λμ。在暂存区中，单个视频文件的平均存储体积为v，视频播放速度为s，视频文件的平均播放时间为v/s，因为暂存区的视频数据块在播放时不允许被删除，在最坏情况下，即在v/s时间段内存储在暂存区体积为λμv的视频数据块未得到重复利用时，暂存区还必须以存储λμv/s个用户点击次热度视频文件的后面视频数据块，此时暂存区的体积可表达为:

通过式(2)可以看出，影响Tz的因素与视频网格中视频文件的数量无关。因此，在大规模的视频点播系统中，当边缘服务器存储的视频文件数量很大时，即边缘服务器的存储空间非常大时，TZ＜＜T。

2.3 视频文件的调度机制

当边缘服务器接收用户申请时，系统自动更新视频文件的热度，并根据不同的热度对视频文件采取不同的调度策略:

①高热度。视频播放区完全存储此类视频文件的视频数据块，边缘服务器可以直接提供视频服务给用户。

②次热度。当用户接收视频服务超过5 min后，若本域边缘服务器的暂存区已存储相应的视频数据块，则和在视频播放区内用户申请的视频数据块组成完整的视频文件提供给用户;否则，根据负载均衡调度原则［1］从其他服务器上寻找相应的视频数据块，并保存到暂存区，为同一时间段内申请此视频文件的其他用户提供视频服务。

③低热度。边缘服务器担任中介者角色，由其他视频服务器提供视频服务。

2.4 视频文件的更新机制

由于每个边缘服务器的视频播放区存储的视频数据块的不同，在对视频播放区的视频文件进行更新时，需逐个节点进行处理。首先系统CE统计视频文件的热度，并清空暂存区;设si为第i个边缘服务器，ci为第i个视频文件，P为视频文件的热度，更新步骤如下:

①si对本域被点播的视频文件的热度进行降序排列，即 PQ:PC1，Pc2...，Pcn...，Pcm，相应的视频文件序列为 Q:C1，C2...，Cn...，Cm;

②如果Pci为次热度或者高热度，则S1节点中视频文件子序列为 G:C1，C2...，Cn并被保留在视频播放区;

④当Pci为次热度时，若视频播放区存储的视频数据块的数量超过系统定义的存储数量，则多余的视频数据块被转移到暂存区;若低于系统定义的存储数量，系统根据负载均衡原则从其他服务器的SE寻找并下载相应的视频数据块;

⑤采用以上相同的步骤对其他边缘服务器视频播放区内的视频文件进行处理;

⑥清空所有边缘服务器暂存区的内容。

当暂存区中视频数据块总体积超过额定容量，系统使用LFU［2］算法对暂存区实时更新。

2.5 性能分析

这里提出的自适应热度变化的条块化存储机制的前提是大规模视频播放系统，视频播放区的存储容量TP≈T，视频网格中单个视频文件的平均体积为vc，则边缘服务器能存储的视频文件数量为NC=T/VC。单部视频文件被平均分成的数量为n;边缘服务器视频播放区存储i块视频文件的数量为ki，则视频播放区存储的单个视频文件的平均体积，视频播放区存储的视频文件的数量在CDN存储机制下边缘服务器SE可存储的视频文件数量为T/V。

3 仿真模拟

因为在不同的视频网格环境中存在不同的传输带宽和存储空间，会导致不同的热度划分和视频文件分块数量，导致出现不同参数的自适应热度变化的条块化存储机制，所以下面举例仿真。在CDN存储机制中，前12%的视频文件被定义为高热度视频文件，被存储在边缘服务器SE中。在自适应热度变化的条块化存储机制中，根据图1所显示热度值变化曲线，视频文件的热度值分为:高热度、次热度(较高热度、次高热度、一般热度)和低热度。这里采用视频网格模拟器VGSim［8］进行模拟仿真。通过总结分布式视频点播的多种模型［3，4，9］，实验建立了一个由40个节点组成的模拟环境，site0为中心服务节点，其他39个节点是边缘服务器节点。主干网带宽是 1 GB/s，每部视频文件的体积为375 MB，site0共存储了5 000部视频文件。在CDN存储机制下，每个边缘服务器可以存储600部视频文件，T为60 s，视频文件的播放码率为512 kbps，λ=2，根据式(2)和实际系统情况，设暂存区容量为1 GB。

结合图1每部视频文件被分成4块体积相等的视频数据块，当 θ分别为 0.6，0.7，0.8，0.9，1.0时，热度值域划分表(pk是视频文件的热度值)，如表1所示，视频文件分块存储机制表按照高热度(前4%)、较高热度(5% ～11%)、次高热度(12% ～14%)、一般热度(15% ～17%)分别存储前4、3、2、1块视频数据块。表1中括号内数字表示数值范围。

表1 热度值域划分表

首先对CDN存储机制进行仿真模拟，边缘服务器中视频文件的更新算法采用LFU算法;然后对自适应热度变化的条块化存储机制模拟仿真。在仿真开始时所有的视频文件都被存储在中心服务节点，随着仿真的进行，视频文件分别按照CDN存储机制和自适应热度变化的条块化存储机制被逐步推送到边缘服务器的SE上，相应的主干网带宽的占用情况和边缘服务器存储的视频文件数量情况分别如图2、图3和图4所示。

图2 条块化存储机制时主干网带宽变化

图3 CDN存储机制时主干网带宽变化

在自适应热度变化的条块化存储机制中，由于视频文件最初只存储在中心服务器上，用户需要向中心服务器申请视频文件，这占用了大量的主干网带宽。随着时间的推移，视频文件副本的全部或者部分视频数据块被推送到边缘服务器的视频播放区，主干网带宽消耗减少。当用户接收存储在视频播放区内次热度的视频文件超过5 min时，系统通过主干网从其他服务器下载此视频文件中未被存储在视频播放区的视频数据块，这将占用主干网带宽。但是系统对暂存区存储的视频数据块采用缓存复用策略，避免了在同一段时间内其他用户通过主干网调用相同的视频数据块而消耗的主干网带宽。因此，主干网带宽占用情况和CDN存储机制下的主干网带宽占用情况有一定增加(如图2和图3所示)，但无明显差别。由图4可知，在稳定状态下，边缘服务器上存储的视频文件的数量在自适应热度变化的条块化存储机制下比CDN存储模式下明显增加。

图4 边缘服务器视频文件存储数量

4 结束语

在自适应热度变化的条块化存储机制中，系统对每个视频文件进行分块存储和调度，减少了单个视频文件在边缘服务器上的平均存储体积，增加了边缘服务器存储视频文件的数量。当用户点击次热度视频文件时，对实时从其他视频服务器下载的视频数据块进行缓存复用，减少了视频文件分块存储和调度而消耗的主干网带宽。因此，自适应热度变化的条块化存储机制在不明显增主干网带宽消耗的同时，极大地增加边缘服务器存储视频文件的数量，提高了用户在本域边缘服务器申请视频文件的命中率，减少了传输延迟。

［1］刘 鹏.高性能和高可用性海量存储技术研究［D］.北京:清华大学，2006:140.

［2］PALLIS G，VAKALI A.Insight and Perspectives for Content Delivery Networks ［J］.ACM Communication，2006，49(1):101.

［3］那宝玉，张毓森，刘 鹏.基于网格技术的视频服务系统设计与实现［J］.吉林大学学报，2008，26(2):187.

［4］FEI Zongming，YANG Mengkun.A Segmentation-Based Fine-Grained Peer Sharing Technique for Delivering Large Media Files in ContentDistribution Networks［C］∥ IEEE Transactions on Multmdia，2006，8(4):821－829.

［5］LIU Xinwen，ZHAO Hong，CAO Jie，et al.The Application of P2P Mechanism in Video Grid［C］∥Proceedings of the International Conference on World Congress on Computer Science and Information Engineering，CSIE 2009，6(3):11－15.

［6］LIU Yong，GUO Yang，LIANG Chao.A Survey on Peer-topeer Video Streaming Systems［J］.Peer-to-Peer Networking and Applications，2008，1(1):18 －29.

［7］王 飞，奚宏生，杨 坚.集群式VoD系统中文件分块存储策略［J］.计算机工程，2008，34(21):213.

［8］赵 宏，吾守尔·斯拉木，侯 勇，等.Architecture and Realization of Simulator of Video Grid［J］.Proceedings of PACIIA’08，2008，6(4):521 －526.

［9］HUANG Yan，FU Tom Z J，CHIU Dah-Ming，et al.Design and Analysis of a Large-scale P2P-VoD System［J］.In ProceedingsofACM SIGCOMM ’08 Seattle， 2008，3(1):127.