基于分级存储融合的电视剧发行许可样片库系统设计

王羿

（国家广播电视总局监测数据处理中心，北京100866）

为规范电视剧内容管理，相关管理部门先后颁布了《电视剧审查管理规定》和《电视剧内容管理规定》等规章，并建立了电视剧许可制度。电视剧的拍摄、制作须执行备案公示，不能发行和播出没有备案且未取得发行许可证的电视剧, 以更好地促进我国的电视剧产业健康、有序发展。为了精细化地管理备案电视剧样片，强化电视剧重播重审能力，需要建设电视剧样片库系统。针对持续增加的备案电视剧样片，建设具备长期存储能力和数据安全防护能力的电视剧样片库系统，面临以下几个问题：(1)备案的电视剧样片数据以DVD 光盘介质的形式报送，大量的DVD 光盘数据读取工作费时耗力，工作效率低；(2)不断累积的电视剧样片数据，完整保存在集中存储内，大量归档样片的长期存储将占用昂贵的硬盘资源；(3)备案电视剧样片要求长期存档，离线存档后的样片数据需人工转存至集中存储内，将降低电视剧调阅和重播重审的时效性。

1 系统业务流程设计

为进一步加强电视剧内容管理的科学性、规范性，搭建电视剧发行许可样片库系统，实现对备案的电视剧发行许可样片导入、收录、存储、统计、调阅等功能，其系统业务数据流程如下：

(1)收到需备案的电视剧发行许可样片DVD 光盘后，将光盘按所对应的电视剧集数顺序叠放并登记造册；

(2)将光盘批量放入光盘库的盘匣内，光盘库将自动读取盘匣内光盘数据，并自动对所读取DVD 光盘内的电视剧信息和视频文件进行校验；盘面损坏或校验失败的光盘自动放置到退盘匣内；

(3)手动从退盘匣取出盘面损坏或校验失败的光盘，工作人员统计无法处理的电视剧集数并通知重新报送相关光盘；

(4)DVD 光盘数据导入完毕后，系统自动提交至管理员审核导入的电视剧信息、视频文件的完整情况；

(5)审核通过后系统自动对视频文件添加数字水印，完成该部备案电视剧样片导入工作；

(6)系统自动对备案电视剧样片的地区、剧名、题材、体裁、机构、集数、编导、演员、简介等信息统计；

(7)通过样片库系统调阅电视剧信息以及视频内容，按集精确定位回放电视剧；截取电视剧视频片段或选择所需剧集，以刻录到光盘的方式进行电视剧样片导出。

2 样片库系统数据存取

2.1 数据导入

目前，对于已经获得发行许可的电视剧样片采用以DVD 光盘介质的格式报送备案并在电视剧样片系统内长期存储。通常一张DVD 光盘可以存储两集高清电视剧，若一部电视剧在20集左右，则需刻录10 张DVD 光盘用于电视剧样片报送。这就造成电视剧发行许可样片系统录入样片信息的时候需要处理大量的DVD 样片光盘。怎样能高效、自动化地整理并读取光盘数据，将样片数据导入到电视剧样片存储是备案电视剧样片数据导入模块的设计目标。

传统光盘读取方式常采用手动将盘放入终端的集成光驱，这种方式存在以下问题：(1)终端配置的DVD 光驱多为16 倍速，理论上数据读取数率为2400KB/s，单个光驱读取远慢于可达数十MB/s 的硬盘速度；(2)终端集成的光驱需要人工手动放盘、取盘，数百张光盘批量导入时需要耗费大量的人力操作光盘。(3)放盘、取盘操作需要频繁直接接触备案的电视剧发行许可样片DVD 光盘，大量的人工操作不利于样片光盘管理，同时也增加了样片光盘丢失和数据泄露的风险。

为提高样片导入效率，数据导入模块设计了备案电视剧样片DVD 自动导入的两种工作模式：(1)批量处理：批量地对多部电视剧的上百张DVD 光盘导入；(2) 单件处理：因零星光盘损坏、单集电视剧缺失等情况对单张DVD 光盘导入。针对批量处理和单件处理的两种不同场景，基于光盘库设备访问控制服务和光盘塔设备访问控制服务实现了DVD 光盘自动读取功能。光盘库设备划分为在线缓存区、光盘批量导入区、光盘提取区。批量处理的时候，将需导入的DVD 光盘叠放在光盘批量导入区的光盘匣内，机械手每次从光盘匣内批量抓取12 张DVD 光盘并放置到12 个光驱内并行读取样片数据。光盘库配置蓝光光驱，单个光驱的DVD 读取速率可达24 倍速，即3600KB/s，12个光驱并行导入速度可到43200KB/s。光盘塔配置智能机械手，可以从光盘输入仓内自动抓取一张DVD 光盘，并放置到DVD只读光驱内读取光盘样片数据，当数据读取完成，光驱自动弹出光盘，机械手从光驱托架上抓取光盘放置光盘输出仓内。

2.2 分级存储

样片库系统需长期存储样片数据，但大部分电视剧，特别是已上映多年的电视剧调阅频率较低。如果将海量的样片全部保存在集中存储中，会降低集中存储的使用效率，不利于系统的PUE 和TCO 指标优化。

表1 所示，不同的设备具有不同的数据读写性能、单位存储容量成本、数据保存持久性、设备运行维护成本等特性。在保障样片系统的数据访问性能接近集中存储的条件下，进一步降低系统的PUE 和TCO 指标，存储模块设计了一个基于在线、近线和离线的分级存储结构并构建统一数据视图。在线存储中的电视剧发行许可样片可随时调阅，数据保存在集中存储的硬盘内，具备实时的数据读取能力。近线存储结合了在线存储与离线存储的特点，将访问频率低的样片“冷数据”用蓝光光盘介质保存，需调阅时可在短时间内读取数据。离线存储用于长期保存样片数据，用于样片库系统的数据灾备和恢复，避免系统数据丢失。分级存储融合的数据迁移策略将频繁读写的“热数据”存放于在线存储中，而不频繁访问的“冷数据”存放在近线存储和离线存储中。

表1 集中存储、光盘库、磁带库性能对比

电视剧发行许可样片库管理的视频文件实际播出状态涉及未上映、热播中、播放完结等，报送备案的电视剧版本也涉及多个版本，电视剧的制片者享有电视剧作品的著作权，备案的电视剧样片一但泄露将侵犯了著作权人的多项权利并带来严重的经济损失。因此，加强系统所存储的样片数据安全，降低备案样片泄露的风险尤为重要。

3 分级存储融合技术

电视剧发行许可样片库的分级存储融合实现了样片数据在集中存储、光盘库和磁带库中的动态迁移。不同的电视剧样片视频文件在不同时间的访问频率是不一样的，电视剧刚导入系统内时数据校验、水印添加等操作需要频繁读、写样片数据，但是归档后的样片数据访问频率会持续降低。针对样片数据特点，设计了样片数据的访问热度计算和数据迁移策略。

3.1 访问热度计算

访问热度计算可在数据块和文件两种级别上计算[1]，其中数据块是样片的基本存储单元，而样片数据主要为视频文件，存储的数据块存在链式约束关系。因此，在文件级别上计算访问热度能更好地保留数据块间的约束信息。

定义3：设备案的样片文件为i（i=1，…，M），其中M 为文件总数。结合定义1 和定义2 得到样片文件i 的访问热度为：f（i）=F÷（S×Ti），其中S 为文件i 的大小，单位为GB。

3.2 数据迁移过程

集中存储采用SAN+NAS 架构，具备约500TB 的在线存储空间。光盘库为标准19 英寸42U 机柜的高密度设备，作为蓝光近线存储区盘匣总共有12240 个光盘槽位，每个槽位配备可用容量为100GB 的档案蓝光光盘，总的可用存储容量为1224TB。光盘库机头配置了8 块8TB 缓存硬盘能够提供约45TB 的在线存储缓存区用于近线存储区和在线存储区之间数据迁移。

分级存储融合模块部署了联合文件服务同时挂载了集中存储和光盘库，具备目录统一性和一致性[2]，当系统访问样片文件，如果文件存储在集中存储内则直接访问，如果存储在光盘库内则需要转存至集中存储再访问。同时，模块定时更新系统存储的电视剧发行许可样片文件的访问热度（见定义3），热度高的文件I/O 操作频繁存储于集中存储内，而热度低的文件光盘库会自动将文件迁移至蓝光光盘内。分级存储融合模块的文件迁移过程如图1 所示。

图1 分级存储电视剧样片文件迁移序列图

4 结论

本文深入探讨针对备案电视剧的发行许可样片库系统，结合在线存储、近线存储、离线存储设计了基于访问热度计算的分级存储融合的样片数据存储方式，以适应新时期的全国电视剧发行备案管理工作的需求。