远红亮+张成昱
〔摘 要〕视频资源管理系统是一种视频资源发布和管理平台,它直接面向广大用户提供视频资源共享服务和视频资源长期保存服务。清华大学图书馆设计并应用了视频资源管理系统,主要功能模块包括视频资源上传、元数据编目、转码、发布、保存和权限管理等。视频内容包括学生原创作品、名人名师讲座、人文课程以及图书馆原创视频等,采取分角色权限控制,分部门资源管理、特色资源独立呈现、统一保存等方式,应用以来取得良好效果。在设计和应用视频资源管理系统过程中,应对视频类多媒体资源及其元数据有清晰的认识,要充分发挥资源管理系统的优势,有效整合、发布、分享和保存珍贵视频资源。
〔关键词〕视频资源管理;元数据;转码;共享
DOI:10.3969/j.issn.1008-0821.2017.12.020
〔中图分类号〕G250.7 〔文献标识码〕A 〔文章编号〕1008-0821(2017)12-0117-06
〔Abstract〕Video resource management system is a platform of video resource publishing and management,it provides video resource sharing services and long-term preservation services for users.Tsinghua University library has designed and used the video resource management system,the functionalities of the system mainly includes video resource upload,metadata cataloging,transcoding,release,preservation and roles management module.There are some kinds of resources,including students original works,celebrity lectures,humanities courses and video,etc.The system has taken the role of authority control,independent management and presentation for each department,the applications of the system has achieved good results.In the process of designing and applying video resource management system,its essential to have a clear understanding of video resources and its metadata,and take good advantage of resource management system,effectively integrate,publish,share and preserve valuable video resources.
〔Key words〕video resource management;metadata;transcoding;share
随着社会经济和科学技术的不断发展、信息化基础设施等条件的不断完善,数字化音视频和多媒体信息在人们日常工作和生活中随处可见,观看多媒体音视频资源已成为一种生活习惯。多媒体技术的发展以及多媒体资源的大量涌现给人们的生活、工作、学习和娱乐带来了深刻变化。图书馆作为大学校园的信息枢纽,保存和管理着各类文献和多媒体资源,其中视频类资源的数量和种类逐年增多,如何依靠先进的信息设施和技术手段整合丰富的馆藏视频资源、学生原创视频资源以及名人名师讲座资源等,为全校师生提供易于发布、管理和长期保存的视频资源共享服务,成为图书馆技术部门工作人员必须面对和思考的重要问题[1-2]。本文旨在通過清华大学图书馆视频资源管理系统的设计和应用予以分析和研究,以期为同行提供参考。
1 视频资源在清华大学图书馆的应用背景
清华大学图书馆现有3个分馆和8个部门,为全校师生提供文献和信息资源保障服务。其中信息技术部负责信息化基础设施的运维、信息化平台的建设和新技术调研应用等工作。内容管理平台一直是信息技术部关注和应用的重点平台,近年来图书馆多媒体音视频资源越来越多,师生对多媒体音视频资源的喜爱程度也越来越高;因此音视频资源发布、管理和长期保存成为必须面对和解决的问题。清华大学图书馆视频类资源有如下几个来源:
第一,师生原创特色资源。例如,清华大学每年举办的学生节或毕业季,学生会自编自导一些原创视频作品,这些原创视频资源是清华大学图书馆特藏部重点关注和建设的一部分特色资源,特藏部希望把优秀作品长期保存发布展示出来。清华大学图书馆人文社科分馆定期举办名人名师交流和讲座活动并全程录制视频,他们一方面希望把这些有益的视频发布出来供师生学习和研究;另一方面需要一个管理平台实现资源的加工、发布、管理和保存。
第二,外购视频资源库。例如,知识视界视频教育资源库、库客数字音乐图书馆、畅想之星多媒体资源库等图书馆外购视频资源库。这些资源库分别独立运行,缺少统一检索入口,读者需分别到各个平台检索所需资源,使用体验不佳。缺少统一的视频资源管理系统进行异构资源整合。
第三,自建视频资源。例如,图书馆日常工作中举办的工作经验分享和学术交流活动会产生一系列视频资源,部分有参考和利用价值的资源希望共享并长期保存。
因此需要设计和定制开发一套视频资源管理系统,实现对视频对象的管理、发布、分享、元数据整合和资源长期保存等功能,满足广大师生对资源的使用需求和图书馆工作人员对资源的各种管理需求。endprint
2 清华大学图书馆视频资源管理系统需求分析
系统需求包括系统访问方式、资源上传、资源管理、资源审核、用户和管理员权限设定、用户身份识别、资源量和访问量统计等[3-5],主要内容如下:
1)浏览器/服务器服务管理模式。读者使用浏览器访问系统、使用资源,图书馆管理人员通过浏览器登陆系统后台管理资源和用户,系统管理员利用系统管理工具配置系统运行环境、服务升级、文件备份等维护工作;
2)原创和自建资源动态上传和管理。系统需满足在校师生和图书馆工作人员通过浏览器上传各类原创和自建视频资源,并有权管理和分享自行上传的视频资源,图书馆工作人员可在系统后台补充完善读者上传资源的元数据信息;
3)资源审核发布。图书馆资源管理员能够在系统后台对师生自行上传的视频资源进行内容审核、发布、栏目划分管理等功能;
4)用户分角色、资源分部门的权限管理方式。清华大学图书馆现有多个分馆和部门,不同分馆和部门独立管理各自建设的资源内容,系统需具有按照角色为用户和管理员分配权限的功能,资源按照建设部门独立管理,同时要求资源集中检索、呈现和保存。
5)移动设备播放支持。移动设备普及的今天,视频资源需满足各类移动终端设备通过浏览器直接播放功能;
6)统一身份认证。日益增多的应用系统解决了读者多种需求,但记忆每个系统的登陆名和密码也给读者带来了麻烦,为方便读者、简化操作流程,系统需要支持学校统一身份认证系统。
7)资源数量与访问量统计。便于统计分析各种类型资源数量、资源使用量,能够以报表和图形分析呈现统计结果,统计分析结果有利于指导后续资源建设和资源服务工作。
8)视频文件保存和备份。特色和自建视频资源是学校师生在教学、学习、学校生活中产生的宝贵财富,未来有重要的参考研究和历史意义。视频文件的保存、备份机制确保这些宝贵资源长期有效保存。
3 清华大学图书馆视频资源管理系统功能设计
3.1 系统建设目标
视频资源管理系统主要以视频内容为管理对象,实现资源管理、发布、共享和长期保存服务。在设计图书馆视频资源管理系统时要体现通用性、管理性、灵活性、扩展性和可靠性等原则。通用性是指要支持常用视频格式的上传;要支持电脑和移动设备上各类浏览器直接播放视频内容;管理性是指系统易于管理,功能完备,各种角色设置和管理权限分配合理;灵活性是指系统功能配置灵活,可整合其他系统资源元数据等;扩展性是指系统在软件和硬件层面能够适应不断增加的扩展需求,同时不影响现有功能和服务的正常运行;可靠性是指系统运行和数据存储要安全、可靠性高[6]。
3.2 系统总体结构及硬件配置
视频资源管理系统由Web服务、资源管理、格式转码、数据存储、资源分享以及统计分析等功能模块组成,系统总体框架图如图1所示。
1)Web服务器提供资源访问服务和后台管理功能,由Centos6.7虚拟机上部署的Apache httpd服务构成,虚拟机配置为四核双CPU、4GB内存、文件系统采取虚拟卷管理,可以随需扩展目录容量。
2)转码服务器实现视频资源的格式转码服务,由一台DELL实体服务器组成,采用双CPU E5-2630 2.3GHz、32G内存、配置Matrox G200eR显卡,硬件显卡可提高转码效率。
3)校园网用户和管理员可通过有线网络或校园无线网络直接访问资源管理系统;用户处于校外时,通过学校VPN访问视频资源管理系统。Web服务器通过万兆IP链路直连核心交换机9508,转码服务器通过千兆IP链路连接5100交换机,5100交换机与9508交换机之间采用万兆光纤链路连接。
4)数据存储采用EMC Isilon X200+108NL系列和NL400系列两套横向可扩展NAS存储,视频资源文件存储于NL400系列存储上提供数据访问服务,108NL系列存储提供数据备份服务,两套存储之间通过EMC SyncIQ功能实现数据自动同步,以确保数据安全。
3.3 系统主要功能设计
3.3.1 Web服务
整个系统采用B/S(Browser浏览器/Server服务器)架构模式,用户通过浏览器进行资源上传、资源分享或资源查看;管理员通过浏览器访问系统后台进行资源管理和权限控制等操作。Web服务分为前端服务和后端系统管理两大部分。前端Web服务采用模板化设计,页面展示风格可灵活切换,支持用户在线编辑模板,支持用户按照不同专题自行组织资源,专题内资源按照分类呈现,分类可自行调整。不同部门建设各自的特色视频资源库,系统支持多站点发布,不同部门或分馆可根据自身资源特点,设计个性化发布页面,部门独立管理子站点资源,单独设置访问域名和公告等;总站自动收割子站点资源,所有站点数据由系统统一保存与备份。
3.3.2 视频文件上传与元数据编目
视频资源上传与元数据编目功能實现读者自行上传视频资源文件并编辑资源元数据。鉴于大多数用户没有受过专业资源编目技能培训,系统设计时,考虑用户上传操作体验、简化用户操作内容,只保留必要元数据字段为必填项,比如视频资源名称、主要责任者、关键词、摘要等,其他更详细的元数据信息待资源上传后,可由内容或元数据编目管理员补充完善[7]。
系统支持常用视频格式上传与转码,比如asf、wmv、avi、divx、mov、MP4、rm、rmvb、mkv、swf、flv、f4v、mts、m2t和mt2s等;这些格式的视频文件上传到系统后,格式转码模块将这些文件转换为H264编码、mp4封装的格式,以方便Web浏览器和各类移动设备直接播放。视频资源海报功能自动生成资源海报,并智能识别海报质量,避免海报颜色单一,同时对图片自动裁剪,缩放,便于应用布局。endprint
3.3.3 视频转码
考虑到移动终端设备及浏览器直接播放视频资源的需求,视频转码功能将所有常用格式的视频文件转换为标准的、采用H.264编码的mp4文件,它是视频资源管理系统重要的支持子系统。资源转码实现不同类型资源的格式统一,将不同类型的资源转码为标准格式,支持常用浏览器和移动终端直接播放[8]。转码可由人工启动,针对单个资源自定义转码参数,也可提前预置参数实现批量转码。转码过程支持由调度系统调度多台转码服务器完成批量转码工作;可根据实际使用需求,采用文件分段转码模式满足用户短时间完成转码需求。转码系统采用NVIDIA 、Intel技术加速转码过程,还可搭载NVIDIA专业图形卡,协同CPU完成更为高效的转码工作。通过高性能转码服务,1T资源,仅需1天时间便可快速发布到资源系统中,供用户在线访问。
3.3.4 用户角色及权限划分
资源管理平台的使用者包括普通用户、资源管理员、系统管理员、分馆管理员等用户身份,资源访问也分为校内校外或不同群组访问等情况,权限管理比较复杂,因此视频资源管理系统采用矩阵式权限管理策略,对系统中每个用户进行操作权限划分和管理,同时也对资源按照管理范围和访问范围进行权限设定,最后通过组策略将用户与资源进行双重认证,达到用户权限划分和资源管理功能、增强系统安全性。图2所示权限管理示意图。
系统按照权限→角色→用户的方式进行管理员授权管理,对不同的用户赋予不同的角色,不同的角色赋予不同的权限,权限细化到每一个菜单项;资源审核以工作流方式进行,分级别设定审核工作流,可对特殊用户给予免审权限。另外,支持用户分组权限管理、按照IP地址段、用户名和资源进行权限管理;资源权限管理分为栏目、分类和单个资源3种粒度,单个资源权限分为浏览、点播、下载、上传等,同时资源分部门进行管理,例如特藏部管理的资源,人文社科分馆管理员无权管理且不可见;通过矩阵式权限管理策略,可全面保障资源管理需求,灵活实现所需权限分配方案。
3.3.5 资源分享
资源的分享、推荐、收藏、标签和评论等一系列交互功能有利于提高资源利用率、传播效率和资源交流讨论。分享功能可将视频资源信息与他人分享,有4种地址分享方式,包括:1)网页地址分享,该地址直接复制到浏览器中即可打开播放;2)播放地址分享,播放器播放视频的真实地址,复制到浏览器中会自动调用flash播放器播放;3)框架地址分享,用于页面源码或者论坛等位置内嵌播放器使用;4)内嵌地址分享,内嵌到网页或者PPT中可直接播放的地址。收藏功能将视频资源收藏到用户收藏夹,便于下次继续观看。标签库功能对视频片段进行打点标签,标签可添加关键词、标题、描述等,支持关键词逐键提示、关键词合并、删除等,支持按照标题、作者、描述、关键词等对标签库进行搜索。可将标签片段分享至微信、微博、QQ等第三方应用平台。
3.3.6 资源统计
资源统计功能对系统中资源数量和使用情况进行统计,分为资源统计模块和使用统计模块。资源统计模块针对系统内所有资源进行统计,可统计不同时间段系统中资源的总量,包括用户上传数量、编目人员上传数量、不同栏目视频资源数量、不同视频格式节目数量等。使用统计模块针对系统内已被访问过的资源进行统计,主要统计每个资源的访问情况。例如某一资源被浏览总次数、被点播总次数、被收藏总次数、被下载总次数等,没被访问过的资源不会出现在使用统计明细中。查看系统访问日志,可查询出所有观看过该资源的用户信息、IP地址、观看时间等信息。所有统计信息可导出成Excel文档保存,也可在系统中以线形图、饼状图、区域图、柱状图呈现。
4 清华大学图书馆视频资源管理系统技术特点
清华大学图书馆设计并请专业软件公司定制开发的视频资源管理系统主要技术特点包括,全面移动终端支持、丰富对接接口、高效转码引擎、服务端支持大规模并发应用、存储节点横向可扩展等特点,可全面保障视频资源管理系统稳定高效运行,为读者和工作人员提供便捷服务。
4.1 全面移动终端支持
支持各种android和ios移动终端(手机、平板)的浏览、点播服务;兼容firefox,chrome,IE6 以上浏览器,采用html5+flash播放方式(优先采用 html5),无需安装播放器和插件,点播响应速度快、无延迟、播放清晰流畅。支持 IPv6 协议,包括HTTP、TCP、UDP单播与组播。支持移动设备直接播放视频资源,利于资源的推广、传播和使用。
4.2 丰富的对接接口
系统定位于资源管理平台,能够整合其他平台的数字资源,为其他应用系统提供对接服务,系统提供丰富的 API 接口,接口统一采用 WebServices技术,数据格式支持 XML和json 两种。API接口包括权限管理接口、资源元数据接口、资源统计接口、资源上传接口等。权限管理接口实现第三方系统对接权限分配功能,能实现学校统一身份认证。资源元数据接口可实现与第三方系统元数据交换,实现异构系统间资源整合统一呈现和检索。元数据功能根据用户实际需要定义资源描述字段,設定不同资源描述模型,每个模型对应一套资源描述模板,一个模型可以有多个栏目。
4.3 高效转码引擎
转码模块采用 CPU+GPU 均衡架构,支持各种硬件编解码加速,采用高性能并行计算技术,大幅提升转码性能。转码模式有3种:第一,平滑过渡模式,转码模块从资源平台取回待转码数据,转码完成后再送回到资源平台,此模式不影响资源平台正常使用,未转码资源仍采用专有播放器播放,转码完成资源自动采用页面嵌入式播放;第二,迁移整理模式,转码模块从资源平台取回待转码数据,转码完成后将转码资源和原始视频都传送到新资源平台,完成资源从原平台到新平台的整理迁移;第三,离线转码模式, 转码模块扫描目录,批量转码音视频文件,并保存到指定位置。转码模块是视频资源管理系统重要的支持子系统,为移动设备直接播放资源提供了基础保障。endprint
4.4 支持大规模并发应用、存储节点横向可扩展
服务端内核在设计上采用了异步事件模型,摒弃了传统线程池模型,使服务端对 CPU 的利用大幅优化,提高了处理器的效率,内存复用算法极大地节约了内存使用开销,保障流媒体服务器处理每个并发单播流的内存使用量平均低于 50KB,目前linux单机版支持2000以上并发用户量。视频管理服务器和转码服务器可根据应用需要分别搭建服务器集群,视频管理服务器集群可由一台或者多台服务器组成,为终端用户提供视频流传输控制服务,并对流量负载提供完善处理机制。转码服务器集群由一台或者多台服务器组成,按照设定的转码模板参数,以后台转码方式运行,实现视频文件统一转码服务。存储系统采用横向可扩展Isilon存储,可根据存储需求扩展存储节点,满足性能和空间不断提升的要求。
5 清华大学图书馆视频资源管理系统的应用现状
基于清华大学图书馆视频资源建设需求开发的视频资源管理系统具有权限设置灵活、易于用户使用和稳定运行等特点,目前视频资源管理系统采用总站加分站的运行管理模式,总站揭示所有被设置为发布状态的视频资源,分站揭示分馆和部门建设的特色视频资源。目前对外服务分站点有3个,包括:1)人文社科分馆负责内容建设的真人图书馆,包括名人名师交流活动录像、新人文讲座视频资源等,如图3右侧所示;2)特藏部负责内容建设的原创视觉空间,包括学生节原创电影、短剧和活动录像视频资源、特色海报、图片资源等,如图3左侧所示;3)清华大学图书馆内部交流、学习、讲座、活动视频等资源,主要供图书馆工作人员交流学习之用。
所有站点视频数据文件集中存储保存,子站点内容维护管理采取分治模式,人文社科分馆和特藏部管理员独立管理各自部门的资源内容,服务器后台互相看不到对方管理的资源,避免误操作和混乱;两个子站点配置单独的域名方便独立推广。总体来看,视频资源管理系统在图书馆的应用主要完成了4个方面工作:第一,方便自建各种视频资源库。无论何种类型的活动视频和录像,常用视频格式文件都可以通过简单的上传操作和元数据编辑操作保存到系统后台统一管理;第二,便于视频资源的发布和分享。视频资源进入系统后,转码服务器自动将文件格式转换为支持移动设备和浏览器直接播放的MP4格式,灵活地角色和权限管理机制,方便视频资源发布和分享;第三,珍贵视频资源长期保存。视频资源存储于两套横向可扩展集中存储设备,存储数据实时同步,确保数据安全。图书馆每年持续投入人力和设备资源,保障珍贵视频资源长期有效保存;第四,便于视频类资源统一整合。除自建视频资源外,图书馆外购了视频资数据库,通过应用程序编程接口将第三方应用系统元数据整合到系统中,面向读者提供统一视图的资源整合服务,方便读者查询和使用。
6 结 语
视频资源管理系统在图书馆的应用极大地提高了视频类资源的整合工作和自建视频资源库的管理、保存、推广使用工作。既能够充分地展示、分享有价值视频资源,也能够为读者提供珍贵视频资料的长期保存服务。系统运行维护过程中,图书馆技术部负责系统软硬件运行环境保障,人文社科分馆和特藏部负责内容建设和内容管理,但是近年来图书馆工作人员流动性较大,给系统运行维护工作带来了不小的压力。定期举办系统使用培训、管理经验交流、建设合理的人员梯队能够在一定程度上缓解工作人員流动性大带来的问题。资源建设方面,除了上述已实现并使用的3个子站点外,目前正在筹划利用该平台管理和分享图书馆音乐资源,筹建在线音乐图书馆,管理和发布图书馆收藏和购置的高品质音乐资源,建设重点在于无损格式音乐播放和元数据规范问题。系统功能完善方面,栏目订阅、新资源邮件通知、站内信、视频播放记忆功能、手机APP软件、前端界面美化、提升系统使用体验等是下一步需要实现的工作。
参考文献
[1]赵琨.大数据环境下图书馆音视频资源发展及建设研究[J].图书馆建设,2015,(2):64-68.
[2]李浩.在“云”下享受无所不在的服务——网络环境下图书馆视频资源境遇及发展策略研究[J].上海高校图书情报工作研究,2013,(4):27-29.
[3]成星.视频资源管理系统的设计[J].深图通讯,2007,(4):30-32,22.
[4]周丽,刘斌.基于数字化校园的视频资源管理系统设计与开发[J].中国教育信息化,2014,(21):48-50,72.
[5]单红彬.图书馆数字视频资源自主建设和管理[J].山东图书馆学刊,2013,(1):87-90.
[6]杜景文.论高校图书馆音视频资源的规范化建设[J].中国管理信息化,2015,18(20):164.
[7]陈洁薇.图书馆视频资源著录和标引信息获取探究[J].图书馆建设,2010,(8):49-51.
[8]肖友能,薛向阳,曾玮.视频转码技术回顾[J].通信学报,2002,23(8):72-80.
(本文责任编辑:马 卓)endprint