中国联通音乐基地“云化”改造方案研究

杨绍光 邹西山 赵尔康

1 中国联通研究院 北京 100032 2 中国联通音乐运营中心 广州 510623

引言

传统意义上,音乐发烧友在获取、收藏、整理和收听音乐时,首先要在浩瀚网络空间中寻找、下载歌曲,再整理到移动终端上进行收听。为此,很多消费者需要在电脑硬盘中存储数十GB容量的数字音乐。这时,手机等移动设备可能会受制于容量空间而无法全盘拷贝。而即使能够拷贝,也无法将这些音乐以最便捷、有效的方式和朋友共享。而“音乐云计算”的出现解决了上述问题,同时也对音乐平台的系统建设提出新的要求,继苹果拉开“音乐云计算”的序幕之后,谷歌收购了Simplify Media,惠普收购了Melodeo公司,音乐平台的云化已成必为然趋势。

中国联通音乐平台随着业务的迅猛发展、规模的快速扩大,系统复杂度不断提升,各业务的硬件资源管理、应用管理难度日益突出,另外,由于业务发展的不均衡性,导致各个业务模块的资源使用不均衡,部分应用分配的资源较空闲,部分应用分配的资源较繁忙,导致资源利用率低下、管理复杂、业务应用部署慢等一系列问题。

基于此,中国联通启动了音乐基地云化改造,建设音乐云的工程建设,不断优化现行系统,满足新的业务功能需求和市场形势,以更好地为用户提供个性化的音乐体验,提高用户黏性[1-2]。

1 系统功能需求

经过两期工程建设后,中国联通音乐平台形成了由业务平台、业务门户、管理支撑、客户端等几部分组成的总体架构,提供炫铃、振铃下载、整曲下载、整曲点播、MV下载、MV点播共6类主要业务。目前新的功能需求如下。

1) 拥有且兼容沃云平台的现有功能点。

2) 垂直搜索:聚合互联网音乐资源信息,提供基于智能搜索的站内搜索引擎、基于联通内网正版音乐库的智能搜索、基于开放互联网音乐资讯的垂直搜索,为用户提供更新、更全的音乐搜索。

3) CDN网络加速:租用CDN节点,通过CDN网络分发技术实现音乐门户、流媒体点播、下载的加速,缓解业务高速发展对网络带来的压力,同时通过双线网接入以及智能DNS,解决异网访问瓶颈,为“下载音乐”向“在线收听音乐”的转变提供优质服务支撑,全面提升用户体验。

4) 云音乐及三屏互动:用户可将收藏、爱好、歌曲列表等个性化信息通过云服务,达到一次操作,多终端(手机、平板、PC)同步。实现多屏共享和互动,提供个性化的音乐体验,提高用户黏性。

5) HTML5门户:利用新一代Web技术搭建基于HTML5的手机音乐门户,免安装、免下载,实现类似桌面的应用体验,类似客户端的互动效果,提供良好的用户体验。

6) 能力共享和开放:为开发者、互联网合作企业提供炫铃开通、音乐点播、下载等标准API接口,为WO+平台提供音乐专辑、音乐收藏等接口,实现音乐能力的共享和开放,完成与合作企业的资源置换。

7) 资源分享和聚合:与总部能力共享、沃云等平台的资源实时共享,与终端管理(DM)系统、电子渠道系统、NET取号模块对接,整合联通内部系统资源,提升业务能力,实现联通WO+体系战略化部署。

8) 门户一体化运营支撑:实现Web、WAP、10155语音平台等音乐门户的一体化运营支撑,音乐业务平台统一,分省运营。

9) 炫铃平台集中管理:集中整合并升级炫铃平台管理功能,包括无线音乐推广炫铃(含系统默认炫铃)、炫铃DIY同步、炫铃一键复制和下载、炫铃订退实时通知音乐平台、免功能费开通炫铃等功能的集中改造和数据上传接口完善。

10) 统一数据中心:整合音乐平台业务数据以及外部相关数据,建立音乐中心的数据仓库,形成统一数据中心,依托数据中心进行挖掘分析、数据展现、为各省提供统一的数据支撑以及智能营销等。

11) 客服系统建设:建设统一音乐业务在线客服中心。

12) 外部曲库建设:建设互联网外部曲库,提供海量音源的集中存储,实现外部歌曲的快速引入,快速扩充联通音源库。

13) 产品形态完善:丰富客户端产品形态,提供炫铃客户端、卡拉ok客户端、听书客户端等产品,建立完整的客户端产品体系。

14) CP招募和自助服务:实现CP招募工作电子化、标准化,使招募工作更公平、公开、公正,提高招募效率,包括公告通知、自助查询、招募管理、CP管理等模块。

15) 门户和客户端优化:完善现有门户、客户端、采用HTML5技术对手机门户进行优化改造,增强互动性、提供音乐DIY、卡拉OK、音乐达人、原创音乐上传管理。

16) 业务平台优化:完善优化流媒体点播、下载、话单处理、接口调度等基础业务平台能力。

根据以上功能需求分析,新的音乐平台的功能逻辑层次结构如图1所示[3]。

图1 音乐平台功能逻辑层次结构图

2 系统设计与实现

基于以上功能需求,根据云计算平台的总体功能架构,现对该音乐云的实现研究论述如下。

2.1 服务器云化改造

2.1.1 总体架构

目前云计算平台整体架构可分成四层:物理资源层、虚拟化层、云计算管理层和业务应用层。物理资源及其上的虚拟化是整个云计算平台的基础,因而对于音乐云的实现,首先需要实现对服务器和存储资源的云化改造,形成池化的云计算资源,以满足应用系统对底层资源的需求。云化资源池总体架构如图2所示。

图2 服务器云化系统架构

在图2中,服务器云化系统由物理资源池、虚拟化层、云平台管理、应用系统等层次组成。物理资源池由物理服务器组成,通过物理交换机连接形成;虚拟化层采用Xen、KVM等虚拟化技术,把底层的物理服务器虚拟化,形成虚拟化的资源池;云平台管理层通过云平台管理系统,对虚拟资源池进行配置管理监控,统一调度资源池,对上层应用系统提供服务;应用系统即云化资源池的服务对象,通过统一接口调用云化资源池内的资源。

2.1.2 实现步骤

由于音乐基地首次采用云计算技术,为保证原有系统的稳定运行、平滑过渡,云化改造采用先构建种子云的方式,后续把应用系统逐步迁移到云平台的方式进行,如图3所示。

图3 音乐基地服务器云化改造计划

根据图3,改造工作应分层分步进行,对于Web、中间件、小型应用,快速构建统一的资源池;对于大型的后台应用,督促软件开发商进行分布式改造,使之可以支持云化的部署方式,然后逐步迁移到云化资源池;对于大型数据库应用,继续关注业内分布式数据库的发展,等待技术成熟的合适时机考虑数据库的云化方案。

2.1.3 建设原则

云化资源池建设应遵循以下原则。

1) 先易后难。资源池建设的最终目标是构建统一的全局共享的唯一资源池。当前的目标是先易后难,逐步过渡。

2) 前瞻考虑未来系统建设发展。需要前瞻性考虑应用系统发展对资源池的需求,目前积极探索和尝试各类系统应用的资源池部署模式,建议先梳理一批轻量级、规模小、易改造的应用,将其部署到X86资源池。

3) 立足于当前应用系统的实际情况,以向应用系统提供便捷的基础资源服务为建设目的。构建的资源池应对目前应用系统的改造影响尽量小。应用在未彻底进行分布式改造前,高端小型机在关键业务、高性能需求的应用场景下仍有不可替代的作用。

2.2 云存储建设

2.2.1 总体架构

沃云对象存储包括四个模块:存储层、业务层、接口层和系统管理。其中存储层采用高度可弹性部署、透明管理的分布式存储系统,可以存储海量的文件和索引信息;业务层主要是提供数据管理(权限、分类、状态)和存储管理(容器、对象管理);接口层提供面向应用的接口,包括Web Service等,接口支持标准的S3面向对象的存储接口;系统管理主要实现存储平台的节点管理、安装部署、监控配置及日志管理等功能[4]。

在音乐平台内部,云存储通过存储API为上层业务系统提供存储服务;同时还通过管理接口与音乐平台管理支撑系统对接,提供相应的运维管理、数据分析等功能,架构图如图4所示。

图4 云存储系统架构

2.2.2 接口

沃云存储涉及与音乐平台其他子系统的接口包括与音乐平台业务系统的接口及与音乐平台管理支撑系统的接口。

与音乐平台业务系统的接口API层包括Web Services访问接口、身份认证、权限控制、配额管理和对象管理。其中Web Services访问接口提供Restful的基于HTTP协议的访问形式,实现数据的写入/读取;身份管理、权限控制和配额管理对业务系统发出的每一个读写请求进行检查,确保请求的合法性以及保护被请求对象的安全。对象管理则集中处理对象模型中的结构化元数据和非结构化数据,同时对数据的一致性进行保障。

与音乐平台管理支撑系统的接口需依据支撑系统的接口要求和数据格式,可完成存储节点管理、账户管理、监控管理、日志管理、告警管理等功能。

2.2.3 部署

音乐平台系统的云存储部署方案如图5所示。

图5 云存储部署方案

在图5中,其管理节点负责云存储的节点管理、监控、日志、报警等功能;存储节点负责数据的写入/读取以及内部的同步备份功能。

云存储通过汇聚交换机、核心交换机与音乐平台系统连接。音乐平台业务系统通过接口实现对存储数据的写入和读取功能。音乐平台运行维护系统通过接口实现对云存储的管理功能。

3 系统迁移

音乐基地云平台提供虚拟机并安装操作系统后,业务系统就可以在其基础上部署业务软件。为了规范业务系统向云平台的迁移,保证业务系统在云平台上稳定运行, 特对此迁移原则及流程说明如下。

3.1 迁移原则

云化资源池建成后,为保证业务稳定运行与平滑过渡,需要把原有应用逐步按顺序迁移到云化资源池。而不同的应用其迁移策略也不尽相同。

业务应用系统从可迁移的特点来说,可以分为3大类:管理类应用、生产类应用、数据分析类应用。

对于管理类应用来说(比如:OA系统、网管系统),由于此类应用的低并发、资源消耗小等特点,导致传统的烟囱式建设方式资源利用率低下,大量计算资源闲置。对于此类应用迁移到云化资源池后,可以得到很好的整合比,资源利用率提高效果明显。同时由于此类应用对可靠性要求较低,在使用云计算建设方式的初期可以有效验证系统稳定性,积累运维经验。

对于生产类应用系统(如:炫铃、MV点播),面向最终用户,系统并发量大,要求系统有高可用性,同时由于业务量大,要求使用低成本的X86系统。此类应用系统的迁移可以在管理类应用之后进行。

对于数据分析类应用系统(如:大型数据库服务器)由于已经有较高的资源利用率,迁移到云化资源池后可以得到较好的管理统一性、便利性,但系统整合比不高,资源利用率提高不明显。建议根据应用的特点,后期迁移到云化资源池,或者不迁移[5-6]。

3.2 迁移流程

为了规范业务系统向云平台迁移的流程,保证业务系统在云平台上稳定运行,特对系统迁移的流程进行规范,如图6所示。

图6 业务系统向云平台迁移

提交业务系统信息:云平台对计算服务器进行虚拟化处理,并提供虚拟机给业务系统使用。云平台提供的虚拟机是否能够满足业务系统的使用需求,需要进行充分评估。如果虚拟机能够满足需求,可以在虚拟机中进行业务系统软件部署,否则建议业务系统还使用传统的物理机部署方式。

业务系统评估:根据业务系统相关信息,由音乐基地云平台负责人组织研究院、设计院、总集成商、业务系统负责人共同对业务系统向云平台的可迁移性进行评估。评估依据参考《中国联通音乐基地服务器云化改造方案》中的“应用迁移的原则”章节以及云平台资源使用情况,综合确定业务系统的哪些服务器可以迁移到云平台。对于不能使用虚拟机的业务系统服务器,需要业务系统负责人向音乐基地物理资源负责人申请物理服务器,走传统的物理资源申请流程。

制定迁移方案:迁移服务器、虚拟机网络结构确定之后,厂商负责制定业务系统迁移方案,期间由总集成商协调研究院、音乐基地、业务系统负责人、厂商和协作单位给予协助支持。方案中需要给出虚拟机和物理机的数量、IP地址、VLAN、负载均衡策略、端口映射规则、网络拓扑、迁移方式等信息。

评审迁移方案:迁移方案制定后,由音乐基地、研究院、设计院、总集成商、业务系统负责人、厂商对迁移方案进行评审。确认迁移方案是否可行以及对现网其他业务有无影响。

业务测试:业务迁移之前,业务系统负责人需要提交业务系统测试方案,根据测试方案对业务系统进行测试并提交业务测试报告。

业务迁移:迁移方案评审通过后,由研究院根据迁移方案创建虚拟机,音乐基地分配物理资源、进行网络等相关配置、由业务系统负责人在虚拟机上进行业务部署。

业务验证:迁移完成后,由业务系统负责人对迁移的业务系统进行验证,由音乐基地验证业务迁移对其他业务系统的影响。

4 总结

本文根据中国联通音乐平台业务发展需求,及音乐云计算的必然趋势,以逻辑结构功能图的形式详细描述了新的音乐平台应具有的各种功能。在此基础上,对“云化”改造的具体方案进行了研究,首先对服务器“云化”改造的总体架构、实现步骤、建设原则进行了说明;其次,对音乐基地云存储建设的总体架构、接口和部署进行了论述;最后,为了使当前的业务系统能够平稳有序地迁移到构建的音乐云平台之上,并且平稳运行,特对此迁移原则和流程规范进行了详细说明。通过该方案,将音乐平台部署到云平台之上,使得云平台能够为音乐平台各子系统提供弹性计算资源服务,可以解决当前音乐平台资源利用率低下,管理复杂,业务应用部署慢等缺点。此外,该解决方案的提出,也对其他平台的云化建设提供了一定的参考依据。

根据此方案进行的音乐基地云化改造实施了四期工程,逐步对音乐基地的48台服务器进行了云化改造,其中4台管理服务器、3台存储服务器、41台计算服务器,形成了3个资源池,分别用于测试业务、内网业务和外网业务,并对3个资源池进行统一管理。在3个资源池上承载了音乐基地28个业务的119个虚拟机。大大提高服务器资源的利用率,节省大量电力资源和使用空间,降低服务器的管理成本,体现了云计算的优势和特点。同时进一步验证了“沃云”技术架构的可实施性,对于“沃云”技术的推广使用具有借鉴意义。

参考文献

[1]AmazonElasticComputeCloud[EB/OL](2011-07).[2014-01-20].http//laws.amazon.com/ec2/

[2]Michael stephens ten trends & Technologies for 2009[EB/OL](2009-12-12).[2014-01-20].http://tametheweb.com/2009 /01 /12 /ten-trendstechnologies-for-2009.

[3]2012年中国联通总部音乐平台系统扩容工程可行性研究报告[R],2012

[4]中国联通音乐基地云存储建设方案[R],2012

[5]刘鹏.云计算[M].北京:电子工业出版杜,2010

[6]周平.张超.云计算及云存储的管理技术[J].上海电力学院学报,2010,26(5):498-501