基于云计算技术的传媒数据中心基础建设研究

文｜李伟忠 张昊 浙江日报报业集团

引言

随着互联网应用的高速发展，对传统媒体带来的冲击是非常巨大的，国内各传媒集团对于新技术的接受和应用系统建设都十分重视，如何将新媒体的应用有效的转化成新媒体发展的方向，其中运行支撑环境已经成为现今各传媒主要考虑和重点关注的地方。

传媒发展的不断深化和信息技术的飞速发展，新媒体应用的基础资源建设已成为传媒集团新媒体建设发展的核心内容，并逐步成为各传媒集团转型新媒体的重要标志之一。但随着业务和市场需求的不断变化，很多传媒集团均开始建设各种各样的新媒体应用系统，虽然这些应用系统也满足了部分传媒转型发展的应用和业务上的需求，但是也带来了一系列问题，如:1、新媒体相关应用建设的快速和多方并行，造成整体规划的缺失，各应用系统之间数据无法互通，同时基础技术架构设计单一，无法应对大规模的用户增长；2、各应用系统需要采购大量软硬件设备，然而大部分应用系统资源利用率不高，同时运行管理维护水平不统一，造成巨大浪费；3、没有完整的数据视图、应用系统集成复杂度和代码重用程度低等问题，从而导致不能有效的进行数据整合和数据分析；4、无法对整体IT系统的运行情况进行全面的监控，也就不能通过监控对产生的数据来进行IT系统的优化；5、每个应用开发商都有各自的设计思路和想法，从而对各个应用软件开发商的协调和控制非常困难。因此对于传媒集团规划建设一个统一的技术架构和基础资源平台，能够为将来的应用系统建设设计提出相应模板或最佳实现方式，如:完整的技术架构和规范要求、应用软件参考架构、数据业务编码标准、应用系统部署、系统运行响应的等级和维护规范等，从而使传媒集团的未来应用系统更加稳定可靠、高性能、高易用性和高可维护性。

作为一种全新的互联网应用模式，云计算的出现给传统IT产业带来了变革。结合传统模式的现状和未来的挑战，必然需要利用相应的新技术—云计算（Cloud Computing），通过虚拟化等技术（例如:服务器虚拟化技术、存储虚拟化技术、网络虚拟化技术、应用虚拟化技术、高速内存缓冲技术、NoSQL技术等），实现整合使用大量的虚拟资源，为用户提供相适应的PaaS（Platform as a Service），SaaS（Software as a service）和IaaS（Infrastructure as a Service）服务。云计算是一种典型的网络计算模式，强调在虚拟计算环境下运行大规模应用的可伸缩性和可用性。

通过云计算技术整合传媒现有的资源和新增的资源，建设一个“大规模的、可扩展、高性能、成本可控、易运维、易访问、易设计和开发和高可靠性的集群系统”—即基于云计算技术的传媒数据中心。它不仅仅是传媒发展、新媒体转型、运行管理以及服务等方面的重要技术支撑，更重要的是带来人才培养的观念、发展模式及内部管理的深刻变革。

云计算

1. 云计算概念

根据美国国家标准与技术研究院（NIST）的定义，云计算是一种利用网络技术实现随时随地、按需、便捷地访问共享资源池（如计算设施、存储设备、应用程序等）的计算模式。计算机资源服务化是云计算重要的表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用部署等问题。通过云计算，用户可以根据其业务负载快速申请或释放资源，并以按需支付的方式对所使用的资源付费用，在提高服务质量的同时降低运维成本。

云计算的特点可归纳如下几点:

1) 弹性服务:服务的规模可快速伸缩，以自动适应业务负载的动态变化。用户使用的资源同业务的需求相一致，避免了因为服务器性能过载或冗余而导致的服务质量下降或资源浪费。

2) 资源池化:资源以共享资源池的方式统一管理。利用虚拟化技术，将资源分享给不同用户，资源的放置、管理与分配策略对用户透明。

3) 按需服务:以服务的形式为用户提供应用于程序、数据存储、基础设施等资源，并可以根据用户需求，自动分配资源，而不需要系统管理员过多干预操作。

4) 服务可计费:监控用户的资源使用量，并根据资源的使用情况对服务计费。

5) 资源可视化:对所使用的基础资源进行统一管理、维护，并形成基础资源使用情况报表，直观体现资源利用率，有利于基础资源平台的长期规划和建设。

未来云计算将形成一个以基础资源设施为核心、涵盖基础软件、平台服务与应用服务等多个层次广泛的基础资源服务化网络。未来谁掌握了云计算的核心技术主动权以及核心云服务的控制权，谁就会在信息技术领域竞争格局中处于优势地位。云计算是一个具有更广泛含义的计算方向，能够快速方便的支持相关应用系统的技术架构，按照展示（WEB）层－应用层（中间件层）－数据库层的三层模式进行构建。

2. 云计算架构

云计算从服务角度划分，云计算服务类型可以分为基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)。

1）IaaS在服务层次上是最底层服务，接近物理硬件资源，通过虚拟化的相关技术，为用户提供计算（运算处理）、存储、网络，以及其他资源方面的服务从而让运维和系统部署人员看到的是一个虚拟的硬件资源池从而降低运维和部署难度、工作量，提高硬件资源利用率，便于用户能够部署操作系统和运行软件。如亚码逊的弹性云（Amazon，AWS）。

2）PaaS是构建在IaaS（基础设施即服务之上）的服务，通过提供运行应用系统所需要的一系列的系统软件资源（例如关系型数据库资源、非关系型数据库资源等等），解决应用系统为了承受大并发和大数据量挑战所需要的一系列复杂的技术问题，给应用的开发和运行提供一个易用、可靠、高效、安全的运行和开发基础环境；让应用开发人员毋须关注底层技术细节，就可以快速开发出一个高性能、高可靠性的应用系统。它主要提供关系型数据库服务环境、J2EE应用服务器环境、消息队列支撑环境、工作流引擎服务器环境、Web服务器环境等应用所需要的基础软件设施，并且为大数据分析提供所需要的Hadoop集群基础软件设施。具有代表性的有Apache的开源项目Hadoop，Google App Engine和Micorsoft Azure。

3）SaaS是最上层服务，该服务是在PaaS的基础之上并根据相应的业务需求等需要开发出一个能承受大并发和大数据量挑战的高性能、高可靠性、较好用户体验的软件应用环境，从而根据不同的业务应用的场景，演化出不同的云计算商业模式。例如消费者可以根据自己的实际需求，通过网络向提供商定制所需的应用软件服务，按服务多少和时间长短支付费用。例如提供该服务模式的是SalesForce公司运行的客户关系管理系统(CRM),还有Google的在线办公自动化软件，思科的Webex平台。

云计算涵盖了硬件（服务器、网络、存储、终端及机房基础环境）和软件（例如Google的GFS、Mapreduce、BigTable、Megastore等技术和Google Application Engine；IBM的 BigInsight、GPFS On Hadoop等技术和产品等等）。云计算不仅仅是技术模式上的发展变革，并且也是商业模式上的变革创新。对于主流的云计算三种模式（Saas、Paas、Iaas），Paas模式的云计算对IT生产商和客户来说最具有价值，必将是将来几年的重点发展方向,而Paas模式的云计算必然是一个重大的技术变革，正如应用软件架构从C/S架构过渡到B/S架构一样。Paas模式的云计算提供的是一种大规模地、可靠、高效、稳定的基础资源系统，它能够帮助我们的使用者和开发人员解决Big Data 、Big Concurrent User、Better User Experience、Better Develop&Deploy Application等一系列问题,将来的应用软件架构必然是Paas模式的云计算架构。

云计算数据中心设计与实现

1. 云计算数据中心特点

基于云计算技术的传媒数据中心现阶段将是一个PaaS的技术架构，并在未来向SaaS发展进化。现在设计的PaaS架构是一个软硬件结合的基础系统，它需要依赖一个先进的硬件架构、软件系统底层架构以及应用开发设计规范和架构。

基于云计算技术的传媒数据中心必然具有以下几个重要的特点:

1) 是一个软硬件结合的系统，它需要依赖一个先进的硬件架构、软件系统底层架构以及应用开发设计规范和架构。它吸收和补充以及裁剪相应成熟可靠的原有技术，以适应传媒发展的需要。

2) 提供了一个完整的开发堆栈，使用成熟技术和新技术、成熟可用的数据标准规范和成熟可用的可重用服务来构建和托管应用程序。

3) 可自动伸缩:根据应用的需要自动分配出相应的计算资源并利用相应的技术来满足应用的伸缩需要。大幅提高硬件资源的利用率、降低空间占用和降低电力损耗。

4) 可靠性、性能和安全性:提供可实现高度可靠、高性能的基础设施结构，从而可以大规模运行可扩展、高性能和高安全的应用系统。

5) 成本可控:通过内置完整的端到端的IT监控模块，监控整体的硬件情况（如:服务器、存储、网络的使用情况、数据库系统和中间件系统的使用情况）；监控各个应用的运行情况（如:请求负载情况、性能瓶颈，数据存储容量消耗情况等）。通过自动化的监控模块，运维人员可以更加快速和方便的维护各应用系统。

6) 管理可控:通过提供一系列的开发设计和架构规范，以及可重用的服务等，降低和协调成本，提高开发效率。

7) 消除数据孤岛和应用竖井:统一管理各应用系统所需要的数据库系统和数据服务，为大数据分析提供数据资源。

8) 客户体验至上，适应频繁的应用发布与线上系统变更调整工作，以及对数据的归纳反馈分析。

2. 云计算数据中心实现

2.1 基础设施架构（IaaS）实现

在基础设施架构（IaaS）中，通过对服务器等基础资源的虚拟化形成基础资源池以充分利用服务器资源以降低所需的服务器数量从而降低机房空间和节能低碳，逐步将现有核心模块和应用迁移运行到虚拟机环境中；通过网络虚拟化形成相应的网络隔离以建设一个更加高效、安全的网络基础设施，并把各应用从网络上隔离开；通过存储虚拟化让存储资源更加高效的利用和降低对不同厂商和不同型号存储设备的维护成本，并且可以提高存储的工作效率。通过基础设施架构实现各相关应用系统环境之间通过云计算技术的数据中心进行联络，建设一个更加高效、安全的基础设施。

2.1.1 服务器资源

基础架构中服务器资源的建设对于云计算平台而言是核心基础建设工作，虚拟化对于计算或者处理资源的需要及利用是云计算平台建设成功的标志。根据应用的需求搭建合适的服务器资源平台，实现应用服务的支撑环境，如针对WEB应用环境和应用（中间件）环境均可以采用虚拟化平台实现资源的充分利用，同时通过对硬件服务器资源的冗余架构建设，实现最短时间内的系统重建工作，实现服务器硬件资源环境的稳定可靠。

2.1.2 网络环境

基础架构中网络技术对于云计算平台而言的要求在于高速交换和低时延响应上，现在虚拟化技术的发展对于网络环境而言是一种变革，变革的方向是将网络也转换成为计算资源的延伸和附加，以满足计算数据交换时的高速和低时延响应。

2.1.3 存储系统

基础架构中存储技术对于云计算平台而言是整个数据中心平台的核心，针对传媒数据中心平台规划的存储系统，主要考虑长期的发展，采用可扩展的节点建设的模式，最大程度的满足存储系统长远的发展和数据暴增带来的数据压力；采用节点扩展的方式，也为建设高性价比和可扩展性强的存储系统，减少在建设初期的一次性投入，便于后期的扩展确保建设的长远性。

2.1.4 虚拟操作系统平台

对于云计算平台的核心技术就是虚拟化技术的实施，对于建设一个功能完善的云计算平台而言选择合适的虚拟操作系统至关重要。现今主流的虚拟操作系统如Vmware EXS、Citrix XenServer、Microsoft Hyper-V、KVM等都可以实现虚拟环境的搭建工作，但如何充分利用基础资源各种虚拟操作系统各不相同，需要根据相应的建设实际进行选择。

2.1.5 灾备建设

基础架构的建设中，考虑到传媒数据中心的长远建设发展规划，为确保各应用系统的连续性也是建设的关键所在。对于基础资源的规划中还需要建设一个灾难恢复平台，确保所有应用得到最基础可靠的保护，同时通过规划定义的恢复处理机制，实现无中断应用支撑以及站点恢复和迁移流程的自动化。

2.2 软件基础设施架构(Pass)实现

2.2.1 基础架构实现

基于云计算的软件基础设备架构必然是建立在一套完善可扩展的基础资源平台上的，采用多级架构平台实现数据库环境、应用服务环境、WEB应用环境的基础建设。同时辅助各种支撑服务功能，如计费和安全管理，确保整体平台的建设。

基于云计算技术的传媒数据中心平台，采用“展示－应用－数据库”三层的技术架构来建设传媒的基础软件支撑平台，从而让所有的应用成为一个整体，充分利用现今的技术和今后的发展方向来确保系统的长远发展。

2.2.2 数据库环境

现在主流的数据库资源平台都可以实现群集功能，并逐步向规模化、分布化、节点化方向发展，通过建立数据库平台防范因为硬件资源造成的数据库的故障，同时支持多数据库的应用需求，减少传媒应用中不同项目对数据库基础资源的建设。数据库平台的建设实现数据库环境的冗余，确保相应的应用稳定和快速扩张。

2.2.3 应用服务（中间件）环境

应用服务（中间件）环境主要满足前端展示平台向后端数据库平台数据访问调用的应用建设模式，同时确保应用后台数据的安全可靠。

基于云计算环境的应用服务基础，针对不同的应用需求提供应用支撑。现今流行的应用解决方案大多采用应用负载均衡的方式，提供所需的应用服务环境，实现应用运行的快速可靠，并确保后台数据的安全稳定。

2.2.4 WEB应用环境

互联网的发展对于各应用系统而言，基本上向B/S架构进行转化，通过WEB模式提供应用的展示或者交互访问需求。基于云计算技术，结合新媒体应用的WEB访问需要，采用虚拟化技术搭建整个应用支撑基础平台，提供完整的WEB访问应用环境。

同时针对不同项目的WEB应用，集中在一个平台上进行支撑，充分利用虚拟化技术和负载均衡机制，减少基础资源的消耗，充分利用技术提供最新的WEB应用的访问服务环境，便于整个平台的建设和管理，同时实现自动化的资源调配，减少对外提供WEB应用所消耗的硬件资源、IP地址资源等。

2.2.5 自助服务

对于传媒数据中心平台上的各种服务资源的调配，通过建立自助服务平台，实现自动调配和发布应用的方式，减少后台技术人员的人为参与和管理维护，通过流程化的管理实现规范，使应用的设计和构建方式实现标准化，从而使用户只需进行一次建模，随后即可在多种资源中进行部署和更新应用；也可以建立标准模板，直接对用户提供从基础资源、软件、配置和依赖关系的相关配置服务，达成真正意义上的云计算服务。

2.2.6 安全平台

基于云计算技术的服务平台建设，因为提供的是服务，同时相关的安全防护措施是必不可少的。对于云计算技术建设的数据中心，采用的是虚拟化技术建设的平台，可以充分利用虚拟平台的安全服务功能来保护和隔离关键应用，包括应用防火墙、负载均衡、流量管理、入侵检测和病毒防护体系。

2.2.7 计费管理

基于云计算技术建立的数据中心平台还能够准确地计算各项基础资源的建设成本、分析和产生相关资源使用情况报告，通过报表对云计算平台上的资源，进行记录、监控和优化，通过优化资源，确保应用的运行稳定可靠。对于用户在获得实际基础技术架构支撑的同时，也可以明确用于支持业务应用服务所需运营的可视性成本，通过成本的具体反应和分析，便于用户更好地了解项目的发展预期，提高资源利用率，实现资源按需支付的愿景。

结束语

在数据中心建设完成后，不断通过对应用上线进行的调整来完善整个数据中心的支撑能力，通过标准化的IT服务，实现现有的基础资源设施环境，达到以天为单位的可扩展的云服务，快速经济地响应业务需求，为各应用系统提供强有力服务支撑。

同时通过对数据中心的数据分析，对传媒相关业务数据进行有效分析，为传媒的转型提供相应的解决思路，也为进一步完善和改进各种资源调度策略提供依据，从而实现更加智能的辅助运维及管理功能，最终实现传媒发展的长远目标。

基于云计算的传媒数据中心旨在通过云计算技术，实现对各种资源系统的综合服务管理能力，建立一个互联互通、信息共享以及服务传媒、转型研究和规范发展的“传媒基础服务平台”，以解决业务众多、分布异构、处理复杂、硬件更新频繁、软件安装繁琐和数据安全凸显等问题，改善传媒在基础资源、软件架构及运行管理建设方面所遇到的困境。■