数据处理中心云服务综合架构的研究与应用

方 志

（中国电子科技集团公司第五十四研究所 河北 石家庄 050081）

数据处理中心云服务综合架构的研究与应用

方 志

（中国电子科技集团公司第五十四研究所 河北 石家庄 050081）

分析云计算研究和应用的现状，阐述了综合型项目中基于云服务架构建设数据处理中心的典型模式，采用了理论分析和实践设计的方法，重点研究并提出了数据处理中心的云服务综合架构，包括云计算平台、资源管理、架构管理、计算资源部署和云存储数据仓库，在建设成本、移植风险和业务性能方面分析了云架构的基础优势，并展望了云架构发展前景。

云计算 数据服务中心 服务架构

1 引言

采用云计算技术，设计统一的服务综合架构，是建设数据综合处理中心的最佳途径，是解决软件危机的重要手段，可为涵盖多型信息系统的大型项目综合集成提供有效支撑，能够有效地解决海量信息的采集与接入压力大、分发逻辑复杂、存储资源紧张、处理效率低下及数据产出受限等问题。

在介绍传统云计算的概念和发展进程的基础上，结合相关领域的研究与发展现状，给出了建设基于云计算技术和服务综合架构的数据处理中心的设计模式，包括应用形式、架构设计及技术措施，并分析了可获得的基础优势和发展前景。

2 云计算及现状分析

2.1 云计算

常规意义上的“云计算”，是一种基于综合网络的计算服务模型[1]，是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化和负载均衡等传统计算机技术和网络技术发展融合的产物。近年来，由于迅猛增长的计算资源性能和基础设施组成规模，传统计算模型的局限日益显著，表现在设备利用率低下、软硬件运维成本剧增、处理机制大量冗余和信息服务可用性差等方面，上述诱因导致云计算概念得到极度重视和大规模应用。云计算模型总是面向服务设计的，通常包括3个要素院①平台构建者，完成服务资源的整合和管理；②内容提供者，产出高效可靠的特色服务；③服务使用者，可自由使用资源和获取信息。

2.2 现状分析

大型信息化项目的数据中心由于其复杂特性，不能简单地通过独立设备提供商或软件系统提供商提供产品，必须基于综合解决方案实施，以满足其项目规模不断扩大、组成体制更加复杂、协作单位更多和应用需求更加多样的现状；相比于传统单一设备指标或技术功能，用户更加重视综合性系统指标，对数据二次生产和综合应用能力提出了更高的要求。

近年来，以面向服务模式加强互通互联，采用云计算概念解决体系建设问题，已经成为国家重点部门和业界的共识。在可以预见的时期内，大型综合项目数据中心建设中，系统技术总体工作、基础设施建设、服务架构实现以及对第三方系统集成接入等工作将是重中之重。在保持设备高指标和功能专业化等传统优势的同时，必须立足长远，提前规划，将更多的眼光放在总体能力的技术储备上，解决大型综合项目跨平台、跨体制、跨协议、组网复杂和业务多样的问题。

3 应用形式

3.1 基础设施建设统一规划

传统的分期分批按系统独立建设基础设施的模式具有越来越显著的缺陷，表现在建设复杂度高、建设周期长、适应能力差、重复投资大和成长性不足等方面，同时要占用大量的人力资源和能源消耗。

为了解决上述问题，同时满足性能指标弹性可控、综合协同及规模可变的系统运行条件，根据项目集成规模与特点，采用集群计算和虚拟化等云计算技术对项目基础设施的建设进行预先规划，实现硬件设备的统一管理、弹性拓展、可靠运行和安全容灾的需要，为不同系统的运行提供集群化的硬件资源保障，包括综合网络资源、海量安全云存储资源、高性能计算资源与业务呈现终端等。

3.2 基于面向服务体系运行

以往构建的业务系统一般采用自主模式执行业务，处理流程封闭，跨系统甚至跨模块的交互也只能采用握手方式解决。这种模式已经不能适应系统规模剧增带来的信息流程复杂度，而采用面向服务的信息处理手段已经成为大型综合项目建设的必要条件。

在接入和汇集跨体制海量信息的基础上，通过服务虚拟化技术手段，将业务提请与发布分离，建立原始数据、计算能力与业务服务的依托关系，定义松耦合的服务规则，以保证资源的共用、效率和灵活，满足跨地域、跨系统、跨业务和跨平台的有效服务整合，实现自主订阅、自动推送、在线更新、集中审核与统一处理，进而形成一个面向服务的标准体系。

系统数据以服务的方式在该体系内流转，按需定制以减少冗余处理，在高效运行的前提下支撑成果共用，减低终端数据处理压力，同时扩大应用功能的范围和效率；可支持软件利旧，对现有成果只需要增加服务接口即可完成改造应用；大型综合项目的所有应用节点在此体系下都可以互联互通，由于业务性质的差异，系统各项能力可分布在不同服务节点，无需为获取某项系统服务而扩大业务资源的部署规模，即可最大效益的发挥资源综合能力。

此面向服务体系可解决数据基础生产和处理的瓶颈问题，简化业务关系模型，减少传输环节，同时使得应用节点能够获得范围更广、指向性更强和价值更高的服务，进而推动高级数据产出。

3.3 构建分层化的计算服务

系统服务有时需要高性能计算的支撑，以满足大流量、高灵敏、多批次和紧急处理的应用需要，这种服务通常具有特性化处理方式和专用算法。传统解决办法需要在计算平台上投入大量资金，却只能获得很低的设备利用率，同时计算资源应用范围狭窄，应用方式灵活性不足，不利于维护和优化，弹性适应与安全保障能力基本没有。

在复合云架构中，采用分层化[2]计算能力部署来支撑此需求。基于高性能计算资源集群，为此类服务的实现提供硬件平台，满足计算能力的基础需要，可支持动态扩展、作业迁移以及按需定制；部署支撑项目各业务实现的基础计算单元，提供一系列标准化、分布式、可共用和可替换的通用计算服务支撑，采用作业调度的形式自动管理计算资源的使用；通过配置虚拟化专用处理节点，部署完成项目业务功能实现的高级计算单元，依托于基础计算单元的作业提交，实现特定业务的按需优化与并行处理，并为不同的上层应用节点提供统一调用服务。

3.4 引入业务构件服务化模型

在业务处理与应用终端，软件构件化技术的应用使得终端自身的灵活性大幅度提升。在此基础上，需引入并运用构件服务化应用模型。以往在不同的终端上，当业务要求一致时，需要部署多套处理构件，经常出现处理能力的瓶颈；在复合云架构下，核心处理构件组以服务的模式集中运行，按需创建实例，业务呈现终端的压力直接得到缓解，而显控能力理论上可提升到系统总体资源的上限。

4 架构设计及技术措施

4.1 云计算平台架构设计

基于复合云计算技术[3,4]，构建大型综合项目运行的平台架构，简称云架构。云架构主要完成硬件资源、数据仓库、公共服务以及软件应用的部署与整合，为上层应用提供灵活统一的资源保障和可定制数据服务管理，如图1所示。在此架构中，底层处理集中部署高效运行，上层应用无需处理通信、接入、分发和适配等问题。

图1 云服务综合架构示意图

4.2 资源管理设计

资源管理设计的功能有如下几个：

①完成高性能运算服务器群组[5]、数据存储服务器群组和通信资源等硬件设备的虚拟化控制，将分布式和异构的硬件资源集群分类虚拟化为统一的资源，按系统业务需求进行分区；

②基于资源调配与扩充的需要动态部署资源，包括应用软件部署、操作系统部署、文件分区部署、网络节点、桌面节点部署等，可支持镜像、备份压缩、动态迁移与还原等方式；

③完成系统连续稳定运行的保障支持，可在线部署和在线扩容，而不中断上层应用的运行；

④监控集群资源及其附属设备的技术与工作状态，包括负载、限额和硬件信息等；

⑤建立管理资源调配策略，可根据资源负载和异常情况自动调用，同时辅助以自动报警手段；

⑥自动统计资源使用情况，完成统计、评估、取证和场景再现，并可与资源调配策略进行关联。

4.3 云架构管理设计

云架构管理设计的功能有：

①标准的系统服务应用通知接口，用于业务上层节点报告希望获取及能够发布的系统服务；

②服务定义模块[6]，与系统服务应用通知接口关联，参照数据订阅分发服务反馈的审核结果，对系统服务进行统一化描述，定义系统服务所包含的具体数据集合与计算动作集合，子模块可灵活定制和动态调整；

③可用服务显示，根据系统服务提供节点分发的实际可用数据集合，确定实时的可用系统服务列表，作为应用节点选择并提请可用服务的依据；

④服务提请配件，分布式部署系统服务应用节点，发送系统服务提请通知，内建数据订阅模块；

⑤服务发布配件，分布式部署系统服务提供节点，发送系统服务发布通知，内建动态数据发布模块；

⑥接入控制配件，提供异构网络融合的支撑能力；

⑦信息分发配件，将信息以动态组网的方式发布到定制的节点，降低信息流转冗余，提升效率，并提供更加灵活的业务协同模型构建基础支撑；

⑧协议适配配件，提供不同信息格式之间的转译、封装和解析。

4.4 计算资源部署设计

计算资源部署设计的功能有如下几个：

①完成计算资源的平台级应用部署：安装不同类型、分组化、规模可变的计算单元或单元集合，可根据系统体系扩充、规模放大、数据资源积累、业务范围变更以等因素进行适应性管理与调整，提高单元部署规模，如种类和群组数量、计算指标和处理优先级等；

②计算单元群组提供标准的上级应用调用接口，结合系统需求分布式部署，独立化后台运行，可实现异态计算与数据访问任务的并发控制、支持上级调整服务参数；所有计算单元构件化设计，可灵活配置，支持API级跨平台；

③计算单元包括标准数学库计算单元、行业专用分析单元以及项目专用计算单元等由低向高的级别。其中标准数学库计算单元和行业专用分析单元采用对既有资源进行标准封装的方式完成；项目专用计算单元通过标准接口获取上述计算单元的支持；

④为计算资源提供作业管理，实现多用户环境下系统作业的调配及结果汇总，支持交互式作业与批次作业，可自动采用分布和并行等方式处理；可实时对作业执行情况如优先级队列、资源占用情况和处理进度等进行监视，必要时干预；完成作业限额管理、现场清理和异常检测；支持快速系统修复、过程数据的自动迁移和数据资源重新分配，在异常时将任务恢复到最近有效节点，保证作业连续性与完整性。

4.5 基于云存储的数据仓库构建

主要功能有：①实现海量数据分布式存储[7]，数据库不再约束于单一的固定设备；支持高负荷数据吞吐条件下的并行存储，提高数据交换效率，减少响应时间和互斥等待，并可随着硬件资源的扩充而提高；其他优化访问模式；

②可自动进行容灾处理，对核心数据建立实时镜像备份或冗余备份，必要时可自动回溯到指定记录节点状态，支持策略化存储与数据同步。

5 基础优势分析

5.1 节约基础设施建设成本

通过资源整合，将不同系统运行依托的硬件资源集中部署，提高设备利用率，减少闲置状态和冗余配置，节能减耗。通过业务呈现与交互的云桌面化，降低了业务节点部署的复杂程度和场地占用限制性，人员分工与维护安排更加灵活；通过核心处理设备的集中化部署，在性能得到大幅度提升的前提下，设备量有效减少和结构复杂度降低；由于虚拟化技术的应用，即可保证旧有设备的再利用，也便于增配性能更强的资源设备。

5.2 降低软件系统移植风险

可为现有、改造和新增的各类软件系统提供无缝的过渡支持，其实施过程周期短，且影响范围微小；对于有性能特殊要求的软件系统，提供可定制的高性能计算资源，将核心计算部分迁移到架构底层，减少软件开发的工作量和复杂度；可加快软件系统的部署与调试速度，可集中式管理与远程监控，节约运行维护成本。

5.3 提升系统业务性能

通过共用化和可调整的资源控制，能够动态提升指定系统应用的处理能力，相比传统独立式部署，对于性能的提升理论上是没有上限的。上述的处理能力包括运行与传输速度、密集IO要求、并发事务处理能力和数据访问容量等方面。通过局部提升资源指标即可提升系统整体的特定业务应用能力，提高数据生产性价比；通过系统服务定制，可减少无效数据传递，提高资源利用的实效性与处理效率。相比传统模型，可以百乃至万倍的提升核心计算的运行与数据访问速度。

5.4 提升运行能力

可有效减少计划停机时间，常规维护不会影响系统运行，新设备可即插即用；能够保证业务连续性，局部设备故障时，业务可不受影响地连续运行或自动恢复，减少故障影响。

6 发展前景

复合云计算技术具有如下的发展趋势：

①应用集中化和规模化：大型云计算数据中心将更多的完成上述任务，布设基础设施集群、数据仓库及多样化专业处理系统；

②服务提供专业化：孤立的应用逐渐式微，面向整体的服务日益占据主流地位，大规模集中部署不同的处理能力以满足专业性的需求是必然方向；

③万物皆服务：计算能力、专用设备、数据仓库和大型系统等都可被定义为服务；

④架构标准化：先期建立的架构必然经过一个标准完善和补充的过程，这将随着系统载体的增加与部署持续较长一段过程，但又是必不可少的。

7 结束语

常规云计算正在蓬勃发展，专用领域的云计算方兴未艾，深入研究大型综合项目中云计算技术的应用方式具有重要意义。紧密结合工程实践，基于业务流程的服务化设计思路，设计了标准的云平台架构，提供弹性可控和复合集群的资源，有效解决了大型综合项目的集成问题，具有一定的前瞻性和实用价值；同时提出的一些思路还在摸索阶段，需要更长时间的验证和完善，以期更加贴近工程化要求。

[1]修长虹,梁建坤,董鸿晔.云计算技术综述[J].网络安全技术与应用,2012(3):10-11.

[2]王放.解析分布式计算的应用[J].电脑编程技巧与维护, 2011(18):8-11.

[3]高巍.云计算带来的数据中心变革[J].电信网技术,2011(9): 69-73.

[4]江务学,张璟,王志明.云计算及其架构模式[J].辽宁工程技术大学学报:自然科学版,2011(4):575-579.

[5]刘晓茜.云计算数据中心结构及其调度机制研究[D].北京:中国科学技术大学,2011.

[6]陈辉.基于虚拟化环境的数据中心节能管理技术研究[D].北京:北京邮电大学,2012.

[7]孙鑫.面向云环境数据中心的高效资源调度机制研究[D].北京:北京邮电大学,2012.

Research and Application of Cloud Services Comprehensive Architecture in Data Processing Center

FANG Zhi
(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper analyzes the present situation of cloud computing research and application,and discusses the typical construction mode of data processing center based on cloud services architecture in comprehensive item.Particularly it uses theoretical analysis and practical design method to study and design cloud services comprehensive architecture in data processing center,including cloud computing platform,resources management,infrastructure management,computing resources deployment and data warehouse based on cloud storage.This paper also analyzes the foundation advantage of cloud architecture in such aspects as construction cost,transplantation risk and business function,and looks forward the development of cloud architecture.

cloud computing;data processing center;services architecture

TP311.5

A

1008-1739（2014）02-54-4

定稿日期：2013-12-26