基于部队训练任务的数据中心建设

杨 坤，李 旋，安磊磊

(1.中国人民解放军91404部队，河北 秦皇岛 066001；2.中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

随着军事斗争准备的拓展和深化，训练及保障任务日益增多，各任务保障系统具有跨业务平台、多通信体制、高度共享关联和功能协同应用的特点，需要整体统筹规划，才能最大程度地发挥任务保障能力；另外，随着任务保障系统功能日益完善，任务演练数据随之成倍增长，对训练数据进行综合处理与应用的能力需求也不断提高。

传统数据中心建设均基于单服务器部署，利用服务器本身的计算、存储和网络资源，为演练保障系统提供服务器独占式运行服务。系统可靠性、扩展性较差；通常采用大型机进行计算处理，运维成本及人员要求较高。

目前，云数据中心及云平台技术以得到了技术人员的广泛论证、研究与实践。文献[1-3]提出了大数据时代数据中心建设需要注意的建设目标、建设方案选择、数据安全、网络架构及节能环保等事项；文献[4-6]介绍了分布式计算平台的建设及分布式服务架构的业务应用；文献[7-9]介绍了虚拟化云平台的建设及虚拟化服务架构的业务应用；文献[10]介绍了灾备系统的建设及运维管理；文献[11]提出了依托云数据中心的企业异地协同研发的应用案例；文献[12-14]介绍了云数据中心在地铁、医院、航天测控等领域的应用；文献[15]梳理了国内外主要IT设备提供商的数据中心技术架构和解决方案。

1 分布式计算平台

分布式计算平台通过提供标准的应用程序接口(API)以及与平台无关的多语言软件开发套件，为各任务保障系统提供统一、高效、海量的数据处理服务接口，形成涵盖实时业务数据高效处理、离线历史数据深度挖掘及多场景业务数据服务能力，为任务保障各系统开展以实时数据为基础的高效业务反应能力、以海量离线数据为依托的可靠辅助决策能力提供计算服务支撑。分布式计算平台服务体系架构如图1所示。

图1 分布式计算平台服务体系架构Fig.1 Service architecture of distributed computing platform

分布式计算平台依托高速计算服务器、分布式对象存储服务器、高速56 Gb/s InfiniBand网络等基础硬件，构建计算引擎、计算模型及开发平台一站式计算服务体系。以实时计算平台和离线计算平台作为枢纽，深度整合数据开发工具、数据集成工具、数据处理工具，形成面向结构化、半结构化和非结构化数据处理服务支撑能力。分布式计算服务包括实时计算服务和离线集成服务2部分。

实时计算服务作为流式大数据实时分析平台，通过搭建流式数据实时分析计算服务，规避底层流式数据处理逻辑的重复开发，提供涵盖数据采集、数据开发、数据存储、数据运维及监控告警等完整的一站式流式数据实时处理分析服务，有效缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，满足流式大数据实时化分析需求。

实时计算集成服务以实时计算开发平台为枢纽，深度整合数据集成工具及数据存储工具，借助实时计算开发平台集成多种SQL辅助功能，提供SQL语法检查、智能提示及语法高亮显示等功能，降低数据开发门槛，提高开发便捷性，打通从数据生产到数据消费全链路流式数据处理流程，完成数据生产到数据消费一站式实时计算服务平台，为业务保障系统提供流式数据支撑，提升业务保障系统实时数据处理能力。

离线计算平台采用分布式计算框架，通过统一的可视化建模开发平台提供基于SQL，MapReduce，Graph，MPI等多种编程模型的建模设计、开发测试、优化验证及运行调度等功能，通过数据通道服务提供对来自各任务保障系统的异构数据源的高并发、高吞吐、持续稳定的数据加载上传服务。采用基于有向无环图的多数据处理作业并行运行调度模式，实现对各任务保障系统的海量离线大数据的离线高效处理，并通过开放的、统一的编程接口，支持各业务系统通过Restful API方式对离线数据处理服务进行业务调用。构建面向多系统、多用户协同分析、海量离线数据、多计算模型支持、多数据处理作业运行调度的离线计算基础服务平台，为各任务保障系统提供离线数据处理服务支撑。

离线计算平台作为各任务保障系统离线计算的统一计算分析支撑平台，面向结构化和非结构化离线数据，整合多种数据采集工具，通过提供图形化计算工具，为各任务保障系统离线数据处理作业提供数据加载、数据处理开发及作业运行调度等全流程数据处理服务。对数据仓库整合、数据通用处理、数据特征分析、数据共享服务、数据查询应用、数据检索应用及日志数据应用等业务应用提供离线数据处理基础平台支撑。

2 虚拟化云平台

虚拟化云服务依托高速计算服务器、分布式对象存储及高速万兆光纤网络等基础硬件，通过计算虚拟化、网络虚拟化及交互式控制服务，提供处理能力可弹性伸缩的、存储容量可动态扩展的、网络可灵活定制的、高可用高安全的虚拟计算环境。通过虚拟化云服务为各任务保障系统提供虚拟主机，主要包括CPU、内存等基础计算组件以及操作系统、网络、存储等定制化组件，并通过镜像、快照、块存储、部署集及弹性网卡等技术手段，实现高效存储、灵活部署、业务可靠、快速备份、快速恢复的虚拟化云服务，进行各虚拟主机的统一运维管理。虚拟化云服务体系架构如图2所示。

造成如此强烈的并购需求的主要原因，一是这些公司的储量替代率已连续4年下降，可持续发展问题日益凸显；二是近4年的低油价应对措施效果明显，国际大石油公司的资产组合进一步优化，适应低油价能力提升，特别是新技术的引入降低了运营成本，从而使得国际大石油公司重新具备并购优质油气资产的基础。

图2 虚拟化云服务体系架构Fig.2 Virtualized cloud service architecture

虚拟化云服务为各任务保障系统提供处理能力可弹性伸缩的计算服务，以简单高效的方式进行虚拟主机快速创建、磁盘按需扩容、网络灵活配置及快速备份恢复的能力，实现虚拟化云服务的高可用、强安全和弹性伸缩。主要功能包括虚拟主机实例、块存储服务、镜像服务、快照服务、部署集服务及弹性网卡服务。

虚拟主机实例为虚拟化云服务对外提供的最小服务单位，功能等效于一台物理主机，包括CPU、内存、操作系统、网络及磁盘等基础组件，按需为各任务保障系统提供相应的计算能力。提供对虚拟主机的管理，包括虚拟主机实例的查看、编辑、停止、重启、删除、配置变更、密码管理及网络配置等功能。

块存储服务为虚拟化云服务提供数据块级别的随机存储服务，具备低延时、持久和高可靠的特性，满足随机读写及按需扩容的使用需求。采用3个副本的分布式存储机制，为虚拟化云服务提供数据可靠保证，虚拟主机数据文件写入磁盘会复制出3个副本，并将这些副本按一定策略存放在集群的不同存储节点上，当有数据节点损坏或硬盘故障时，会自动进行副本复制，保证副本数据一致，实现虚拟主机数据文件可靠存储。块存储服务主要功能包括磁盘创建、磁盘查看、磁盘回滚、磁盘属性修改、磁盘挂载、磁盘分区及格式化、系统盘扩容及磁盘卸载。

镜像是虚拟主机实例运行环境的模板，包括了操作系统信息、预装的应用程序以及磁盘中的所有数据。镜像服务提供了通用的公共镜像和自定义镜像，公共镜像支持Windows，Linux和国产操作系统的主流版本。通过镜像服务，可以进行虚拟主机的快速创建、一致性部署及备份。镜像服务主要功能包括镜像查看、镜像复制、镜像共享、镜像导入、镜像导出、镜像删除及镜像自定义创建等。

快照为某时间点虚拟主机磁盘的数据拷贝，通过有计划地对磁盘创建快照，可以实现运行于虚拟主机上的业务可持续运行。快照采用增量拷贝方式，只有2个快照之间数据发生变化时，数据才会被拷贝。快照服务支持自动快照策略制定，可以根据业务需求，配置自动创建快照的时间、重复日志及快照保留时间。快照可以作为其他磁盘基础数据创建新的数据盘，还可以在磁盘数据发生错误时提供数据恢复能力。快照服务的主要功能包括快照创建、快照查看和快照删除。

部署集服务为虚拟化云服务提供物理主机、机架及交换机感知能力，通过定制部署策略，提升业务可靠性和系统整体性能。部署集服务支持物理主机、机架及交换机3种部署粒度，提供尽量聚合、严格聚合、尽量分散及严格分散4种部署策略。为了避免物理主机、机架或交换机发生故障对业务造成的影响，部署集服务支持将相同应用的虚拟主机尽量部署在不同的物理主机、机架及交换机上。当多虚拟主机有较多网络交互时，为了降低网络访问延时、提高网络访问带宽，部署集服务支持将相同应用虚拟主机部署在同一交换机下。部署集服务主要功能包括部署集创建、部署集查看、部署集编辑及部署集删除。

弹性网卡是一种可以附加到虚拟主机的虚拟网卡，通过弹性网卡服务可以实现多网卡配置、弹性网卡分离复用、弹性网卡安全准则配置，实现高可用集群搭建、低成本故障迁移及网络精细化管理。弹性网卡服务支持为单个虚拟化云服务配置多个弹性网卡，实现管理数据和业务数据网络传输隔离，并通过为每张弹性网卡配置精准安全准则，实现安全访问控制。弹性网卡支持从一个虚拟主机分离并附加到另一台虚拟主机上，实现业务流量快速迁移至备用实例，具备服务快速恢复能力。弹性网卡服务主要功能包括弹性网卡创建、弹性网卡便编辑、弹性网卡删除、虚拟主机绑定、虚拟主机解绑及安全组配置等。

3 数据安全

采用软件与硬件结合的方式，实现终端与服务器安全管理、分布式存储及信息安全管理、分布式应用安全管理、网络与运行平台安全管理、运维审计管理、架构运行安全管理和备份容灾等能力。数据安全存储从层次上可分为数据集群存储、数据多副本存储和数据安全访问3部分。数据安全服务体系架构如图3所示。

图3 数据安全服务体系架构Fig.3 Data security service architecture

① 数据集群存储

为存储资源建立分区的集群系统，配置统一的数据管理服务器群组，支持所辖分布式存储服务器群组的并行存储、分布式存储以及备份恢复处理。数据服务器硬件通过统一网络架构互联，包括业务区和容灾区，各个分区都具有宕机保护能力。管理节点具有高可用能力，采用冗余配置，提供存储资源管理手段，支持数据访问优化策略、自动容灾和备份归档，保证数据访问服务不间断运行。

② 数据多副本存储

数据存储安全指的是数据存入存储系统情况下，在非自然灾害或者人为条件下，数据不能丢失、不能损坏。采用分布式冗余架构，保证存储系统的本地高可用；采用副本模式，关键数据可在场区内部进行多副本备份，保证一份数据进行3个副本存储，而且不同的副本数据不保存在同一节点或者机柜，即使一份数据损坏或者丢失也不会影响数据完整性；采用异地灾备系统，进行跨区的数据同步备份，保证即使本地数据中心完全损坏，数据依然可以大部分保留下来，继续支撑各任务保障系统的正常运行。

③ 数据安全访问

主要是按角色的、可审计的数据权限设计，解决访问人员的权限边界问题，非权限内人员不得访问该数据。通过安全运维体系，将平台的使用人员权限进行明确划分，硬件维护人员只能对硬件进行开机、关机和更换操作；管理员只能管理人员账号数据，为业务人员开立、注销账号以及更改账户的权限；系统维护人员只能管理系统数据，管理业务系统的启动、关停和升级等。不同职责的人员只能访问和管理自己权限内的数据。系统提供日志审计功能，可以针对访问人员的行为进行审计，避免非法操作，保证对操作的可追溯性。

4 统一运维管控

通过统一运维管控系统为运维管理人员提供资源划拨、硬件状态监控和环境监控管理，实现对基础资源服务、服务器设备及虚拟资源的统一监控，对于监控对象的资源使用情况、运行状态进行监测。当监控对象出现故障时，统一运维管控系统可自动检测出故障原因并以多种告警形式对运维人员进行及时故障告警，保证业务系统的正常运行。

统一运维管控系统自动生成运维报告，定期进行系统运行日志的收集、管理和分析，记录系统运行状况，通过阶段性监控、分析和总结，定时提供系统整体运行维护、性能及利用率等方面的系统运维分析报告。

5 结果对比与分析

进行数据中心云技术部署改造后，与原传统部署方式的系统运维进行了对比，如表1所示。

通过云技术对数据中心进行改造后，各业务系统部署于虚拟化云平台，数据处理软件部署于分布式计算平台。通过全局服务器资源统一分配机制，提高了硬件资源的利用率、简化了资源扩展流程、节约了业务扩展成本；通过虚拟机高可用机制，自动屏蔽硬件设备故障对虚拟机的影响，降低了硬件故障恢复时间，提升了系统的可靠性和安全性；通过虚拟化平台快照、镜像等方式，提升了系统灾备能力；通过多服务器并行处理机制，提高了数据处理能力，降低了大型机使用需求，节约了运维成本；通过云技术统一运维管理机制，节约了人力成本。

表1 数据中心改造前后对比

Tab.1 Comparison of data center before and after transformation

6 结束语

基于云技术的数据中心建设是一种新的信息系统整合模式，取代传统数据中心根据各业务需求不同而部署的型号繁杂、功能各异的业务独占式服务器架构。通过对硬件设备进行资源整合，构建具备统一运维管控能力的虚拟化、计算支撑等云平台，不仅提高了硬件资源利用率、降低了资源扩展成本，而且提高了整个数据中心的可靠性、灾备能力，降低了人员运维成本，在全新数据中心建设及老旧数据中心利旧改造方面，均能表现出良好的综合处理能力及可持续扩展能力。