大数据背景下金保数据中心建设关键技术研究

2019-06-20 06:07柴立解建仓龚尚福
现代电子技术 2019年10期
关键词:虚拟化技术云平台云计算

柴立 解建仓 龚尚福

摘  要: 海量数据的产生对传统人力资源和社会保障信息系统的建设提出新的挑战,构建大数据背景下的云数据中心对“金保工程”建设具有重要的意义。从分析传统“金保工程”的特点入手,探讨大数据对传统“金保工程”的影响,突出建设云数据中心的必要性。虚拟化技术和云平台搭建是“金保工程”建设中云数据中心的关键技术,该文结合“金保工程”建设的实际需求,探讨云数据中心建设的关键技术和解决策略,以案例将其用于省级人社“金保工程”的建设中。结果表明,该策略取得较好的实际应用效果,研究成果对人社行业的“金保工程”建设具有理论意义和指导价值。

关键词: 金保工程; 云数据中心; 大数据; 云计算; 虚拟化技术; 云平台

中图分类号: TN919?34; TP393.1               文献标识码: A                    文章编号: 1004?373X(2019)10?0136?05

Research on key technologies of golden insurance data center construction

in big data background

CHAI Li1, XIE Jiancang2, GONG Shangfu3

(1. Department of Human Resources and Social Security of Shaanxi Province, Xian 710054, China;

2. Xian University of Technology, Xian 710048, China; 3. Xian University of Science and Technology, Xian 710054, China)

Abstract: Massive data generation has brought new challenges to the construction of the traditional human resources and social security information system, so it is of great significance to construct the cloud data center in big data background for golden insurance project construction. Proceeding from characteristic analysis of the traditional golden insurance project, the influence of big data on the traditional golden insurance project is discussed, and the necessity of building the cloud data center is highlighted. The virtualization technology and cloud platform establishment are key technologies of cloud data center during the golden insurance project construction. The key technologies and solution strategies of cloud data center construction are discussed in this paper by combining the actual demand of gold insurance project construction, and their cases are applied to the construction of the provincial golden insurance project of human resources and social security. The results show that the strategy can obtain a good actual application effect, and the research results have a theoretical significance and guiding value to the construction of the gold insurance project in human resources and social security industry.

Keywords: gold insurance project; cloud data center; big data; cloud computing; virtualization technology; cloud platform

0  引  言

隨着经济发展和科技进步,各行各业每天都会产生海量的信息数据。作为政务信息化建设工程的人力资源和社会保障信息系统,也不可避免地面临海量数据信息的处理。因此,研究大数据下的人力资源和社会保障信息系统建设[1?3]迫在眉睫,具有重要的实际应用意义。“金保工程”是我国人力资源和社会保障信息建设的电子政务业务系统总称,其内容覆盖就业、社会保险、劳动关系、人事人才四大业务板块,包括业务经办、公共服务、基金监管监测、宏观决策等多类业务系统。随着人力资源和社会保障信息系统向省级集中,系统的数据规模、用户规模、系统规模发生巨大变化。同时,各类电子渠道的公共服务向互联网、移动互联网及基层不断延伸,用户规模和数据规模飞速增长,系统将会越来越复杂,需要的计算能力也会逐年加大,且不断产生海量的积累数据,传统的数据中心已经不能满足大数据背景下的数据存储和处理需求。近年来,信息技术发展进入了云计算和大数据时代[2?3],众多的互联网应用案例及行业应用案例已证实,云计算和大数据技术是应对信息系统规模持续增长的有效手段。并行计算、分布式计算和虚拟化[4]技术的应用,快速推进人力资源社会保障基础设施和应用系统的云化迁移改造。本文将从传统数据中心架构的特点出发,分析大数据背景下传统数据中心存在的不足,研究新技术的优势,从而提出一种可以支撑大数据时代人力资源和社会保障服务的新型“云化”数据中心架构[3],并给出应用实例。

1  传统“金保工程”的特点及大数据对其影响分析

1.1  传统“金保工程”数据中心基础架构的特点

传统金保数据中心的构架中,主要采用以Unix为代表的操作系统服务器硬件平台,以Oracle关系型数据库为代表的企业级数据存储平台,以传统虚拟化平台为支撑的业务系统平台。传统金保数据中心主要呈现如下特点:

1) 静态的物理资源管理 。传统数据中心的设计目标是要求产品能够保持长期不间断的稳定工作,因此,在设计数据中心时,采用的是小型机+单体存储的架构,数据中心由大量孤立的物理设备串并联堆砌而成,导致数据中心的建设和维护成本高,资源易浪费。

2) 静态的工作负载管理 。传统数据中心资源孤立、资源与设备之间不能共享,工作负载静态管理不能在整个数据中心实现实时、动态调度,导致传统数据中心资源利用效率低下;不仅数据中心的服务器工作负载是静态的,网络和存储系统的工作负载也是静态的,造成各种资源的整体利用效率不高。

3) 项目应用/基础设施静态耦合。传统数据中心的各部件呈紧耦合状态,服务器、网络和存储等资源均与单个项目静态地捆绑在一起,形成“项目孤岛”架构。传统数据中心这种静态的结构,带来了一系列严重的实际问题,如为了满足应用需求,传统数据中心自建立之日开始就不断扩展,基于不同时期技术的扩展(或人员变动),以及一些以传统模式建立的系统结构变得十分复杂,不仅管理和维护费用十分昂贵,而且几乎成了内部结构谁也不清楚的“黑箱”。

综上分析可以看出,传统数据处理中心的构架导致数据中心建设中存在成本高、易浪费、扩展性差、交付时间长,且在数据中心的管理上也存在复杂度高、管理难的特点。

1.2  大数据对传统数据中心的影响

近年来随着人社关键业务系统的急剧增加,各类数据的数量呈爆发式增长,海量数据向上集中,对数据中心IT基础架构的安全性、连续性、服务级别的要求越来越高,难以快速处理海量复杂数据和满足大数据时代下的数据挖掘需求,无法支撑不同类型数据的关联分析应用。因此,传统IT基础架构面临着新的挑战。大数据环境下,业务连续运行、业务系统快速部署、虚拟化监控杀毒、计算存储资源合理调试、管理运维、大数据分析和处理等需求迫在眉睫,急需解决。大数据时代对传统数据中心的数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据挖掘能力都提出了更高的要求。总体来说,大数据对传统数据中心的影响[5]有以下几个主要方面。

1) 非结构化数据的重要性越来越大。传统数据中心的数据一般来源于常规渠道生成的结构化数据,而大数据时代的数据类型具有多样化的特性,且其增长速度远远超过结构化数据的增加速度,这些非结构化数据包含着公民社保业务受理过程中的所有信息,其重要性越来越大。

2) 数据的时效性要求越来越高。传统数据中心的数据更新周期为日,数据主要用于查询,对数据的使用和分析频率不高。大数据时代,数据不仅要便于查询,还需要从海量数据中获得有价值的信息,因此,对数据的处理速度和数据的时效性提出了更高要求。

3) 大数据改变数据分析模式。传统数据分析以结构化数据为主,主要是查询式数据处理和分析模式。大数据时代下,随着数据的累积和增加,可做的分析和对比也越来越多,为降低数据存储空间,都是采用实时在线处理模式,通过对大量数据的分析,以获取数据之间隐藏的关系、模式和趋势。

4) 大数据影响信息基础架构。传统数据中心专注单一的数据分析处理,这造成了不同类型数据之间的割裂。大数据时代下,分布式处理的软件框架使得X86服务器开始大行其道,列存储、内存数据库、NOSQL存储、流计算等技术将成为数据存储和处理的主流技术。

2  大数据背景下“金保工程”云数据中心的虚拟化技术

新型“云化”技术为大数据中心建设提供了支持和手段。大数据处理需要云计算环境来支撑,而云计算最为关键的技术是虚拟化,虚拟化技术[4,6]作为支撑系统中云计算的一项基础技术,被广泛地应用于云数据中心。在“金保工程”中,利用虚拟化将人社云系统中所有的硬件设备资源集成在一起,为“金保工程”提供一个集成、统一、并发和虚拟的“云化”运行平台,以控制系统硬件和相关软件的成本。

虚拟化技术的应用领域[7?8]涉及“金保工程”中的服务器、存储、网络、应用和桌面等多个方面,不同类型的虚拟化技术从不同角度解决了不同的系统性能问题。

1) 服务器虚拟化。采用软件虚拟技术,硬件上先部署主操作系统,以实现对硬件层的各种资源调度;在硬件层上安装相互之间不受影响的Guest子操作系统,以实现服务器的虚拟化。服务器虚拟化对服务器资源进行快速划分和动态部署,以降低系统的复杂度,消除设备的无序蔓延,达到减少运营成本、提高资产利用率的目的。

2) 存储虚拟化。为优化资源利用率,使多个用户能同时使用资源,多个资源对多个进程提供服务。采用多个主机服务器与多个异构存储设备之间实现交互访问的多对多访问模式,存储采用基于存储网络的虚拟化技术,实现不对称的存储虚拟化。存储虚拟化将存储资源集中到一个大容量的资源池,并进行统一管理,实现无需中断应用即可改变存储系统和数据迁移的目的,提高了整个系统的动态适应能力。

3) 网络虚拟化。用L2 ISIS作为控制协议在所有设备上进行拓扑路径计算,转发时会对原始报文进行外层封装,以不同目的Tag在TRILL/SPB区域内部进行转发。通过将一个物理网络节点虚拟成多个节点,以及将多台交换机整合成一台虚拟的交换机来增加连接数量和降低网络复杂度,实现网络的容量优化。

4) 应用虚拟化。应用虚拟化[5,8]是将应用程序与操作系统解耦合,为应用程序提供了一个虚拟的运行环境。应用虚拟化将资源动态分配到最需要的地方,以改进服务交付能力,并提高应用的可用性。

云计算数据中心基于上述虚拟化技术,实现跨越IT架构的全系统虚拟化,对所有资源整合成“大型虚拟资源池”进行统一管理、调配和监控[8],达到能源效率和资源利用率最大化的目的。由于云数据中心完全虚拟化所有的基础硬件设施,使用户可以按需调用各种资源,在云数据中心下,客户端的用户无需了解数据库云的底层设计细节,可直接获得理论上无限制的数据存储能力和处理能力。

云数据中心解决了数据集中与共享的问题,实现了不同人社信息系统之间的数据交换和共享,明确了应用系统与云数据中心平台的接口规则。面对强大的数据容量,云数据中心采用基于Hadoop分布式技术的大数据存储系统,能够高效地存储和管理大数据,具有高容错性的特点,解决了传统关系型数据库在处理大数据时的理论和实现上的局限性。实现业务应用及海量数据的分布式管理、应用系统的自动弹性伸缩、批量业务的高效并行计算处理[8]。

3  “金保工程”云数据中心构建方案

人社行业“金保工程”的云数据中心需要对整个资源池进行全局性的管理和控制,抛弃传统的静态配置和手动管理模式,通过云平台的力量自动化地进行统筹管理,减少了上层用户和底层设备之间的交互。云数据中心体系架构特点一般是围绕资源、管理和服务3个要素进行组织设计。云数据中心的主要职能是管理,使系统内的所有资源被有效且高效地管理,以确保整个数据中心安全、可靠、稳定、自主地运行。因此,在云数据中心内部设计上,将其总体划分为云基础设施、云服务支撑和云应用系统三个层次,云基础设施层提供虚拟的硬件、网络、存储等基础设施,并提供数据库服务和文件存储服务,在此基础上部署云服务和云应用;云应用支撑层提供云安全管理和云运维管理的支持,主要负责提供分布式日志、分布式会话、分布式缓存、分布式数据访问等支撑服务;云应用系统层是面向最终用户的具体应用系统,该应用系统构建在动态基础设施和云应用支撑平台之上,为用户提供弹性可伸缩的业务系统。

云数据中心整体架构需要对资源、平台、门户进行全方位管理。因此,将云平台的总体架构分为服务和管理两大部分。在服务方面,主要以提供用户基于云的各种服务为主,包含3 个层次:实现基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)功能;在管理方面,主要以云的安全和运维管理为主,确保云平台能够安全、稳定和高可用地运行,并且能够被有效智能化管理。“金保工程”云数据中心架构规划如图1所示。

4  应用实例

以省人力资源和社会保障厅“金保工程”云数据中心建设为例,搭建人社云平台主要有云基础设施(IaaS)、云服务支撑(PaaS)、云服务应用(SaaS)三个层次构成。同时考虑了信息安全管理体系设计。

4.1  大数据云基础设施层

云基础设施层是人社云安全稳定运行的基础和保障。一方面通过将网络设备、计算设备、存储设备等物理设施虚拟化、资源化和服务化,为上层的云服务支撑和云应用按需提供稳定、可靠、易伸缩、可管理的基础资源服务;另一方面依托监控、运维、资源管理、安全管理等技术平台和管理体系为云平台提供必要的安全和运维保障。云基础设施层内主要包含云资源物理层、虚拟化层和云资源管理层。

图1  云数据中心内部架构

1) 物理层。其包括机房以及部署在机房的相关物理硬件基础设备。硬件基础设备是云服务的基础,主要为终端用户提供计算资源和存储资源等,包括网络、服务器、存储和安全等设备。服务器设备选择开放架构的 X86 服务器,采用以高密度的刀片服务器为主,以尽可能提升机房空间利用率。存储设备选择 SAN 存储、NAS 存储等设备。安全设备选择等保三级要求以上的设备进行配置,以满足云计算环境下的安全管理要求。

2) 虚拟化层。其主要目的是实现对计算资源、网络资源和存储资源的虚拟化,以及软件定义等形成的共享计算资源池、网络资源池和存储资源池的设计。

计算资源池采用虚拟化技术实现计算资源的虚拟化,构成可按需分配、调度、管理的計算资源池。存储资源池采用分布式存储等技术,建设X86服务器分布式存储集群,结合 SAN 存储资源池建设技术,构成分布式、可管理的存储资源池。网络资源池采用交换机、路由器、负载均衡和防火墙等虚拟化技术实现网络虚拟化,构成可按需分配、调度、管理的网络资源池。

为提高应用伸缩灵活性,在资源池建设中,坚持保持制式统一并集中部署原则,尽可能选择相同的CPU 架构(如Intel 或AMD)和同一种虚拟化软件,避免形成多个不同制式小规模资源池而无法相互动态迁移应用。同时,资源池尽可能部署在相同机房和网络中,以实现业务动态迁移。应优先选择商业虚拟化软件,保障核心IT 系统运行的可靠性。

3) 云资源管理层。其主要包括云基础设施管理的核心组件,实现资源的统一管理、调度、编排与监控以及对云资源的自动化管理和弹性部署,包括计算资源管理、网络资源管理和存储资源管理等。

4.2  大数据云服务支撑层

大数据云服务支撑层主要实现大数据的收集、整理、加工、数据分析[8]等业务处理。云服务支撑构架分为三层,第一层是与大数据相关的云服务,用于数据的采集和存储,包含用于存储各类数据的存储数据库,以及对各类非线性数据的采集服务。第二层是数据开发平台,主要是对采集到的数据进行管理、处理和分析,并对有用数据进行数据学习和深度挖掘,以获取有价值的信息。第三层是数据加工平台,将数据开发平台获得的数据进行整合,以简单的、可视化的形式表现出来,并提供给云应用层。构架如图2所示。

图2  人社云服务支撑层构架

4.3  大数据云服务应用层

大数据云服务应用层包括应用层、应用支撑层和数据层三部分,其架构如图3所示。

1) 应用层。部署人社云应用的Web 组件和App 组件的服务器集群,包括互联网服务类、业务经办类、数据分析类人社云应用服务器的部署,人社行业可根据本省的业务复杂度、功能需求和用户规模进行资源配置。

2) 应用支撑层。部署用于支撑应用层的服务器集群,包括认证服务、队列服务、分布式缓存服务、分布式服务框架、分布式会话服务、分布式日志服务、分布式数据库服务、并行计算服务等服务器部署,可根据本省的实际情况按需部署。

3) 数据层。部署用于支撑应用的数据层服务器集群,包括关系型数据库、列式数据库、NOSQL文档型数据库等服务器和存储设备。关系型数据库承载基础库、业务交易库、服务日志等,列式数据库承载历史库、统计库等,NOSQL文档型数据库承载电子档案、系统日志和行为日志等。

图3  人社云应用层构架

4.4  人社云信息安全管理体系构建

人社云信息安全管理系统主要包含三个方面的建设:第一个方面是物理安全体系,主要是从物理和数据存储的环境方面保障数据的安全性,它主要包含网络和通信安全、设备和计算安全、应用和数据安全;第二个方面是集中管理和监控安全体系,主要是对系统使用人员进行安全教育和管理,确保内部使用和系统管理人员的安全性;第三个方面是安全管理体系,主要是制定相应的安全管理条例和管理制度,建立健全安全管理機构,确保人社云系统的运维可靠与安全性。安全管理体系构架如图4所示。

图4  人社云信息安全管理系统构架

5  结  论

通过对传统“金保工程”数据中心建设的特点进行分析,指出其已经不能满足大数据时代对“金保工程”的需求,从而以大数据应用为背景,探讨了“金保工程”建设过程中云数据中心的虚拟化技术、平台搭建等关键技术,提出了基于“云化”数据中心系统平台架构方案,并将其用于省级人社云建设中。

注:本文通讯作者为龚尚福。

参考文献

[1] 宫夏屹,李伯虎,柴旭东,等.大数据平台技术综述[J].系统仿真学报,2014,26(3):489?496.

GONG Xiayi, LI Bohu, CHAI Xudong, et al. Survey on big data platform technology [J]. Journal of system simulation, 2014, 26(3): 489?496.

[2] 罗亮,吴文峻,张飞.面向云计算数据中心的能耗建模方法[J].软件学报,2014,25(7):1371?1387.

LUO Liang, WU Wenjun, ZHANG Fei. Energy modeling based on cloud data center [J]. Journal of software, 2014, 25(7): 1371?1387.

[3] 赵震,任永昌.大数据时代基于云计算的电子政务平台研究[J].计算机技术与发展,2015,25(10):145?148.

ZHAO Zhen, REN Yongchang. Research on e?government platform based on cloud computing in big data era [J]. Computer technology and development, 2015, 25(10): 145?148.

[4] 韩德志,李楠楠,毕坤.云环境下的虚拟化技术探析[J].华中科技大学学报(自然科学版),2012,40(z1):262?265.

HAN Dezhi, LI Nannan, BI Kun. Study of virtualization technology in cloud environment [J]. Huazhong University of Science and Technology (Natural science edition), 2012, 40(S1): 262?265.

[5] 张科星.网络大数据平台中的特征数据分类系统设计与实现[J].现代电子技术,2017,40(8):25?28.

ZHANG Kexing. Design and implementation of feature data classification system in network big data platform [J]. Modern electronics technique, 2017, 40(8): 25?28.

[6] 孔维亮,曾光裕,周登元.基于Intel VT硬件虚拟化的Rootkit技术[J].信息工程大学学报,2016,17(5):579?585.

KONG Weiliang, ZENG Guangyu, ZHOU Dengyuan. Rootkit technology based on the Intel VT hardware virtualization [J]. Journal of Information Engineering University, 2016, 17(5): 579?585.

[7] 谭大禹,孙睿,刘宽.云计算下桌面虚拟化技术的融合[J].计算机与数字工程,2017(1):76?82.

TAN Dayui, SUN Rui, LIU Kuan. Desktop of virtualization technology integration under the cloud computing [J]. Computer & digital engineering, 2017(1): 76?82.

[8] CHAI Li, XIE Jiancang, LIANG Jichao, et al. Simulation and visualization of salty soil water and salt migration [J]. Advances in energy science and equipment engineering II, 2017: 429?433.

[9] 林正日,孙志斌,Pavel Paces,等.基于TOF-3D相机单视角物体表面重建研究[J].电子设计工程,2018,26(12):50?54.

LIN Zhengri, SUN Zhibin, PACES P, et al. Research on object surface reconstruction under the single view based on TOF?3D camera [J]. Electronic design engineering, 2018, 26(12): 50?54.

[10] 肖铮,董祥千,赵文革.Web网络大数据的聚类中心调度技术研究[J].现代电子技术,2017,40(24):25?27.

XIAO Zheng, DONG Qiangqian, ZHAO Wenge. Research on clustering center scheduling technology for Web network big data [J]. Modern electronics technique, 2017, 40(24): 25?27.

猜你喜欢
虚拟化技术云平台云计算
虚拟化技术在中职学校校园网服务器中的应用
云计算虚拟化技术在电信领域的应用研究
高职院校开展基于云平台网络教学的探索与思考
基于云计算的移动学习平台的设计
基于SOP架构的一种轻量级虚拟化防火墙的实现
企业云平台建设研究
实验云:理论教学与实验教学深度融合的助推器
云计算中的存储虚拟化技术应用