马俊
(海警一支队司令部信息化科,广东广州510000)
基于云架构的海警云数据中心建设研究
马俊
(海警一支队司令部信息化科,广东广州510000)
该文通过分析云计算、大数据发展的趋势入手,引入云计算、大数据基本概念,分析海警数据应用过程中存在的问题和数据管理中遇到的挑战,立足海警业务需求,突出整体规划概念,保证安全可控为目标,从设计原则、技术需求、功能设计等几个方面对建设海警云数据中心进行了分析和研究,力图找出建设海警云数据中心的思路和方法。
云架构;海警;数据中心;建设研究
1.1 云计算、大数据基本概念
1.1.1 基本概念
云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
大数据通常定义为:超出了常用硬件环境和软件工具在可接受的时间内为其收集、管理和处理能力的数据。大数据不仅体现在容量上,还体现在多样性、速度及复杂度等方面。超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。
云数据中心是一种基于云计算架构的,计算、存储及网络资源松耦合,完全虚拟化各种IT设备,模块化程度较高,自动化程度较高,具备较高绿色节能程度的新型数据中心。
1.1.2 集中云与分散云的区别与联系
从技术上讲云计算就是计算虚拟化,简单来说就是多虚一和一虚多。多虚一是集中云的概念,通过集中多台性能一般的设备完成一台超级设备才能完成的计算任务;一虚多是分散云的概念,最主要目的就是提高效率和节省费用,可以分为操作系统虚拟化、主机虚拟化、裸金属虚拟化三种。
1.1.3 公有云和私有云的区别与联系
公有云通常指第三方为用户提供的能够使用的云,公有云一般可通过internet使用。
私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制,客户拥有基础设施,并可以控制在此基础上部署应用程序的方式。
混合云融合了公有云和私有云,是近年来云计算的主要模式和发展方向。私有云的安全性是超越公有云的,而公有云的计算资源又是私有云无法企及的,混合云完美地解决了这个问题,它既可以利用私有云的安全,将内部重要保存在本地数据中心,同时也可以使用公有云的计算资源,更高效快捷地完成工作。
1.2 云计算、大数据在我国的发展和应用情况
1.2.1 云计算在我国的发展
未来云计算发展呈现三大趋势:一是信息处理的集中化、云化、网随云动;二是大数据的发展对云计算提出了更高的要求,云计算需要具备扩展性、弹性、资源池化、自助服务、可度量、低成本、按需支付和故障容错能力;三是混合云的发展受到重视,云端的整合成为一种必然的趋势。
1.2.2 云计算在我国的应用
2015年1月31日,国务院印发了《关于促进云计算创新发展培育信息产业新业态的意见》,充分发挥云计算对数据资源的集聚作用,实现数据资源的融合共享,推动大数据挖掘、分析、应用和服务。开展公共数据开放利用改革试点,出台政府机构数据开放管理规定,在保障信息安全和个人隐私的前提下,积极探索地理、人口、知识产权及其他有关管理机构数据资源向社会开放,推动政府部门间数据共享,提升社会管理和公共服务能力。
1.2.3 云计算在国家部委的建设和应用
公安部、海关总署、国家税务总局等信息化发展和应用领先的国家部委都非常重视云计算概念在本部门的应用,这几年都专门成立大数据处等相关业务部门负责本单位传统数据中心的升级和云数据中心的建设工作。
1.3 海警信息化数据管理遇到的挑战
1.3.1 数据难以利用
现有业务应用系统的数据只是对一种业务数据记录的简单保存,对数据的使用也仅限于浏览、查询和拷贝等基本功能,不能对这些业务数据进行进一步的基础分析和深度挖掘工作。
1.3.2 系统孤立形成信息孤岛
现有业务应用系统都由本部门负责管理,有自己的数据库、自己的操作系统、自己开发的应用软件和用户界面,完全是独立的体系。
1.3.3 缺乏公共服务与决策信息无法共享和交换
现有业务应用系统间缺乏共享和交换平台,无法进行公共服务与决策信息共享和交换。
1.3.4 统计口径不一致
现有业务应用系统的设计缺乏统一的标准,数据格式不统一,数据库之间没有建立实时更新的途径,无法进行有效的统计。
1.3.5 数据价值难以体现
只对数据进行原始保存,缺乏必要的分析功能,无法体现数据的价值。
1.3.6 缺乏监控与预测
没有建立数据库监控与预警系统,无法对数据库的运行状态进行有效的监控和预测,安全性和稳定性受到很大挑战。
海警云数据中心是支撑云服务要求的数据中心,包括场地、供配电、空调取暖、服务器、存储、网络、管理系统、安全等相关设施,可以有效解决各部门间信息共享,实现业务部门之间的数据交换、数据共享与数据备份,促进海警信息化的发展。
2.1 技术上要体现先进
2.1.1 虚拟化技术
服务器虚拟化对服务器资源进行快速划分和动态部署,从而降低了复杂度,消除了设备无序蔓延,并达到减少运营成本、提高资产利用率的目的;存储虚拟化将存储资源集中到一个大容量的资源池并进行统一管理,实现无需中断应用即可改变存储系统和数据迁移,提高了整个系统的动态适应能力;网络虚拟化是通过将一个物理网络节点虚拟成多个节点以及将多台交换机整合成一台虚拟的交换机来增加连接数量并降低网络复杂度,实现网络的容量优化。
2.1.2 SOA基于业务的数据中心架构
SOA体系架构带来的主要观点是业务驱动IT,即业务驱动和业务更加紧密地联系在一起。SOA是一种进行企业级系统开发的新的体系架构,在基于SOA体系的系统中,应用程序的具体功能是由一些松耦合和具有统一接口方式的组件等组合而建立起来的。
2.1.3 弹性伸缩和动态调配
弹性伸缩可以从纵向和横向两个方面考虑,纵向伸缩性是指在同一个逻辑单元内增加资源来提高处理能力;横向伸缩性是指增加更多逻辑单元的资源,并整合成如同一个单元在工作;动态调配是根据需求的变化,对计算资源自动地进行分配和管理,实现高度“弹性”的缩放和优化使用,而使用者不介入具体操作流程。
2.1.4 高效、可靠的数据传输交换和事件处理
数据传输交换和事件处理系统是云计算中心的消息和数据传输交换枢纽,不能仅采用组播协议来追求速度,也不能仅采用TCP来追求可靠性,而需要结合多种协议的优势,有效控制分布在网络上的众多组件之间的数据流向,保证数据通道的畅通性、信息交换的可靠性和安全性。
2.2 架构上要符合标准
参照国家标准GB/T 32399-2015《信息技术云计算数据中心参考架构》和GB/T 32400-2015《信息技术云计算概览与词汇》(2015年12月31日颁布,2017年1月1日开始实施)标准、安全管理及运维管理标准均要参照相关国际标准,符合GB/T 32915-2015《信息技术弹性计算应用接口》、GB/T 32916.1-2015《信息技术云数据存储和管理第1部分:总则》、GB/T 32916.2-2015《信息技术云数据存储和管理第2部分:基于对象的云存储应用接口》、GB/T 32916.3-2015《信息技术基于键值(Key-Value)的云数据管理应用接口》等标准。
2.3 功能上要逐步完善
2.3.1 超级计算能力
云数据中心将成千上万台服务器整合成资源池,提供的计算、存储、应用是很多大型机、巨型机无法比拟的,在云端甚至可以进行每秒超过10万亿次的运算能力,存储的空间更是恐怖,PB(1024TB)级、EB(1024PB)级的海量数据也可通过联合计算,予以应对。
2.3.2 高度可靠与安全
数据的安全和可靠受到服务器、存储等设备的制约,也需要UPS、冷却系统的支持,即便数据中心内部建立了可靠的应用环境,还要面对地震、海啸等自然灾害的潜在威胁。在云环境这样的风险指标会逐步降低,云部署在不同的地理环境,跨越多地,单点故障不会对服务、应用造成太大影响。在云端,数据的多副本容错、计算各节点同构可互换等措施也保证了高度安全性和可靠性,相比传统数据中心的计算模式,云计算在安全、可靠方面的表现卓众。
2.3.3 按需使用
用户获得云计算资源的行为和获得电力、自来水、天然气一样简单,按照自己的需求使用。
2.3.4 弹性扩展
当某个业务系统突发大量使用需求时,云计算会动态调整分配给它的资源,保证业务系统的正常运行。当使用完成后再收回发放的资源。
海警云数据中心要建设亚太地区领先的海上维权执法信息化系统的基础数据中心,提供持续服务计算、存储虚拟化,资源快速分配,数据共享、操作系统虚拟化、终端统一管理、双活灾备、虚拟PC等功能,为海警业务提供持续不断的数据服务。
3.1 海警云数据中心建设原则
3.2 海警云数据中心建设思路
建立统一的数据交换平台,通过交换平台实现各异构数据库之间的数据集成,实现原有各业务系统在数据级集成,保证异构数据库之间的数据交换与共享。
在建立的数据交换平台基础上,针对各业务系统的技术和体系结构,配置各业务系统的数据交换映射关系,形成各业务系统的应用,当平台建立好以后,业务应用可以任意扩展,添加新的共享数据。
3.3 海警云数据中心建设项目需求
随着海警整合的深入和维权执法任务的需求,现有的IT支撑系统已不能满足业务快速发展的需要,迫切需要建设基于云计算技术的数据中心,重新构建IT基础设施,以满足未来业务增长对IT支撑的需求。
3.4 海警云数据中心建设规划
3.4.1 分布式数据中心结构
建立单一的数据中心不能提供最好的服务,需采用分布式数据中心架构。总队、支队向上级联到区域数据中心,核心数据保留在区域以上数据中心。区域数据中心备份到北京数据中心,北京数据中心备份到备份中心。核心业务做灾备,全部业务可做备份。
业务分布式部署:任意一个数据中心出现问题,其他三个数据中心均可接管业务。需要部署在数据中心上的应用软件支持分布式部署。
3.4.2 云OS
云OS主要用于承载业务系统的虚拟服务器和虚拟桌面,实现资源池化和弹性伸缩,自动调度,按需使用。实现对虚拟化资源池和硬件设备的管理。通过插件的方式,云OS可以实现多个同构/异构虚拟化资源池的管理。对数据中心的服务器、存储、网络等基础设施进行虚拟化,并向上对云平台提供接口。每套虚拟资源池由管理节点与计算节点组成,管理节点实现对基础设施(计算节点、网络设备、存储设备)的管理、调度以及监控;计算资源池以集群为管理维度(或者站点)。一个物理集群中可以把多台服务器划分成一个逻辑集群(又叫HA资源池),支持虚拟机热迁移和HA(high available,高可用性集群)功能。一个物理集群中可以包含多个逻辑集群。云OS还用于实现云平台的统一监控、告警和运维管理等。
海警云数据中心建设是一项全新的课题,这符合海警部队信息化建设“需求牵引、技术驱动”的总原则,我们立足海警业务实际,海警维权执法数据涉及语音、图像、视频、传真等内容,业务种类多,数据量大,传输实时性要求高,传输带宽要求大,这样就给数据传输和共享带来很大困难,这就要求我们从满足业务需求角度出发,以需求牵引数据中心建设,本文通过对云计算、大数据概念以及如何建设云数据中心进行分析,从而提出建设规划和思路,为建设海警云数据中心提供支持。
[1]杨欢.云数据中心构建实战-核心技术、运维管理、安全与高可用[M].北京:机械工业出版社,2016.
[2]Viktor Mayer-Schonberger、Kenneth Cukier.大数据时代-生活、工作与思维的大变革[M].盛杨燕,周涛,译.浙江人民出版社,2016.
[3]Gary Lee.云数据中心网络技术[M].唐富年,译.人民邮电出版社,2015.
TP311
A
1009-3044(2017)19-0232-03
2017-05-15