刘素茹
(广东省国土资源技术中心,广东 广州 510075)
我国城市化进程非常快,大量的人口进入城市以后,产生了一系列的民生、经济、政务方面的问题,也对城市管理、民生和经济发展提出了新的要求,在此情况下,智慧城市建设应运而生。根据《新型智慧城市建设部际协调工作组2016-2018年任务分工》,测绘地理信息部门的任务为指导各地区开展智慧时空基础设施建设及应用。时空基础设施是智慧城市的重要组成,是其他信息交换共享与协同应用的载体,其建设内容可以归结为:时空基准、时空大数据、时空信息云平台、支撑环境。随着数字城市地理空间框架转型升级为智慧城市时空基础设施,相应要实现“四个提升”,即空间基准提升为时空基准、基础地理信息数据库提升为时空大数据,地理信息公共平台提升为时空信息云平台,支撑环境由分散的服务器集群提升为集约的云环境。其中,时空信息云平台和支撑环境是时空基础设施的载体和重要的支撑架构,两者密不可分。
本文以智慧广东时空信息云平台建设为例,结合时空信息云平台,从架构设计、技术路线、关键技术等多方面详细而全面地阐述平台支撑环境的架构设计思路和实现方法。
为建设具有统一性、动态性、丰富性的智慧广东时空信息云平台,采用统一云支撑环境的集约模式进行设计和建设,通过基础设施即服务 (IaaS) 、数据即服务 (DaaS) 、平台即服务 (PaaS) 、软件即服务 (SaaS) 提供各类应用服务的基础支撑,形成智慧城市数据中心与共享应用中心,总体框架结构如图1所示。
图1 总体框架架构图
支撑环境是智慧广东时空信息云平台基础设施建设的支撑和保障,主要组成是基础设施即服务和平台即服务,如图2所示。
基础设施即服务采用基于OpenStack架构的华为FusionSphere云服务和管理平台,提供完整的软件定义数据中心能力和管理自动化能力。FusionCompute管理虚拟机的整个生命过程,FusionStorage为虚拟机提供稳定的数据存储服务,FusionNetwork提供云计算的网络虚拟化服务,服务抽象层负责将各种不同的虚拟化引擎平台整合在一起,服务呈现层进行资源的再分配、管理和使用,FusionManager提供统一云管理能力,包括自动化管理和资源智能运维能力,监控各类硬件资源的健康状态,对各类资源访问进行权限管理等。
平台即服务自主搭建,包括隔离驱动、云中工具、运维中心和云化应用等组件。
图2 支撑环境架构图
基础设施即服务 (IaaS) 是支撑环境的重要组成部分,由基础设施资源池和管理平台两部分组成。基础设施资源池是服务器、存储和网络的资源大集合,通过云化技术,实现计算资源、存储资源和网络资源的集约化管理。能根据应用程序的要求快速配置应用所需支撑环境,有效地支持业务需求的变化。
管理平台由资源管理平台和业务管理平台两部分组成,资源管理平台负责对基础设施资源池的资源进行统一的管理和调度,如数据管理、资源监控、资源部署、资源调度、安全管理、虚拟机管理等,实现IaaS服务的可管可控。业务服务管理平台负责将IaaS的各种资源封装成服务提供平台管理者使用,如业务服务管理、业务流程管理和用户管理等,是实现IaaS服务正常管理的保证。IaaS技术路线如图3所示。
图3 IaaS技术路线
支撑环境通过特有的PaaS层云隔离驱动技术,实现在云环境下统一的应用管理模式和用户体验,提供云应用运维管理能力。平台多种业务统一运维管理能力可以将多个业务系统所需资源在虚拟数据中心资源池中统筹安排,避免出现热点业务资源不足,冷门业务资源又不能释放共享的问题,有效提升资源利用率。云中稳定的应用级负载均衡代理能力,除了能保证GIS服务节点的高可用性之外,也可用于提升业务系统的鲁棒性;PaaS层上统一的应用级监控体系,可以提供诸如应用中间件连接数、数据库访问量、GIS服务状态等反应系统真实负载情况的指标,而且还提供了灵活可扩展的自定义参数监控能力,满足特殊定制性的监控需求。PaaS技术路线如图4所示。
图4 PaaS技术路线
一是内存复用技术实现在物理内存一定的情况下跑更多虚拟机的能力。通过综合运用内存气泡、基于内容的页面共享 、内存交换等内存利用技术对内存进行复用,使虚拟机内存总和大于服务器规格内存总和,提高物理节点中虚拟机密度。二是分布式共享存储技术提高存储可用性和可靠性。由于分区的副本被分散到多个不同的存储节点上,数据修复时,将会在不同的节点上同时启动数据重建,每个节点上只需重建一小部分数据,多个节点并行工作,能够以超快的重建时间进行自修复,1 TB硬盘的重建时间小于30 min。三是自动精简配置技术提供存储超分配能力。只有写入数据的虚拟存储空间才真正分配到物理存储,未写入的虚拟存储空间不占用物理存储资源,这样就可以虚拟出比实际物理存储更大的虚拟存储空间。四是分布式虚拟交换机技术提高网络的可维护性。把所有物理节点虚拟网络统一管理,减少管理任务,意味着更少的错误和更多的运行时间,同时提供可视化的网络管理能力,如网络拓扑、流量信息等。五是应用部署自动化。通过模板自动完成创建虚拟机、安装操作系统 、创建网络、安装应用等一系列过程。
大数据体系由两大技术路线分层级进行支撑,一是容器化分布式计算框架,平台集成了标准的分布式计算框架,在云中可以高效的按需提供大数据计算能力,大数据中心算子实现全容器化,结合业务类型需要,通过云中投递容器的能力,动态生成容器算子,计算完毕后快速释放资源供其他计算模型使用,真正地将分布式计算和云技术结合起来向云计算时代迈进。二是传统Hadoop体系,传统Hadoop体系因为磁盘I/O问题,一般推荐采用物理服务器直接部署。针对这种情况,平台的管理思路是提供统一监控服务,Hadoop物理服务器集群搭建完毕后,通过资源注册的方式将物理服务器纳入GeoStack运维管理体系,实现对各运算节点的实时监控及异常情况告警。
将云中应用的关键性能指标配置到内置的应用监控体系,实现异常情况处理逻辑,统一运维和交付。以最典型的GIS服务为例,GIS服务发布时自动关联到云平台的负载均衡组件和应用监控体系中,当监控到中间件连接数或者其他预设关键指标达到阈值时,云平台会自动调度资源发布若干同类服务节点分担该服务的压力,全过程无须人工干预,在降低人工错误概率的同时及时地保障了用户体验。实现方法如图5所示。
图5 GIS服务弹性管理
时空信息云平台的安全防护主要从以下三个方面保障平台的安全稳定运行:一是运维管理安全设计。采用运维管理堡垒机,接管了运维人员对设备的直接联系,所有操作必须通过运维管理堡垒机,提供唯一的登录途径,统一的身份认证和账号管理,合理的资源授权,从而可以根据用户进行不同策略的制定,细粒度的访问控制,达到最大限度的保护资源的安全,防止非法、越权访问事件的发生;同时记录运维人员的操作,必要时可以对违规行为进行溯源。二是设备和系统的防护设计。 在网络出口, 使用防火墙设备,提供边界访问控制和边界安全防护;通过数据流控制、入侵监测、防病毒、流量控制等功能,保障网络的安全;对于虚拟化服务器, 采用“无代理”方式部署虚拟化安全管理系统,内置应用级的防火墙、防病毒模块,做好虚拟机的安全保护;针对终端,通过采用安装杀毒软件,实时保护终端的系统安全, 避免病毒的攻击; 对于来自互联网线路的攻击重点关注,通过将部署在互联网上的系统的域名,前置到专业的云平台网站安全中心上,实现网络的安全防护,所有针对该系统域名的访问流量统一先经过该产品进行过滤,有效预防黑客发起的SYNFlood、UDPFlood、TCPFlood等DDOS攻击,同时可对用户进行智能选路,针对来源IP选择不同的运营商线路结合高速缓存等技术,对站点访问进行加速。三是通过机制保障系统安全稳定。组建专业化的运维管理团队,配合自动化监控工具,实时监控系统的运行状态;采用等保测评等方式,使系统满足等保的安全要求,定期委托专业公司对时空信息云平台进行安全测评并出具测评报告;通过这些监控和测评,及时发现问题,快速修复系统的漏洞,保障系统的安全稳定。
按应用类型进行分区部署:数据库单独一个网段;大数据中心、分布式服务部署在第二网段内;时空云门户、示范应用、Nginx代理、渲染引擎、分布式计算节点部署在第三网段内。具体部署情况如下:一是数据库用物理机和SAN存储提供服务,使用Oracle 11关系型数据库,3台PC服务器,oracle RAC部署方式。二是分布式架构部署服务节点,实现云平台目前运行的60多个服务的服务伸缩。三是示范应用服务器,平台建设了6个示范应用,分别部署在5台服务器中。四是时空云门户服务器,时空云平台门户网站是对外窗口,包含GeoOnline和资源代理服务器。五是渲染引擎服务器,渲染引擎采用分布式部署,为矢量数据高速渲染提供支撑,代理服务器作为转发节点。六是分布式计算节点服务器,分布式并行计算框架采用Hadoop架构,为海量数据分析提供支撑。
本文从设计先进的云支撑环境IaaS层和PaaS层技术路线、应用云计算和大数据体系关键技术,到实现云中应用统一管理和安全防护等多层次探讨与实践,全面阐述了构建智慧广东时空信息云平台基础支撑环境的解决方案。支撑环境的扎实基础加快了广东智慧城市时空信息云平台建设试点工作,对指导开展时空大数据及时空信息云平台构建,具有重要意义,并为广东自然资源和空间地理基础信息库建设奠定基础。