张宏伟,刘 直,刘 霞
(1.民航东北地区空中交通管理局气象中心,辽宁 沈阳 110000;2.东北大学 信息科学与工程学院,辽宁 沈阳 110819)
民航气象数据库系统总体上是一个星型拓扑结构,是以民航气象中心为中心节点,向下辐射到七个地区中心,再由地区中心为节点向下辐射到分局站及属地化机场。民航地区气象中心的各个地区中心及属地化机场都有各自的数据中心。民航气象中心收集各个地区中心上交的气象资料,处理并存储这些气象资料,并将处理后的资料按照航空气象资料交换办法交互到各个地区中心,地区中心将收到的气象资料入库,并下发到各自分局站和属地化机场。
各个地区数据中心主要由气象数据库系统组成,而气象数据库系统又包括通信分系统、数据库分系统、信息处理子系统、网络子系统、监控子系统、应用子系统、服务子系统、显示子系统、用维护终端、雷达共享服务系统、东北地区自动观测联网系统、亚洲危险天气咨询系统等,每个子系统由若干服务器、工作站以及网络设备组成。
要对这些设备进行高效管理并不是一件容易的事,目前民航气象系统中的民航气象数据库系统从投入运行到现在已有23年,这其中经历了多次升级改造,包括结构上的变化、服务器硬件软件的更新、网络设备的更新以及传输模式的改变等等,新的应用技术也不断融入到这些变化之中。
随着民航气象业务量的不断增长,民航气象数据库系统所承载的功能也不断增加,结构也更为复杂,而系统能否运行的可靠、硬件资源利用率是否高效以及系统是否方便管理等众多方面都面临着亟待解决的问题。
民航气象数据库系统实际上是由分布在不同物理位置的数据中心构成的。这里所说的数据中心是指集中容纳多个服务器以及通信设备,这些设备放置在一起是因为它们具有对环境相同的要求以及物理安全上的需求,并且这样做更易于维护。
通常数据中心还包括不间断电源、空调、完整的监控系统等设备。上述所提到的数据中心是传统意义上的数据中心。民航东北空管局气象中心的数据中心配置不同系列的服务器,每台服务器的操作系统不尽相同,部署了不同的业务软件,由于业务软件的种类繁多,这就造成了软件部署和升级的困难[1],越来越多的业务部署对服务器的性能提出了更高的要求,在传统数据中心管理下只能不断随之升级服务器硬件,增加了业务部署的成本[2],不同项目购置的基础设施导致机房机柜空间分配困难,由于空间和电源供应等问题也为将来系统扩展带来隐患[3];此外,硬件的低运行效率和维护人员不断增加也是客观存在的问题。
这就需要有一种新的IT理念融入到民航气象业务系统的建设之中。而软件定义数据中心能够有效解决传统数据中心面临的问题,它能将计算机资源逻辑抽象化[4],它能够虚拟化、软件化数据中心的一切资源,通过构建虚拟服务器环境,能够防止出现硬件兼容性问题[5]。这也推动了信息系统从传统大型主机向开放架构演变[6-8]。
SDDC就是在各种底层硬件架构上面加载了一个虚拟的基础设施层。软件提供了让数据中心适配新形势和新应用所需的一切,管理了从存储到交换机乃至安全等方方面面。虚拟化一切,底层硬件的任何变化都与上层无关,有了这个基础,可伸缩性和性能问题可迎刃而解,包含有大量遗留资产的数据中心因此可以提高效率,降低成本,实现动态化,有效解决高性能硬件资源空间利用率不高和服务器管理维护成本增加等问题[9]。所以软件定义数据中心就是把数据中心所有的传统物理、硬件的资源进行虚拟化、软件化[10]。SDDC将不再需要IT技术人员来操纵孤立的服务器,网络和存储硬件将响应供应请求。如图1所示,系统管理员可以不用在多个应用维护系统中维护设备,只需要通过一台服务器上的维护软件来管理多台主机上的虚拟机,而虚拟机上可以运行不同的操作和应用系统,甚至可以将管理服务部署到一台虚拟机中,这样会使得管理效率大幅度提高。
图1 新维护模式
软件定义数据中心是云计算的基础,其核心部分是服务器虚拟化、存储虚拟化及网络虚拟化。而服务器虚拟化的应用非常普遍,是将物理服务器的实体资源通过抽象转换后,可以重新组合为逻辑上的一台或多台计算机配置,从而打破物理机构之间的障碍,使得用户获得比原先更好的资源配置。虚拟化是将原来运行在物理计算机中的操作系统或应用软件,采用虚拟化管理工具移植到虚拟机中运行的一种行为[11-12]。虚拟化的目标是协同利用存储、处理器和网络等IT资源,最大限度地降低IT资源的成本。这可以通过合并多个空闲资源,实现创建不同的虚拟机来同时执行不同的任务。虚拟机是一台软件计算机,确切的说,虚拟机是一种严密隔离的软件容器,它可以运行操作系统和应用程序,虚拟机的运行完全类似于一台物理机,使用虚拟机,像使用真正的物理计算机一样,在虚拟机中安装操作系统和各种软件。使用虚拟机可以在一台计算机上同时安装并运行多个不同类型的操作系统,并且每个虚拟机之间是独立并且互不影响的,每个虚拟机的启动与关闭不影响其他虚拟机的运行。
虚拟机有自身的优势,虚拟机与所有标准的X86操作系统、应用程序和设备启动程序完全兼容,这样就可以实现在虚拟机上运行与在X86物理机上运行的相同的软件。虚拟机把虚拟的硬件资源、操作系统及应用软件封装在一个软件容器内,封装使得虚拟机的移动及管理变得异常容易,将虚拟机从一台宿主机移动到另一台宿主机或移到其他存储区域变得非常方便,并且在移动后不需要对设备的驱动程序、操作系统及应用程序进行修改。在同一台物理机上可以同时运行多台虚拟机,这些虚拟机共享物理机的资源,但是这些物理机上的虚拟机是相互隔离的,就像分布在不同位置的物理机一样,如果一台物理机上有三台虚拟机,其中有一台虚拟机损坏并不影响另外两台虚拟机的运行。同理,删除一台虚拟机实际上是删除虚拟机所占用的文件,并不会影响主机系统,所以当虚拟机损坏后如果被删除,是不会影响其他虚拟机工作的。隔离性是虚拟机之间的安全保障基础,一台虚拟机被病毒感染后,是不会传染到其他虚拟机的,而病毒通过网络的传播则并不是虚拟机自身的问题。虚拟机独立于底层物理硬件,可以为虚拟机配置与底层硬件完全不同的虚拟硬件。这些优势应用在气象数据库系统中是完全适合的,航空气象产品的制作需要很多不同的应用软件,目前这些软件分别运行在不同的物理终端上,再加上气象雷达终端、本场自动观测终端,已经出现了预报员工作台空间拥挤的问题,在这种情形下,如果在一台高配置的X86物理机上建立多台虚拟机,然后把不同的应用程序安装在不同的虚拟机中,预报员再通过桌面虚拟化系统访问不同的虚拟机,这样将会节省很大的物理空间。在使用虚拟化之前,每台物理服务器的配置均较低,在使用安全性和日常维护中,维护人员往往对单台服务器的关注度并不会很高,那么这种情况会导致单台工作站出现问题的概率增大,而采用虚拟化后,管理维护人员会对每台运行虚拟机的服务器检查到位,这样物理服务器出问题的概率要比虚拟化之前低很多。在对数据中心的核心服务器进行虚拟化的时候,不是简单的在一台服务器上建立多台虚拟机,往往还要考虑系统的可靠性,通常在虚拟化时采用共享存储,将虚拟机保存在共享存储中,这样当某台主机损坏时,虚拟机可以从一台主机自动迁移到另一台主机上,从而能够保证业务工作顺畅不间断地运行。在一个数据中心中存在多个厂家的网络设备是很常见的现象,这些网络设备之间的差异会增加企业维护成本,而通过在商用服务器上部署管理网络功能,则可以将网络拓扑结构管理统一化,网络可靠化。由此可见,服务器虚拟化是广泛应用于IT企业的一种技术创新[13]。
在对数据中心虚拟化时通常采用两种方案,一种是建立全新的虚拟化数据中心;另一种则是利用现有的基础设施,在现有硬件基础上新增部分设备,将原有的硬件设施进行升级改造。在升级改造过程中一般应遵从就低原则,对原有设备逐渐分批地进行虚拟化,然后将它们组成一个新的数据中心。在数据中心进行虚拟化的过程中,先虚拟化重要性低的物理机,将这些物理机上的应用迁移到虚拟机上运行一段时间,观察是否会对日常业务处理功能有影响,并相应地做一些故障模拟,对出现的问题进行试验测试,待日常业务处理功能一切正常后,再虚拟化其他物理主机。一般对于不适合虚拟化的应用仍然选择在原来的物理主机上运行。
亚洲危险天气系统是民航气象数据库系统的一个重要组成部分,亚洲危险天气咨询系统是由中国民用航空局、中国气象局和香港文台联合建设。该系统能够收集所管辖区域的各种气象信息,实现针对危险天气的识别和告警、引入多种资料的综合预报系统并融入国内外数十种预报产品,实现针对各种危险天气的短时预报,并按一定的格式制定亚洲危险天气咨询产品。目前,民航气象系统中的位于地区中心中的亚洲危险天气咨询系统所采用的运行模式如图2所示,每台服务器单独运行一个应用来完成相应的业务。
图2 亚洲危险天气咨询系统结构
对数据接收服务器、产品处理服务器以及WEB服务器使用率的情况进行检查的结果依次如图3所示。从显示结果可以看出,每台服务器的硬件利用效率并不高,CPU大部分时间处于闲置状态,每台服务器都是32G内存,每台服务器仅有不到3G的使用率。在这种情况下就非常有必要对亚洲危险天气咨询系统进行升级改造,来提高服务器的硬件使用效率。
图3 虚拟化前服务器的硬件资源使用情况
Vmware vsphere是VMware公司开发的虚拟化平台,是VMware软件定义数据中心的基础,可作为SDDC的核心基础架构。Vmware vsphere也是业界领先的虚拟化平台,可以通过虚拟化的横向扩展和纵向扩展应用,重新定义可用性以及简化虚拟数据中心,最终实现恢复能力强的、高可用的按需基础架构。同时,Vmware vsphere可以降低数据中心成本,增加系统和应用正常在线时间,显著简化IT运行数据中心的方式。使用Vmware vsphere将一台计算机虚拟为多台逻辑计算机,也就是说计算机不再是单独运行的个体,从逻辑上可以并行多个计算机,并且不同计算机之间不受操作系统的约束,软件程序可以选择不同的空间运行,互不干涉,大大扩展了计算机的实际操作空间,改进了管理效果[14]。在虚拟化项目中,如果资金允许的话,采用共享存储是必然的选择,通常采用的存储设备不是服务器本地硬盘。只有配置共享存储设备,且虚拟机存储资源保存在共享存储时,才能实现将正在运行的虚拟机在不中断服务的情况下,从一台主机迁移到另一台主机或将虚拟机的存储进行迁移;当集群中的主机或虚拟机发生故障时,可以自动转移到其他的主机上进行重新启动,从而最大限度地保证重要的服务业务不被中断,如图4所示。
图4 具有共享存储的结构
在本改造项目中,为了节省硬件资源,在正在使用的亚洲危险天气咨询系统改造项目中使用的是两台物理服务器承担在线系统的三台服务器的功能,如图5所示。由于亚洲危险天气咨询系统在设计时还有其他功能模块,那么在后期改造中如果根据业务工作需求还需要部署其他服务器,则可以直接在ESXI主机上创建所需要的虚拟机,这样可以省去采购服务器的环节,能够节省大量的时间,使得新的业务功能得以快速上线。
图5 热备系统的硬件结构
Vcenter是一台管理服务器,使用的是一台较低配置的PC,当然为了节省成本,也可以将Vcenter的功能用ESXI主机上的虚拟机来实现。在Vcenter服务器上安装了VCSA服务,充当连接到网络的ESXI主机的中心管理员,可以将多个主机的资源加入池中并管理这些资源。vsphere client和vsphere web client都是管理终端,管理员通过管理终端登录到EXSI主机,继而管理ESXI主机资源的分配、虚拟机的建立、安装、配置、迁移、拷贝、编辑等功能。
虚拟机部署完成后,三台虚拟机的资源使用情况如图6所示。
图6 虚拟化后服务器的硬件资源使用情况
由图6可见,在三台虚拟机中,分配给每台虚拟机4G的内存,每台虚拟机1个虚拟CPU,由于磁盘的容量足够大,所以不做讨论。可以看出,用两台配置相同的服务器运行在三台服务器上的应用与三个应用分别在三台服务器上运行是没有问题的,对于航空用户来说,将原来三个位于三台独立服务器上的应用迁移到一个主机同时运行,可以达到充分发挥硬件性能的目的。这说明在硬件资源充足的情况下,只要合理分配,是可以承担更多应用,以达到充分使用硬件资源,节约能耗的目的。此外,本项目中的两台主机也不是孤立的,通过管理端,可以控制两台主机上的虚拟机的运行。比如,在正常情况下,是由ESXI主机0承担主用功能,如果此时发现WEB故障,就可以启动ESXI主机1事先克隆好的WEB,替代故障的WEB继续对外提供服务,此时是由ESXI主机0上的数据接收服务器、产品处理服务器及ESXI主机1上的WEB服务器形成一个系统对外提供服务;如果ESXI主机0的虚拟机数据接收服务器发生故障,可以启动ESXI主机1上对应的虚拟机,这时ESXI主机0上的虚拟机产品处理服务器与WEB服务器和ESXI主机1上虚拟机数据接收服务器组成一个系统对外提供服务;如果ESXI主机的虚拟机产品处理服务器发生故障,则启动ESXI主机1上对应的虚拟机,此时ESXI主机0上的虚拟机WEB服务器与数据接收服务器和ESXI主机1上的虚拟机产品处理服务器组成一个系统对外提供服务;同理,ESXI主机0上的任意两台虚拟机发生故障,同样可以启动ESXI主机1上对应的两台虚拟机和ESXI主机0的上剩余的一台虚拟机进行组合对外提供服务,以便给管理员留出更充足的时间恢复故障。当ESXI主机0故障,也可以用ESXI主机1取代。实际上这种体系结构可以完全替代目前的体系结构,运行更加可靠,维护更加方便。此外,虽然没有在本热备项目中采用共享存储,但是,通过测试,ESXI主机0上虚拟机,数据接收服务器、产品处理服务器、WEB服务器可以在正在运行的状态迁移到ESXI主机1上;同样,ESXI主机1上的虚拟机,数据接收服务器、产品处理服务器、WEB服务器可以在正在运行的状态迁移到ESXI主机0上,这样当需要对ESXI主机0或ESXI主机1进行日常硬件维护或软件升级时,对航空气象用户的业务可以持续进行,而不被中断。运用Vmware vsphere虚拟化技术对东北地区亚洲危险天气咨询系统进行改造,提高了数据中心的运行效率,提高了系统的稳定性和管理便捷性。这个项目的改造只是SDDC理念引入的一个实例,今后在以X86架构为主的旧系统的改造和新系统的构建方面这种构建理念的积极意义会体现得更加明显。
本项目待完善的部分是无共享存储。由于预算的问题,本项目改造中并没有采用共享存储,由于未用到共享存储,虚拟化平台的某些高级特性是无法实现的,如HA和DRS是无法使用的,也就是某台虚拟机故障后,无法实现自动切换,而如果采用共享存储,当集群中的ESXI主机和虚拟机发生故障时,虚拟机可以在其他ESXI主机上自动启动,无需人工干预。DRS的功能是自动将资源更加合理地分配给虚拟机,Vcenter服务器会计算各个ESXI主机的硬件资源使用情况,然后将正在运行的虚拟机自动迁移到硬件资源空闲多的ESXI主机上运行,此时并不影响被迁移虚拟机的业务运行。
此外,在目前东北地区的气象中心机房之外还有独立的实验室,将桌面虚拟化技术用于日常机房工作,有利于改善实验室管理环境,可借助虚拟化储存运行试验操作系统,延长计算机的使用寿命[15]。
VMware vSphere支持的共享存储包括FC SAN、iSCSI存储、NFS存储。FC SAN需要FC HBA卡,光纤交换机,FC存储支持,成本较高。和光纤存储相比,iSCSI是相对较便宜的解决方案,但存在存储服务器CPU占用率较高,传输速度较慢的问题。网络文件系统是中小企业使用最多的网络文件系统,部署简单,成本低,能够满足本项目的实效要求,可以作为首选考虑。
随着信息资源越来越向云端集中,桌面虚拟化技术在民航气象数据库系统中应用的可能性也会越来越高。桌面虚拟化的基础是服务器虚拟化,在数据中心的服务器上进行服务器虚拟化,生成大量的独立的桌面操作系统(虚拟机或者虚拟桌面),同时根据专有的虚拟桌面协议发送给终端设备。桌面虚拟化是一种将PC桌面环境与客户的物理终端分离的技术,可以通过设备在任何时间、任何地点访问在网络上的属于个人的桌面系统。未来各个地区地区中心、地区分区站、属地化机场的民航气象数据库体系结构部署将更加简单,预报员在做气象产品的时候,所使用的原始资料将不再取自本地的数据库,而是直接来自云端,也就是民航气象中心,地区地区中心、地区分区站、属地化机场的预报员所使用的终端通过网络连接到云端的虚拟桌面,或者是虚拟机上的某一个应用,所有的服务都集中在云端。系统管理员统一管理后台数据中心资源,并统一进行调度管理,将资源的利用率最大化,用户端无须软件维护,虚拟桌面维护工作可在后台统一进行,所有应用的部署,数据的计算都在云端进行,利用虚拟化技术所提供的高可用性部署服务端的服务,当用户端正在访问的某台虚拟桌面宕机,会有相同功能的虚拟桌面继续为用户提供服务,可以业务运行不中断,同时,由于在客户端并不需要部署应用程序,通常用瘦客户端作为预报员使用的终端,而瘦客户端的成本不到普通PC机的一半,功耗只有普通PC的1/8,因此,可实现节省成本、节能减排。
软件定义数据中心的核心思想是对硬件资源的虚拟化,主要包括服务器虚拟化、网络虚拟化、存储虚拟化,可以简化系统管理员对服务器、网络设备、存储设备的管理,可以创建符合业务需求的虚拟机,这些虚拟机可以像真正的物理机一样使用,对虚拟机的虚拟硬件配置非常灵活。此外,随着虚拟化技术的不断发展,网络部署的结构也发生了重大变化,传统数据中心的网络设计不太适合虚拟化数据中心的应用需求,网络虚拟化开始逐渐进入虚拟化数据中心,为虚拟化数据中心提供网络方面的控制策略,降低了企业部署、更新和维护网络设备所需的大量成本。SDDC提供了前所未有的自动化、灵活性和高效性,并转交IT交付的方式。汇集计算、存储、网络等可用性服务,并交付软件,通过智能化的策略驱动的软件进行管理。SDDC在民航气象数据库中的应用将会是一次颠覆性的改变,在绿色、环保、安全可靠、效率提升等方面都会发挥重要作用。