王永生,时 伟
(1.海军指挥所,北京 100841;2.江苏自动化研究所,江苏 连云港 222061)
随着军队信息化进程推进,各军兵种的业务部门都发展了各自的信息系统,并由系统数据库积累了大量数据资源,以支持本部门内业务系统的日常工作运转,但是在执行各项军事任务时,首长、指挥员需要站在各部门之上,以全局的视角进行指挥、决策。因此,对于数据保障而言,迫切需要整合各部门的数据资源,统一后提供首长、指挥员使用。因此,在指挥中心内需要构建军用数据中心,面向待整合的数据资源提供数据交换与共享机制,统一进行汇集、整理、处理后形成全局信息,用于保障首长、指挥员作战指挥与决策支持使用。
目前,军用数据建设主要采用传统的数据中心建设模式,各部门按照统一的军用标准规范分散建设,通过集成共享的方式实施跨部门的数据交换,确保指挥中心能够获取到各部门的数据资源。但是,这种烟囱式的建设方式,导致指挥中心内基础设施按峰值规模建设,资源平均利用率低;缺乏弹性的系统设计,应对业务突发情况很差;建设周期长,无法快速提供与部署;业务需求增长迅速,设备更新快等[1]。此外,由于各部门数据之间的互操作性不够强,数据未能充分利用,造成实际运用中数据资源获取不够全面、查询效率不高并且展示方式不够直观,直接影响首长和指挥员作战指挥的效果。
本文针对这些问题,研究新的数据服务架构,改造军用数据中心,并针对各军兵种内业务部门数据存储、应用等特点,有效地整合异构、分散的各部门数据资源,形成统一的数据视图,同时提炼对首长决策有价值的决策支持信息,适应快速多变的任务需求,从而实现数据汇集、存储、分析与挖掘、共享与交换以及服务等全生命周期管控,为首长、指挥员提供统一、透明、高效的信息服务。
军用数据中心的核心任务就是打造统一的全局数据平台,制定相关标准完成数据资源的整合、优化数据存储架构、支持海量数据集中存储、应用数据分析与挖掘过程提炼决策支持信息、强化数据运行维护与安全保密手段,确保提供管理便捷、安全可靠的数据服务,完善人机交互方式,体现面向用户的个性化服务,适应灵活的多样化军事任务对任务数据服务保障的需要,有效地解决数据异构分散、服务器资源冗余、数据服务时效性不足等问题。具体能力需求包括以下四个方面。
1)支持数据资源整合与充分利用:通过完善现有的数据标准规范,收集、整合来自各个业务部门的数据资源,支持规范化处理、转换,有序组织、统一存储到数据中心。
2)支持跨部门的数据资源灵活交换:根据各部门信息系统的数据使用需求,支持数据组织、整理、按需转换与分发,实现数据灵活共享与交换。
3)保障首长决策支持信息的准确获取:根据首长决策关注内容,一方面支持从积累的数据资源进行分析,提炼决策支持信息,另一方面,具备对关注内容进行标记,能够从数据中心海量的数据资源中自动搜索、主动推荐,快速、准确获取首长决策支持所需信息。
4)提供面向用户数据服务:根据用户重点关注内容,能够提供灵活的人机界面、布局以及信息定制功能,同时具备自动组织数据内容、主动推荐信息以及多样化搜索辅助支持能力,为各类用户提供个性化数据服务。
军用数据中心是要将指挥中心内分散数据资源集中存储管理,建立数据交换与共享平台以及数据服务平台,进行有效整合与信息提炼,面向用户透明地提供管理以及决策支持服务。在技术架构上,采用面向服务的技术架构,构建应用及数据集成框架,服务化支撑数据汇集、存储、交换、综合分析与管理等数据应用,有效地整合异构、分散存储的数据资源,实现数据资源全生命周期管控和首长决策支持,提升数据服务质量,同时通过建立数据交换机制,对外纵向上与上、下级部门进行数据共享与交换,横向上实现与指挥中心内各业务部门数据库数据的共享与交换,满足快速多变的军事任务需要。其体系结构如图1所示。
图1 军用数据中心体系结构
1)信息传输层,主要依托现有网络,提供中心各类数据访问、传输以及与外部系统的数据交换等通信、传输支持。根据不同的应用条件,以军事综合信息网、远程卫星网络以及无线网络作为互补的传输通道[2]。
2)基础环境层,提供数据中心的服务器、存储设备、工作台等硬件环境支持以及操作系统、数据库管理系统等软件环境支持,利用虚拟化技术兼顾未来数据中心处理、计算与存储容量扩展升级,提高物理设备的利用率,有效降低数据中心维护成本,降低能耗以及保证数据中心服务的可靠性、连续性[3]。
3)数据资源层,主要是包含各业务部门数据库中的各类数据资源,数据类型涵盖了数据库表以及图片、文档、视频等。
4)集成框架层,是数据中心建设的核心部分,负责充分利用基础设施提供的计算与存储资源基础上,为上层应用提供功能应用服务集成、数据集成和运行控制等支持。数据集成的核心任务是要将互相关联的异构、分散数据资源集成到一起,维护数据资源的一致性,解决数据的互通问题,使用户能够以透明的方式访问这些数据资源,即用户无需关心如何实现对异构数据资源的访问,只关心以何种方式访问数据[4]。
5)数据交换层,是数据中心与上下级以及本级的其它部门信息系统数据交换与共享的平台,支持异构、分散的数据资源跨部门的集成、共享与交换。
6)信息应用层,是在集成框架提供各类应用与数据集成的基础上,面向用户使用需求,提供首长决策支持、数据管控和数据服务支持。
7)根据数据整合以及服务需要,完善数据资源相关标准规范,加强数据中心安全保密建设,同时提供统一、便捷的系统基础设施以及应用软件的日常运维管理支持。
根据军用数据中心的层次划分,可以将数据中心划分为五个部分,主要包括:由基础支撑的分系统、数据服务分系统、应用服务分系统、运维管理分系统以及安全保密分系统,各组成分系统之间存在依次向上的支撑关系,如图2所示。依托基础支撑分系统优化、组合基础设施资源,由运维管理分系统与安全保密分系统提供数据中心统一管理与安全保护,利用数据服务分系统整合现有的数据资源并且提供应用服务分系统以及外部系统包括数据交换、数据组织和数据集成等通用的数据服务,并在此基础上针对各类专业业务应用特点构建应用服务分系统,满足不同用户的数据使用需求,为指挥中心提供透明、高效的数据应用服务以及决策支持信息,同时具备与上级、下级部门数据共享与交换能力。
1)基础支撑分系统:主要负责优化组合基础设施资源,为上层应用提供平台服务。主要包括两个方面工作:一是依托指挥中心网络设备、存储设备以及高性能计算设备,根据应用服务需求,通过虚拟化技术整合网络、存储以及高性能计算设备,并且按照安全保密要求合理划分独立的逻辑网段、存储区以及计算资源区,组合并形成独立的各部门基础设施资源,支持各部门数据资源的部署与海量存储,同时具备可扩展、易升级能力;二是构建包括传输服务与支撑服务在内的平台服务,透明地为上层应用传输与服务,确保数据服务的质量。
2)数据服务分系统:主要负责根据数据使用与共享需求,规范化组织、管理数据中心内各类数据资源,并提供数据统计、分析、挖掘等数据加工手段,提炼满足首长决策的支持信息,同时提供数据资源以及其交换控制手段,确保能够与外部系统进行灵活的数据交换以及支撑应用数据分系统按需的数据获取,实现数据资源跨部门、跨平台的无缝集成,从而使数据资源形成统一整体。
3)应用服务分系统:主要是面向不同类型用户的数据使用特点,支持各类应用的服务化封装与应用服务的“即插即用”,实现数据中心应用统一协作、透明服务,满足跨部门的数据共享与协作服务的需求。
4)运维管理分系统:主要是提供数据中心管理人员集部署管理、安全管理、系统监控、故障管理、配置管理等功能于一体的运行、维护与管理支持。
5)安全保密分系统:主要是按照军用信息系统与数据库安全保密要求,并结合军用数据使用特点,使用访问控制、身份管理、防火墙和防病毒等多层次软硬件技术手段[5],同时军用的密码保密系统,提供数据中心数据存储与链路传输加解密服务,实现各个分系统的安全防护。
1)有效支撑军用数据资源全局掌控,通过资源虚拟化以及应用服务集成,辅助用户透明地掌控各部门分散的数据资源,统一对外提供数据服务,消除冗余建设,提高数据资源利用率,适应灵活多变的军事任务需求,提升数据服务响应能力。
2)提升了数据服务的灵活性,通过数据服务化的方式提供各级各类用户数据运用支持,简化了用户操作终端的要求,只需用户终端接入网络,并通过数据中心的安全认证,即可根据其用户级别享受其权限范围内的数据服务,及时、快速获取所需信息。
3)强化了大规模数据的决策支持能力,充分利用大规模的数据资源,根据任务需求从中分析、挖掘、提炼,将大规模的数据转化成满足用户所需的决策支持信息,实现“数据到指挥决策”的目标。
由于军用数据中心构建涉及到跨部门、跨平台等数据整合,因此,在构建之初,首先采用针对性的解决方法解决几个关键问题,包括异构数据有效整合、统一基础设施简化运维管理、提炼决策支持信息、数据异地保护以及海量数据高效利用等。
针对指挥中心内各部门数据资源种类、格式多样,难以综合利用等问题,需要有针对性地采用不同的方法进行异构数据整合,如图3所示。本文采用以下手段进行整合。
1)对于符合规范的数据,采用基于ODBC数据源的迁移方法,支持跨平台、跨数据库的移植,纳入数据中心统一使用。
2)使用元数据对异构数据进行抽象和概括,将有利于数据资源的整合与传播[6]。因此,可以根据相关军用标准构建规范的元数据并统一建模,对分散、异构的数据进行抽取、转换,形成统一的数据格式集中存储使用。
图2 军用数据中心架构组成
图3 异构数据整合技术示意图
3)对于数据库建设时间远、难以集成使用,采用将数据库迁入,集中保存数据,同时通过数据同步的方法保持该部分数据持续更新。
由于指挥中心内各信息系统自行建设,导致设备重复采购及设备上的计算资源利用率不高;数据分散存储在不同系统的存储设备中,数据共享难且数据维护压力大;设备采购年代不同导致设备型号不一、运行维护难。针对以上诸多问题,可以采用虚拟化技术,利用服务器、存储以及网络方面的虚拟化技术,整合指挥中心内计算、存储与网络等基础设施资源,形成共享的虚拟资源[7,8],以便根据应用服务保障需求动态分配独立的应用软件计算资源、数据存储资源以及网络占用资源,同时在数据中心统一进行维护保障,减少维护人员数量,如图4所示。
图4 应用与数据服务资源虚拟化技术示意图
指挥中心整合、积累数据就是从海量的数据资源中提炼首长、指挥员需要的决策支持信息,在数据有序组织的基础上运用合理的数据分析、统计以及挖掘等方法,快速提炼所需信息。一般可以从两个方面进行处理,如图5所示。在数据组织上,采用面向用户使用需求的数据主题形式进行指挥中心内数据多维度组织、标记、展示,将军用数据库划分成多维数据集;在数据分析挖掘方面,采用模型动态调用技术,灵活运用最优、最科学的数据分析与挖掘算法,根据用户重点关注内容,从指挥中心内海量数据资源中发掘、跟踪有价值的信息,提供首长、指挥员决策支持。
图5 基于模型动态调用的多维分析技术示意图
指挥中心内数据存储与运用平台包括SPARC架构和X86架构,需要统一提供各平台上存储数据的可靠保护,因此,在数据容灾保护方面需要支持跨平台,同时考虑保障数据单点失效问题以及支持远程容灾保护。针对此问题,可以采用图6中的解决方案,在数据中心中增加一台容灾保护网关,该网关采用基于磁盘数据块扫描与数据提取方式,实时监控各类服务器中磁盘上数据块的变化情况,即建立磁盘快照,将快照中扫描到的变化数据块提取出来,同时进行数据块加密、压缩后,通过与异地灾备中心的网关之间的可靠传输机制,实现数据中心中数据高效异地备份。由于该技术仅与服务器存储设备的磁盘进行交互,实时监测、提取数据,因此,可以很好地解决数据存储平台的跨平台问题,同时快照扫描的方式将大大提升备份的效率,并且通过第三方网关形式能够进行实时备份,并且不影响原有服务器的正常服务性能。
随着指挥中心内各部门信息系统长期使用,积累的数据不断增加,而数据海量将会导致数据存储与访问效率大大降低、数据管理复杂等问题。针对此问题,需要从数据组织架构、存储与访问策略方面进行改进与优化,一方面在数据存储之上增加数据使用调度计算功能解析、定位、获取数据访问需求,从数据存储设备中快速获取、组合所需数据,另一方面,采用数据分片技术,将数据资源分布在多个存储设备上,并根据数据特点有针对性地动态创建索引,并应用内存数据库技术缓存经常使用的热点数据,提高海量数据的访问效率。
图6 跨平台数据远程容灾保护技术示意图
本文针对指挥中心内数据全局掌控以及决策支持需求,提出了军用数据中心的技术架构与组成,并且阐述了构建过程的关键技术。该数据中心的构建,能够充分整合利用指挥中心各部门的数据资源,为首长、指挥员以及其它使用人员提供统一的数据服务平台,解决现有数据资源分散存储、利用率不足以及决策支持信息缺乏等问题,提升信息服务水平,对于将来军用数据工程建设具有重要的参考价值。
[1]项力,吴学智,王斌.基于云计算的下一代数据中心设计[J].通信技术,2012,45(6):107-112.
[2]余侃.云计算时代的数据中心建设与发展[J].信息通信,2011,116(6):100-102.
[3]郑重,黄天纳,等.建设军队数字化卫勤数据中心的构想[J].人民军医,2011,54(10):931-932.
[4]陈跃国,王京春.数据集成综述[J].计算机科学,2004,31(5):48-51.
[5]樊小玲.军队区域卫生信息综合利用平台构建与思考[J].华北国防医药,2010,22(3):267-270.
[6]张宇,蒋东兴,刘启新.基于元数据的易购数据集整合方案[J].清华大学学报(自然科学版),2009,49(7):1022-1025.
[7]Rajkumar Buyya,Chee Shin Yeo,Srikumar Venugopal.“Market-Oriented Cloud Computing:Vision,Hype,and Reality for Delivering IT ServicesASComputing Utilities,”hpcc,pp.5-13,2008 10th IEEE International Conference on High Performance Computing and Communications,2008.
[8]Sotomayor,B.,Montero,R.S.,Llorente,I.M.,Foster,I.Capacity leasing in cloud systems using the opennebula engine[M].Workshop on Cloud Computing and its Applications,2008.