网络化分布式军事信息云架构解决方案的设计与实现

2017-11-01 17:14杨晨凯陆泽健
计算机应用与软件 2017年10期
关键词:数据仓库分布式信息系统

潘 越 杨晨凯 陆泽健 黄 胜 陈 龙

(中国电子科学研究院 北京 100041)

网络化分布式军事信息云架构解决方案的设计与实现

潘 越 杨晨凯 陆泽健 黄 胜 陈 龙

(中国电子科学研究院 北京 100041)

针对传统军事信息系统“烟囱”现象严重,大规模数据处理能力出现瓶颈,信息按需服务能力不足的问题,提出基于云计算和大数据技术的网络化分布式军事信息云架构解决方案。首先设计了军事信息云体系架构和软件架构,基于云计算理念将战场资源进行多域虚拟和高效整合,形成一体化资源协同军事信息云,用户通过端系统向军事信息云获取服务。其次设计军事信息云关键组成架构,包括分布式敏捷数据集成共享架构、基于大数据技术的数据仓库架构和基于实时流计算引擎的信息服务架构。基于提出的网络化分布式军事信息云架构,能够提升军事信息系统互联互通互操作、海量数据分析挖掘和信息按需精准服务能力,促进部队一体化联合作战能力形成。

网络中心战 敏捷集成 数据仓库 信息服务

0 引 言

新世纪以来,美军为应对信息化发展带来的机遇和挑战,不断推进新军事变革,争夺信息优势和决策优势。2000年5月,美军参谋长联席会议颁发了《2020年联合构想》,该构想以联合作战为中心,规定了美军未来15~20年发展的战略目标,指出联合部队获取全面优势的因素,以及为赢得未来战争胜利联合部队应具备的能力等,强调“利用信息优势,提高侦察、监视和预警能力”[1]。2009年9月,美国空军参谋长诺顿·施瓦茨上将和美国海军作战部长加里·拉夫黑德上将签署了一份备忘录,要通过空军、海军的共同努力开发出一种新的作战概念,即现在所谓的“空海一体战”。2012年,美国四大军种的副参谋长签署了一份谅解备忘录,该备忘录确立了在建设联合部队过程中实施“空海一体战”概念的框架[2]。在“空海一体战”概念中,根据任务进行编组的部队实时紧密地协调网络化活动,以在所有域中展开协调一致的行动,而不拘泥于特定军种的作战程序、战术或武器系统,强调对部队及其活动进行配置,以使部队能够作为一个整体在所有作战域实施一体化作战[3]。由此可见,美军在未来战争中更加强调网络化、联合、协同作战。

为应对军事技术变革带来的挑战,本文将对外军信息系统发展情况进行阐述。分析网络中心战条件下军事信息系统能力需求,提出一种基于大数据、云计算、数据仓库等技术的分布式网络化军事信息云架构设计方法,以提升信息共享、数据分析挖掘和信息按需服务能力,满足未来网络中心战条件下一体化作战需求。

1 外军信息系统发展

1.1 平台中心战信息系统

海湾战争以前(1991年以前),美军信息系统建设主要依托于各军兵种独立建设,从指挥控制系统(C2),到后来的指挥控制通信系统(C3),再到指挥控制通信情报系统(C3I),重点建设了全球军事指挥控制系统(WWMCCS)等信息系统,主要用于全球范围内履行大规模常规作战和核作战任务[4]。到20世纪90年代初,美军已建成功能要素相对完备的战区级C3I系统,并在海湾战争中发挥了巨大作用,引发世界各主要军事强国对信息系统的普遍重视。美军在该阶段研制的信息系统实现了指控、通信、情报功能的有机结合,基本解决了军兵种独立作战指挥的问题。但由于缺乏统一的顶层设计,客观上形成了一批“烟囱”系统。

1.2 一体化作战信息系统

海湾战争以后(1992年至2003年),美军针对海湾战争暴露出的各军兵种信息不能互连互通、联合作战能力差、信息系统“烟囱”林立问题开展了C4ISR体系设计和建设,旨在将各军兵种信息系统综合集成为一体化的系统,并启动了公共操作环境(COE)、共享数据环境(SHADE)等一批信息基础设施建设。重点建设了全球指挥控制系统(GCCS)等信息系统,用于替代WWMCCS,实现跨军兵种、跨战区一体化联合作战[4]。2003年,美军在全球625个基地完成GCCS部署。该阶段建设的信息系统促进了各军兵种“烟囱”系统的整合,系统一体化水平明显提升。但由于信息系统之间缺乏通用数据结构支撑,系统间互操作性差,各军兵种间无缝数据交换、按需服务、高效协作能力不够。

1.3 网络中心战信息系统

网络中心战时代(2004年至今),为进一步提升联合作战能力,加快向“网络中心”转型,美军启动了NCW系统建设。2004年确定的核心建设领域包括快速反应和可靠的网络资源与服务、无缝安全可靠的连通性和互操作性、分布式协同支持等。海军提出部队网(ForceNet)建设构想,发展协同作战能力(CEC),空军提出星座网(Constellation Net)建设构想,发展网络中心协同瞄准能力(NCCT)。陆军提出陆战网(Land War Net)建设构想,发展未来战斗系统(FCS)。重点开展网络使能指挥能力(NECC)系统等信息系统建设,NECC即联合指挥控制系统(JC2),基于统一的结构、以网络为中心,支持作战人员高效、准确、及时指挥部队联合作战,实现一体化、持续、跨越多层次的指挥控制能力[4]。美军在新世纪实施的一系列构想设计和系统建设,为C4ISR系统向“网络中心”转型奠定了基础。

2 系统能力需求

网络中心战条件下,需依托强大的网络信息系统,将分布在广域空间内的各种传感器、指控系统和武器平台连接成统一高效的大系统,将信息优势转变为作战行动优势,信息系统需具备以下能力。

2.1 互联互通互操作能力

消除“烟囱”系统、冗余和非互通的系统,避免“信息孤岛”现象。统一架构和技术体制,高效协同装备和系统,使得传感器节点、指挥控制节点、武器节点相互之间以及上下纵横层次之间互联互通互操作,为信息、知识共享创造条件。

2.2 海量数据分析挖掘能力

在网络中心战条件下,各类装备和系统产生的数据呈指数级增长,逐渐表现出大数据特征,同时数据作为战略资源成为新的争夺点,必须对海量数据进行快速处理,从不完全、有噪声、模糊的数据中挖掘提取有潜在军事应用价值的信息和知识。

2.3 信息按需精准服务能力

平台中心战条件下,系统将处理后的信息发送给所有用户,用户需对信息进一步处理以开展下一步行动。然而不同的用户所需的信息以及接收信息的条件是不同的,网络中心战条件下,实现基于网络的精准交战必须结合用户实际需求,将所需的信息在适当的时间与地点发送。

3 总体架构设计

3.1 体系架构

网络化分布式军事信息云基于“云计算”理念,采用云技术实现战场资源的高效整合。将地域、空域、时间域分散的传感器、指控系统和武器系统进行协同组网。从体系层面实现陆、海、空、天各作战域的战场资源进行融合,汇聚成“云”,完成战场数据网状交互,具备全域性、分布式、网络化特点。

网络化分布式军事信息云以“云”为核心,特征是多域虚拟存在和资源高度融合,具备全域性、分布式和互联互通互操作性。网络化分布式军事信息云从组织层级上主要包括区域信息系统和总部信息系统,区域信息系统对所负责区域的传感器进行统一管控。并对获取的信息进行处理,为区域武器用户和指挥用户提供可定制的信息服务。总部信息系统对全局传感器资源进行协同,处理生成全局唯一的态势信息,并对跨区域联合军事行动提供信息服务。网络化分布式军事信息云体系架构如图1所示。

图1 军事信息云体系架构

3.2 软件架构

网络化分布式军事信息云软件架构主要包括基础设施层、平台服务层、数据服务层、软件服务层四层。

基础设施层(IaaS)通过资源虚拟化技术,对计算、存储、网络等异构资源进行统一管理,形成计算资源池、存储资源池和网络资源池,并进行全生命周期资源分配和调度。

平台服务层(PaaS)为软件和服务的开发部署提供支撑平台,为分布式数据集成共享提供基础服务框架,主要包括服务支撑环境、基础支撑环境、分布式数据集成共享框架、运行监控等。

数据服务层(DaaS)对分布在各节点的结构化、半结构化和非结构化数据集中统一进行数据聚合、数据同步、数据清洗等,支持构建基于大数据的数据仓库,支持开展数据挖掘、联机分析处理等业务。

软件服务层(SaaS)基于统一规范的接口,为各类用户提供灵活定制、即时部署、快速集成的应用软件服务,支持各类用户能够随时随地开展作战决策、战术行动、武器打击等业务应用。

“云”将地理分散的各类资源相互连接形成网络化战场资源池,每个作战节点基于“端”系统,既向“云”提供信息,又从“云”获取信息服务,同时可根据作战任务需求,动态调配资源。整个“云”作战体系具备自我修复功能。即使单装备或局部系统发生损毁,也不会造成整个作战体系丧失战斗力。通过在“云”上完成资源调配、信息融合、目标指示、火力控制、打击评估等流程,缩短OODA(observation,orientation,decision,action)链路时间,实现目标早期发现、远程截获、先敌摧毁。

4 关键组成架构设计

4.1 分布式敏捷数据集成共享架构

数据集成共享架构为敏捷的、模块化的集成架构,主要功能为数据集成共享,用户能够很方便地从异构数据源增加、查询和转换信息,数据集成共享架构的核心为分布式数据集成共享框架。分布式数据集成共享框架为通用数据层软件,从底层的数据结构中抽象出服务和业务逻辑,为系统提供新数据源的快速整合能力。基于该框架,用户可以快速地对异构本地及远程系统数据文件进行操作,而无需关心软件的底层实现。分布式敏捷数据集成共享架构如图2所示。

图2 分布式敏捷数据集成共享架构

分布式数据集成共享框架基于交互式平台,是一个带有高级编程接口的弹性集成框架,在维持互操作性基础上使可定制的数据交换变得更容易。高级编程接口提供一个已定义的、可扩展接口来支持快速高效集成多样化的数据系统或应用系统。分布式数据框架具有配置便捷、应用整合能力强的特点,具备快速的数据发现获取能力。

分布式数据集成共享框架采用OSGi商业标准和最佳实践来开发部署模块化代码,支持模块的热插拔,具备敏捷化自适应部署能力。开放服务网关协议技术OSGi是Java动态化模块化系统的一系列规范,主流Java应用服务器都采用了OSGi,成为Java模块化的工业标准,支持自适应、松耦合系统的动态构建[5]。数据集成共享框架组成包括核心的数据目录框架、目录生成模块、数据转换模块、数据操作模块、数据模块、联邦模块、数据目录代理模块、事件生成模块、数据资源模块、端点、数据目录插件等。主要模块功能如下:

数据目录框架模块:分布式敏捷数据集成共享框架的核心模块,连接框架各个模块,默认调用的是标准目录框架,向下对数据框架中各模块转发操作请求,向上对接口模块转发操作响应。

目录生成模块:用于提供文件目录存储的模块,数据框架中使用Solr建立文件索引,提供文件目录存储解决方案。

端点模块:为客户端和目录框架之间的服务代理,提供了多种类型的服务接口,包括基于RESTful的CRUD接口、搜索接口和FTP接口。进行应用整合时,可对相应类型的接口进行调用,也可根据实际需求,开发其他类型的接口。

数据操作模块:该模块主要包含增删改查、数据源、资源及转换操作等类型操作的相关接口和实现,向上为对外接口模块提供操作接口,向下经目录框架模块对各模块实现操作调用。

4.2 基于大数据技术的数据仓库架构

数据仓库DW(Data Warehouse)针对企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,数据仓库研究和解决从数据库中获取信息的问题,具备面向主题、集成性、相对稳定的、反映历史变化的数据集合[6]。数据仓库提供了决策支持系统(DSS)和联机分析应用数据源的结构化数据环境[7]。大数据针对信息爆炸时代数据洪流问题,采用特殊的技术,以有效处理大量容忍时间内的数据。大数据具备大量、高速、多样、价值、真实性等特征。大数据关键技术主要包括大数据采集、大数据预处理、大数据存储管理、大数据分析挖掘、大数据展现和应用技术等。大数据已经成为一种战略性资源,大数据技术日益受到政府、企业和学术界的重视[8-10]。

大数据和数据仓库针对海量数据进行分析处理,大数据是业务视角,数据仓库是技术视角,通过将大数据技术和数据仓库技术进行深度结合、相互补充,能够进一步提升信息系统针对大规模异构多源数据的分析处理能力。基于大数据技术的数据仓库架构如图3所示。

图3 基于大数据技术的数据仓库架构

数据整合层通过操作性数据存储区ODS快速接收数据采集过程的大量数据,缩短数据采集时间。同时对跨系统、多数据源的数据统一采集,提高数据采集可靠性和一致性,统一数据接口,保存加载数据,减少数据源系统负载,提高系统效率。

支撑服务层提供了MapReduce批处理计算框架、Spark内存计算框架、HDFS分布式文件系统、HBase非关系型数据库、数据抽取转换加载模块、机器学习框架,为大规模结构化数据、半结构化数据、非结构化数据的分析处理提供技术支撑。

分析应用层基于传统的数据仓库OLAP分析工具进行多维分析,从多角度、多侧面剖析数据。利用大数据挖掘分析工具对海量异构数据进行关联、回归、分类、聚类、预测、诊断分析,最大限度挖掘提取有价值的信息,为作战指挥和部队军事行动提供决策信息依据。

针对海量异构数据存储和管理问题,采用分布式文件系统HDFS和分布式数据库系统Hbase技术,HDFS采用主/从结构,能够处理超大文件,采用分布式存储形式,能够运行于廉价的商用机器集群上。Hbase是面向列存储的分布式和可扩展的非关系型数据库,能够很好地利用HDFS分布式处理模式,可以实现高性能的并发读写操作,能够对数据进行透明切分,使得存储具有水平伸缩性。

针对大规模数据并行分析计算问题,采用MapReduce技术对计算请求进行均衡分担与并行操作。MapReduce是高性能批处理分布式计算框架,用于对海量数据进行并行分析和处理,通过将分析任务分为大量的并行Map任务和Reduce汇总任务实现分布式并行计算。MapReduce具有高度可扩展性和容错能力,高效实现弹性计算,具有动态灵活的资源分配和调度方法,非常适合于大规模数据集的分布式并行计算。

针对数据挖掘和机器学习大量快速迭代计算问题,采用Spark技术实现高效内存计算。Spark是一个高速通用计算引擎,是对MapReduce有效补充,支持分布式数据集的迭代计算。相比MapReduce计算,在内存中以接近实时的速度完成所有数据分析,批处理速度比MapReduce快10倍,内存中的数据分析速度快近100倍。此外,提供了SparkR接口,能够在R语言环境使用机器学习库,Spark适用于构建大型、低延迟的数据分析应用。

4.3 基于实时流式计算引擎的信息服务架构

针对现代化复杂战场环境下高并发大容量信息服务需求,必须对多节点、突发性、无限性、无序性的信息流进行即时处理。因此需要采用分布式、实时性高的引擎技术,本文采用基于Storm信息服务技术架构。Storm是分布式、高容错的实时计算引擎,使得持续不断的流计算变得容易[11]。Storm在实时分析、在线机器学习、持续计算、分布式远程调用等领域得到广泛应用[12]。

Storm采用Master/Slave结构,分布式计算由Nimbus和Supervisor两类服务进程实现。Nimbus和Supervisor之间的所有协调工作是通过Zookeeper实现的。Nimbus进程运行在主节点,负责任务指派、资源分配和故障监测,并且全局只有一个。Supervisor进程运行在工作节点,负责监听分配给它的机器,根据Nimbus指派在必要时启动和关闭Worker工作进程,每个进程又产生一个或多个线程Executor,线程用来执行Task任务[13]。Storm分布式计算引擎模型如图4所示。

图4 Storm分布式计算引擎模型

基于Storm技术的信息服务框架原理流程如图5所示。Storm调度器采用默认的round-robin机制,将每个Spout、Bolt实例分配到配置好的Worker中,并将所有Worker尽量等量分配到每台Slave节点。Storm提交运行Topology程序,Topology处理每个最小消息单位的Tuple,也就是一个任意对象的数组。Topology由Spout和Bolt构成,Spout是发出Tuple的节点,Bolt可以随意订阅某个Spout或者Bolt发出的Tuple。Spout和Bolt统称为component。浏览、检索、订阅、推送分别是四个不同的流源头,每个源头一个进程,将数据直接发送给下游的Bolt。为保证数据有序性,每个Tuple发送时会保存Tuple在队列中具体位置的唯一ID,最后根据ID顺序汇总计算结果。每种行为的数据格式分别不一样,对每个来源的数据都进行特定的数据解析,获取需要的信息tuple,传递给过滤Bolt,基于身份认证机制,只能给特定的身份和权限的用户提供所需信息,发送Bolt将信息发送给下游的用户系统。

图5 基于Storm引擎的信息服务架构

5 结 语

在美军大力推进军事变革并提出网络中心战和空海一体战背景下,信息系统在战场中的作用提升到前所未有的高度。针对网络中心战条件下联合作战需求,本文提出了一种基于云计算理念的网络化分布式军事信息云架构。设计了分布式敏捷数据集成共享架构、基于大数据技术的数据仓库架构和基于实时流式计算引擎的信息服务架构等关键组成架构。该架构打破常规信息系统局限性,能极大提升战场信息融合共享、海量数据处理和信息按需投送能力,有效满足未来网络中心战条件下联合作战需求。

[1] Shelton H H. Joint Vision 2020 [R]. US Government Printing Office, Washington DC: Director for Strategic Plans and Policy, J5; Strategy Division 2002.

[2] Terry S Morris. Securing Operational Access: Evolving the Air-Sea Battle Concept [M]. The National Interest, 2015.

[3] Jon von Tol. Air-Sea Battle: A Point-of-Departure Operational Concept[M]. Washington: Center for Strategic and Budgetary Assessments, 2010.

[4] Executive Office of the President. Big data research and development initiative[R].Executive Office of the President,2012.

[5] Executive Office of the President. Fact sheet: Big data across the federal government[R]. Executive office of the President, 2012.

[6] William H Inmon. 数据仓库 [M]. 北京,机械工程出版社,2006: 20.

[7] 李春葆, 李石君, 李筱驰. 数据仓库与数据挖掘实践[M]. 电子工业出版社, 2014: 17.

[8] Chen H, Chiang R H L, Storey V C. Business intelligence and analytics: from big data to big impact[J]. Mis Quarterly, 2012, 36(4):1165-1188.

[9] 李春立,陈贻来. 一体化联合作战指挥 [M]. 北京:军事科学出版社,2004:15-49.

[10] Vilas A F, Redondo R P D, Arias J J P, et al. Context-aware personalization services for a residential gateway based on the OSGi platform[J]. Expert Systems with Applications, 2010,37(9):6538-6546.

[11] Petkov V, Gerndt M. Integrating parallel application development with performance analysis in periscope[C]//IEEE International Symposium on Parallel & Distributed Processing, Workshops and Phd Forum. IEEE, 2010:1-8.

[12] Jonathan L, Eisbruch G, Simonassi D. Getting started with storm[M]. Sebastopol: O’ Reilly Media Inc, 2012.

[13] Anderson Q. Storm real-time processing cookbook[M]. Birmingham: Packt Publishing, 2013.

DESIGNOFNETWORKDISTRIBUTEDMILITARYINFORMATIONCLOUDARCHITECTURESOLUTIONANDITSIMPLEMENTATION

Pan Yue Yang Chenkai Lu Zejian Huang Sheng Chen Long

(ChinaAcademyofElectronicandInformationTechnology,Beijing100041,China)

Aiming at the problem that the traditional military information system “chimney” is serious, the large-scale data processing capability bottlenecks and the information on-demand service capacity is insufficient, this paper proposes a network distributed military information cloud architecture solution based on cloud computing and big data technology. First, this paper designs the military information cloud architecture and software architecture. Based on the computing concept, the battlefield resources are integrated in multi-domain, virtual and efficient, so as to form integrated resources and military information cloud. Users can obtain service from military information cloud through the end system. Secondly, we design the key frameworks of the military information cloud, including the distributed agile data integration and sharing architecture, the data warehouse architecture based on big data technology and the information service architecture based on the real-time stream computing engine. Based on the proposed network of distributed military information cloud architecture, it can enhance the interconnection and interoperability of military information system, massive data analysis and information on-demand precision service capabilities, and promote the formation of joint combat capability.

Network centric warfare Agile integration Data warehouse Information service

TP391

A

10.3969/j.issn.1000-386x.2017.10.016

2016-11-29。电子信息装备体系研究国防科技重点实验室基础研究项目(DXZT-JC-ZZ-2011-015)。潘越,高工,主研领域:信息系统总体设计仿真。杨晨凯,博士。陆泽健,博士。黄胜,博士。陈龙,博士。

猜你喜欢
数据仓库分布式信息系统
企业信息系统安全防护
基于数据仓库的数据倾斜解决方案研究
基于数据仓库的住房城乡建设信息系统整合研究
基于区块链的通航维护信息系统研究
信息系统审计中计算机审计的应用
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
探析电力系统调度中数据仓库技术的应用
基于ADC法的指挥信息系统效能评估
基于DDS的分布式三维协同仿真研究