大数据混合仿真实验引擎设计

2018-08-15 08:02战晓苏
计算机应用与软件 2018年8期
关键词:引擎组件数据挖掘

郭 鑫 战晓苏

1(军事科学院评估论证研究中心 北京 100091)2(92941部队 辽宁 葫芦岛 125000)

0 引 言

体系对抗实验一般是对所研究的系统行为过程进行建模仿真[1],分析系统主要参量间的关系和行为规律[2]。随着信息化水平提高和新质对抗力量的出现,实验研究设计的空间越来越广,系统越来越复杂,数据量越来越大[3]。

以上发展趋势导致建模难度增大,模型复杂度增加,仿真成本提高[4];建模假设条件过多,模型不能正确反映现实系统运行规律;仿真结果和过程数据量激增,实验结果统计分析难度增大[5]。

综上所述,单纯的建模仿真实验方法已经无法满足体系对抗研究的需要。针对以上问题,本文将大数据挖掘分析方法和建模仿真分析方法有效整合,提出通过大数据混合仿真实验研究体系对抗机理的方法[6],并对大数据混合仿真实验引擎进行设计。

1 大数据混合仿真实验概念

将大数据挖掘分析和建模仿真分析两种方法做结合性研究,就必须提出一个全新的概念,能够将结合之后的实验方法的内涵和外延都涵盖进去,以便于统一认识。为下一步实验引擎设计、关键技术研究和运行控制机理研究奠定基础。

1.1 概念内涵

大数据混合仿真实验是为了研究体系对抗机理和

规律。根据实验目的,通过实验引擎的有机调度和控制,综合运用大数据挖掘分析和建模仿真分析的理论、方法和技术,挖掘分析采集数据、仿真生成数据、仿真结果数据中的线索、规则和知识。在可测可控条件下,研究实验中相关影响因素与对抗结果之间的关系的研究活动[7]。

1.2 概念外延

大数据混合仿真实验概念与基于大数据挖掘分析的仿真实验、基于仿真分析的大数据实验、大数据条件下的仿真实验等概念有着明显的区别和界限。

(1) 大数据混合仿真实验不是基于大数据挖掘分析的仿真实验,也不是大数据条件下的仿真实验。

基于大数据挖掘分析的仿真实验和大数据条件下的仿真实验本质上都是仿真实验,其主要的分析手段还是建模仿真方法,只是在数据预处理阶段或者仿真结果分析阶段引入了大数据的挖掘方法,这种结合方式是典型的分阶段、分域式结合;大数据混合仿真实验本质上是混合实验,分析手段是大数据挖掘分析和建模仿真分析并重,两者并不存在先后或主次之分,只是研究具体问题时,根据引擎的控制、调度将两种分析方法的进程和组件重新组合成新的实验方法。

(2) 大数据混合仿真实验不是基于仿真分析的大数据挖掘分析。

基于仿真分析的大数据挖掘分析本质上还是大数据挖掘分析,只是其大数据来源为仿真产生的,这种结合方式也是分阶段式的结合[8];大数据混合仿真实验是混合实验与其本质不同,数据来源不同,技术机理也不同,大数据混合仿真实验数据源自采集数据、仿真生成数据和仿真结果数据。

(3) 大数据混合仿真实验的“混合”主要指实验的主要理论方法“混合”,数据来源“混合”、得到的成果“混合”。此处“混合”的含义是将某种方法或模块,在其下一个层次分解,按照一定的规则重组,形成有机整体的重构。

2 大数据混合仿真实验引擎设计

大数据混合仿真实验引擎设计主要包括引擎的逻辑架构设计和核心功能模块设计。引擎的逻辑架构设计,主要明确引擎的构成部分、主要功能和内外关系;引擎的核心功能模块设计,主要明确各模块的构成组件、主要功能和交互关系。

2.1 引擎逻辑结构设计

大数据混合仿真实验引擎的逻辑结构分为四层,具体是:接口层、引擎核心层、应用层和功能扩展层。引擎逻辑结构如图 1所示。

图1 大数据混合仿真实验引擎体系架构

引擎为“四层四核”式体系架构,其中:

(1) 接口层 引擎通过外部接口与体系对抗过程中产生的开源大数据相联系。开源大数据为引擎核心层的大数据发掘分析模块提供实例样本数据,为核心层仿真分析模块提供案例样本数据。其中,“实例样本数据”是从体系运行、体系对抗产生的海量状态数据中抽取、筛选出能够体现体系运行某方面特征的大数据集合。引擎同时通过外部接口与规则、样本、算法、模型和知识等通用资源相联系,这些通用资源通过核心层资源管理模块支撑引擎运行,同时引擎运行产生的通用资源也会通过资源管理模块对通用资源库进行反馈、更新。其中接口层初始的通用资源是体系对抗研究积累得到的。

(2) 引擎核心层 引擎核心层包括大数据挖掘分析、仿真分析、混合控制、资源管理四个核心模块。引擎核心层以接口层开源大数据为驱动,以通用资源为依托,在混合控制模块的调度控制下,灵活驱动大数据挖掘分析模块和仿真分析模块运行,对实例样本数据和仿真样本数据进行挖掘分析得到数据模型、线索、规则和知识等资源;对案例样本数据和仿真生成数据进行仿真分析,得到仿真结果数据、线索、规则和知识;引擎运行过程中资源管理模块为引擎提供规则、样本、算法、模型和知识等通用资源管理服务。

(3) 应用层 引擎应用层是引擎核心层研究解决不同类型体系对抗问题的应用方向。根据引擎核心层的功能特点,应用层主要包括体系对抗情报分析、体系对抗指挥控制辅助决策支持、对抗体系绩效评估、体系对抗方案和计划优化、体系对抗态势预测等不同方向的应用研究。

(4) 功能扩展层 功能扩展主要包括四个方面:一是为指挥控制辅助决策等提供伴随支持;二是对装备体系建设实际绩效和装备体系设计仿真实验进行交互验证;三是对作战方案、作战计划实时评估;四是预测一段时间后体系对抗形势,预测当前方案、计划未来的对抗效果预测。

2.2 引擎功能模块设计

引擎核心层主要有大数据挖掘分析、仿真分析、混合控制和资源管理等四个模块构成,其逻辑结构如图2所示,核心模块设计主要从模块的功能定位、模块的构成组件和模块内外交互关系三个方面进行。

图2 大数据混合仿真实验引擎核心模块

2.2.1 大数据挖掘分析模块

(1) 模块的功能定位 大数据发掘模块的功能是混合控制模块的控制下,对海量案例样本数据和仿真样本数据进行采集、管理、处理、分析,得到数据模型、元规则、元知识和相关结论。

(2) 模块的构成组件 大数据挖掘分析模块主要由分布式处理组件、关联规则挖掘算法、数据驱动模型发现算法、深度学习算法等组件和算法构成。其中分布式处理组件能够满足大数据采集、大数据管理和大数据预处理等功能需求;关联规则挖掘算法、数据驱动模型发现算法和深度学习算法能够满足大数据分析的功能需求。分布式处理组件是其他大数据分析算法和功能实现的基础;而关联规则挖掘算法、数据驱动建模方法和深度学习算法是大数据分析的并列的几种手段,每种算法适用于不同情况。

(3) 模块内外交互关系 模块输入:网络信息系统提供的案例样本大数据,仿真分析模块生成的仿真样本数据,通用资源库中的知识和规则,混合控制模块提供的控制信息。模块输出:为仿真分析模块提供数据模型,为通用资源库提供知识和规则。该模块涉及到的数据有文本、音视频等多种格式,数据量级约为PB。

分布式处理组件为其他组件和模块提供基础的数据采集、管理、处理的基础解决方案;关联规则挖掘算法为数据驱动建模和深度神经网路学习提供基础的分析处理方法。

2.2.2 仿真分析模块

(1) 模块的功能定位 仿真分析模块的功能是在混合控制模块的控制下,在数据模型、元知识、元规则的支撑下,对案例样本数据进行仿真分析,得到仿真样本数据、元知识、元规则和相关结论。

(2) 模块的构成组件 仿真分析模块的构成组件主要包括建模组件、仿真运行(实时仿真、超实时仿真、交互仿真、平行仿真)组件、仿真分析组件、仿真样本生成组件。其中建模组件能够满足系统数学模型和系统仿真模型的构建功能;仿真样本生成组件、仿真运行组件能够满足仿真运行的功能;仿真分析组件能够满足仿真结果分析的功能。建模组件、仿真样本生成组件、仿真运行组件和仿真分析组件在时间上是顺序进行,仿真分析是最终的目的,仿真分析得到的结论能够反馈到建模组件,迭代优化模型的精准度。

(3) 模块内外交互关系 模块输入:大数据分析模块提供的数据模型,网络信息系统提供的案例样本数据,资源库提供的模型,混合控制模块提供的控制信息。模块输出:为资源管理模块提供知识和规则,为大数据分析模块提供仿真样本数据。该模块涉及到的数据主要是文本数据和实验结果数据,数据量级为TB。

建模组件为仿真运行组件提供模型,仿真数据生成模块为仿真运行提供样本数据,仿真运行组件为仿真分析组件提供结果数据,仿真分析得到的结果能够反馈优化建模过程的精确度。

2.2.3 混合控制模块

(1) 模块的功能定位 混合控制模块的主要功能是协调大数据挖掘分析模块,仿真分析模块中的功能组件使之有效运行,对引擎运行进程进行控制,调节引擎运行模式,管理引擎运行涉及到的软硬件资源。

(2) 模块的构成组件 混合控制模块的构成组件有:仿真模式调节组件、任务协同算法、资源调度组件、时间管理组件、事件管理组件等。其中仿真模式调节组件主要完成对引擎运行模式进行调节,任务协同算法能够满足复杂任务协同处理的需求,软硬件调度组件能够满足对计算、存储等资源的合理调度需求,事件和时间管理组件主要从运行时间和触发事件两个维度控制引擎运行进程。以上四类组件互为支撑,有机协同,完成引擎的运行控制功能。

(3) 模块内外交互关系 模块输入:应用层传输给混合控制模块的调节信息;大数据挖掘分析模块和仿真分析模块给混合控制模块传输状态反馈信息。模块输出:为大数据发掘模块和仿真分析模块提供混合控制信息。该模块涉及到的数据主要是控制信号和状态反馈数据,数据量级为MB。

运行模式调节组件传输运行调节指令,控制任务协同算法、资源调用组件和事件时间管理组件按指令进行运行状态调整。

2.2.4 资源管理模块

(1) 模块的功能定位 资源管理模块的主要功能是在混合控制模块的控制下,对原始的和混合仿真生成的数据、模型、规则、知识进行查询、匹配、调用、融合和更新。

(2) 模块的构成组件 资源管理模块主要由资源查询组件、资源匹配算法、资源调用组件、资源融合算法、资源更新组件构成。其中资源匹配算法、资源融合算法和资源更新组件主要完成资源融合功能[9],资源查询组件、资源匹配算法和资源调用组件主要完成资源调用功能[10]。资源查询组件和资源匹配算法是资源调用和资源更新支撑,但资源更新另外还需要资源融合算法的支撑。

(3) 模块内外交互关系 模块输入:大数据发掘模块提供的知识和规则,仿真分析模块提供的知识和规则,混合控制模块提供的控制信息。模块输出:为大数据发掘模块提供知识和规则,为仿真分析模块提供模型。该模块涉及到的数据主要是领域知识、规则数据等文本数据,数据量级为TB。

资源查询、资源匹配和资源调用是顺序进行,依次支撑,资源查询组件为资源匹配算法提供检索服务,资源匹配算法为资源调用组件和资源融合算法提供匹配结果,资源融合算法为资源更新组件提供融合结果。

2.3 引擎运行流程设计

引擎运行流程如图3所示。

图3 大数据混合仿真实验引擎运行流程

步骤1大数据发掘:在步骤4混合控制模块的控制下,对海量案例样本数据和步骤2仿真样本数据进行采集、管理、处理、分析,得到数据模型、元规则、元知识和相关结论,步骤3对所有输出进行统一管理。

步骤2仿真分析:建模仿真模块在步骤4混合控制模块的控制下,在数据模型、元知识、元规则的支撑下,对案例样本数据进行仿真分析,得到仿真样本数据、元知识、元规则和相关结论,步骤3对所有输出进行统一管理。

步骤3资源管理:资源管理模块在混合控制模块的控制下,对原始的和步骤1、步骤2产生的数据、模型、规则、知识进行查询、匹配、调用、融合和更新等操作。

步骤4实验控制:混合控制模块根据实验问题的实质,根据仿真控制策略和各模块运行状态反馈信息对步骤1-步骤3的具体进程进行混合控制。

3 结 语

本文在分析体系对抗研究中建模仿真结果失真和海量数据挖掘功能缺失问题的基础上,提出了大数据混合仿真实验的解决方法。设计了大数据混合仿真实验引擎:一是提出了“四层四核”的引擎逻辑架构;二是设计了核心模块的功能、构成组件和内外交互关系;三是给出了引擎的运行流程。下一步研究主要从以下几个方面展开:一是研究引擎的混合控制机理;二是研究大数据发掘分析与仿真分析交互的具体方法和机制;三是研究引擎关键技术和算法;四是研究基于引擎的实验应用问题。

猜你喜欢
引擎组件数据挖掘
改进支持向量机在特征数据挖掘中的智能应用
无人机智能巡检在光伏电站组件诊断中的应用
Kistler全新的Kitimer2.0系统组件:使安全气囊和安全带测试更加可靠和高效
探讨人工智能与数据挖掘发展趋势
新海珠,新引擎,新活力!
基于事故数据挖掘的AEB路口测试场景
一种嵌入式软件组件更新方法的研究与实现
车坛往事4:引擎进化之屡次失败的蒸汽机车
通用(OA)办公自动化系统的组件运用
蓝谷: “涉蓝”新引擎