电子装备试验大数据分析服务平台架构设计

魏雁飞，薛永奎，杨 涛

(中国洛阳电子装备试验中心，河南 洛阳 471003)

·试验与评估·

电子装备试验大数据分析服务平台架构设计

魏雁飞，薛永奎，杨 涛

(中国洛阳电子装备试验中心，河南 洛阳 471003)

结合大数据技术和电子装备试验特点，提出电子装备试验大数据基本概念，在数据、用户、能力等需求分析的基础上，设计灵活、可扩展的电子装备试验大数据分析服务平台架构，并探讨电子装备试验大数据分析服务平台在试验机构内外的应用模式。提出的平台架构可以为相关领域数据中心建设提供支持，为试验数据增值增效提供支持。

电子装备；试验大数据；平台架构

0 引言

随着信息技术的快速发展，各行各业产生的数据规模快速增长。“大数据”时代已经悄然来临。大数据是以体量大、速度快、模态多、难辨识和价值大、密度低为主要特征的数据集合[1]，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态[2]。大数据的特征决定了其分析处理需要有高性能、分布式的分析服务平台作为支撑。

电子装备试验数据不仅有效支撑了试验任务开展，而且对装备发展具有重要意义。随着试验鉴定体系创新发展和电子装备技术的快速发展，电子装备试验产生的数据量急剧增加，来自于试验过程中产生的数据海量、非结构化特征明显，电子装备试验数据的大数据特征初步显现。

在大数据时代，试验机构拥有试验数据的规模和运用数据的能力将成为试验机构综合能力的重要体现。如何根据电子装备试验任务需求，科学合理地获取适度的数据资源，并建设分析服务手段是试验机构所关心的重要问题。本文从电子装备试验大数据的概念和数据来源出发，重点对电子装备试验大数据分析服务平台构建需求、平台架构、应用模式等进行探讨。

1 电子装备试验大数据的形成及概念

电子装备试验[3]包括预警探测、情报侦察、电子对抗、指挥控制、通信导航、网络攻防等领域在内各类试验任务。

电子装备试验数据是指电子装备在试验中使用和产生的数据总称，泛指与电子装备试验活动密切相关的被试装备、配试装备、部队、人员、环境、态势、指挥、保障等信息。其表现形式可分为文书、语音、视频、图形、图像、数据库和多媒体等，是装备数据的重要组成部分。

其中，电子装备试验中使用的数据主要包括装备论证单位、研制单位等在装备论证、设计、研制等过程产生的数据，以及试验机构在试验技术研究中产生的数据，具有来源渠道广、数据类型复杂、跨越周期长等特点。电子装备试验产生的数据主要包括试验任务中产生的试验任务基本信息、试验任务文件和试验任务过程数据，具有存储容量大、数据类型多、时效要求高、潜在价值大等特点。

电子装备试验大数据是指随着电子装备的迅猛发展，试验机构试验条件和信息化水平的提升，以及试验网、指控中心、数据处理中心等数据应用的推进，导致电子装备试验任务的组织指挥、测试测量、环境构设、分析评估、基础保障、仿真建模等过程中产生数据的内容和范围不断拓展，逐步形成的复杂、多源、规模庞大的数据集合。

2 电子装备试验大数据分析服务平台需求分析

电子装备试验大数据分析服务平台的构建，依赖于电子装备试验数据及数据应用手段。本文结合电子装备试验数据及其应用，分析用户需求、数据需求以及能力需求。

2.1 用户需求分析

由于电子装备试验是一个复杂动态、多方协作的系统工程，试验数据需要在部门之间、专业之间、系统之间有序流动。数据服务对象包括试验机构内部人员和试验机构以外单位人员。

其中，在试验机构内部：需要围绕试验数据的需求、规划、描述、采集、加工、校验、存储、管理、分析、挖掘与应用全生命周期，构建统一、分布式的电子装备大数据分析服务平台，为试验设计人员、试验指挥人员、试验数据评估人员、仿真建模人员、数据采集人员、数据处理人员、数据管理人员等不同类型人员提供不同的数据应用手段，以支持试验数据的共建共享与深度应用。在试验机构外部：需要对各类试验数据资源根据需求进行集成加工，为装备论证单位、装备研制单位、装备使用单位等提供数据产品。

2.2 数据需求分析

电子装备试验大数据分析服务平台数据需求主要体现在试验数据的获取与应用等方面。从数据工程角度看，可以分为内容需求、形式需求、效用需求3个方面[4-5]。

2.2.1内容需求

电子装备试验大数据内容需求主要是指对试验数据的内容要求方面。电子装备试验大数据的数据内容按照关联关系可以分为三部分内容：基础数据、任务数据、谱系数据。

其中，基础数据是指与试验任务相对独立的数据资源，主要由外军装备、己方装备库、试验机构装备、模型、地理信息、标准规范以及其他相对静态的数据组成。

任务数据主要由预警探测装备试验数据、情报侦察装备试验数据、电子对抗装备试验数据、指挥控制试验数据、通信导航装备试验、网络攻防装备试验数据等组成，每一类试验数据可以分为试验任务基本信息、试验文书、试验任务过程数据等。

谱系数据包括数据元、元数据、数据目录、数据字典、数据资源分布描述、获取渠道、访问权限与方式、关联关系、迭代关系等内容，是数据资源使用提供了“路线图”，而不是“原始数据”。

2.2.2形式需求

电子装备试验大数据形式需求主要是指对试验数据的格式、语义与语法规则等方面的需求，体现了对试验数据标准化需求。电子装备试验大数据的数据形式需求主要通过建立包括电子装备试验领域元数据、电子装备试验领域数据元、电子信息装备数据名录和应用字典等在内的标准规范体系并采用软件化管理来实现。

2.2.3效用需求

电子装备试验大数据效用需求主要是指通过一定的管理机制和技术手段，保障试验数据在安全保密范围内可访问性、可理解性、权威准确性。电子装备试验大数据的效用需求主要通过建立数据共享、安全防护等方面的制度机制和技术手段实现。

2.3 能力需求分析

由于电子装备试验大数据分析服务平台所面临的人员类型众多和数据种类复杂，要发挥试验大数据分析服务平台的作用需要具备多种能力。

2.3.1全域全维数据汇聚管理能力

针对海量异构的试验数据资源，电子装备试验大数据分析服务平台要能够对不同领域(预警探测、情报侦察、电子对抗、指挥控制、通信导航、网络攻防)、不同来源(论证部门、研制部门、试验机构、作战部队等)、不同层次(效能层、功能层、要素层)[6]、不同维度(时间、频率、空间、能量、极化、信息、认知、行动)[7]等试验数据资源，进行抽取转换、去伪存真、去粗取精、信息关联等数据处理，确保试验数据权威可控。

2.3.2海量异构试验分析挖掘能力

针对电子装备试验设计、试验预测、效能评估、仿真建模、作战运用等方面的多样化试验数据分析服务需求，平台要能够从人员、装备、环境、战情、流程、试验结果、指标体系、运用规则等多个角度对试验数据进行分类、聚类、关联分析、时间序列分析、回归分析等，以便于由表及里、由此及彼地发现试验数据潜在的应用价值，揭示内在的试验数据模式和规律，为试验方法创新、装备论证和作战使用提供权威数据产品。

2.3.3试验数据质量管理与安全管控能力

电子装备试验大数据除具有一般数据所具有的客观性、资源性、价值对用户时间环境的依赖性等特点以外，还具备数据保密要求高、数据质量要求高、数据共享应用范围高度可控等特点。电子装备试验大数据分析服务平台必须具有完善的数据质量管理与安全管控手段，保障试验数据的可信性、完备性、权威性和安全可控性。

3 电子装备试验大数据分析服务平台架构分析与设计

面对试验数据的复杂多变性和数据应用的多样性，设计开放兼容和灵活可扩展的电子装备试验大数据分析服务平台尤为重要。电子装备试验大数据分析服务平台采用企业级弹性架构，构建试验数据资源汇集、处理、存储、分析、安全防护和综合管理等一体化软硬件体系，以满足不同领域、不同层次的应用需求。

3.1 技术体系结构

电子装备试验大数据分析服务平台运用大数据、云计算等技术理念，采用层次化设计方法设计了包括“四横四纵”在内的技术体系结构，如图1所示。其中：“四横”即基础支撑层、数据处理层、分析服务层和平台应用层，“四纵”即标准规范、质量管控、安全保障和运维管理。

基础支撑层：主要包括通用大数据分析处理框架、基础软件、共用软件、地理信息平台等，为系统提供软硬件基础支持。

数据处理层：主要提供装备信息、地理信息、电磁环境等基础数据，以及预警探测、情报侦察、电子对抗、指挥控制等试验任务数据，并基于大数据分析处理平台，为系统应用提供所需的计算框架、服务引擎和融合处理的结果数据。

分析服务层：主要基于装备模型、电磁传播模型、电磁环境模型、电磁环境效应模型、试验评估模型等模型，以及聚类分类、时间序列、协同推荐、深度学习、试验预测等算法，提供预警探测、情报侦察、电子对抗、指挥控制等专业相关的检索查询、试验百度、挖掘分析、故障预测、数据回溯、云服务等服务。

平台应用层：主要为试验机构内外用户提供统一访问门户。平台可以为试验机构内部用户提供试验任务、仿真建模、基础研究等辅助支持服务，为试验机构以外用户提供数据安全共享服务。

标准规范层：主要包括国家标准、国家军用标准、电子装备领域标准和试验机构标准等。标准范围覆盖元数据、数据元、数据采集整编、存储管理、数据发现、数据共享、数据服务等。

质量控制层：主要包括电子装备试验数据内容、形式、效用质量等在内的质量规则以规则引擎，主要用于试验数据以及数据产品的质量管控。

安全保障层：采取接入控制、证书服务、安全管理监察、主机安全监控、防火墙、密码服务等技术手段，确保电子装备试验大数据分析服务平台满足安全保密要求。

运维管理层：主要包括接口管理、总线管理、用户权限管理、日志管理、软硬件管理等。

3.2 组成体系架构

在技术架构设计的基础上，对电子装备试验大数据分析服务平台各组成部分进行优化设计，形成如图2所示的组成体系架构。主要包括基础支撑分系统、业务支撑分系统、综合管理分系统。

3.2.1基础支撑分系统

基础支撑分系统主要提供通用性、公共性、基础性强的计算、存储、网络等软硬件资源，主要包括基础设施、计算、存储、网络、容灾备份等子系统。

3.2.2业务支撑分系统

业务支撑分系统作为平台核心部分，主要包括数据接引与融合、数据组织管理、大数据分析挖掘、数据资源服务等子系统。其中：

数据引接与融合子系统通过服务总线/数据总线从试验装备、被试装备等数据源获取试验数据，并基于标准体系和质量管控规则对多源异构数据资源进行融合。主要由数据总线/服务总线、ETL工具集、接口适配工具等模块组成。

数据存储管理子系统主要通过数据库等实现各类数据的组织、管理与维护。主要由分布式文件数据库、分布式列数据库、分布式数据仓库、一体化存储管理软件等模块组成。

大数据分析挖掘子系统依据用户需求，可从不同维度、不同粒度对试验数据进行分析挖掘与可视化展示。主要由分布式计算框架、分析服务引擎、分析服务算法库、分析服务模型库等模块组成。

数据资源服务子系统主要通过统一的门户为试验任务、仿真建模、基础研究等提供多样化数据产品服务。主要提供检索查询、目录服务、定制分发、上报申领、数据展现等数据基础服务，数据分析挖掘，数据回溯反演、基于试验大数据的仿真建模等数据加工服务以及计算、存储、网络等资源服务。

3.2.3综合管理分系统

综合管理分系统立足于实现标准规范、数据质量、安全保障、运维管理等需求，提供一体化综合管理手段。主要包括标准规范、数据质量管控、安全防护、运维管理等子系统。

3.3 运行体系架构

从数据分析处理流程角度来看，电子装备试验大数据分析服务平台都是在接收各类电子信息装备试验数据，通过数据引接、数据融合、大数据分析和数据服务四部分处理后，通过统一的访问门户向数据中心、指控中心、仿真试验系统等外部应用提供数据服务。

4 应用模式

4.1 试验机构内部应用模式

按照“典型试点、逐步推广”的方法，选择某一专业方向作为试点，逐步扩展电子装备试验大数据分析服务平台应用范围。具体应用模式包括且不限于：

4.1.1基于大数据的试验任务辅助支持方面

从人员、装备、环境、战情、流程、试验结果等多个维度对试验数据进行融合、关联分析、聚类挖掘，以支持试验方案设计、试验指挥、试验评估等。例如，对同类型装备试验中出现的问题进行聚类，提取装备类型的问题特征信息，为试验设计提供参考。

4.1.2基于大数据的仿真建模辅助支持方面

采用多粒度的试验数据对模型进行校验，逐步形成准确权威的模型谱系，服务于试验任务开展与装备建设等。当获取到足够量的试验数据时，采用全量数据代替抽样数据，以镜像建模、平行仿真的方式替代原有模式，为仿真建模方法创新提供参考。

4.1.3基于大数据的基础研究支持方面

在对试验数据进行整编加工形成权威的初步数据产品的基础上，采用试验百度、层次关联、可视分析等手段为理论创新提供支持，为多层次、标准化、可扩展的环境构设理论、方法、操作规程等提供数据支持，以指导试验环境构设和逼真对手模拟。

4.2 试验机构外部应用模式

采用“权威发布、单点共享”的模式，即试验机构数据管理人员对汇聚的试验数据及其分析处理结果进行编目，并在上级试验数据管理平台中注册；其它单位了解数据目录后，根据任务提出具体的数据需求并提交审核申请；待有关部门批准后，试验机构数据管理人员按审核范围从平台中抽取相应的数据提供给数据需求方。数据需求方无权对数据进行发布和传播，使用后由数据使用方负责销毁并将销毁证明提交试验机构数据管理人员。

5 结束语

本文基于大数据技术发展趋势和电子装备试验特点，提出了电子装备试验大数据的概念，结合试验数据的全维、全域、全生命周期等特点从用户、数据、能力三个方面分析了电子装备试验大数据分析服务平台建设需求，提出了平台架构，并探讨平台在试验机构内外的应用模式。研究成果可以为试验机构数据中心及数据处理中心建设提供参考。

虽然大数据技术已经在互联网[8]、公共服务[9]、军事情报处理[10]等领域广泛应用并取得良好成效，但是将大数据技术应用于电子装备试验数据的分析与服务还处在规划设想阶段。因此，需要结合电子装备试验领域特点，加强大数据技术方法和理论研究，并与电子装备试验传统方法相结合，以便于促进大数据技术在电子装备试验领域的广泛应用以满足海量异构试验数据分析需求。■

[1] 程学旗,靳小龙,王元卓，等.大数据系统和分析技术综述[J].软件学报,2014,25(9):1889-1908.

[2] 国务院.国务院关于印发促进大数据发展行动纲要的通知[R].2015，8.

[3] 柯宏发,杜红梅，赵继广，等.电子装备复杂电磁环境适应性试验与评估[M].北京：国防工业出版社,2005.

[4] 张宏军,郝文宁,陈刚，等.作战仿真数据工程[M].北京：国防工业出版社.2004.

[5] 蔡莉,朱扬勇.大数据质量[M].上海:上海科学技术出版社，2017.

[6] 聂嗥,汪连栋,曾永虎，等.电子信息系统复杂电磁环境效应[M]. 北京：国防工业出版社,2013.

[7] 徐忠富,王国玉,张玉竹，等.TENA现状与展望[J].系统仿真学报,2008,20(23):6325.

[8] Wang YZ, Jin XL, Cheng XQ. Network big data: Present and future[J]. Chinese Journal of Computers, 2013,36(6):1125-1138.

[9] Mayer-Schönberger V, Cukier K. Big data: A revolution that will transform how we live, work and think [M]. Houghton Mifflin Harcourt, 2013.

[10] 耿卫,杨伟超,尤江东,等.美军大数据技术应用研究[J]. 创新科技，2013，11:34-35.

Architecturedesignofbigdateanalysisserviceplatformforelectronicequipmenttest

Wei Yanfei, Xue Yongkui, Yang Tao

(Luoyang Electronic Equipment Test Center of China,Luoyang 471003,Henan,China)

Combing the characteristics of big date technology and electronic equipment test, the basic concept of big date for electronic equipment test is proposed. Based on the needs analysis of date, users, capabilities and so on, big date analysis service platform for flexible and scalable electronic equipment test is designed, and the application model of big date analysis service platform of electronic equipment test inside and outside test institutions is discussed. The proposed platform architecture can provide support for the construction of date centers in related fields, and also can provide support for test date to add value and synergy.

electronic equipment;test date;platform architecture

2017-06-20；2017-08-12修回。

魏雁飞(1972-)，男，高工，主要从事信息资源建设与研究。

TN97

A