试飞数据分析系统应用研究

2023-09-27 09:40蔡明学
科学与信息化 2023年18期
关键词:数据分析系统分布式计算数据处理

蔡明学

航空工业第一飞机设计研究院 陕西 西安 710089

引言

飞行试验是型号研制与定型的重要阶段,关系型号成败。现代飞机采用大量高新技术,系统综合集成,并在设计和试飞过程中引入适航规章要求,致使飞行试验科目多、周期长、难度大,确定试飞测试参数近万个,单架次试飞数据数十G,数据量庞大,因此构建了试飞数据分析环境,使试飞工程师、设计人员快速、准确的开展试飞数据分析。

1 试飞数据分析系统功能设计

试飞数据分析系统是一个面向试飞数据处理分析、以试飞数据为中心的网络数据处理平台。试飞数据分析系统主要包括试飞数据管理子系统、试飞数据处理子系统、分布式计算调度子系统、分布式计算群集子系统和试飞数据处理工具箱等5个部分组成。5个部分通过内部接口、外部接口和相关的网络标准协议有机地进行交联,组成一个系统化、集成化、标准化的网络应用数据库系统[1]。

1.1 试飞数据管理子系统功能设计

试飞数据管理子系统是整个系统的管理端口,该子系统采用C/S架构[2],对系统的整体配置信息、参数信息、系统状态、安全信息、数据信息等进行全面管理和维护。系统管理方面,包括用户管理、权限管理、系统数据自动管理、系统日志管理、系统备份与恢复等;飞机管理方面,包括试验机型号、名称等基本信息管理,飞机总体信息管理,飞行试验信息管理、试飞科目信息管理等;试飞数据管理方面,包括试验机测试参数管理、工程数据管理、数据处理方法管理等;文档管理方面,包括技术文档信息管理、工程文档信息管理、工具箱信息管理等。

试飞数据管理子系统运行时,数据库服务器由1台或2台高性能服务器承担,保证系统不间断运行。海量试飞数据可以通过网络、光盘等进入数据库管理。所有的管理信息按照试飞数据管理子系统所定义的接口、规范进行准备,确保数据信息的完整性和一致性。

1.2 试飞数据处理子系统功能设计

试飞数据处理子系统采用标准Internet浏览器作为应用界面。用户利用浏览器,在本地安装ActiveX应用控件,输入试飞数据处理子系统URL地址,经由系统授权后,进入系统。用户通过数据处理任务管理可以实现在系统权限控制下的试飞数据分布式计算处理。主要功能包括:科目定义、科目参数信息定义、科目处理任务的时间信息定义、科目处理任务的执行、科目数据曲线报告输出、科目数据格式报告输出等。按照不同用户具有的权限,实现对试飞数据各类信息的查询、报告输出等。

试飞数据处理子系统运行时,依次完成数据处理任务信息的定义,在应用服务器建立本任务号的工作目录,启动分布式计算,启动本地分布式计算监控,在分布式计算结束后显示分布式计算状态及状态信息,在本地建立该任务号的工作目录。

1.3 分布式计算调度群集子系统功能设计

分布式计算调度由调度计算机群集组成。调度计算机由1台或2台计算机组成,1台为运行时调度,另1台为调度备份计算机。调度计算机对可用已注册分布式计算服务器列表进行维护,此列表维护了每一次可使用的分布式计算服务器IP、端口号、任务书、CPU 占用率、内存使用率等信息。

调度计算机在运行过程中,对分布式计算服务器进行实时链路检测目的是确认分布式计算服务器是否还存在,若存在则返回此分布式计算服务器的执行任务数、CPU占用率、内存使用情况等负载信息,如果不存在则从列表中去除。

1.4 分布式计算群集子系统功能设计

分布式计算服务器群集由1台或多台性能较高的服务器组成,每台分布式计算服务器部署分布式计算服务器的相关应用程序。分布式计算服务器端程序根据数据库信息中所存储的调度计算机列表参数向所有的调度计算机申请注册。当某台调度计算机出现故障后经过维修被重新使用时,或新增加一台调度计算机时,分布式计算服务器不需人工干预就可自动注册到这台调度计算机中。分布式中间件存储于磁盘序列,用户发出计算请求后,由调度计算机分配1台可执行计算的分布式计算服务器,分布式计算服务器调用分布式中间件进行计算,完成用户的数据处理任务。

1.5 试飞数据处理工具箱功能设计

试飞数据处理工具箱是一个集成化的试飞数据常用处理方法集合。它以标准的安装软件形式提供给用户,用户可以直接安装在自己的计算机系统内应用或调用。按照用户要求完成试飞数据的提取和处理。包括:INET、FCS、1553B等数据类型的处理。试飞数据处理工具箱包含了对试飞数据进行处理的方法等信息,由数据库进行统一管理,用户可以通过方法接口对方法进行应用。试飞数据处理工具箱的管理维护由试飞数据管理子系统进行。用户可以通过试飞数据处理子系统所提供的查询、检索、下载等功能对工具箱进行查阅。

2 试飞数据分析系统性能设计

2.1 时间响应

试飞数据分析系统的运行基于局域网平台,数据管理子系统与系统数据库、数据存储设备通过千兆光纤网络相连接,采用紧耦合、安全高的C/S结构,实现对系统及数据库的管理和维护。

试飞数据管理子系统用户应用响应时间,单记录操作、显示即时操作,即时响应,复杂记录信息查询等响应时间不超过2s;大量数据信息上载管理等按照网络速度计算响应时间。

试飞数据处理子系统采用B/S结构,以太网到桌面,网页信息的刷新和显示不超过8s,数据分布式计算根据系统服务器的配置情况和应用人数的多少、用户的计算量等来计算时间。

2.2 易扩展性

试飞数据分析系统具有较强的灵活性和易扩展性。

(1)采用服务器群集技术,可以根据任务规模配置应用服务器的数量,满足不同应用规模的要求,同时保证数据应用服务的不间断;

(2)采用B/S、C/S三层体系结构,管理端的紧凑型和应用端的灵活性,满足不同用户的应用要求,面向试飞数据处理的中间件技术应用,便于对未来应用的嵌入,提高了系统的灵活性;

(3)系统在集成与应用接口方面,保留充分的应用扩展;

(4)系统采用J2EE技术架构实现,能够在不同的操作系统平台下应用。

3 试飞数据分析流程设计

试飞数据分析系统是一个基于J2EE技术架构的网络数据处理系统。该系统以试飞数据库为中心,采用分布式网络计算技术[3]、软件重组应用技术实现型号试飞数据处理网络应用平台。机载试飞测试数据生成后,导入试飞数据管理系统,按照系统定义的接口和规范存储;用户通过客户端执行数据处理任务时,通过分布式计算调度、分布式计算服务器等功能完成数据的分析和应用。

系统部署、试验机信息录入、试飞数据存储与管理、工具箱信息集成一般由系统管理人员实现并动态管理;数据处理/设计人员通过系统定义飞机型号、飞机机号、专业名称、专业参数、数据属性,添加数据处理时间段、采样率后,执行试飞数据处理,数据结果可以以图形输出,也可以生成数据报告。试飞数据管理与数据处理流程如图1所示。

图1 试飞数据管理与数据处理流程图

4 试飞数据分析系统重难点设计

4.1 海量数据传输入数据库

在客户端上传数据时必须将服务器的存储映射为本机的网络驱动器,此时服务器的共享服务必须开启,在服务器的安全保密管理上存在安全隐患。由于飞行试验工程数据量较大,将这些海量数据上传到试飞数据管理子系统,需要长时间的网络传输。为优化该问题,开发文件压缩传输系统,采用C/S的基本架构实现数据的发送和接收,解决了客户端上传数据需数据盘共享的问题,保证了数据的安全性。为了保证数据传输的完整性,采用TCP协议的SOCKET传输方式传输数据,压缩算法主要采用无损压缩的算法。为了提高大数据文件的传输效率,采用数据的发送端边压缩边存储的方式,以达到大数据文件快速传输的目的。

4.2 试飞数据处理任务的装配技术

用户能够通过浏览器在系统中自己定义处理科目,充分利用数据处理系统中的各种工具,完成自己的数据处理任务。在数据处理链条中,工程数据是所有数据分析的源头,工程数据的格式、与数据处理中间件的接口、与数据处理工具之间的数据接口,都对标准软件有很大的影响。交错复杂的数据接口定义、管理和维护成为系统设计研究过程中的疑难问题。

为解决该问题,客户端机器和Web服务器通过HTTP网络协议进行连接,基于HTTP协议的Web Service进行数据库的访问。客户端机器与计算服务器建立TCP连接,在此之上,制订一个内部的数据传输和命令协议。必须严格、合理的定义各种工程结果数据的格式,生成接口文件的格式、工程数据与数据处理中间件的接口、工程结果数据与曲线绘图、数据输出的接口等。

5 结束语

试飞数据分析系统采用C/S、B/S多层体系结构,以应用中间件实现用户工程实际应用,在确保试飞数据安全有效管理的同时[4],方便了用户的技术应用,提高了系统的应用灵活性。试飞数据分析系统的应用,实现试飞数据的存储管理,能够按照用户需求开展试飞数据的筛选、分析,实现快速高效的试飞任务分析,准确掌控飞行试验状态和任务进展,为试飞决策提供支持;当飞行试验过程中出现故障或问题时,可通过试飞数据分析,为故障定位和原因分析提供数据支撑,减少排除故障时间,提高试验机完好率,保障试飞安全,提高试飞效率。

猜你喜欢
数据分析系统分布式计算数据处理
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
利用GSM-R接口数据分析系统偏移的方法研究
焊接设备实时监测与数据分析系统在核电建造行业的应用
基于信息融合的社群金融信息数据分析系统的研究与实现
智能数据分析系统研究及应用
基于云计算的移动学习平台设计与实现
云计算中MapReduce分布式并行处理框架的研究与搭建
面向异构分布式计算环境的并行任务调度优化方法
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用