民航机场应急救援大数据处理平台架构研究∗

潘卫军 刘铠源 朱新平 王 玄 王少杰

（1.中国民用航空飞行学院 广汉 618300）（2.中国国际航空公司西南分公司运行控制中心 成都 610200）（3.威海国际机场集团有限公司 威海 264200）

1 引言

民航机场应急救援是应用大数据技术解决实际问题的绝佳场景，机场应急救援任务过程中涵盖的人员、设备、部门众多，一次行动有机场、消防、医院、通信、政府等多家单位参与，2020 年10 月16 日中国民航历史上规模最大的机场应急救援综合演练在上海浦东国际机场展开，演练共涉及浦东国际机场、机场公安局等14 家单位800 余人，各类设施设备100 余台。据相关资料实地统计，一次应急救援行动需要处理的不同部门提供的数据量在TB级别，全民航累积的历史数据量在PB级别左右，从数据体量及数据种类、数据来源上来说完全具备搭建机场应急救援大数据处理平台的数据资源。

应急救援过程中产生的海量数据除了一般大数据的4V特征［1］，还拥有以下两个新特点：1）Accu⁃rate（精准性）数据来源于协同单位的数据系统，数据是精准有效的，运用在应急决策中是可靠的。2）Complexity（复杂性）救援决策中依赖的数据来源部门多、数据种类繁杂、数据格式不统一、非结构化数据较多、对数据处理和分析的难度很大。

国外在机场应急救援建设方面处于领先地位，1990 年开始FAA 针对机场运行过程中的数据处理需求，研发了全域信息管理系统、增强型交通管理系统、NAS 语音系统等多种机场数据处理系统，并对运行过程中产生的数据进行数据挖掘，二次开发，以此来提升机场运行安全能力和效率［2～9］。国内在机场应急救援方面，从机场应急救援系统架构［10］、机场协同决策系统［11］、机场运行安全［13～14］、机场应急预案推演［15～16］等方面展开了研究，但没有形成系统性的支撑机场应急救援大数据处理的技术体系，也没有搭建相关的大数据平台，因此开发机场应急救援大数据处理平台显得非常必要且迫切。

本文针对机场应急救援行动中的决策需求，对机场应急救援大数据处理平台的整体架构、平台功能、基础组成以及数据处理技术展开了研究。

2 机场应急救援大数据处理平台总体架构

机场应急救援大数据处理平台架构设计主要包括硬件层、数据层、处理层及应用层设计，如图1所示。

数据层通过统一的数据平台对应急救援行动过程中产生的实时数据及历史数据进行集中聚合存储，并针对不同类型的数据建立对应的数据分类标准，剔除无效数据，提升数据有效性、规范性。为处理平台提供全面一致的数据基础，打破现有应急救援指挥系统数据种类多、格式多，数据难统一处理的现状，充分发挥数据在应急救援行动中重要的潜在价值，提升平台建设和运行效率。

数据层包括结构化、半结构化、非结构化三类数据数据交换组件及数据存储索引，将存储在传统数据库中的数据通过数据交换组件交换到HDFS集群中。结构化数据交换组件通过Perl+ Hive Load实现，处理机场应急救援过程中产生的结构化数据，包括存储在传统数据库中的救援车辆、装备、人员、水源、飞机结构等信息。半结构化、非结构化数据交换组件调用资源层API，依托SFTP 协议对应急救援行动中产生的通话语音，监控视频文件等数据批量传输，并将其加载到分布式数据存储平台HDFS目录。

图1 空管大数据处理平台架构

数据存储索引设计将Elasticsearch 与HDFS 集成Elasticsearch-HDFS，同时拥有Hadoop 的海量数据存储和Elasticsearch 实时分析能力，构建动态嵌入式搜索应用来检索HDFS 数据，能使HDFS 执行深度低延时分析。通过数据交换组件的数据先进入HDFS 存储，再与Hive 结合来减少实时数据访问的筛选量。

数据处理层主要通过调用底层数据处理资源，对处理平台中的数据进行批处理和流处理计算加工后，结合机器学习，深度学习，数据挖掘等处理方式，整合数据模型并生成汇总，并将数据处理结果传递到应用服务层。

应用服务层设计主要将处理层的数据，通过数据报表、数据动态展示等数据可视化方法，针对救援行动中的不同单位需求提供定制化服务，为救援决策提供数据分析处理支持，提升应急救援效率，减少人员财产损失。

硬件层为机场应急救援大数据处理平台提供硬件支撑，主要由数据库、存储资源、防火墙等组成，采用虚拟化基础云平台，通过标准接口对虚拟资源进行集中调度和管理，构建实时高效的数据处理中心。

3 机场应急救援大数据处理基础平台组成

机场应急救援大数据处理基础平台采用PC服务器搭建Hadoop 分布式系统集群架构，分布式文件系统HDFS 高容错性、高吞吐量、数据只能追加不能修改的特点能很好地满足应急救援大数据处理平台对大型数据实时存储快速准确分析的应用需求，一个HDFS 集群通常包含两个节点，名称节点和数据节点。名称节点管理文件系统及文件访问权限，并对调配数据节点。数据节点对结构化、半结构化、非结构化数据进行存储。

3.1 名称节点

名称节点为主服务器提供执行文件系统命名空间操作，如文件开闭、目录结构等集群管理功能，并控制不同客户端对文件的访问。当名称节点停止工作时对应的Hadoop 集群服务也将停止，因此名称节点对稳定性的要求很高，应急救援大数据处理平台的名称节点应该使用稳定的小型服务器，保证集群工作的可靠性和性能。

3.2 数据节点

数据节点管理运行节点的数据存储和读写，并响应来自名称节点对数据块的命令。应急救援过程中各单位产生的数据在数据节点上是分布式存储的并通过数据节点进行数据平衡分配和备份，即使在某一个数据节点存在故障的情况下，也能为大数据处理平台提供稳定可靠地数据来源，保证整体集群计算效率和安全。

4 机场应急救援大数据处理平台计算引擎

应急救援行动对数据处理过程的准确性、快速性需求很高，需要获取各协同部门在救援行动中的各类实时数据信息，准确描述救援行动状态。还需要挖掘已有应急救援行动历史数据的潜在价值，从历史数据当中评估以往救援行动，总结救援经验，分析失事原因，对经常发生特情的关键位置制定针对性的救援方案和救援措施，并进行预案推演，提高应急救援人员应对突发事件时的救援能力。

通过对比目前国内外不同架构的流处理，批处理计算引擎性能，机场应急救援大数据处理平台采用Flink 数据处理计算引擎。Flink 是开源、分布式、高容错大数据处理引擎，面向数据提供流处理（无边界数据流）和批处理（有边界数据集）两种数据处理方式。Flink 运行在Hadoop 集群上，以Ha⁃doop的YARN做为资源管理器，支持对数据进行交互式查询、数据挖掘、统计分析等常见大数据处理，Flink 可以通过调节缓存块的超时值来调节系统延迟和吞吐量的冲突，实现在数据高吞吐量的同时进行毫秒级处理，能满足应急救援平台对数据处理高吞吐量和低延时性的高要求，为应急救援行动提供支撑服务。

4.1 流处理计算

流处理计算主要针对机场以及救援行动中各协同部门实时监控模块传回指挥中心的数据信息。实时监控模块的数据来源通常是通讯系统、广播报文、场面监控等，包含突发情况的起因，受伤人数，救援设备的位置、速度等重要信息，高效的流数据处理能力能实现平台对应急救援行动的实时监控及时协调各参与部门，或当机场发生特情时机场运行监控中心可迅速分析判断特情原因，组织调度相关部门等迅速进行处理，提高应急救援效率。

4.2 批处理计算

批处理计算主要面向机场等部门提供的人员、车辆、装备、救援案例等历史积累数据，针对预案推演等模块。预案推演功能采集所有的应急救援设施设备信息，包括人员分配，部署位置，设备型号等，通过模拟航空器突发事件和非航空器突发事件时应急救援行动的开展，提升应急救援人员对救援流程的掌握程度，并可采用虚拟演练方法来实现应急救援人员对不同特情的处置，包括如何安排设施设备使用顺序，机场场面滑行道使用，协同部门进场时间等，有效提高机场人员的应急能力。

5 平台应用分析

通过搭建机场应急救援大数据处理平台将应急设施设备部署信息、通信语音、场面运行、广播报文、电子进程单等存储在Oracle、SQLSever、MySQL和MongoDB 等传统数据库中数据通过相应工具采集到大数据分析平台中并通过数据交换组件对各类数据进行融合，依托数据处理引擎的批处理和流处理功能对数据进行快速处理，最后以可视化形式呈现给一线应急救援部门，对实时性要求极高的应急救援行动进行支持。并为指挥决策部门提供各类数据分析工具，让应用部门不需要关注底层大数据开发技术，只需要专注于行动指挥，进程安排，解决了救援行动一线单位面临的问题。最终验证了本平台架构的可行性。

6 结语

安全是民航运行的第一准则，机场安全是民航运行安全的基础，伴随着机场行业A-CDM 等信息化系统建设的展开，智慧机场已经成为机场未来的发展趋势，而为智慧机场安全运行的提供安全保障的基础是完备的应急救援机制体制以及先进的应急救援系统。民航机场应急救援大数据处理平台为机场安全运行提供了平台技术支持，通过对应急救援过程当中数据的实时存储处理，以及对应急救援行动累积的海量多源异构数据处理分析，为现场指挥、智能决策、预案推演、舆情监控等应用提供支撑，有助于在应急救援行动中打破信息孤岛，实现数据共享，对我国未来机场行业提升运行安全效率有着重要的意义。