孔祥芬,蔡峻青,张利寒,唐杰,侯晨光
1.中国民航大学 航空工程学院,天津 300300 2.中国航空综合技术研究所,北京 100028
当今世界正在产生越来越多的数据,这些迅猛增长的数据已经远远超越常规软件工具所能处理的范畴。作为大规模数据的有效处理手段[1],大数据技术自问世以来,就得到了广泛关注[2-3]并已经在电力、水利、医疗、气象[4-7]等领域获得了迅猛的发展。美国政府、英国政府及欧盟委员会等[8-11]已纷纷将大数据提升至战略高度,中国也相继出台大数据白皮书[12]与行动纲要[13]以引导和鼓励各领域在大数据分析方法及关键应用技术等方面开展探索研究。
航空系统生来拥有大数据基因[14]。作为由众多系统及零部件构成的复杂产品,现代化飞机装载的传感器能够记录数以千计的飞行参数,每次飞行,仅仅是发动机就能产生1 TB数据[15]。除了这些飞行数据,维修基地、库存系统以及各种监管机构也产生大量的数据,这形成了航空系统的大数据爆炸。大数据技术为解决当前航空系统面临的问题带来了新的机遇,航空大数据可以集成多部门、多源、多尺度的结构化及非结构化数据,借助云计算、人工智能等新型分析手段,实现集成分析和信息挖掘,有助于提高飞行安全性、减少运行延误、更好地管理备件、预测各种设备的维护情况以及提高机队的燃油经济性等,包括设计、开发、生产和运营在内的整个航空产业链都将从中获利。此外由于信息化基础、业内竞争和市场开放的要求,航空系统也必须与大数据分析结合[16]。
目前已有不少专家学者以及原始设备制造商(Original Equipment Manufacturer,OEM)、运营商(Maintenance, Repair & Operations,MRO)等企业对大数据在航空系统的应用进行了研究,并且实验成果正逐步转化为实际应用,但由于航空系统属于保护性行业以及数据的保密性,整体的研究依旧以企业作为主导。本文将于第1节介绍学术界研究现状,第2节分别介绍航空工业界在大数据采集、传输与存储、分析平台以及行业内应用的研究现状,第3节指出当前面临的挑战与发展趋势,第4节为结论。
从定义看,数据是对客观世界进行量化和记录的结果[17]。这种记录的粒度越来越细、维度越来越多、频度越来越密,形成了“大数据”。大数据一般被认为是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合[18]。要想让大数据在面对规模庞大、高速增长和形态多样的信息资产时具有更高的决策力、洞察力以及流程优化能力,必须开发新的处理模式[19]。
相对于传统的数据集合,将大数据的特点概括为“5V特性”[20]:规模性(Volume)、高速性(Velocity)、多样性(Variety)、价值性(Value)、真实性(Veracity)。规模性是指数据量庞大,数据洪流已经从GB、TB级上升到PB、EB、ZB级。高速性有两层含义,一是数据量增长快,数据以数据流的形态快速、动态地产生;二是数据处理速度快[21]。多样性是指数据类型繁多,并且包含结构化、半结构化和非结构化的数据。价值性一方面是说价值密度稀疏,另一方面是指潜在价值高,合理运用大数据,可以用低成本创造高价值。而真实性是对数据质量的要求[22]。
学术界对于新事物的出现一直保持着高度的敏感,大数据发展早期阶段,《Nature》《Science》就已经推出专刊[23-24]深入讨论了数据洪流所带来的挑战,并指出如果能够更有效地组织和利用,这些海量数据将带来巨大利益。
当前大数据发展较为迅猛的领域主要集中在计算机、医疗、电力、水利等领域。廖湘科等[25]针对大数据处理对计算机高性能计算设计带来的挑战,介绍了天河二号超级计算机系统所采用的多种优化措施,为大数据时代的超级计算机设计提供参考。薛付忠[26]创建了涵盖健康/疾病检测、风险评估与干预的“大数据驱动的健康/疾病管理学理论方法体系”,并以此大力推进健康医疗大数据产业化发展。Kalam等[27]采用大数据分析技术对过电压、低电压事件与环境温度、事件发生时刻、电压幅值等数据之间的关系进行研究,分析了住宅光伏发电装置和气温变化等因素对配电网低压供电点的影响。Li等[28]研究基于超阈值广义帕累托(Peak Over Threshold/Generalized Pareto, POT/GP)模型的水流大数据分析方法,并利用该方法对丹江口水库的洪水进行预测。
同时,相关的基础设施建设也在逐步跟进。欧美等发达国家由于技术的领先地位,率先将大数据运用于医疗卫生等领域,并建立了专门的技术中心以及数据处理中心,以支持大数据的研究与应用[29-31]。国内许多高等院校和研究所也开始成立大数据的研究机构,同时有关大数据的学术组织和活动也纷纷成立和开展。从2012年起,中国机械工程学会、中国计算机学会以及中国通信学会等各大学会逐步组建专门的大数据委员会[32],并以论坛、大赛、会议等形式进行大数据的交流,教育部也开始对各高校大数据技术的研究进行了更多关注[33]。
为了有效地利用大数据,有必要开发和使用可视化方法和计算工具。Park等[34]表示,有必要利用航空领域的大数据以及各种数据分析与可视化技术来收集和积累系统数据。Qin[35]介绍了一种使用飞行记录器数据的工业大数据可视化研究方法以发现影响飞机燃油效率的因素,并将数据处理和可视化的方法归纳为5个部分:灵活的数据准备、交互式探索、大数据可视化、统计验证和报表自动化。然而整个数据可视化过程皆由R语言实现,尚无法得知该方法在Python等语言上的适用性及其与其他组件和语言的交互性。
相对而言,学术界在航空大数据可视化的研究主要集中于机场方面。Sang等[36]利用清州国际机场的大数据分析了创造需求的方式,但是可视化的内容不够充分,分析工具没有经过独立验证证明是可靠的。Hwang[37]利用社会网络的大数据对襄阳国际机场用户的服务趋势进行定量和可视化分析,明确客户对机场服务的不同意见所导致的影响,从而给供应商提出建议。该研究在大数据信息提取中采取的关键词方法简洁高效,但是可视化分析结果与关键词的选取高度相关。Rehm等[38]讨论了两种最近的高维数据可视化技术,将航空数据和天气数据可视化,从而进行运营优化,并展示了在欧洲主要机场的实际应用。两种技术都可以很好地将欧洲机场的航空数据和天气数据可视化,目前主要的局限性在于运算速度。此外,鉴于欧洲各国多为地中海气候,而世界各国机场所处气候带不同,天气状况存在差异,在使用过程中需针对性调整。Rathod等[39]对机场等待时间进行了探索性分析,从美国最繁忙的前三名机场(亚特兰大、芝加哥和洛杉矶)采集数据,应用了多种数据可视化技术,讨论了这些机场在各种可视化方面的比较。该可视化分析结果将有助于预测旅客等待时间,可利用该方法结合各机场空间布局对等待时间进行优化。
大数据应用于航空系统,很大程度上将用来提升旅客满意度以及自身的运营收益。通过了解机场乘客的动态流量,大数据分析有助于规划机场系统的进度。随着社交网络的普及,航空系统正逐步利用网络平台进一步提升旅客服务和竞争力。意识到这种大数据分析的新趋势,Chen等[40]提出了基于社交媒体平台的乘客价值模型,并以新浪微博中的中国南方航空为例,表明大数据分析能够帮助航空公司更好地了解乘客并改善客户关系管理。Tom等[41]使用大数据来预测希思罗机场的乘客流量,以改善移民、安全系统渗透、登机和离境的情况。
对于航空大数据辅助运营,Clemons等[42]使用大数据技术来描述1998—2014年间的美国航空运输系统,通过将这一层次上发生的变化与外部事件相关联来分析行为驱动因素以及航空公司运营指标,并基于历史数据构建了一个数据挖掘工具箱以指导对未来系统特征的预测。Kasturi等[43]基于多种启发式方法对大规模航空数据执行大数据分析,提出航空公司航线盈利能力优化模型,实际效果证明该方法分析简便,有助于优化决策过程。Kim等[44]将大数据分析中的文本挖掘方法应用于航空业,对每年潜在的主题文章内容进行分析,提取并确定航空业的趋势和前景,但研究仅限于包含航空相关关键词的文章。
此外,在健康管理领域,陈金等[45]基于现在可用的数据和可预见的未来,为民航飞机健康管理提供了一个大数据分析和应用平台的设计。虽然并不完善,但可以满足当前的需求。Li等[46]提出了一种飞机健康管理的大数据体系结构,为世界各地运营的飞机提供管理和分析服务,以此解决故障覆盖率低、故障隔离率低、误报率高以及维护效率低等问题。Li等[47]还提出了一个便于民航发展的民航飞机大数据平台,从多种数据源收集数据,为民用飞机提供决策支持及应用系统。Xu和Kumar[48]介绍了基于机器学习的大数据分析框架,并将其用于提高辅助电源单元健康监测服务的质量和性能,目前已将准确度提高到60%。此外,文中指出:为互联网公司以及网络应用程序所开发和使用的许多机器学习算法不能直接应用于航空领域,并且大数据技术可能不易用于工业领域。这两条意见需引起相关专家学者重视。
国内外学者在大数据分析领域也进行了有意义的探索。Singh和Kaushik[49]为了从大数据中获取有价值的预测信息,定义大数据中间层体系结构来执行查询分析和大数据评估。提出以元数据的形式存储数据集的所有方面,以使用户查询将在选择性数据集而不是整个数据集上执行,并提供一个优化的方法来执行数据清理以及数据关联和分类,但该方法在效率上仍存在问题。Athan等[50]描述了一种新颖的分析系统,可以对大型航空数据流进行查询处理和预测分析。然而该系统必须与航班数据进行关联才能分析,且目前硬件仅由3台物理服务器组成,若扩大使用需考虑兼容性问题。Anandavel等[51]介绍了开发和使用大数据基础架构分析航空数据的方法,并利用大数据分析领域的最新工具和技术来改进维修决策。不过研究中使用案例较为简单,还需要复杂航空数据对该大数据分析架构进行检验。
本节主要介绍航空系统中大数据采集、传输与存储,航空大数据分析平台基础架构和大数据应用等方面的现状,同时也对航空系统中典型的大数据分析平台进行简要阐述。
大数据技术的核心价值在于对数据进行深入挖掘分析,提取有意义的信息从而对数据进行增值。美国联合航空公司[52]曾表示航空系统在数据收集上一直做得很好,而在数据利用上却并不很擅长。C919总设计师吴光辉[53]也认为迄今为止航空大数据的潜能仍然没有得到很好挖掘。国泰航空董事长John Slosar、印度尼西亚鹰航首席执行官Wiobowo以及澳洲航空首席执行官Alan都曾指出[54]:从数字经济的发展趋势看,航空公司必须不断发展挖掘大数据的技术手段,建立强大的IT根基,未来市场将淘汰今天不肯在大数据挖掘和分析领域投入的航空公司。目前为止,所有发动机生产商,从普拉特·惠特尼公司(P&W,简称普惠)到GE以及CFM集团[55]都在通过应用大数据,改善提供给航空公司的产品,而各航空公司及维修基地也立足自己的数据资源进行大数据平台的开发。
基于机载传感器[56]的大数据获取技术主要分为民航领域普遍应用的快速存储记录器(Quick Access Recorder, QAR),航空装备制造商普遍使用的远程诊断(Remote Diagnosis, RD)数据采集技术,以及军用航空装备领域普遍应用的基于飞行数据管理系统(Flight Data Management System, FDMS)的数据采集技术。QAR飞参数据获取技术通过机载快速存取装置,可同时采集包括飞机飞行姿态、机上设备运行状态、燃油使用量在内的数百种数据。RD数据采集技术则通过飞机涡轮风扇发动机上的传感器采集发动机在起飞和降落阶段的各种关键参数。基于FDMS的数据采集技术则是通过军用飞机内部的飞行数据管理系统收集数据,收集的数据类型涉及飞机的发动机、飞控、导航和供电等机载系统的各项信息。
现在,有不少制造商都在如何采集、传输和存储飞机传感器数据方面开展工作,提出相应的解决方案。霍尼韦尔公司[57]开发了JetWave高速通信系统,可以将飞机运行数据实时传送到地面,提高飞行效率和安全。波音公司[58]研发出飞机状况管理系统,不但可以采集并传输飞行数据,还可以进行数据分析预测故障,从而实现维修预测。ARINC公司[59]开发完成了飞机状态分析和管理系统,该系统可以采集分析飞机上多个来源的数据信息,进行故障诊断,并评估故障部件对飞行的影响,使维修技术人员可以提前准备好航材备件及拆装工具,降低航班延误的风险。联合技术航空系统(UTAS)公司开发出飞机接口装置(Aircraft Interface Device, AID)用来收集和利用来自飞机的各种数据。该装置作为预测飞机健康的数据中心,无论是在飞行过程中或是在地面都可以通过多种方法将数据传送给飞行员或者工程技术人员,AID还可收集来自于飞机外场可更换件的数据并进行视情诊断。除了AID,UTAS公司还在开发新的系统用于飞机内部的传感器、作动器和数据处理网点之间的无线通信,其中的一个目标是可以收集更多的数据进行故障诊断。
而普惠在航空大数据采集、传输与存储上都已有相应成果。普惠推出了[60]用于在线收集各飞行阶段发动机数据的先进诊断与发动机管理(Advanced Diagnostics and Engine Management, ADEM)工具,对在役的7 000多台普惠发动机进行基于实时数据的专家分析。与此同时,为提高数据的存储和计算能力,普惠与IBM、麻省理工全球运营领袖项目及联合技术研究中心等[61]展开合作,将商务、工程和制造系统都通过IBM云进行管理,凭借IBM的支持以增强其对4 000多台在役商用发动机的性能监控能力,为客户提供更长的在翼时间、更强大的发动机机队管理和健康解决方案。普惠加拿大公司的基于飞机联通性的飞行数据采集、存储、传输(Flight data Acquisition, Storage, Transmission, FAST)解决方案,是用无线方式采集和传送飞行过程中的飞机和发动机数据。FAST将分析数百个与性能相关的数据,如速度、温度、压力,以提供接近实时的发动机健康、使用和性能趋势的监控。
此外,罗尔斯·罗伊斯(简称罗罗)正收集和分析[62]发动机的设计、生产、机队和运行方面的数据,以及了解天气条件、机场设施、飞机滑行情况和周转时间等方面的数据与微软合作开发“智能发动机”。中国东方航空机务系统[63]也在全面整合与统一整个机队数据,并进一步扩大对飞机各系统的数据采集与分析的覆盖范围,为后续利用大数据技术全面保障机队的持续、稳定、高水平运行打下坚实基础。澳洲航空公司、中国国际航空股份有限公司、深圳航空有限责任公司也都引入了数据采集系统并收集了大量的数据,为大数据技术的全面应用做出充分的准备[64]。
2.2.1 航空大数据平台基础架构
当前接纳程度较高的航空大数据平台基础架构主要思想是利用分布式文件处理系统作为航空大数据的存储框架,利用分布式计算技术作为航空大数据的处理框架。架构中包含数据采集及预处理、数据仓库、大数据访问框架等模块,整体上可以分为数据层、分析层与应用层三大块。其中航空大数据生成和采集是一切工作的前提,而航空大数据的安全存储是完成工作的保障。
1) 采集和预处理。航空数据的采集,即指使用某种技术或者手段获得原始数据的过程。数据采集不仅要考虑数据源的物理性质,还要考虑数据分析的目标。为使数据记录做到全方位、全过程、全纳和非干预的采集,不会造成结构性短缺,除结构化数据的采集,图片、视频、语音等非结构化的数据也属于采集对象。
由于数据来源结构复杂,采集的原始数据中常常会存在与数据分析目标相关性不大的成分。再加上不同的系统拥有不同的标准,而这会导致数据的冗余和不完整,形成大量模糊信息,因此需要对采集后的数据进行预处理。数据的预处理以实现互操作为基础。此外,传统的数据预处理技术主要针对规模较小且语义清楚的结构化数据,而大数据的融合和质量控制仍然是一个需要深入研究的问题,需要结合大数据的异构性、冗余性和相关性等特性深入分析。总之,数据预处理过程是重要环节,通过数据预处理,为大数据分析的顺利进行开辟了道路,也是高效率完成大数据分析的前提和基础。
2) 存储和共享。大数据存储框架构建在通用的设备上,可以使该架构所需的硬件具有低成本和高扩展性的特点,标准的设备即可成为该架构的终端构成单元。目前Hadoop逐渐被互联网企业广泛接纳,Hadoop分布式文件系统(Hadoop Distributed File System, HDFS)可以实现计算节点上的数据存储,从而实现对数据的高吞吐率,其可以部署在大规模廉价硬件集群上的特点使其特别适合于大规模数据存储。
航空相关企业已经收集了满足自身的数据,但这些航空大数据分散存储在不同的地方、不同的系统中,造成了服务目标单一、数据利用效率不高等问题,且大多无法处理和分析海量、多源、异构的信息资源。同时数据库之间存在着缺乏统一、有效的数据管理和共享机制等问题,形成了诸多“信息孤岛”。此外,航空数据分散存储在各自系统中,容易造成数据的安全漏洞,因此需要研究如何实现分散存储数据之间的融合及同步处理分析技术,对存储的数据进行数据共享。首先,需要对已经存在的航空信息系统的原始数据进行分析,了解各类数据的数据结构和数据之间存在的逻辑关系。在此基础上制定统一的数据存储和共享标准,通过统一的技术架构和集成方法,有效降低数据交换和共享的复杂度,提高数据使用效率。继而制定航空大数据的资源目录,对数据接口、数据格式以及数据编码进行统一定义。然后,需要定义数据整合规则及策略,并建立严格的数据校验机制和数据共享机制。最后,开发分布式云平台的数据存储技术,实现基于云平台的数据统一存储和共享。
3) 大数据分析。大数据存储框架之上是通过网络层连接的大数据访问框架与大数据调度框架,大数据调度框架实现了对大数据的组织与调度,为数据分析提供了必要条件。大数据分析是航空大数据平台的核心,是指对海量类型多样、增长快速、内容真实的数据进行分析,从而找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。
大数据分析一般利用分布式计算集群对数据进行可视化分析、数据挖掘算法、预测性分析能力语义引擎等。可视化分析是对数据进行关联分析并做出分析图表,使数据直接展现在用户面前。数据挖掘是从数据中提取隐含在其中、人们事先不知道、但又潜藏有用的信息和知识的过程。预测性分析能力是指应用统计学方法,根据可视化分析和数据挖掘的结果来对未来发展进行预测的手段。语义引擎指的是对用户的查询关键字进行处理,引申语义含义从而更加准确、全面实现用户检索。
航空大数据分析主要有批处理和流处理两种方式。在批处理研究方面,MapReduce是常用的批处理引擎,然而MapReduce虽然能够有效解决大数据处理中性能不足的难题,却无法高效地支持算法逻辑运算。而类MapReduce的通用并行框架Spark具有更高的效率和数据独立性,以及更高的执行效率。在流处理方面,Storm是较为常用的流式处理系统,其采用消息流的处理模型,消息一旦产生就开始传递和处理。
4) 其他。大数据调度框架之上是智能应用系统。在应用层面,需要针对航空相关技术领域,深入开展大数据技术应用需求分析、场景设计、分析模型、专业方法的研究,催生具体应用。航空系统是一种高维非线性的复杂系统,对其中的子信息源而言,一方面可以单独应用大数据技术,提升其价值,另一方面可以融合不同的子信息源,在更高的层面上构建大数据平台。此外,大数据的管理、安全和备份恢复框架用来帮助进行大数据的治理和保护。
2.2.2 典型航空大数据平台
事实上,整个航空系统已有不少企业将其大数据分析技术综合利用形成大数据分析平台。较为出名的有GE推出的Predix平台,波音推出的AnalytX平台,普惠推出的Engine Wise平台,空客Skywise平台,法荷航Prognos平台以及汉莎旗下的Condition Analytics与AVIATAR两大平台。
1) GE Predix平台。早在2013年,GE便已经发现了大数据的广阔前景,并开发出一个基于云计算的软件平台Predix。此后几年,围绕Predix平台,GE进行了大量的动作。2014年,GE已经将各种工业设备的管理方案,整合成了四十余种数据与分析解决方案。2015年,GE成立了“GE Digital”,并宣布将Predix全面对外开放[65]。2016年初,Predix平台正式开始运行,成为首个面向全球工业领域、专为工业数据分析开发的云服务平台。
一开始的Predix只是一个GE飞机引擎的配套软件服务,用来对飞机引擎进行预见性维护,借此避免设备停机。而后,Predix的应用扩大到GE旗下的其他工业业务。最后,基于战略需要,Predix被GE重新定义为在工业应用中基于云的操作系统。Predix平台以连接工业资产设备和合作供应商各类信息系统为基础,提供端到端的安全连接、实时性的设备资产监控以及云端大数据分析,还能够按行业客户需要,按照Predix开发规则进行个性化、定制化的软件开发和部署。Predix结合自身的层次化技术构架,包含3个层次的服务:包括“数字双胞胎”、预集成的标准化工业数据挖掘和分析工具等在内的应用层;包括应用开发服务以及资产、分析、数据、安全、运营服务六大核心服务在内的工具库;通过软件和互联网的方式,提供物联网边缘的设备接入、管理、应用服务的Predix边缘服务。
作为全球第1个专为工业数据与分析而开发的操作系统,它能够快速获取、分析海量高速运行的工业数据,做到对机器的实时监测、调整和优化,提升运营效率。此外,相比于传统大数据存储技术,航空大数据存储技术需要有专门的工业解析协议来解析收集的航空数据,GE开发的Predix工业互联网平台可支持7种工业通信协议,并具备相关工业设备运行数据的实时传输与解析能力,可以与各种云环境中的应用和服务进行无缝衔接,将其用于发动机状态监控,帮助发动机监控团队捕捉更多的数据,使数据分析变得更精确、更快捷。同时,结合GE自身在运营安全和信息安全领域数十年的经验,大数据的安全存储问题也将得到保证。
2) 波音AnalytX平台。2017年第52届巴黎航展期间,波音宣布启动AnalytX,将全公司800多名分析专家汇聚在一起,将数据转化为可执行的见解和客户解决方案。直至MRO欧洲会议和展览会结束,AnalytX解决方案已为波音公司带来223份分析合同。
该平台是将波音现有分析服务和产品联合在一起的企业能力,提供量身定制的分析驱动产品和服务组合。AnalytX应用科学流程,通过先进的数据收集和处理能力,然后将其与航空专业知识相结合,提供智能解决方案,帮助客户做出数据决策,从而在飞行任务优化、维护和工程优化、供应链和库存优化、机队性能和可靠性分析、降低燃油成本、降低风险、提高效率以及预测性维护等领域提供产品和服务,所有这些产品和服务都旨在加强数字化转型和MRO价值提升。目前,AnalytX已开发出一系列新服务,这些新服务能以更快的流动时间,更低的运营成本和更高的端到端可靠性形式推动着创新生命周期,随着这些工具的引入,AnalytX平台将能更高效、更经济地为客户提供大量规定性、预测性和描述性解决方案。
3) 普惠Engine Wise平台。2017年4月25日,普惠于弗罗里达州奥兰多市宣布推出商用发动机服务平台Engine Wise。Engine Wise依托大数据技术,采用尖端的数据分析、实时信息辅助决策、高速灵活的响应等,能够提供智能解决方案,可以更好地代表普惠所提供的服务,展示其为客户机队的可预测性、可靠性及健康做出的不断改进,同时还能够不断改善与客户的沟通,推动与客户之间更加透明、更加紧密联系的工作方式。目前该数字化分析平台的服务对象已从PW4000发动机扩展至V2500发动机,并已实现了关键过程的自动化[66]。通过Engine Wise,普惠正在统一其售后服务产品组合并将推出新的服务来支持客户不断发展的需求,该服务品牌旗下的主要服务包括机队管理计划、发动机大修服务以及材料解决方案等,同时普惠还与客户合作开发整个生命周期的新产品。
在Engine Wise服务品牌下,普惠正在拓展电子飞行数据采集存储与传输(eFAST)系统[67]的可用性。这套近实时的机载数据抓取与传输装置能够在整个飞行周期内捕捉几万个预定义的飞机及发动机数据,并自动传输至客户网站进行分析以优化运营与维护。目前eFAST系统的服务范围已从庞巴迪C系列飞机扩展至空客A320neo等机型,在这些飞机上应用eFAST的全面数据访问和准确性,更快地识别和验证根本原因和纠正措施,从而对事件做出更快、更好的响应,加快了技术解决方案并减少了发动机和部件的计划外维护。普惠正在努力在不久的将来将Engine Wise平台扩展到其他飞机型号。此外,普惠正大幅投资全新技术与资源以提升响应速度与灵活度,并结合运营商的需求及提出的建议开发数据获取与预测分析工具以帮助运营商制定减少运营干扰并增加飞机使用的建议,运营商届时可更好地了解有关其机队与整体运营的情况。
4) 空客Skywise平台。作为波音的老对手,第52届巴黎航空展期间,空客与大数据集成和先进分析的先驱Palantir Technologies公司合作推出了Skywise航空数据平台。Skywise旨在成为所有主要航空公司使用的参考平台,以提高其运营绩效和业务成果,并支持其自身的数字化转型。Skywise可以为所有用户提供一个单一入口,将来自各个渠道的丰富的航空数据以及运营方以前跟空客在独立服务器上分享的数据资源整合到一个安全的云平台上,帮助运营商通过全面的数据来进行他们自己的分析和决定。更重要的是,通过将运营、维护和飞机数据整合到一个安全并开放的平台上,航空公司可以在无需更多设备投资的情况下储存、提取、管理和分析选定的空客数据以及他们自己的数据并和全球基准数据作比较,这所创造的价值很快会给空客的用户提供关于飞机、机队、公司和全球航空业的更好的见解。
通过数据平台的知识、全球数据和航空航天经验的独特组合,Skywise将在以下关键领域帮助用户提供服务:减少飞行中断、预测性维护、降低成本、运营优化、飞行操作优化、改造机舱和机坪运营以及针对突发情况的快速决策。此外,Skywise还提供分析业务、API和应用程序等延伸性服务,并可以根据客户需求量身定制,从而确保整个数据链的连续性以及整个价值链的优势。支持平台的技术能够与客户现有的IT基础架构无缝协作,并提供超越标准开源软件所能实现的功能,而其核心技术能帮助用户更好管理复杂的大数据,同时还可以让用户在商业成果中获得更多数据。
5) 法荷航Prognos平台。自2015年起,法荷航维修工程公司(AFI KLM E&M)就拥有了自己内部的大数据平台[68]。2016年,法荷航通过连接到所有客户数据源信息,获得了客户的全方位了解,并依此开发了许多个性化的服务。2017年,法荷航推出Prognos平台,该平台是由一系列从飞机各系统挖掘数据的软件解决方案组成的一整套完善的预测性维修数据分析工具。Prognos中包括发动机监控软件,可为该公司保障范围内的所有发动机进行数据监控,并通过利用大数据技术提前识别出即将发生故障的部件,为运营商降低成本。当前,法荷航正在测试Prognos中关于发动机健康监控的产品,以及针对A380飞机的Prognos应用,其中A380飞机的数据来源于空客的大数据系统。此外,法荷航维修工程公司还表示目前正在开发用于波音747和787的非发动机部件的分析平台以成为OEM支持服务的有益补充,新服务将集中在可能引起大部分航班取消和延误、且已拥有大部分数据的监控系统。
6) 汉莎Condition Analytics及AVIATAR平台。德国汉莎技术公司意识到,主要的发动机制造商都在研究大数据分析平台,以加强预测性维护,因此,2017年第一季度,汉莎发布了一款将状态监控与维修预测两项功能合二为一的状态分析平台——Condition Analytics。该平台引入了航空公司的运营数据和专业工程知识,而且结合实际案例进行大数据分析,使零部件的维护修理更具预测性。汉莎力图通过这一工具,逐渐以预测性维修工作替代原来以故障排除和状态监控为主导的维修方式。更为重要的是,汉莎可以依据各家航空公司的要求配置定制化的Condition Analytics平台,短期可预见的是这一工具能够帮助航空公司降低成本、提高飞机可靠性和安全性。
针对航空业务的技术和运营,2017年初,汉莎还推出了一个独立、开放且模块化的数字平台——AVIATAR,该平台的出现为不同数字化机队管理的应用软件提供了一个综合化的网络平台。AVIATAR的开放和模块化架构不仅可以安全地存储航空公司的运营数据,而且可以将数据用于预测维护方案、状态监测和故障分析。此外,航空业的运营商和其他参与者可以通过AVIATAR降低后续成本,实现航空公司运营优化以及更安全、更可靠的机队管理,为世界各地的乘客提供更优质的服务。AVIATAR提供各种应用程序供用户选择并可以根据用户的技术要求进行调整,同时,汉莎还将该平台作为应用程序的中央连接枢纽,允许合作伙伴、客户、开发商的应用程序连接到AVIATAR,共同为航空业提供数字产品和服务。目前,AVIATAR平台已经加载了交互式世界地图,以提供更为细致、实时的服务,并实现更为简便、高效的人机交互。
相比于国外知名航空大数据分析平台,中国部分航空企业也已建立了大数据分析平台,但目前仅限于自身内部使用。南航的大数据平台分为两个部分,分别是大数据服务平台和大数据处理平台,其中大数据处理平台基于Hadoop建立,已成功解决南航的大数据存储问题。随着空客A380、波音787等机型的远程诊断系统模块的正式完成,2016年,“飞机远程诊断实时跟踪系统”第4代原型面世,这标志着南航对于飞行大数据的研究全面进入工程应用阶段。中国航空Ameco工程部凭借广泛的合作研究以及多年飞机维修的管理经验和监控技术的开发经验,已建立了具有自主知识产权的飞机状态预测和维修作业管理平台。该平台已经在国航的数百架飞机上累计完成了500多万飞行小时的试验验证,未来将会在国航全机队中逐步推广和应用。海航建立了飞机健康管理大数据应用平台,该平台通过对飞机状态的实时监控和健康管理,及时发现隐性故障、运行不正常事件,优化机队维修和工程管理水平,能够有效提升机队安全运行品质和维修效率,为航空公司维修控制、工程管理、航线维护部门带来极大的便利。海南航空也正在利用新的大数据分析工具Amadeus预订分析系统,帮助公司掌握在更大市场范围内的营运状况,制定更切合实际的有效业务战略。
相比于专家学者,航空系统相关企业对于大数据辅助决策、预测维修、辅助运营等方面的功能拥有更高的热情以及更为现实的需求。相关航空企业早已将大数据分析技术应用于自身的生产运营实践中。
2.3.1 航空大数据辅助决策
罗罗是首先使用发动机数据进行革新的原始设备制造商之一,在大数据被炒得火热之前就已经采用大数据分析了。早在2006年,罗罗就已经通过卫星,实时监测3 000多个发动机数据并进行分析。特别是通过行业首创的发动机健康监测系统,罗罗早已成为航空制造业大数据采集和应用的领军者。罗罗在飞机发动机的制造和维护过程中,也采用了大数据分析[69]。罗罗发动机中配备了大量传感器用来采集发动机的各个部件及系统的数据,通过专门的算法导入引擎健康模块的数据采集系统中进行数据分析,可以帮助罗罗提前发现故障并帮助客户更及时有效地安排发动机检测和维修,因此一些业内人士也将其发动机称为“大数据引擎”。
由于现有的数据处理工具已经无法满足航空业越来越极致精细准确的要求,空客公司2014年开始投入资金与Oracle共同建立基于Hadoop技术的大数据处理系统及飞行模拟数据分析软件,空客公司内部随之成立了“数据处理与试飞集成中心”收集并分析来自事先安装在飞行样机上的传感器在试飞过程中产生的数据,并决定使用Google公司的MapReduce技术来提高数据访问和处理的效率。一旦整个流程成熟固化后,很多真机飞行试验可通过数据模拟预先进行甚至替代,同时可保证飞机的安全可靠性,这帮助空客公司大大降低了研发成本,也保证了交付周期。
2015年,波音与卡耐基梅隆大学的计算科学学院进行合作,利用其先进的人工智能与大数据技术对波音飞机进行全面升级[70],用数据来指导设计、制造、运营及维修预测等方面的工作,同时双方组建了航空数据分析实验室。2016年7月19日,波音与微软公司签署合作协议,把波音的航空分析应用转移至微软Azure云平台,结合波音自身专业且丰富的航空数据资源以及微软的云技术,加速实现维修预测以及优化飞行,使航空公司降低成本并提高运营效率[71]。2016年8月11日,波音宣布开设一个新的实验室,专注于数据分析驱动的软件解决方案,采用快速构思、构建和扩展解决方案的方式帮助航空公司和其他航空器运营商提高效率并降低其业务成本。在2016年法恩伯勒国际航空展上,波音宣布为6家客户提供先进的分析解决方案,使航空公司能够做出更好的决策并显著提高地面和空中的性能。
NASA根据数据产生的环境,将其大数据的发展分为“大科学”与“大事业”两个阶段,而NASA对大数据的研究正处于过渡阶段[72]。NASA现在已拥有专门的故障预测中心进行复杂航空航天装备故障预测方面的研究,其中一项成果便是由数据驱动的设备剩余寿命预测技术。NASA在大数据技术领域的专长在于航空安全领域,利用先进的算法,NASA可以从飞机当中收集大量非结构化数据,提取相关信息以发现各类能够帮助商业航空公司改进现有维护流程的安全隐患,同时预见并避免各类设备故障。同时,NASA的先进信息系统技术能够采用成熟的大数据能力,以减少信息系统的风险和成本,从而提高科学数据的获取和实用性。
GE曾通过故障数据的采集与分析发现中国发动机故障的主要原因并试图利用新型材料与新型设计方案开发更适合于中国环境的发动机,这成为应用大数据为发动机优化设计提供决策的典型案例[73]。2014年4月,GE中国航空工程技术部新设立航空大数据分析和数字化解决方案部专门解决运用大数据来预测飞机的发动机在何时需要检修的问题。2017年,GE部署数字双胞胎模型,其本质上是一种基于喷气发动机传感数据、数字化发动机物理模型以及虚拟现实技术的综合大数据分析技术,GE据此可以使得维护计划更有针对性[74]。目前,GE正在建立分析模型,综合考虑发动机运行数据、历史数据、客户期望以及技术目标等相关影响因素,对维修维护工作进行优化。
除了进行自主研究,GE还在大数据领域开展了广泛的合作。2014年3月,GE与中国东方航空签署了一份战略合作协议以分享各自掌握的大数据,GE将利用这些信息对中国东方航空使用的飞机发动机进行分析,让飞机进行远程体检[75],从而预测飞机的发动机在何时需要维修。目前预测的准确率达到了80%以上,而GE的团队正在对现有分析模型的准确性进一步验证,融入趋势性分析程序开发新一代的远程诊断平台。2016年11月,GE宣布与Teledyne技术公司的子公司Teledyne控制建立战略合作伙伴关系,用Teledyne的无线数据采集和管理技术加上GE的Predix云平台,对发动机健康监控的数据进行持续的分析,帮助开展维修预测,提升运营效率。同月,GE还与Capgemini以及凯捷管理顾问公司合作,分别推出用于解决平台和格式差异的“构型数据交换”计划以及跨软件数据传输平台。
中国东方航空机务系统开展了基于自身运行特点的大数据技术分析与应用,依托Airman、AHM等系统的支持,以自身运行数据为基础,通过加强与空客、波音、GE等重要厂商的合作,对诸多监控数据的阀值参数进行了本地化修正。随着对大数据技术应用的不断深入,中国东方航空开始自行开发软件程序,以实现对飞机重要系统进行参数监控和数据分析。
2017年10月18日,在“数字护航,比翼未来”数字科技高峰论坛上,中国南方航空展示了基于大数据的飞行大数据应用、飞机远程诊断系统、集合海量数据分析的最新一代机务应用平台等最新科技成果,并表示将与GE合作进一步推进数字化领域的深度交流与合作,在飞行大数据平台功能提升等方面,创建大数据时代下的机务维修新模式,共建互利共赢的数字化维修智能生态圈。同时,中国南方航空与中国民航大学合作成立了南航工程技术中心,将在飞行大数据应用等方向长期开展工程化研究。
海南航空集团历经25年的发展,已从单一的地方航空运输企业发展成为以航空旅游、现代物流、现代金融服务为核心主业的大型企业集团,作为在航旅市场上拥有强大线下资源以及丰富运营经验的大型运营商,海南航空正将大数据用于高效整合线上线下资源。同时,海南航空试图通过收购扩张的方式,加强在大数据领域的技术储备,为打造数据开放平台、数据产业链与生态圈提供助力。
2.3.2 航空大数据辅助运营
在航空大数据辅助运营领域,2016年,罗罗与微软展开合作,建立全新的数字化功能应用到微软Azure云平台上,实现对海量航空运行数据的汇总、整合,之后利用微软Cortana智能套件对这些数据进行分析研究,提出个性化的解决方案,进一步降低航空公司能源消耗,全面提升运营效率。2017年,罗罗成立了一个数字化部门R2数据实验室,以加快旗下航空发动机产品的设计、制造和操控效率。中国东方航空借着自身管理信息系统整合与工程维修信息管理系统建设的契机,将大数据的应用扩展至航材管理、工程管理、维修管理、质量管理、培训管理、供应商选择等业务上。同时,中国东方航空利用西雅图Tableau软件公司的系统进行市场研究、优化航线,以期增加收入。
中小型航企由于自身资金周转等问题,对于航空大数据辅助运营拥有更为迫切的需要。亚洲航空作为一家低成本航空公司,对于大数据技术的需求在于利用先进的数据捕捉和分析技术来保持低票价并尽可能的节省燃油消耗,公司正在使用GE的航班效率服务系统实施精准导航服务、航班数据分析和燃油管理服务。这一建立在数据基础上的服务系统降低了成本,提高了飞机利用率。澳洲航空还利用大数据分析,对运营不正常状况做出快速反应,降低航班延误数量,并已将航班延误数量降低了60%。新加坡航空于2015年与罗罗签订了一个为期5年的合同,使用罗罗大数据分析系统以降低公司燃油消耗。2017年初,新加坡航空又与Amadeus合作,使用其Altea网络收益管理系统、动态定价系统和Altea集团管理人员解决方案系统加强其运营能力。
2.3.3 航空大数据旅客分析
除此之外,旅客分析也是航空大数据辅助服务的一项重点内容。法荷航集团开发了一款适用于移动设备的免费应用,使用公司追踪获取的数据为旅客提供行李追踪服务,以减少行李遗失等旅行中不必要的困扰。日本航空公司认为对于航空公司而言,分析大数据以保持旅客忠诚度是大数据所提供的重要机会之一,于2017年首次对其进行改造,投入8.28亿美元建设新的云服务系统以提升客户体验。日本航空还计划通过对旅客数据的处理,来确定具体航线和航班上旅客的餐食偏好,从而有针对性地制定菜单,满足旅客需求。在中国,中国南方航空也在对客户信息做大量分析,用于精准营销和产品设计。
作为新兴领域且实际应用迫切需求,航空大数据的应用前景非常广阔。大数据技术在航空系统的发展已经走过了早期阶段,并且航空公司和维修企业已切身感受到大数据技术所带来的可靠性增长以及维修成本的降低,但想让大数据在航空系统发挥出更多的价值依然存在重重挑战。这其中有理念上不够重视导致的,有方法不当引起的,还有技术及人员不足带来的挑战,但这些挑战中又隐含了航空大数据未来的发展趋势,故本节对这些挑战与趋势进行梳理。
民用航空是一个保护性行业。而保护性产业在接受新事物时具有沉稳性。2016年,中国南方航空是首个加入国家综合交通运输出行大数据开放云平台的航空企业。打造“互联网+航空”领域的新型“粉丝经济”。同时,中国南方航空在公司内部深度利用大数据挖掘企业流程再造,实现“提质增效”。这在一定程度上利用大数据实现跨越式增长。但同时,也相应发现大数据的局限性。
虽然航空企业高层思想上比较重视大数据的推广及应用,但是在庞大的航空企业内部实施还具有一定阻力。目前某些公司的工作重心仍放在对传统IT系统的升级以及基础设施的建设上。此外,在开发阶段,大数据软件、系统与平台的开发都需要投入大量的人力、物力、财力。在数据存储与管理阶段,分布式云平台的建立与维护以及整个系统运行时的能源消耗也需要大量的资金成本。在航空企业内部阻力以及沉稳性的影响下,由此引发的资金不足问题很容易成为大数据研究发展的制肘。
因此,为使数据的力量有效地转化为生产力,航空公司必须首先从思想层面接纳大数据,并实现由大数据带来的思维方式的转变。然后由公司首席数据官作为发起者,结合大数据研发团队建立一个专门的大数据规划、建设和运营组织,以这个上行下效、沟通流畅的组织作为大数据研究的坚强后盾。继而在广泛调研的基础上制定出符合自身目前所处状态的简洁、全面、明确、现实的大数据发展战略,为公司大数据研究指明方向。
当前大数据处理方法主要分为批处理模式和流处理模式。其中批处理主要用于处理大容量静态数据,但处理速度相对较慢,较为偏向于大数据“5V特性”中的规模性。而流处理方式无需针对整个数据集执行操作,而是对通过系统传输的每个数据项执行操作,可以做到近实时处理,偏重于高速性。两种处理方式各有所长,而航空大数据的特点决定了其两方面皆有需求,既需要对大量历史数据进行分析,又需要对不断产生的航空数据进行处理。此外,航空大数据中复杂的图表、音频、视频等非结构化数据也对当前的大数据处理方法提出了严重的挑战。
因此,将批处理和流处理混合,以相同或相关组件为纽带,在同一处理框架中同时实现批处理和流处理将是大势所趋。不仅能够满足具体数据集的处理需求,还能够成为航空大数据处理的通用解决方法。当前已有Apache Spark以及Apache Flink在这种混合化方面做出了尝试,但都在兼容性方面陷入瓶颈。因此处理模式混合化依然有一段长路需要走,而实现这样的功能重点在于两种不同处理模式如何和谐统一,以及对固定和不固定数据集之间的关系进行何种假设。
尽管数据采集、数据传输、数据存储、数据分析等技术一向是航空系统关注的重点,但技术问题依然是限制大数据在航空系统发展的重大难题。在数据传输上,目前主流的做法是在飞机降落后统一采集,虽然也有技术实现了航空数据的实时采集,但现阶段传输成本较高,性价比较低。降低实时传输成本以及实时传输与事后获取之间的平衡问题将是航空工业界亟需解决的问题。而随着航空市场的发展,机队规模的增加,当前大数据分布式存储的技术能否应对持续增长的航空大数据也是各大企业需面对的挑战。此外,对航空大数据复杂性内在机理及物理意义了解不足,对航空大数据相互作用规律缺乏认识,缺少面向航空大数据的新型高效算法等一系列问题都在技术上向大数据在航空系统的应用发出了挑战。
因此,分析平台柔性化将成为之后航空大数据平台的发展趋势。虽说已有不少航空企业研发了自己的大数据系统或平台,并且能够很好地服务于现在产生的数据,但目前的航空大数据,在不久的将来还只会是小数据。随着数据增长率不断增加,航空大数据分析平台应该能够支持现在以及将来产生的巨大的数据集,系统必须不断演化,组件也要能扩展以适应日益变化的需求。柔性化的平台能够支持不断发展的配套组件,能够使系统动态自适应地进行预测并确保模型的准确性,将成为航空大数据分析平台未来发展的方向。
从用户的角度讲,航空大数据平台不是个性平台,而是一种与电力系统等行业的大数据平台有诸多共同之处,但更偏重于航空应用的平台。美国产业研究中心支持的研究机构就为全球包括航空业在内提供了诸多成功案例。成功的平台来自于第三方的专业技术人员和航空领域工作人员的协同与配合。
从航空企业内部角度讲,由于大数据发展本身时间尚短以及企业专业人才储备不足等因素,航空企业自己研发包含大数据分析、机器学习和云计算等先进技术的解决方案颇为困难。而第三方企业缺乏航空专业知识,尽管具备广义上的大数据处理手段,但在航空大数据这种具体行业,具体需求的问题上缺乏针对性。自身能力不足与外界协助困难正是广大航空企业面临的一大困境。
因此,进行资源整合是必然选择。当前已有部分企业采用企业间合作、收购数字化分析企业、成立新部门、建立实验室等方案进行大数据开发,如罗罗与微软之间的合作,普惠与IBM建立合作关系,Flight Global航空数据集团收购航班时刻数据商Innovata,GE成立航空大数据分析和数字化解决方案部,空客建立A3实验室。为应对未来更加复杂、更为庞大的数据,航空业必将进行更高层次的资源整合。在这种大趋势下,缺乏大数据竞争力的小型航空企业将在航空大数据研究领域慢慢边缘化,只能使用其他航空企业成熟的技术与分析平台。
美国工程院院士史建军指出,大数据是方法,不是目的。本文简述了学术界对航空大数据的理论研究,介绍了航空工业界在航空大数据采集存储、分析平台以及应用方面的实践情况,同时指出目前面临的挑战以及可能的发展趋势。尽管面临种种难题,但大数据方法已在航空系统生根发芽。随着国产大飞机的成功研制、“两机专项”的提出以及“中国制造2025”的逐步实施,大数据这种方法在具有优秀基因的航空系统拥有旺盛的生命力,期待这种生命力能绽放出美丽的青春。