基于强化因果发现的航班地面保障事件影响因素分析

邢志伟，李正锋，罗 谦+，夏 欢，张 涛

(1.中国民航大学 电子信息与自动化学院，天津 300300；2.中国民用航空局第二研究所 工程技术研究中心，四川 成都 610041)

0 引 言

航班地面保障(flight ground service，FGS)是民航机场航班进离港之间的重要组成部分。多年来，由FGS造成的航班延误一直难以解决。效率低下的FGS事件可能对机场运营造成严重损害。2019年中国民航发展公报[1]与欧洲航空延误报告[2]中表明由航班地面保障所引起的航班离港延误达18%，平均延误同比仅减少了0.14(3.55→3.41)分钟。因此，对影响FGS事件执行效率变化的关联因素进行因果发现，确定具有因果关系的因素将有助于减少低效率事件的发生，维持机场空侧区的正常运行。

因果发现是为了回答“通过修改哪些变量的值可以改变另一个变量的值？”。事物之间的关联关系不意味着具有因果关系[3]，关联关系表示事物发生概率变化之间的关系，仅使用关联性分析如简单的业务逻辑分析无法准确描述事物变化的机理。

为了解决FGS影响因素的因果发现问题，本文首先分析了以往的研究，给出了关联与因果的统一定义以及量化各影响因素的时间参考量。随后提出了一种基于增剪边规则的强化因果发现算法(reinforcement causal discovery，RCD)以分析和识别FGS事件影响因素的因果关系，该算法以经独立性检验后的元因果矩阵与满因果矩阵为输入，以增剪边规则为行为，由评分函数计算每次增剪边后的奖励分数，经过多次迭代得到代表因果边存在的参数θ，最终给出FGS影响因素的最优因果图，整体流程如图1所示。

图1 变更因果有向边的因果发现

1 相关工作

目前FGS的研究主要集中在过程模拟、设施优化和特种车辆的运行效率方面。文献[4]提出了基于博弈树理论的航班地面保障过程动态控制方法，减少了航班的平均调度时间，但选择的保障事件较少，实验广泛度不足。文献[5，6]都是针对保障流程的研究，采用AOE网和“关键路径”法，得出保障事件与航班延误之间的关联关系，并对保障工作给出建议。

在国外的研究中Jin等[7]提出了一种基于理论FGS过程模型的使用离散事件模拟来恢复和模拟现实的方法，用于研究设备数量，以发展其操作能力。它以飞机(数量、类型、起飞时间等)、地面车辆(数量、位置等)和机场(登机口等)为输入，以准时航班数为输出，克服了地面车辆设备工作过程的低效性。文献[8]提出了一种获得最佳车辆设备数量并最大限度缩短机场周转时间的方法，其仿真、参数分析和优化算法改善了机场运营周转时间。Mota等[9]为莱利斯塔德机场航班保障操作开发了详细的离散事件模拟(DES)模型，更侧重于单个服务过程。但国内关于航班保障与航班延误离港间的关系及其背后的因果机理却鲜有研究。

因果关系在解释、预测、决策和控制中起着至关重要的作用[10，11]。发现因果关系被认为是表征人类智能水平的一个重要元素，还可作为人工智能的基础[12]，发现因果关系也被简称为因果发现，由因果关系组成的有向无环图称为因果图[13，14]。

因果发现有3类算法：基于约束(CB)、基于分数(SB)和基于功能因果模型(FCMs)[15]。前两种方法依靠统计测试找到候选因果图，第三种方法通过估计结构方程中的系数来学习因果关系。在最近的研究中，文献[16]提出了一种基于约束的异构/非平稳数据因果发现框架，用于找到因果骨架并估计机制变化的性质。文献[17]首次将强化学习和因果发现结合起来，将因果图搜索问题转化为追求局部奖励最大化问题。

然而为何使用注意机制(Transformer)[17]即可获得因果关系并未得到解答。同时现有的方法也无法确定因果图搜索的方向。为了在将因果发现与强化学习结合的同时使因果发现更具解释性，以及避免局部最优确定因果图的搜索方向。本文使用改进的贝叶斯信息准则(BIC)评分函数提高因果关系的可解释性；并提出基于增剪边规则的强化因果发现方法，融合强化学习理念，在增边和剪边方向上同时搜索和比较，以确定因果图的搜索方向。

2 因果与航班地面保障过程

2.1 因果关系

学习数据的因果关系需要了解统计相关性和因果关系之间的差异。“关联不意味着因果”这句话广为流传，然而什么是关联，什么是因果，自古以来便困扰着无数学者。本文依据贝叶斯网络之父Judea. Pearl所提出的因果推理理论详细论述因果科学下的关联与因果。“关联”是科学和统计学中经常要强调和注意的概念。它指的是两个事物之间的联系关系，联系程度用相关系数来表示，相关系数的范围是-1～1，相关系数绝对数越大，说明两个事物联系越紧密。相关系数再大，也不能说明因果关系，只能说明可能存在因果。在关联关系当中，其中一个事物可能是因，也可能是果，比如《新英格兰医学杂志》中一项调查显示吃巧克力越多的国家获诺奖则越多，而真正的原因则是该国学术的发达、收入水平高所带来的巧克力消费量大，即它只是真正原因表面众多有关现象的一种，从而计算两个变量间的相关系数并不能解释两者发生关联的原因，只能评估关联的强度。

狭义上讲，因果关系指一个事件导致了另外一个事件，比如我划动火柴，火柴被点燃，我的划动是原因，而火柴的燃烧是结果。在广义上，因果关系是描述原因与结果之间的一种关系，比如有很多原因可以引发肺癌，吸烟仅是其多种原因之一。事实上，相关性是对称的，而因果关系是不对称的。如果A是B的原因，那么B是A的结果，但是绝不会有“事件A是事件B的原因，事件A也是事件B的结果”这一类表示。

图2给出了因果性和关联性之间的可视化表示。关联性表明，当现象A发生变化时，现象B也发生变化，反之亦然。另一方面，因果性表明，原因A作用于结果B，而B不能作用于A。定义1和定义2中用数学术语描述了这两种关系。

图2 关联与因果

定义1 关联性：给定一组变量集Data={a1，b2，c3，…，xr}， 其中每个子变量a1，b2，c3，…，xr，r=1，2，3，…都不同。当关注一个变量(例如a1)和其它变量之间的关联性时，分析其中每个变量a1，b2，c3，…的变化方向(趋势)。如果它们具有相同的变化趋势，则它们是正关联；如果不是，它们则是负关联的。

定义2 因果性：如果变量Y可以随变量X的变化而变化，或X出现在以Y为因变量的函数f中，则称变量X是变量Y变化的原因。给定一组变量Data={a1，b2，c3，…，xc}， 其中每个变量a1，b2，c3，…，xc，c=1，2，3，…都不相同。在以目标变量y，y∈Data为因变量的分析中，如果将一些变量 {xc}c=1，2，…更改为自变量，发现目标变量发生了变化，而改变其余变量 {xr}r=1，2，…并没有引起目标变量的变化；而后，将自变量与因变量交换，并重复上述过程，如果改变自变量未能引起因变量的改变，则表明变量集 {xc}c=1，2，…与y之间存在因果关系，并且 {xc}c=1，2，…是导致y的原因。

2.2 航班地面保障过程

航班地面保障是机场运营的基本部分，描述了飞机飞行准备的所有过程[18]。一般来说，保障时间或保障效率取决于飞机类型、保障人员的效率、车辆的准时性、乘客上下机、货物装卸以及航司的策略。FGS子过程遵循严格的时间顺序，并具有时间相关性。然而，某些事件可以同时执行，而其它事件只能按顺序执行。图3说明了FGS中关键的空侧区保障事件，通常分为翼上和翼下的保障事件。

图3 航班地面保障过程关键事件

“翼上”事件：进离港旅客的登机和下机、餐饮的供应、客舱清洁、必要的安全和安保检查、客梯车对接、廊桥对接等。

“翼下”事件，即货物的卸载和装载以及其它坡道活动如加油、行李/货物处理、废物清理、饮用水补充等。

“翼上”和“翼下”事件之间存在不同的执行逻辑关系。这些逻辑关系的强度是影响FGS事件效率的不同因素。本文参考国际航空运输协会发布的《IATA机场操作手册》和中国民航局发布的《飞行安全运行服务标准》等文件，给出了航班保障中4个FGS事件的影响因素，分别见表1～表4。本文使用分层的方法对影响航班地面保障事件关联因素间的因果关系展开研究，以图3中的关键事件作为目标层目标事件，其对应的可能影响因素为影响层，量化和计算影响因素之间关系的时间参考量为参考层。

表1 开客舱门事件影响因素

表2 客舱清洁事件影响因素

表3 关客舱门事件影响因素

表4 行李卸载和装载事件影响因素

3 强化因果发现模型

3.1 因果图与图邻接矩阵

因果图是一个有向无环图(directed acyclic graph)，用于可视化可能的因果关系。它通常由许多父子节点和有向线边缘组成。节点通常表示事件和因素；有向边的方向表示由原因指向结果的方向。

图邻接矩阵是描述因果图的数学语言。图邻接矩阵的行和列由FGS各种影响因素组成，每个元素的值为0或1。图4显示了因果图和相应的邻接矩阵。

图4 一种因果图与其图邻接矩阵

例如，n阶矩阵Mn×n。 当元素 (i，j)=1时，这意味着行i中表示的因素对列j中表示的因素具有因果关系，并且它们之间存在因果关系的有向边。当元素 (i，j)=0时，表示行i和列j表示的因素之间没有因果关系。

3.2 强化因果发现算法

强化学习是一种学习如何从自身状态映射到行为以使得获取的奖励最大的学习机制。其基本要素包括策略、奖励、行为和智能体。其中智能体是一种可以执行策略达成目标的实体，在本文中指强化因果发现程序；策略定义了智能体对于给定状态所做出的行为，强化因果发现中的策略为增剪边规则；奖励则代表了智能体的目标——使因果图分数最大。

本算法依赖于以下两种假设：

假设1：求解目标为最大化评分函数计算的奖励。

假设2：智能体的数据环境为FGS的影响因素。所有可见的影响因素都在第2.2节中，且没有未观察到的潜在变量。

找到真实的因果关系不是一蹴而就的，因此，本文引入了强化学习特有的连续试错的理念。将强化学习中的奖励描述为每个可能的因果图得分，数据环境是FGS事件数据集，智能体是算法的主体，其采取的行为是增剪边过程。强化因果发现算法流程如图5所示。

图5 强化因果发现过程

首先，通过先验知识和条件独立性测试添加现有的表示因果关系的有向边。此时，因果图被称为元因果图，通过添加可能的因果关系有向边得到的因果图被称作满因果图。其对应的图邻接矩阵称为元邻接矩阵和满邻接矩阵。

其次，将上述两个因果图对应的邻接矩阵作为输入，开始搜索。将可能的因果关系有向边添加到元因果图中，同时在满因果图中剪掉有向边。之后使用基于信息论的评分函数对一系列可能的因果图进行评分，并比较两种变化路径下的分数。

评分函数如式(1)所示

(1)

(2)

NClinear(same)： 数据集中相同航班案例影响因素参考量之间线性变化的案例数。

NCcase：数据集中所有航班案例的数量

(3)

在因果图搜索的过程中分数相对较大的路线PA将暂停增边，另一条路线PB将单独变更。相反，当PB路线计算出更大的分数时，PB路线暂停PA路线继续搜索。这为因果图的搜索指明了方向，不再依赖于随机性。由于评分函数的一一映射，两种路径方法最终收敛到一个具有相同评分和相同结构的因果图。此时有

S(MPA，增边)=S(MPB，剪边)

(4)

这一过程是使用图邻接矩阵来实现的，将图邻接阵转换为因果图作为输出。上述RCD过程的相关算法见表5。

表5 强化因果发现算法伪代码

4 实 验

此次实验给出了2018年7月至2018年8月中国某民用机场的FGS数据集示例。此外给出了实验部分的第三个假设。最后使用因果图表示了上述筛选的3个保障事件的影响因素间的因果关系，并与注意力机制的因果发现方法所得到的因果图对比。实验中使用的数据见表6。

表6 部分实验数据

其中第一列表示航班案例数，第二列和第三列是第2节中提到的时间差参考量。

4.1 实验假设与因果关系变化趋势的可视化

为了更好地将FGS过程与因果理论结合起来分析影响因素参考量节点之间的因果关系，本节给出假设三：见表1～表4，任何已知事件节点组对目标节点都有一定程度的因果关系，其由先验或专家知识获得。各影响因素节点之间的关系未知，由RCD算法求解。

图6表示判断因果关系方向和计算表1中事件p(G|D) 的可视化图。分别将时间参考量a1和b1作为原因和结果，然后更改因果顺序以进行对称分析。黑色实线表示Y轴变量与X轴变量的变化趋势，虚线表示黑色实线的移动平均曲线。从图中可以看出，当a1是原因而b1是结果时，a1在 (-18，-12)∪(10，18) 的区间内具有显著的线性性质。相反，对称分析图中没有类似的性质。

图6 计算惩罚因子的可视化

图7 开客舱门事件影响因素参考量间趋势

图8 通过两种算法获得的表1～表4中事件的最佳因果

4.2 实验结果分析

以图8(a)中的第一个因果图为例，在开客舱门事件中，地服人员到位(B1)对廊桥对接准时性(A1)有因果影响。当A1的准点率较低时，也会影响廊桥/客梯车对接的准时性。廊桥对接是否按时开始影响廊桥对接过程的效率。然而，B1和C1之间没有直接的因果关系，这是因为A1的作用使它们之间产生了相关性。因此，我们可以通过调节事件B1来改善事件A1。对于第四项保障事件因果关系为B4-D4，C4-D4，A4-C4。其中D4是工作总效率，是受人员单位准时性影响的。从A4-C4之间的因果关系是意料之外的，推测是由于当前机场车辆资源的有限，行李设备车的指派需要在货舱门确定开启的条件下进行，从而产生了这一人为规定导致的因果关系。而当机场在不繁忙时间段资源充足的情况下需及时调整规定，提高行李设备车的抵达效率，以优化航班地面保障过程。

再来看图8(b)中对应的因果图，注意力机制算法给出了错误的方向关系A1-B1，C2-B2，D4-B4。由于A1在时间上落后于B1，C2明显出现在B2之后，所以因果关系方向不可能从A1到B1和C2到B2；对于D4与B4而言，装卸效率并不会反向作用于人员的准时性。另外没有发现A4与C4间存在的人为因果关系，这也证实了使用注意力机制发现的因果关系是有缺陷的，因为注意力机制实际上是局部选择的最优化，且在文献[17]中作者也未给出使用注意力机制的理由。而本文提出的方法在结果上更加合理，更能解释其中的因果关系。

应用因果关系理论分析FGS影响因素之间的关系在民航领域尚属首次。为了评估验证方法的优越性和指标，比较了PC和RCD两种算法的错误发现率(FDR)、真阳性率(TPR)和结构汉明距离(SHD)。并针对样本量(航班数)分别为1000、5000和10 000的FGS数据调用了两种算法。其对应的计算指标见表7。

表7 两类算法指标对比

5 结束语

本研究提出了一种新的方法来寻找航班地面保障影响因素之间的因果关系。为了提高因果图的准确性，该方法使用带有惩罚因子的评分函数来评价生成的因果图。其优点是结合了强化学习来最大化奖励以及增剪边方法用于指定因果图的搜索方向。

在航班保障领域首次将因果发现和强化学习相结合。与以往的研究相比，本研究方法在因果水平上确定了事件执行效率的变化机制。当要改变某一保障事件执行效率时，可以更明确地指定需要调整的资源和因素，以避免非因果目标的无效调整可能造成人力物力的浪费。未来的工作将进一步扩展实验数据，并确定剩余事件的因果图。此外，将逐步放宽假设，并分析各种事件的不同影响因素之间的因果关系。