基于T-S 模糊神经网络的飞行学员飞行技能评价模型构建研究

李 根， 汪海波， 司海青， 潘 亭， 刘海波

（南京航空航天大学通用航空与飞行学院， 南京 210016）

1 引言

在航空飞行中，合格飞行技能的飞行员是保障航空安全的关键因素。 70%～80%的航空事故都是由人的因素造成的，60%是由于飞行员的失误造成［1－3］。 对此，研究人员对飞行员技能评价的方法进行研究，建立了技能评价的评价模型。Kirkland 等［4］为评价飞行员起降滑跑阶段的操纵表现，建立了相应的风险评估模型；Payne 等［5］从飞机的姿态管理和能量管理两方面，选取了升降控制、平衡能力、速度控制等5 个维度建立了飞行驾驶技术评估体系，对飞行员在起飞、爬升、巡航、转弯、进近和着陆等情境下表现出的飞行技术水平进行评价。 国外研究受制于QAR（ Quick Access Recorder）数据的隐私性，QAR 数据不易获取，因此对飞行员技能评价以问卷评价形式居多。

国内研究人员基于QAR 数据在飞行员绩效评价、操作风险识别等方面开展了建模研究。Wang 等［6－7］基于QAR 数据对着陆阶段飞行员的操纵表现及风险进行了分析，并指出拉平操纵在着陆阶段的重要性；陈农田等［8］利用灰色关联度分析和优劣解距离算法，结合所采集到的QAR 数据，对飞行员着陆阶段的操纵绩效评价建立了评价模型；柳忠起等［9］和姚裕盛等［10］在进行飞行员绩效评价建模时引入神经网络的方法，较好实现了对飞行员的绩效评价，弥补了教员主观打分评估的缺点，为飞行员的绩效评价提供了新方法。

从主、客观两方面开展的飞行员技能评价取得了较好的成果，但也存在需要改进提升之处。国外研究多从构建主观评价量表对飞行员开展技能评价，忽视了客观飞行数据所反应出的操纵技能好坏；而国内研究主要针对飞行过程中的某个单一阶段，忽视了从起飞到着陆飞行全过程中飞行员操纵行为的表现。 王越［11］研究认为，起落航线飞行恰好涵盖了从起飞至降落的所有飞行过程，飞行学员的飞行训练也以起落航线飞行训练为主。 同时，为在飞行学员逐渐增多的情形下减轻教员的评估任务量，建立能够进行自动评估的评价模型已经成为飞行评价研究的热点［12］。

神经网络因具有强大的自学习、自组织和自适应能力，被认为是建立自动评估模型的有效方法；模糊系统在处理系统的不确定性、测量的不精确性等模糊问题上展现出较强的适用性。 T-S（Tskagi-Sugeno）模糊神经网络作为模糊理论与神经网络相结合的产物，在集成了2 种方法优点同时，有效避免了学习能力缺乏、辨识过程复杂、模型参数优化困难等问题［13］。

本文选用某校118 名飞行学员训练时采集到的飞行数据，使用T-S 模糊神经网络建立飞行学员起落航线飞行技能评价模型，并将模型评价结果与实验打分结果进行对比，以验证所建模型的准确性及适用性。

2 评价指标

起落航线飞行又称五边飞行，是飞行学员飞行训练的重要课程，飞行学员可从起落航线飞行训练中学习起飞、爬升、转向、平飞、下降及降落等飞行技巧。 在飞行技能考核方面，提前设定监控指标的标准阈值及评分规则，在飞行学员进行起落航线飞行训练时实时监控飞行数据与超限情况，根据超限情况完成飞行学员飞行训练中各个考核指标的评分。

2.1 起落航线飞行程序与任务

起落航线飞行是一个包含了完整飞行过程的飞行科目，该科目的飞行高度一般不超过1500 ft。以跑道磁航向为359°的某机场为例，使用该条跑道进行起落航线飞行训练，飞行最大高度为1100 ft，飞行程序按时间序列依次为起飞滑跑、第一边飞行、一转弯、第二边飞行、二转弯、第三边飞行、三转弯、第四边飞行、四转弯、第五边飞行以及着陆滑跑等11 个飞行阶段，飞行航线示意图如图1 所示。

图1 起落航线飞行示意图Fig.1 Diagram of airfield traffic pattern

起落航线飞行中，不同的飞行阶段有不同的所需执行或监控的任务。 起飞滑跑阶段考验飞行学员对飞机状态的控制，飞行学员需控制飞机沿跑道中线加速滑跑，当到达抬轮速度时拉起机头；在进行各边飞行时，飞行学员需管理好飞机的轨迹与能量，控制飞机按预定高度、航向飞行并防止飞机速度超出阈值；在飞行的各个转弯处，飞行学员操纵飞机在适当位置形成转弯姿态，监控飞机的转弯坡度不超过限值，并在转弯结束前及时改出。

进近及降落阶段则为学员任务负荷最重的阶段，在四转弯结束时，飞行学员操纵飞机的位置应位于跑道中线延长线且航向与跑道平行，进近时根据天地线位置及参照点对飞机的能量、航向及高度进行控制，接地前拉平飞机并尽可能控制飞机在跑道接地区接地，之后沿中线滑跑减速。

2.2 飞行评价指标体系

评价指标的选取是飞行技能评价中非常重要的环节，起落航线飞行中，飞行学员按照训练手册飞行，各飞行阶段都有对应的操作要求，飞行学员的操作情况可以由相关飞行参数直观反映。 通过综合考虑各飞行参数的意义和在飞行技能评价中的实际价值，根据起落航线飞行各阶段飞行任务特点及起落航线飞行训练手册，对评价指标进行选取。

遵循系统性、科学性、可比性与实用性原则，考虑飞行学员的飞行技能可以反映在飞行学员在起落航线各飞行阶段对飞机能量、飞行姿态、飞行航迹等方面的控制，以此为基础，对飞行学员的飞行技能评价指标进行了初步选取。 飞行能量控制包含对高度、速度及过载等参数的评价；飞行姿态控制包含对仰角、坡度等参数的评价；飞行航迹控制则主要是对航迹参数的监控。 基于此，针对飞行能量控制，选取了一转弯高度偏离、三边高度偏离、跑道入口高度、抬轮表速、一边最大爬升率、进近最大下降率、接地率、接地过载、飞行最大过载等9 项评价指标；针对飞行姿态控制，选取一边最大仰角、五边最大仰角、一转弯坡度、二转弯坡度、三转弯坡度、四转弯坡度等6 项评价指标；针对飞行航迹控制，选取了一边航迹偏离、二边航迹偏离、三边航迹偏离、进近航迹偏离、接地位置偏离、着陆滑跑与中线距离等6 项评价指标。

根据对飞行训练手册与飞行学员在各阶段飞行任务的特点，初步确定21 项飞行学员起落航线飞行技能评价指标。 为了使指标更具合理性与科学性，本文进行了2 轮专家访谈，每轮访谈专家均在10 人以上，访谈对象均为在航校或航司中具有教员资质的飞行员培训领域专业人员。 经对专家意见的协同性分析，一边最大仰角、五边最大仰角等2 项飞行姿态控制指标与一边最大爬升率、进近最大下降率等2 项飞行能量控制评价指标具有重复性，其余19 项指标相关性较小，可以较好地实现对飞行学员起落航线飞行全过程的飞行技能评价。 去除一边最大仰角、五边最大仰角2 项飞行姿态控制指标，最终确定了19 项起落航线飞行技能评价指标。

在19 项起落航线飞行技能评价指标的基础上，将飞行学员飞行技能水平分为5 个等级：优秀、良好、中等、及格和不及格，分别对应5 个分数段：［100 ～89.5）、 ［89.5 ～79.5）、 ［79.5 ～69.5）、［69.5～59.5）、［59.5～0］。 通过查阅飞行训练手册对起落航线飞行的飞行操纵及飞行参数最大阈值要求，细分出飞行学员飞行技能水平等级与各项飞行技能评价指标对应的阈值关系，19项评价指标及其阈值与飞行技能水平等级的关系如表1 所示。 经飞行学员起落航线飞行模拟训练验证，19 项飞行技能评价指标可以持续监控飞行学员的起落航线飞行操纵表现，能够用于对飞行学员飞行技能的评价。

表1 飞行技能评价标准Table 1 Evaluation criteria for flight skills

3 评价模型

3.1 T-S 模糊神经网络拓扑结构

T-S 模糊神经网络由前件网络和后件网络组成，是一种非线性模糊推理模型，具有计算简单，易与自适应方法相结合，利于数学分析的特点［14－16］。 其输入为飞行学员起落航线飞行各评价指标的评价得分，输出为飞行学员飞行技能评估值，因此本文所使用的网络仅考虑多输入单输出的情况，其拓扑结构如图2 所示。

图2 T-S 模糊神经网络拓扑结构Fig.2 T-S fuzzy neural network topology

3.1.1 前件网络

1）输入层。 即网络中的输入xi，见式（1）。

式中，n为输入节点。

2）模糊化层。 使用隶属度函数式计算各输入变量的隶属度uij，见式（2）。

式中，cij为隶属度函数的中心，bij为隶属度函数的宽度，m为输入参数。

3）模糊规则计算层。 采用模糊连乘公式计算每种规则的适应度ωj，见式（3）。

3.1.2 后件网络

1）输入层。 即网络中的输入xi，其作用为将输入变量传至全连接层。

3.2 评价模型初始化

考虑到飞行学员19 项评价指标最大偏离值及评价结果数据间的量级差别较大，造成神经网络对飞行学员技能评价的不精确，故对实验得到的19 个评价指标的最大偏离值与实验结果进行归一化处理，见式（7）、式（8），以消除数据间量级的差别。

式中，xi为归一化后的神经网络输入变量，Xi为实验获得的各评价指标的最大偏离值。

基于T-S 模糊神经网络理论，运用MATLAB R2021b 建立一种用于评价飞行学员起落航线飞行技能的评价模型。 根据飞行学员的技能评价指标，确定模型的输入数据为19 维，输出数据为1维，根据式（5）选择20 组系数p0～p19。 为确定神经网络的中间层数及学习效率，分别采用中间层为30 层、38 层与46 层以及学习速率为0.03、0.05、0.07 对神经网络进行预训练。 对比采用不同的中间层数及训练速率的预训练结果，当中间层数为38，学习速率为0.05 时，T-S 模糊神经网络训练结果的误差最小。 因此确定文中所构建神经网络的中间层数为38 层，神经网络结构为19-38-1。

3.3 评价模型训练

将飞行学员起落航线飞行实验所得到的19 个评价指标的最大偏离值作为输入，由模型输出获得飞行学员飞行技能评价结果，并与实验人工打分结果进行对比，以此验证该模型的有效性。

选取适当组归一化后的各指标最大偏离值及实验结果对T-S 模糊神经网络进行训练。 将各指标最大偏离值作为模型的输入，将教员对学员飞行技能水平打分结果即实验结果作为模型的输出。 设置神经网络的学习速率为0.05，迭代次数为5000 次对网络进行训练，训练过程中采用均方误差作为模型的误差计算函数，见式（9）。

式中，yd为网络期望输出；yc为网络实际输出。

训练过程中对系数进行修正，见式（10） ～（11）。

式中，cij为隶属度函数的中心，bij为隶属度函数的宽度，β为神经网络系数。

利用训练数据通过多次系数与参数修正训练好网络后，即可得到基于T-S 模糊神经网络的飞行学员技能评价模型。

4 飞行技能评价

4.1 数据获取

为得到用于飞行技能评价模型训练及验证的飞行数据及专家打分，设计了针对飞行学员的起落航线飞行实验，实验具体流程如图3 所示。

图3 起落航线飞行实验流程图Fig.3 Flow chart of airfield traffic pattern test

实验招募118 名男性飞行学员作为受试者，年龄18～20 岁，身体健康，且实验前休息充分，另有3 名拥有飞行执照且具备航校教员资格满5 年以上的在职飞行教员进行综合打分。

飞行实验同时使用5 台塞斯纳172R 飞行模拟训练器（中天翔翼航空科技有限公司，天津），共进行24 轮飞行实验。 在实验中，通过飞行数据监控软件实时监控并记录飞行学员操纵参数。 实验结束后，由3 名教员根据飞行实验时记录的各指标最大偏离值对照飞行评价指标评价阈值表对飞行学员飞行技能进行综合打分，并对打分结果进行平均，得到实验评价结果。 之后，对获得的各指标最大偏离值及实验评价结果进行核验，采集完整且无误的相关数据予以保存。 最终得到110组飞行学员的各指标最大偏离值及实验评价结果数据集。

4.2 评价模型训练结果

随机选取80 组归一化后的各指标最大偏离值及实验结果对T-S 模糊神经网络进行训练。 将80 组各指标最大偏离值作为模型输入，将80 组教员对学员飞行技能水平打分结果即实验结果作为模型输出。 网络训练过程中的迭代均方误差如图4 所示。

图4 网络训练均方误差Fig.4 MSE of network training

由图4 可以看出，在前3500 步迭代过程中，该网络的均方误差迅速下降，而后趋于平稳。 经5000 次迭代，网络的均方误差达到10－12量级。 从网络训练的均方误差可得，T-S模糊神经网络在进行飞行学员五边飞行技能评价的学习过程中具有较好的收敛性，使用该网络所建立的飞行学员技能评价模型能够快速达到收敛要求。

图5 为飞行学员技能评价模型对训练集的模型评价结果。 整体上，模型评价结果与实验结果具有较好的一致性，仅编号为32、35、80的3 个训练集样本的模型评价结果与实验结果存在较大的误差，相对于80 组训练样本并不具有代表性。 训练结果表明，基于T-S 模糊神经网络建立的飞行学员技能评价模型具有良好的训练效果。

图5 训练集评价结果Fig.5 Evaluation results of the training set

4.3 评价模型验证结果

将剩余30 组数据集作为测试集输入至已完成训练的评价模型，并将得到的输出结果进行反归一化，结果如图6 所示。 根据图6 中误差棒的长短分析可得，飞行学员技能评价模型对测试集的模型评价结果相对误差有所增长，但增长的幅度较低，整体上飞行学员技能评价模型对测试集的模型评价结果与实验评价结果误差较小，能够实现对飞行学员技能评价的目标。 由此表明，T-S模糊神经网络具有较好的学习能力和泛化能力。

图6 测试集评价结果Fig.6 Evaluation results of the test set

对30 名飞行学员的实验结果及通过飞行技能评价模型得到的评价结果进行统计，结果如图7 所示。

图7 30 名飞行学员飞行技能评价结果Fig.7 Flight skill evaluation results of 30 flight cadets

从图7 可以看出，30 名飞行学员飞行技能的评价结果在5 个等级中均有分布。 模型评价结果与实验结果间的绝对误差均小于0.5，可以满足所设立评分区间的容差要求。 在30 名飞行学员中，11 名飞行学员的飞行技能水平评价结果为优秀，7 名飞行学员的评价结果为良好，6 名飞行学员的评价结果为中等，4 名飞行学员的评价结果为及格，2 名飞行学员的评价结果为不及格。

评价结果与30 名飞行学员的学习及飞行模拟训练时长也呈现出正相关性。 在30 名飞行学员中，高年级的学员均在良好等级以上，而6 名被评为及格及以下等级的学员均为2022 年新入学学员。 优秀等级的11 名学员利用课余时间进行了大量飞行模拟训练，其中3 名飞行学员曾获得飞行模拟比赛最高奖励；7 名评价结果为良好的飞行学员均为飞行模拟队成员，在课余时间进行的飞行模拟训练也使其提高了飞行技能水平；而6 名中等等级的飞行学员进行的飞行模拟训练较少，飞行技能水平相对较弱；另6 名新入学学员还未进行过飞行模拟训练，因此评价结果相对较差，但其中4 名学员表现出了较好的飞行潜力。

4.4 准确度分析

将实验结果和模型评价结果代入到式（14），求得T-S 模糊神经网络的评价准确度EA。

式中，N为评价数据组数（N＝30）；Toutj，Eoutj分别为第j（j＝1，2，…，N）组实验评价结果和神经网络评价输出反归一化后的结果。

为了验证T-S 模糊神经网络在飞行技能评价方面的优越性和准确性，并与已应用于飞行员绩效评价的建模方法进行对比，分别使用朴素贝叶斯和BP 神经网络建立评价模型，通过式（14）计算得到3 种评价模型准确度由低至高分别为朴素贝叶斯、BP 神经网络、T-S 模糊神经网络，准确度分别为72.3%、92.1%、97.6%。 T-S 模糊神经网络准确度在3 种方法中是最高的，说明T-S 模糊神经网络在飞行学员技能评价方面具有较强的适应性。

本文建立的评价模型对飞行学员起落航线飞行技能的评价，弥补了由不同教员主观打分带来的潜在误差，同时考虑了各飞行阶段特点及不同阶段所关注的多项飞行指标。 基于T-S 模糊神经网络建立的飞行学员飞行技能评价模型对飞行学员的飞行训练评价起到了较好的辅助作用。

5 结论

1） 针对飞行学员飞行技能评价，选取起落航线飞行作为评价飞行技能的飞行科目，结合飞行训练手册并经与飞行教员进行专家访谈，共选取19 个飞行参数作为评价指标，形成了飞行学员飞行技能评价指标体系。

2） 使用T-S 模糊神经网络构建了飞行学员飞行技能评价模型，模型的训练结果和测试结果显示，该方法适用于飞行学员飞行技能的评价。

3） 通过比较T-S 模糊神经网络与朴素贝叶斯、BP 神经网络分别构建出的飞行技能评价模型准确度，T-S 模糊神经网络所建的模型准确度较其他2 种方法更高，因此在3 种方法里T-S 模糊神经网络具有更好的评价效果。