基于熵权-层次分析法和优劣解距离法的飞行员胜任力评价

郭 超， 尤建新， 彭博达， 许华捷

（1.同济大学 经济与管理学院，上海 200092；2.中国商用飞机有限责任公司 民用飞机试飞中心，上海 200092）

随着现代飞机的高度自动化和集成化，飞行员越来越难以预测飞机系统故障和应对外部环境威胁以及两者相互耦合而产生的风险，以往事故经验和教训所生成的训练科目也已经难以全面反映当下的运行风险。国际民航组织（ICAO）和国际航协（IATA）提出了对飞行员采用循证训练来提升其胜任力［1-3］，以应对影响飞行安全且难以预测的“黑天鹅”事件。因此，准确评价飞行员胜任力，发现不足并有针对性地增加训练，对于保证飞行安全具有重要意义。

胜任力的相关研究来源已久，数量较多［4-8］，并且关于胜任力评价方法的研究也已经比较成熟，其中最为常见的和典型的是多准则决策（multiple criteria decision making， MCDM）方法。MCDM 在比较和选择不同方案时会根据所设定的属性或目标来进行评价，属现代决策理论的重要内容。MCDM面临的最大挑战之一是确定要评估的最佳标准以及为该标准分配准确的权重［9］。这一挑战在群体决策过程中更加复杂，决策者之间往往难以达成共识［10-11］。用于确定最佳方案的标准越多，决策就越复杂，收集决策者的偏好和属性值就越复杂。在评价过程中，很难选择适当的标准并确定标准权重。决策者可能会因个人偏好和对被评价人的不同意见而难以就标准权重达成共识。而且，对于不同的标准采用适当的权重确定方法也是需要技巧的。以往对飞行员评价通常是根据以前的经验（例如，飞行时间、经验年限和驾驶资质）和科目考核（例如，检查驾驶表现）来完成的［12］。胜任力评价技术未在飞行员评价中得到广泛应用，基于对已有研究成果［13-15］的分析可以看出，飞行员胜任力的相关文献十分缺乏。目前，中国民航局结合国际研究成果和行业管理经验提出了飞行员三大胜任力框架［16-17］，即核心胜任力、心理胜任力和作风胜任力，其推行的以胜任力为基础的培训试点工作刚刚启动，各个航空公司和训练机构尚未以胜任力作为制定训练政策的基础。在上述背景之下，本文对飞行员胜任力评价模型进行研究，以用于飞行员基于胜任力的培训工作，从而提高飞行员的训练质量和效率，进一步推动飞行机组的高效建设和发展，保障飞行安全。

基于对已有相关局方文件的分析与总结，从核心胜任力、心理胜任力和作风胜任力3 个方面共选取17个评价指标，构建了飞行员岗位胜任力评价决策阶层结构模型，建立了飞行员岗位胜任力评价指标体系，并针对指标的成熟度和颗粒度等特点综合使用熵权法和层次分析法（analytic hierarchy process， AHP）确定了各指标的权重，结合改进的优劣解距离法（technique for order preference by similarity to ideal solution， TOPSIS）建立分析模型，计算得出飞行员岗位胜任力评价得分和排序。

1 模型构建

结合熵权法、AHP、TOPSIS 等方法，提出一种用于评估飞行员胜任力的MCDM 框架。该框架主要包括构建指标体系、确定指标权重、专家打分评价以及评价结果排序等步骤。由于飞行员胜任力评价指标研发成熟度和颗粒度定义不同，在确定指标权重时，对成熟开发的指标采用熵权方法，该方法根据专家打分直接确定权重，可减少专家的评价偏颇，评价数据更为准确［18-19］；对尚在研究且颗粒度较粗的指标采用AHP 主观评价并将其与熵权法结合构建指标权重体系［20-21］。在胜任力排序时，引入TOPSIS方法评估每个飞行员胜任力与最优目标和最劣目标的相对位置距离来进行排序［22-23］。

1.1 构建飞行员胜任力评价指标体系

构建评价指标是对飞行员胜任力进行评价的关键步骤。但不同于其他工作，飞行员从事的飞行活动具有环境类型杂、任务场景多、能力需求广等特点，不同场景、不同任务对飞行员胜任力的要求各不相同，飞行员胜任力评价指标的定义和开发在国内外业界也存在成熟度和认知有差异的问题。因此，飞行员胜任力评价指标的确定应分类定义并开展研究，根据国际民航组织（ICAO）专家达成的共识以及中国民航局发布的官方文件，将飞行员岗位胜任力指标分为核心胜任力、心理胜任力和作风胜任力。其中国际上对核心胜任力指标研究比较成熟，国内民航界专家也认可核心胜任力指标，而心理胜任力和作风胜任力尚在研究中，形成的胜任力指标的颗粒度还比较粗。因此，采用的飞行员胜任力指标体系由不同成熟度和颗粒度的指标构成。

1.2 确定评价指标权重

通过客观赋权（熵权法）和主观赋权（AHP）相结合的方式确定飞行员评价指标权重［20-21］。

（1）客观赋权。通过信息熵确定飞行员核心胜任力权重。计算飞行员核心胜任力指标的信息熵，第j个属性的信息熵Ej为

（2）主观赋权。通过专家打分确定权重，邀请相关领域专家对指标两两进行比对打分。对结果汇总整理后，得到目标层O与决策层C与指标层P的3个判断矩阵数据，分别根据上述的3 个判断矩阵计算出每个矩阵中各个因素的相对权重，并进行一致性检验。一致性指数CI的计算式为

式中：CI为一致性指数；λmax为判断矩阵最大的特征值；q为判断矩阵的阶数。一致性比率CR的计算式为

如果CR＜0.1，则认为判断矩阵的一致性可以接受；RI为随机一致性指标，q=3 时，决策过程中使用的因素的随机一致性指标RI=0.58。将得到的目标层与决策层之间的权重以及各决策层与各自指标层之间的相对权重进行整合，进一步计算出各具体指标的总权重。

1.3 构造TOPSIS评价矩阵

将原始评价矩阵进行同向化处理，一般选择正向化处理，由于评价指标属性均属于效益型，即值越大越好，故可免去正向化处理。为方便计算，对评价矩阵X进行归一化处理，得到归一化后的矩阵Z=(Zij)n×m(i=1，2，…，n；j=1，2，…，m)表示为

确定最优目标和最劣目标：Z中每列元素的最大值构成正理想解Z+即为最优目标，见式（6）：

Z中每列元素的最小值构成负理想解Z-即为最 劣目标，见式（7）：

计算各评价目标与最优目标的接近程度，见式（8）：

计算各评价目标与最劣目标的接近程度，见式（9）：

式中：D+i为第i个目标与最优目标的接近程度；D-i为第i个目标与最劣目标的接近程度；ωj为第j个属性的权重；z+j为第j个属性的最优目标；z-j为第j个属性的最劣目标；zij为归一化后的属性值，j=1，2，…，m。计算各评价目标与最优目标的贴近程度，见式（10）：

0 ≤Ci≤1，Ci→1 表明评价目标越优。根据Ci大小进行排序，得到评价结果。

2 案例分析

将提出的飞行员胜任力评价模型应用于某航空公司航线飞行员的胜任力评价，并对评价结果进行讨论。

2.1 案例描述

为了解飞行员胜任力现状，某国有大型航空公司分公司邀请10位专家（8名资深机长教员和2名飞行员胜任力研究人员）采用本文评价模型对该公司12名飞行员的胜任力进行评估。

2.2 模型应用

2.2.1 选取飞行员胜任力评价指标

以飞行员胜任力框架中核心胜任力、心理胜任力和作风胜任力构建评价指标体系。其中，沿用IATA开发的九大核心胜任力指标：知识运用、程序运用、沟通、飞行航径自动化管理、飞行航径人工管理、领导力与团队合作、问题解决和决策、情景意识与信息管理和工作负荷管理［2-3］。确定了各决策原则对应的评价指标后，根据决策层与指标层的关系构建飞行员胜任力评价指标体系。飞行员岗位胜任力评价的决策阶层结构如图1所示。业界对心理胜任力和作风胜任力指标仍在研究和开发，根据目前共识将心理胜任力指标笼统定为基本心理能力、个体稳定性、健康/亚健康和心理疾病等4 项，将作风胜任力指标笼统定为训练作风、日常作风、飞行作风和运行作风等4项。

图1 飞行员岗位胜任力评价决策阶层结构Fig.1 Hierarchy of pilot competency evaluation decision-making

2.2.2 确立飞行员胜任力评价指标权重

采用客观赋权和主观赋权相结合的方法确定飞行员胜任力评价指标权重。针对已成熟开发的九大核心胜任力指标，采用熵权法客观赋权，针对尚在研究开发中的心理胜任力和作风胜任力指标邀请10名专家（权重相同）采用AHP主观赋权，并最终汇总为统一的权重矩阵。

2.2.2.1 熵权法确定权重

本文采用熵权法对成熟的核心胜任力指标进行客观赋权。在国内某航空公司中选取4 名副驾驶（A、B、C、D）、4名机长（E、F、G、H）和4名教员（I、J、K、L），对他们的历史训练运行数据进行统计，得到关于核心胜任力中知识运用P11、程序运用P12、沟通P13、飞行航径自动化管理P14、飞行航径人工管理P15、领导力和团队合作P16、问题解决和决策P17、情景意识与信息管理P18 和工作负荷管理P19一共9项评价指标的分值，如表1所示。

表1 飞行员9项核心胜任力评价指标得分Tab.1 Score of nine core competency evaluation indicators for pilots

首先，对原始得分表中的各项数据进行标准化处理，数据标准化处理后的得分情况如表2所示。

表2 飞行员9项核心胜任力评价指标标准化得分Tab.2 Standardized score of nine core competency evaluation indicators for pilots

基于得到的飞行员9项核心胜任力评价指标的标准化得分表，根据式（1）对各指标的信息熵进行计算，计算结果如表3所示。

表3 飞行员核心胜任力评价指标信息熵Tab.3 Pilot core competency evaluation index information entropy

根据式（2）计算出各指标的权重如表4所示。

表4 飞行员核心胜任力评价指标权重Tab.4 Weight of pilot core competency evaluation index

2.2.2.2 专家打分确定权重

邀请相关领域专家共10 人（8 名飞行教员、2 名飞行员胜任力研究人员）对尚未成熟开发的心理胜任力和作风胜任力指标两两进行比对打分，运用AHP确定心理胜任力和作风胜任力指标权重，并将核心胜任力与两者进行整合，得出飞行员胜任力指标权重。目标层O与决策层C、决策层C2心理胜任力与指标层P以及决策层C3作风胜任力与指标层P的3个判断矩阵数据，如表5—7所示。

表5 目标层O与决策层C的判断矩阵A1Tab.5 Judgment matrix A1 of target layer O and decision layer C

表6 决策层C2与指标层P的判断矩阵A2Tab.6 Judgment matrix A2 of decision layer C2 and index layer P

表7 决策层C3与指标层P的判断矩阵A3Tab.7 Judgment matrix A3 of decision layer C3 and index layer P

分别根据上述3个判断矩阵计算出每个矩阵中各个因素的相对权重，并进行一致性检验。计算后，可以得到核心胜任力C1、心理胜任力C2 和作风胜任力C3 的相对权重归一化后的数值分别为：0.54、0.30、0.16。判断矩阵A1的最大特征值λmax=3.009 203，一致性指数CI=0.004 601 5，RI=0.58，CR=0.007 9。3 类胜任力的相对权重数值表明，在对飞行员岗位胜任力进行评价时，专家最为看重的是飞行员的核心胜任力（权重为0.54），其次是心理胜任力（权重为0.30），最后是作风胜任力（权重为0.16）。判断矩阵A2的最大特征值λmax=4.237 129，CI=0.079 043，RI=0.9，CR=0.088。根据计算结果，可以看出专家认为心理胜任力中个体稳定性最重要，权重为0.62；其次是权重为0.21 的基本心理能力，而健康/亚健康情况和心理疾病指标的权重分别为0.07 和0.11。判断矩阵A3的最大特征值λmax=4.152 331，CI=0.050 777，RI=0.9，CR=0.056。在作风胜任力中，飞行作风和运行作风的重要程度较为接近，权重分别为0.40 和0.36，其次是训练作风，权重大小为0.17，而日常权重被认为对飞行安全的影响较小，权重为0.07。

2.2.2.3 飞行员胜任力指标体系权重

将得到的目标层与决策层之间的权重以及各决策层与各自指标层之间的相对权重进行整合，进一步推算出各具体指标的总权重，如表8所示。

表8 决策层和指标层的相对权重及总权重数值Tab.8 Relative weight and total weight value of decision layer and indicator layer

对各项指标的总权重进行归一化处理，得到权 重列向量为W=(0.06， 0.14， 0.03， 0.04， 0.03， 0.10， 0.03， 0.06， 0.04， 0.06， 0.19， 0.02， 0.03， 0.03， 0.01， 0.06， 0.06)T

2.2.3 TOPSIS排序

10 名专家根据模拟机场景下表现对12 名飞行员胜任力打分，如表9所示。

加权后的12 名飞行员胜任力评价得分如表10所示。

表10 飞行员胜任力加权评价Tab.10 Pilot competency with weight value assessment

使用TOPSIS对飞行员胜任力计算评价结果并排序，并与简单加权计算的评价结果排序进行对比，如表11所示。

表11 飞行员胜任力评价结果对比Tab.11 Comparison of pilot competency evaluation results between entropy weight-AHP- TOPSIS based method and entropy weight-AHP method

从表11可以看出，2种模型的评价结果（飞行员排序）是有所不同的，其中飞行员H、D、F、C、L排序一致，排序分别为1、2、3、6、8。这体现出2种模型在评价结果排序上具有一定的一致性。但同时，飞行员A 的熵权—AHP—TOPSIS 模型评价排序比熵权—AHP 模型评价排序上升了4 名，在结果上两者区别最大，飞行员B、K 分别上升1 名，而飞行员E、G、I、J则排序有所下降。熵权—AHP模型评价忽略了被评飞行员群体特征，简单根据得分进行评价，而熵权—AHP—TOPSIS模型挑选出了被评群体中最优与最劣，然后根据样本间的相对性进行排序，即在排序过程中纳入了现实情形，得出的结果也更符合实际。从数学模型上来看，熵权—AHP—TOPSIS模型的排序是在一定的空间中计算距离得出的，使得评价尺度更具解读性。因此，熵权—AHP—TOPSIS模型它根据指标特征将主客观赋权方法结合并融入了被评群体特征，在飞行员胜任力评价中更具优势。

2.2.4 评价结果分析

从评价结果来看，在17 个评价指标中，个体稳定性P22 的权重最高，该指标权重由专家打分通过AHP方法得到，说明专家认为心理素质是区分飞行员胜任力的十分关键的因素。事实上，在诸多不安全事件的良好处置或者最终酿成重大事故的案例中，飞行员的心理素质起到了关键性的作用，而综合排名第一的飞行员H 在该项评价中也得分最高，而综合排名最后2 名的飞行员J 和K 在该项评价中得分也排在最后2名。而权重排第二的指标程序运用P12，各个飞行员得分差距并不大，而综合排名第一、第二的飞行员H和飞行员D在该项得分和排名中并不突出，这说明参加评价的12名飞行员都能很好地对飞行程序予以掌握，基本素养都是合格的，在日常飞行中飞行员都能够很好地贯彻标准操作程序SOP。根据表12 所展示的12 名飞行员在17个指标的得分的方差可以看出，对飞行员岗位胜任力区分度最强的指标是心理胜任力中的个体稳定性P22和作风胜任力中的P33，这也说明中国民航局正在开展的飞行员心理胜任力和作风胜任力研究是十分必要的。事实上，具有良好的心理素质和一贯优良的飞行作风、妥善应对复杂多变的空中特情，成为区分飞行员能力的“黄金标尺”。本文建立的飞行员岗位胜任力评价模型与现实情况相吻合，具备评价飞行员岗位胜任力的科学性和准确性。

表12 飞行员胜任力指标评价结果方差Tab.12 Variance of pilot competency indicator evaluation results

3 结论

对飞行员胜任力的评价模型进行研究，作为开展基于胜任力训练的依据，以提高飞行员的训练质量和效率，保障飞行安全。

基于飞行员胜任力框架中的核心胜任力、心理胜任力和作风胜任力3 个维度，构建了包含17 项飞行员胜任力指标的评价体系，并针对不同成熟度的评价指标采用不同的赋权方法，对成熟度高的指标采用客观性的熵权法，对成熟度低的指标采用主观性的AHP 法，最终得到整个指标体系的权重矩阵。根据专家对不同指标的打分，分别采用熵权—AHP—TOPSIS 模型和熵权—AHP 模型进行评价，对比分析了评价结果。熵权—AHP—TOPSIS模型能够针对指标体系的成熟度区别使用客观赋权和主观赋权，从而使指标体系赋权更加合理。评价结果对比表明，熵权—AHP—TOPSIS模型更符合实际，对不同评价对象更有区分度。

本文虽然针对不同成熟度指标体系采用了主客观融合方法确定权重，但AHP法使用中专家个人主观性仍较强，在评价一致性和准确性上容易产生偏差，且本文模型未考虑专家个体间差异，后续需要对此开展研究，弥补不足。

作者贡献声明：

郭 超：提出选题，构建模型，分析案例，撰写和修改论文。

尤建新：完善论文框架，指导论文撰写和修改。

彭博达：整理文献，撰写和修改论文。

许华捷：完善模型。