民航安全监察员培训效果评估研究

尹 航 姜 兰讲师 杨 玲副教授

(1.首都经济贸易大学 管理工程学院，北京100070；2.中国民航管理干部学院 航空安全管理系，北京100102)

index system

0 引言

民航安全监察员培训工作始终受到高度重视，民航各级行政机构，民航有关院校根据相关规章标准要求以及行业发展实际，面向安全监察员组织开展了大量专项培训，建立起了比较扎实的培训基础，培训效果整体良好，取得了令人较为满意的效果。同时，随着培训规模的扩大，也在一些培训班次中出现了需求评估把握不够充分，培训课程设置不够理想，培训针对性不强等问题。为了不断改进监察员培训工作，更好的检验和提高培训工作的实际效果，必须构建科学合理的培训效果评估体系。

目前国际常用的培训效果评估模型主要有：柯氏四级评估模型、CIPP评估模型等[1-2]。柯氏四级评估模型是世界上应用最广泛的培训评估工具，在培训评估领域具有难以撼动的地位。相对于柯式四级模型，CIPP能将评估纳入到培训全部过程，不仅是对培训的必要性和可行性进行分析，还可以对培训过程实现监控，及时总结培训经验与不足，其反馈信息将会对以后的培训项目产生积极影响[3-4]。

国内关于安全培训的研究主要有：鹿中山等[5]将层次分析法与模糊综合评价法结合对建筑施工现场进行了安全评价，计算了各指标的权重并排序；贺龙等[6]采用柯氏理论建立了安全培训效果评估模型；赵丽霞等[7]采用层次分析方法计算了煤矿安全培训效果影响因素指标的权重；王雪[8]结合柯氏模型归纳总结出比较适合油田机关干部的培训评估模型；杨琳[9]等提出在医学培训中联合应用柯氏模型和CIPP模型进行评价可以起到互补的作用；殷蕾[10]构建了高等职业院校教师培训效果评估指标体系，并针对培训教师存在问题，提出了培训优化策略。但对于民航安全监察领域的培训效果评估还比较缺乏。

鉴于此，笔者拟结合民航安全监察员的实际培训需求，综合柯氏模型和CIPP模型的特点和评估价值，使用模糊综合评价法研究探讨民航安全监察员培训效果评估体系，以期为提升民航安全监察员工作水平提供帮助。

1 民航安全监察员培训评估指标体系的构建

通过文献分析，并根据民航安全监察员培训特点，将培训效果评估模型、柯氏模型和CIPP模型相结合，初步构建了安全监管类监察员培训效果评估模型，按照培训前评估、培训中评估、培训后评估3个部分，将参训学员转化学习到实践的过程，通过这3部分的评估有机结合起来。最后，按照专家意见建议进行调整，得出修改后的民航安全监察员培训评估指标体系，见表1。

表1 民航安全监察员培训效果评估指标体系

2 确定培训效果评估各指标权重

采用层次分析法结合专家群决策，立足民航安全监察员培训实况，建立指标权重评价的层次分析模型，以得到较为合理科学的各级指标的权重。

2.1 专家群决策法构建判断矩阵

为了提高判断矩阵的科学性，使用专家群决策法，衡量尺度划分为9个等级，其中，9、7、5、3、1的数值分别对应绝对重要、非常重要、较重要、略重要及同等重要，8、6、4、2的数值则表示重要程度介于相邻两个等级之间。以二级指标为例，见表2，A“培训前评估”与B“培训中评估”两个指标进行比较，如果某专家认为“培训前评估”比“培训中评估”更重要，且程度为“非常重要”，则选择靠近A“培训前评估”的数值7，以此类推。专家完成所有同一层级指标的两两对比打分后，通过对每个专家判断矩阵最大特征根的计算，确定其对应特征向量，将各个评估指标按照此特征向量来进行重要性排序，从而进行权系数的分配。

邀请10位评估专家对同一层级的各指标重要度两两对比进行打分。通过对所有专家的决策数据进行集结，综合考虑多个专家对各层因素两两对比评出的重要性结果，对所有专家的排序权重利用算术平均值完成数据集结，最后利用集结后的判断矩阵排序权重计算总排序权重。

表2 指标权重调查表(二级指标为例)

2.2 一致性检验

获得各层次因素之间的判断矩阵后，为了确保数据的合理性，需要进行一致性检验。首先，计算各专家对各指标判断矩阵的最大特征根，随后计算一致性比率CR<0.1时，认为层次排序通过一致性检验。

2.3 各级指标权重的确定

经过层次分析得到的各级指标相对最终培训效果评估目标的排序权重，见表3。其中若设总目标的权重为1，则第一级指标相对总目标的排序权重分别为：[0.3370，0.3981，0.2649]，第二级8个指标相对总目标的排序权重分别为：[0.1122，0.1682，0.0566，0.1136，0.2364，0.0481，0.1062，0.1587]，第三级共19个指标的排序权重分别为：[0.0373，0.0547，0.0202，0.1002，0.0679，0.0423，0.0143，0.0335，0.0625，0.0176，0.0661，0.0685，0.1018，0.0361，0.0120，0.0524，0.0538，0.0987，0.0600]。

表3 各级指标权重表

续表

3 基于模糊综合评价法的培训效果评估方法建模

模糊综合评价法是一种基于模糊数学的综合评价方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。本文民航安全监察员培训效果评估中，将评价指标划分为三个层级：一级指标3个，二级指标8个，三级指标19个，各级评估指标数目适中，可避免出现超模糊现象。

(1)确定评价目标的因素集。目标因素集为民航安全监察员培训效果评估：

U={A，B，C}

(1)

式中：

A—培训前评估；

B—培训中评估；

C—培训后评估。

对3个子因素集进一步细分，得到更多的因素集合，经过逐级细分就建立起了总的因素体系及其表达方式，如前文所述的指标体系构建，本文的单因素集合最高达到三级。

(2)建立综合评价的评语集。

将民航安全监察员培训效果评估的等级划分为五级，构成五级评语集为：

V={v1，v2，v3，v4，v5}

={非常好，比较好，好，一般好，不太好}

(2)

(3)建立权重集。

(4)确定隶属度函数。

为获得各级指标分别对五级评语集的隶属度，采用模糊统计法来构建隶属度函数，并基于该方法设计培训效果评估调查问卷，问卷中各题选项分为“非常符合”、“比较符合”、“符合”、“不太符合”、“很不符合”5个等级，通过统计所有有效问卷中各个等级的投票数，并结合三角模糊函数来计算指标相对各个等级的隶属度。针对每个三级指标设置有两道题，所以每个三级指标的分值为2～10分之内。五级隶属度函数分别为：

(3)

确定隶属函数后，给定各项指标的输入值便可计算出对不同评价等级的隶属度。

(5)确立模糊评价矩阵。

模糊评价矩阵包括单因素评价矩阵和模糊综合评价矩阵。设因素集U中第i个元素对评语集V中第j个元素的隶属度rij组成的集合，Ri=(ri1，ri2，…，rim)，称Ri为第i个元素的单因素评价矩阵。rij反映了评价因素与评价等级之间用隶属度表示的模糊关系。以p个单因素评价集R1，R2，…，Rp为行，组成矩阵R，称为模糊综合评价矩阵。

(4)

(6)多级模糊综合评价。

建立多级模糊综合评价模型，首先要对评估总目标的因素集按照某种属性划分为多个子因素集合，然后各个子因素集合又划分为更下一层次的多个子因素集合，以此类推。在进行多级模糊综合评价的时候，先对最底层因素进行综合评判，得到一级评判向量，再逐层往上进行综合评判，获得二级评判向量、三级评判向量，以此类推，直至得到对评价总目标的综合评判向量。以二级模糊综合评价为例，具体步骤是：

①一级模糊综合评价。

将第二层的因素集分为若干个子集，其中第i个子集记为Ui={u1，u2，…，uk}，对于每一个Ui按一级模糊综合评价模型分别进行综合评价，设因素权向量为Wi，Ui的模糊评价矩阵为Ri，则得到：

Bi=Wi∘Ri=(b1，b2，…，bm)=(w1，w2，…，wk)∘

(5)

式中：

∘ —某种模糊合成运算(本文采用乘积求和进行计算)；

B—模糊综合评判集；

bi—模糊综合评价指标。

②二级模糊综合评价。

(6)

4 模型应用与求解

构建民航安全监察员培训效果模糊综合评价数学模型，具体步骤如下：

(1)确定评价对象集。

X={安全监察员培训效果}

(2)确定评语集。

V={Ⅴ-非常好，Ⅳ-比较好，Ⅲ-好，

Ⅱ-一般好，Ⅰ-不太好}

(3)确定评价指标集。

U0={培训前评估，培训中评估，培训后评估}

U11={培训需求，项目设计，培训机构}

U12={培训实施，培训师资，培训条件}

U13={学习效果，综合素养}

U21={监察员背景，监察员需求，培训形式}

U22={培训方案，培训教员}

U23={教学条件，服务管理}

U24={课程设计，培训内容，培训方式}

U25={监察专业能力，监察实践经验，监察转化效果}

U26={授课条件，后勤保障}

U27={监察专业知识，监察实践应用}

U28={监察工作态度，监察能力提升}

(4)由表3，得出权重向量：

W0=(0.337 0，0.3981，0.264 9)

W11=(0.332 9，0.499 1，0.168 0)

W12=(0.285 4，0.593 8，0.120 8)

W13=(0.400 9，0.599 1)

W21=(0.332 4，0.487 5，0.180 0)

W22=(0.595 7，0.403 7)

W23=(0.747 3，0.252 7)

W24=(0.294 9，0.550 2，0.154 9)

W25=(0.279 6，0.289 8，0.430 6)

W26=(0.750 5，0.249 5)

W27=(0.493 4，0.506 6)

W28=(0.621 9，0.378 1)

(5)确定评价隶属度矩阵。

(6)三级模糊综合评价。

将评价指标的权重向量与各评价等级的评价隶属度矩阵进行模糊合成变换，采用普通矩阵乘积算法作为模糊合成算子。

①首先进行一级模糊综合评价，得到一级模糊综合评判向量：

B21=(0.486 4，0.331 4，0.156 8，0.016 5，0.008 9)

B22=(0.554 2，0.313 5，0.109 1，0.022 7，0.000 0)

B23=(0.541 7，0.329 5，0.100 5，0.022 6，0.005 7)

B24=(0.445 8，0.340 9，0.173 8，0.028 8，0.010 7)

B25=(0.491 1，0.353 9，0.123 6，0.026 0，0.005 5)

B26=(0.469 7，0.388 3，0.113 6，0.026 5，0.001 9)

B27=(0.375 3，0.442 8，0.144 2，0.037 6，0.000 0)

B28=(0.469 7，0.349 3，0.175 3，0.005 7，0.000 0)

②再进行二级模糊综合评价，得到二级模糊综合评判向量：

B11=(0.540 3，0.303 5，0.129 5，0.021 6，0.004 9)

B12=(0.490 4，0.330 2，0.141 5，0.030 4，0.007 5)

B13=(0.445 6，0.367 0，0.164 3，0.020 0，0.003 0)

③最后进行三级模糊综合评价，得到三级模糊综合评判向量：

B=(0.495 3，0.330 9，0.143 5，0.024 7，0.005 4)

根据最大隶属度原则，根据评判对象对评语集各等级的隶属度大小，可以得到民航安全监察员培训效果评估的整体情况、培训前、培训中和培训后工作情况的评价等级均为Ⅴ级非常好。同理可以得到二级指标的评价等级也均为Ⅴ级非常好。

为了能对评估结果进行量化比较，用分值“1，2，3，4，5”分别表示“不太好，一般好，好，比较好，非常好”各等级，并称其为各等级的秩。然后用上文得到的模糊评判向量中对应分量将各等级的秩加权求和，并归一化，以满分为5分，得到被评价对象的量化分值。

可知，民航安全监察员培训效果评估的整体情况、培训前、培训中和培训后工作情况的量化分值分别为4.286 2、4.353 1、4.265 6、4.232 1。同理可以计算得到二级指标的评价结果量化分值。通过对评估结果的量化，有助于多次培训工作的对比分评估。

5 结论

结合模糊综合评价法与层次分析法、专家群决策以及问卷调查法，构建了民航安全监察员培训效果评估模型，并进行实例应用，结果表明，民航安全监察员培训工作总体上充分到位，培训卓有成效。但是在培训需求、培训机构、培训实施、培训师资、培训条件5项指标上，仍有归属于Ⅰ级——不太好的评价，有待加强。另外，通过对各项指标权重进行排序，表明培训中的评估比培训前和培训后的评估更为重要，尤其应当重视提升项目设计、培训师资和综合素养3个方面，以提高工作质量，从而促进培训工作取得更优异的效果。

运用本模型可对民航安全监察员培训效果进行定性与定量相结合的综合评估，评估结果支持多次培训工作之间的对比分析，具有较好的实用价值。