培训效益评估实证分析研究

高学浩 马旭玲 赵亚南 叶梦姝 罗林明

摘 要：在总结分析国内外培训效益评估理论研究与业务进展的基础上，以新一代天气雷达培训效益评估为例，探索培训效益评估的技术与方法。

关键词：培训效益；效益评估；雷达培训；投资回报率；实证分析

中图分类号：G72 文献标识码：A

一、引言

不断提高培训质量，提高广大干部职工对培训作用正确认识的一个重要途径就是加强对培训评估理论和方法的研究与应用，要客观评价培训的效用，其中培训效益评估是证明培训价值贡献的最直接的手段。

培训效益是指受训者经培训提高回到工作岗位所带来的收益与培训成本的差额。培训收益主要包括两部分：一部分是可以通过一定途径转化为用货币表示的价值；还有一部分要么不能转化，要么转化成本过高，但是这部分的收益包含范围是非常广大的。

二、理论研究与业务进展

（一）研究进展

最先对培训效益进行理论研究的是美国经济学家雅各布？明塞尔（Jacob Mincer）。1958年他发表的《人力资本投资与个人收入分配》首次建立了个人接受的培训量和其收入之间的数学模型，后来许多学者在雅各布？明塞尔的培训效益理论基础上研究建立了很多数学模型和经济方法，其中较为著名的有三个培训投资收益的模型，分别是加里？S？贝克尔提出的在职培训的成本收益评估模型、菲利普斯的培训投资回报率模型及舍贝克和科恩提出的培训的效用公式。

在上述影响比较广泛的培训效益评估理论模型中，根据ASTD（美国培训与发展协会）的调查显示，菲利普斯的培训投资回报率模型是应用最为广泛的模型，本文的研究也是基于该模型的基础上开展的。

（二）业务进展

ASTD的调查发现，柯克帕特里克模型和菲利普斯模型是使用最为普遍的评估模型，五层评估包括反应层评估（第一层），学习层评估（第二层），行为层评估（第三层），结果层评估（第四层）和投资回报率评估（第五层）。92%的调查对象说他们至少进行第一层评估，但是其后的每级评估的使用都急剧下降，只有少数的组织使用第五级评估-投资回报率评估。

三、气象培训效益评估实证研究

2014年中国气象局气象干部培训学院（以下简称“干部学院”）选择新一代天气雷达平培训（以下简称“雷达培训”）项目，探索开展培训效益评估，之所以选择雷达培训项目有两个原因：一是雷达培训是干部学院的核心班型，自1999年起至2013年底，已举办相关培训60余期，培训雷达业务及管理人员3000人次，今后还将继续开展培训；二是通过对每期培训班的质量调查发现，学员对培训班的满意度评价高，在2008年开展的培训后效果评估中81.5%的学员认为培训对工作帮助很大，2013年的培训后效果评估中，93.7%的学员和92.7%的送培单位认为雷达应用技能提高很大或较大。基于上面两个原因，选择了对雷达培训项目开展更高层级的评估——投资回报率，探索培训效益评估的技术方法。

（一）评估模型

雷达培训效益评估采用国际上广泛应用的Phillips的投资回报率公式来计算雷达培训的投资回报率，即

基于上述公式，雷达培训效益评估中需要解决三个关键问题：（1）新一代天气雷达产生多大的经济效益？（2）培训在其中有多大的贡献度？（3）雷达培训的成本是多少？

（二）雷达培训的收益

1.新一代天气雷达的经济效益

根据2008年国家公益性（气象）行业科研专项“气象服务评估方法与技术研究”中，计算了公共气象服务的投入与产出效益比为1：63.19。雷达在增强灾害性天气监测和预警能力、增强国家防灾减灾能力、提升公共气象服务水平方面发挥了重要作用，作为公共气象服务的一种手段，其投入产出符合公共气象服务的一般规律，因此，公共气象服务的投入产出比即为雷达的投入产出比。基于此，雷达的投资效益计算公式为：

影响雷达作用发挥因素的投资效益=影响雷达作用发挥的各因素投入/公共气象服务投入与产出比 （公式2）

通过上述公式，知道影响雷达作用发挥的各因素的投入，便可计算得出影响雷达作用发挥因素的投资效益。

2.培训在雷达效益发挥中的贡献度

培训的直接作用是雷达业务及管理人员素质的提高，通过业务及管理人员在气象业务中应用雷达产品，使雷达发挥效益，但是培训也不是人员素质提高的唯一影响因素，只有全面客观区分出可以使人员素质提高的全部手段，才有可能客观区分出培训在人员素质提高中的作用程度。同理，人员素质不是雷达效益发挥的唯一决定因素，只有全面客观区分影响雷达效益发挥的其他因素，才能准确客观区分出人员素质在雷达效益发挥中的作用程度。

（1）建立指标体系

在多次专家咨询的基础上，研究建立雷达效益发挥影响因素指标体系，见图1。

雷达培训贡献度主要通过评估培训在提高雷达业务及管理人员素质方面的贡献度及人员素质在雷达作用发挥上的贡献度的基础上，来评估培训在雷达效益发挥上的贡献度。即：

雷达培训的贡献度=培训在雷达业务及管理人员素质提高方面的贡献度*人员素质在雷达效益发挥上的贡献度 （公式3）

（2）开展问卷调查

为获得各要素的重要性得分，向所有参加过雷达培训的学员及选派过3名以上学员的送培单位领导发放了调查问卷，了解他们对“人员素质等各要素在雷达效益发挥的重要性程度”及“培训等各种手段在雷达人员素质提高上的有效性”的认知程度。调查对象及参与调查对象见表1。

从调查对象所属气象部门行政别上看，覆盖国家级、省级、地市级、县级四个行政级别，其中来自省级和地市级气象部门的比重较大；从岗位分布上看，主要来自业务岗、管理岗和科研岗，调查对象的类别、来源及岗位均具有代表性。

（3）计算雷达培训贡献度

为了客观评价培训在雷达效益发挥上的贡献度，采用“调查求重”和“层次分析”相结合的方法来计算雷达培训的贡献度。

各要素指标重要性得分的计算：

雷达效益发挥上，每一项要素重要性程度得分。计算公式为：

其中，P为选择不同重要性层次的人占总人数的比例，K为不同等级分值：绝对重要的分值为K1=7，非常重要的分值为K2=6，比较重要的分值为K3=5，一般的分值为K4=4，有点重要的分值为K5=3，不太重要的分值为K6=2，不重要的分值为K7=1。运用这个公式，可得出各要素在雷达作用发挥中重要性程度得分见表2。

雷达人员素质提高方面，每一要素有效性程度得分计算方法同上，得到表3。

各要素指标权重的计算：

在本研究中，由于主要采用了向学员及送培单位领导调查的方法，为了更好的体现雷达业务及管理人员意见的指导性，将回收的语词式的意见样本先定量化，而后再根据重要程度的得分差异对应到Saaty的1～9标度进行处理，即“调查求重”与“层次分析”相结合。这种数字转换所得的判断于直接运用Saaty1～9标度得到的判断是近似的，其有效性可以通过一致性的测试得到验证。

按照这一思路，将前期得到的指标重要性程度得分进行对应转化。其中影响雷达效益发挥各要素最高的得分值为6.354，最低值为5.736，将其最高值和最低值之间的得分差（即0.618）也区分为8个区间，分别与Saaty的1～9标度值相对应，得到表4。

同理，得到影响雷达业务和管理人员素质提高各要素指标重要性程度差值与Saaty 1～9标度对应表见表5。

根据层次分析的方法，建立各判断矩阵，按照左上角的准则将左侧的第一列指标与最上行的各个指标依次进行比较，然后再将第二列与最上行指标进行比较，依此类推。其中比较的依据即为各对应指标之间的差值落入的“指标重要性程度值差与Saaty1～9标度对应表”中相应的标度值。最后得到判断矩阵。根据判断矩阵得到其最大特征值所对应的特征向量，归一化处理后就得到其权重。

由于客观事物的复杂性和人的主观判断的差异，每个判断结果都无法保证完全的一致，因此为了保证评价结果的合理性，对这些矩阵的一致性进行检验。计算结果表明，判断矩阵进行层次单排序的结果具有较好的一致性。

在上面的计算得到了各指标相对于上一层次的单排序权重值，利用单排序的权值结果，用上层次各指标的组合权重加权，以此来得到一级指标人员素质下层各指标相对于指标体系最高层的组合权重值，即雷达培训的贡献度见表6。

所以， 根据公式2，得出雷达培训的贡献度为26.4%。

3.计算雷达培训成本

中国气象局在雷达建设规划中就明确规定，每建设一部雷达，都要开展相关业务及管理人员培训，有固定的雷达培训经费投入，所以，

雷达培训成本=每一部雷达投入的培训经费*建设雷达总数 （公式5）

4.计算雷达培训的投资回报率

雷达培训的收益即为影响雷达效益发挥因素的投资效益*雷达培训的贡献度，因此，得出雷达培训效益的计算公式，即：

雷达培训的效益=影响雷达效益发挥因素的投资效益*雷达培训的贡献度-雷达培训成本 （公式6）

根据公式（2）、公式（3）和公式（5）的计算结果，可以计算得出雷达培训的收益。

根据公式1，雷达培训的投资回报率=（雷达培训收益-雷达培训成本）/雷达培训成本 =91.34：1

四、结语

本文以雷达培训效益评估为例，探索了培训效益评估的技术方法，为将来开展培训效益评估积累了经验，并进行了有益的尝试。但是公共气象服务的投入产出比是计算雷达培训效益的一个基础数据，为开展雷达培训效益评估提供了可能，其他培训项目限于难以测算相关培训后业务上产生的效益及无法令人信服地指出哪些效益直接来源于培训，导致开展培训效益评估难度依然较大。

参考文献

[1]马旭玲等.关于气象培训效益评估的思考[J].继续教育，2014（12）.

[2]肖娟.培训效果评估方法及其应用研究[D].南京：南京理工大学，2007.

[3]ASTD research report.Value of evaluation： making training evaluation more effective[EB/OL].http：//www.astd.org/，2011-5-23.

[4]李廉水，孙健，陈云峰等.气象服务效益评估技术与方法[M].北京：科学出版社，2013.

[5]高学浩，胡欣，李洪臣等.2006年度中国气象局软科学项目《短期天气预报员能力评价研究报告》，2007.