油田板块高层次专业技术人才培训学用转化效果评估模型构建

2016-05-14 07:41房新娜苏永进钱振萍
继续教育 2016年6期
关键词:评估指标

房新娜 苏永进 钱振萍

摘 要:在借鉴国内外相关研究成果的基础上,从评估指标和指标权重两个维度构建油田板块高层次专业技术人才培训学用转化效果评估模型,评估指标的确定主要采用德尔菲问卷专家调查、通过Likert 五点量表法对其适合程度进行选择,评估指标的权重主要采用层次分析法、通过Expert Choice软件处理而确定的,该模型具有很强的实用性和可操作性。

关键词:高层次专业技术人才培训;学用转化效果;评估指标;指标权重;评估模型构建

中图分类号:G726 文献标识码:A

培训学用转化是指将培训中所获得的知识、技能、行为和态度在受训者的认知和行为模式中加以保存,当受训者遇到与学习环境类似但又不完全一样的问题和情景时,能够将这些知识、技能、行为与态度等进行调整应用于实际工作中,解决工作中存在的某些问题,从而使企业从员工的工作改善中获得益处,使培训真正创造价值、提高工作绩效。学用转化的实质是“学以致用、学以致变”。

学用转化效果评估是培训评估工作中非常重要的环节。它通过建立学用转化效果评估模型、确立评估标准、采用某些评估方法、通过可靠的数据来源获取评估所需数据资料来了解受训学员学用转化的实施情况以及取得的效果,是证明培训效果落地、体现培训价值的重要途径。在学用转化效果评估中,评估模型的构建是关键。模型构建恰当与否,对于评估工作的成败有着极大的影响。经过研究,笔者认为该模型主要由评估指标和指标权重两部分构成。

一、培训学用转化效果评估指标确定

进行评估指标筛选时,要遵循客观、可操作、动态与静态相结合、定性与定量相结合、独立性等原则。

(一)初始评估指标设计

在大量阅读、消化、吸收国内外相关文献资料的基础上,首先在专业技术培训部内部发放调查问卷,广泛征集各位项目负责人对培训学用转化效果评估指标的意见和想法,然后结合多年专业技术培训的实践,预设初步的评估指标。为进一步完善预设指标,项目组先后对油田企业人力资源管理的专家、油田专业技术领域的培训专家、油田企业的高级技术专家进行访谈,旨在了解三方专家所关注的培训学用转化效果评估指标,以便完善预设指标。最终提炼出初步的油田板块高层次专业技术人才培训学用转化效果评估指标,包括2个一级指标(定量指标、定性指标)和14个二级指标(问题解决、知识分享、技术攻关、提交建议、落实建议、论文专著、职务晋升、职称晋升、业绩考评、其它奖励、工作态度、工作能力、团队协作、绩效改进)。

(二)最终评估指标确定

对14项初始评估指标是否真正为油田板块高层次专业技术人才培训所关注以及这些指标的适合程度如何,我们采用半开放式的德尔菲问卷的形式进行了专家调查。问卷由三部分组成,其中,第一、二部分为封闭式,第三部分是开放式。第一部分是被测对象的基本信息,包括年龄、学历、职位等。第二部分采用了 Likert 五点量表法,分别对评估指标的适合程度进行选择,从“1”到“5”分别表示“不适合”到“非常适合”。为避免专家对指标项内涵产生误解,每个指标都配有指标说明。专家只需按项目勾选恰当的适切度值(1、2、3、4、5)即可。第三部分为评估指标设置的其他意见和建议。评估指标适切度统计结果见表1。

从 13 位专家对 14个二级指标的适切度评分结果我们可以看出,除了“职务提升、职称晋升”这两个指标均值小于3.5(分别为3.23和3.21)外,其余指标的适切度均值均大于4,说明所有专家认为这些评估指标在培训学用转化效果评估中都是比较适合的。

经过对第三部分专家提出的意见和建议进行归纳和筛选,最后采纳的意见或建议如下:一是根据指标选取的独立性原则,“绩效改进”“业绩考评”“其他奖励”都是衡量因学用转化效果取得的业绩,指标有些重复,所以合并修改为“业绩表现”;二是“提交建议”和“落实建议”合并为合理化建议;三是“职务提升”“职称晋升”与学用转化效果的关系不太密切,予以删除;四是“团队协作”属于工作能力中的一部分,合并到“工作能力”中。将修改后的评估指标再次征询专家意见并得到肯定,最终确定的评估见表2。

二、评估指标权重确定

权重是综合评价中的一个重要指标,是衡量各指标重要程度的评价指数,也是量化评估的关键。确定权重的目的是使我们建立的培训学用转化效果评估模型的实用性和可操作性更强。确定权重的方法有很多,如专家咨询法(德尔菲法)、专家排序法、层次分析法等。由于专家咨询法和专家排序法的主观因素影响太大,所以本文借鉴AHP提供的确定评估指标权重的方法,并使用Expert Choice 软件进行处理,计算权重,从而构建完整的油田板块高层次专业技术人员培训学用转化效果评估模型。

层次分析法(Analytic Hierarchy Process简称A H P)是由美国运筹学家匹茨堡大学教授(T.L.Saaty)于20世纪70年代提出的。他将决策总是有关的元素分解成目标、准则、方案等层次,按照问题要求建立一个描述系统功能或特征的递阶层次结构,通过两两比较评价因素的相对重要性,构成判断矩阵,根据矩阵特征向量及最大特征根的求解结果,最终得出低层因素相对目标层的相对重要性权重值。其中,AHP独有的一致性检验能够避免专家在确定权重过程中思维的一致性无法保证的问题,从而使得分配的结果更加合理。

(一)调查问卷设计

根据AHP法的权重确定方法,采用Saaty开发的成熟的问卷结构和9点量表法,设计模型中的一级准则层与二级准则层各指标重要性的两两比较调查问卷。

指标重要性的比较涉及由定性到定量的转化问题。在本问卷中对于该转化问题的解释是,以“A指标VS B指标”为例,“9:1”“7:1”“5:1”“3:1”“1:1”分别表示A指标的重要性“绝对强”“明显强”“强”“稍强”“等同”于B 指标,反之亦然。

(二)问卷发放

本阶段的问卷调查对象由对专业技术培训有深刻认识和体会的专家构成,共发放问卷18份,填写人员包括:专业技术培训领域的专家、项目负责人8人、总部职能部门和直属企业人力资源管理专家5人、专业技术领域专家5人。18份问卷均符合填写要求。

(三)数据分析

在使用Expert Choice软件进行一致性检验后,发现有4份问卷的一致性比率大于0.1,未达到AHP的要求,故将其删除,故有效问卷为14份。

根据14位专家给定的判断矩阵,运用几何平均法将专家意见综合平均,即得到最终的指标判断矩阵,然后应用Eepert Choice软件进行分析,即得到各级准则层的权重分布最终结果。

一级准则的两两对比矩阵和权重分布见图1和图2。

从上图可以看出,一级准则层中定量指标所占比重较大,约77.7%。定量指标层两两对比矩阵及指标权重分布见图3和4图。

定量指标层中,问题解决、技术攻关和合理化建议等三个指标比重较大,合占82.8%。软件分析定性指标层的两两对比矩阵及指标权重分布见图5和6。

定性指标层中,能力提升指标所占比重较大,约71.8%。

三、构建评估模型

根据软件计算结果,构建出油田板块高层次专业技术人才培训学用转化效果评估的完整模型,具体如表3所示。

至此,在确定油田板块高层次专业技术人才培训学用转化效果评估指标和指标权重的基础上,我们的评估模型正式建成。

除了需要建立评估模型之外,还需要建立合理的评估标准。依据此评估模型、按照评估标准、借助有效的数据收集方法、通过可靠的数据获取渠道收集评估所需的数据资料,就可以进行油田板块高层次专业技术人才培训的学用转化效果评估工作,用量化数据证明培训对受训学员实际工作的促进作用,真正把培训效果评估做到实处。

本项研究是针对油田板块高层次专业技术人才培训学用转化效果评估领域进行的一次尝试和探索,评估工作复杂,难以操作,存在一定的局限性。诸如指标的选择及权重的确定不可避免地带有一定的主观性、样本范围与数量问题、评估指标不够细化等,都需要我们在后续研究工作中进一步细化考虑、加以完善,力求使学用转化效果评估更全面、结果更准确。

参考文献

[1]周涛,宋亚男译.将培训转化为商业结果[M].北京:电子工业出版社,2013.

[2]周涛,宋亚男译.将培训转化为商业结果实践手册[M].北京:电子工业出版社,2015.

[3]奚卫华,林祝君等译.如何做好培训评估-柯式四级评估法[M].北京:机械工业出版社,2007.

[4]张少林,李元明,李洁译.如何评估培训效果-追踪六个关键因素的实用指南[M].北京:北京大学出版社,2007.

[5]D.L.Kirkpatrick.NewMcGraw-Hill《Evaluation in the ASTD Training and Development Handbook》,1996.

[6]Burke M.J.A cumulative study of the effectiveness of managerial training[J].Day R.R.Journal of Applied Psychology,1986.

[7]孔令启等.四层次培训评估实施中的问题探析[J].商场现代化,2008(8).

[8]初娜.高星级酒店管理类培训效果评估的模型构建[J].首都经济贸易大学,2013.

[9]房新,胡翔,钱振萍.高层次专业技术人才培训学用转化的影响因素及对策[J].石油化工管理干部学院院报,2015.

猜你喜欢
评估指标
“国培计划”项目考核评估体系研究
监狱安全防范综合管理系统效能评估指标体系分析
我国职业足球俱乐部商誉价值评估指标体系构建研究
探析档案安全风险评估中的元评估
以评估指标为依据,构建教学质量标准体系
商业零售企业消费者满意度评估指标模型构建
企业高层次人才评估指标机制研究
经济发达镇行政体制改革评估指标体系的设定与评价
行业型高校就业质量评估指标体系初探
中西方对比视角下我国公务员绩效评估指标体系探究