有效做好培训学用转化效果评估的数据收集方法研究

房新娜 钱振萍

(石油化工管理干部学院， 北京 100012)



培训前沿

有效做好培训学用转化
效果评估的数据收集方法研究

房新娜 钱振萍

(石油化工管理干部学院， 北京 100012)

数据收集是培训学用转化效果评估中非常重要的步骤，而数据收集的方法和来源直接影响了评估的结果。本文在借鉴国内外相关研究成果的基础上,总结了评估数据的有效收集方法和可靠来源，并提出了数据收集的注意事项，为做好培训学用转化效果评估工作奠定可信赖的数据基础。

学用转化；效果评估；评估数据；数据收集

培训学用转化效果评估是培训效果评估工作中非常重要的环节，是证明培训成果落地、体现培训价值的重要途径。要进行学用转化效果评估，首先，需建立学用转化效果评估模型和评估指标体系；然后，通过可靠的评估数据来源渠道、有效的数据收集方法，收集评估所需数据资料；最后，对照评估标准，进行培训学用转化效果评估，用量化数据证明培训对受训学员实际工作的促进作用,真正把培训效果评估做到实处。

在评估过程中，评估数据最直接、最具说服力，最能够证明培训学用转化的效果以及培训所产生的影响。因此，数据收集是做好评估非常关键的步骤之一。

1　培训学用转化效果评估数据收集的有效方法

数据收集的方法有很多种，常用的有效方法包括：行动计划、问卷调查、访谈、座谈和360度评估法等。

1.1 行动计划

行动计划是最常见的培训后续跟进任务，是培训项目的一部分，是一种直截了当、简单易行的用来确定学员如何将培训所学应用到实际工作中去以及产生何种效果的方法，是检查学员的培训知识是否入脑、回到工作岗位后是否可以上手的重要手段。在该环节，受训学员需做好以下几项工作：

一是做好日常学习记录（一课一记录)。

为了做好行动计划，在培训教学中，学员要记录每堂课或每个专题讲座的启发点、对照自己目前工作查找问题、针对问题寻找改善对策，以及问题改善的衡量标准等等。其实质是记录培训中每堂课的思想火花，以免由于培训期间巨大的信息量使前期的记忆被冲淡。学习记录是完成行动计划的基础，要求学员要认真思考、认真填写，为后续行动计划保留第一手资料。

二是制定学用转化行动计划书。

培训结束前，在项目负责人的引导下，学员认真梳理前期每门课程结束时的学习记录，从中挑选1-3个准备在回企业研修阶段要进行学用转化的问题，制定初步的行动计划书（表1）。培训结束时，学员将初步的行动计划书带回单位，经过与所在部门业务领导的充分沟通，进一步论证所要解决问题的现实意义和可行性，把修改的行动计划书反馈至项目组存档，用于学用转化效果的查验。

表1　学用转化行动计划书

学用转化是个过程，需要一定的时间来保证学员把培训所学应用到实际工作、解决实际问题的过程，因此整个行动计划的实施时间为6到12个月。

三是完成行动计划落实报告。

行动计划结束后，学员要向项目组提交一份行动计划落实情况报告，包括问题解决过程、实际达到的效果、问题未解决的原因等。项目组会组织一个行动计划落实汇报会，邀请主办方的相关领导、专家听取汇报，评价学用转化的效果以及为所在单位部门带来的收益，并针对学员学用转化中尚存的问题提供一定的指导。

1.2 问卷调查

问卷调查指在培训结束一段时间后，利用设计好的调查问卷，向学员了解相关信息，是收集评估数据最常用的方法，既可以了解关于态度改变和能力提升的定性指标信息，也可以用来记录可以量化的定量指标信息。问卷调查能否取得实效，关键在于调查问卷的质量。因此，调查问卷设计必须严格遵循设计流程，以确保具有较高的信度和效度。具体设计流程如图1所示。

图1　调查问卷的设计流程

依据调查问卷的设计流程进行学用转化效果调查问卷的详细设计（表2）。

1.3 访谈法

访谈法是指培训结束后，评估人员通过与受训学员进行一对一、面对面的交流，了解培训内容在实际工作中的应用程度、工作环境是否影响其学用转化进展、转化效果如何等，获得学用转化效果的相关信息，并据此判断学用转化效果的一种方法。

与问卷调查相比，访谈法获取的信息更为细致和完整。因为该法可以确保被访谈者在完全理解问题之后，给出完整、准确的信息。同时，随着访谈过程的进行，访谈者可以挖掘出更多的有用信息，获得足够的细节来证明学用转化的效果。

表2　培训学用转化效果调查问卷

访谈法的运用程序可以归纳为：明确访谈采集信息→制定访谈方案→测试访谈方案→实施访谈→访谈结果反馈。在培训学用转化效果评估中，我们应该严格按照该程序进行，以确保访谈结果的真实性和有效性。

为保证访谈法实施的信度和效度，进行访谈时需注意以下两点：第一，在与受训学员进行访谈时，访谈者必须有明确的访谈目标，切忌漫无目的，避免效率低下；第二，营造相互信任的访谈氛围，访谈前做好访谈提纲（表3）、访谈中做好记录、访谈后做好资料的归纳整理。

表3　访谈提纲和座谈提纲

1.4 座谈法

座谈法是指在培训结束后，评估人员通过组织受训学员座谈会（一对多）的形式，让每位学员陈述培训的收获、回到工作岗位后如何将知识运用到工作中、取得怎样的效果以及在转化过程中存在的问题等，从中获取关于学用转化效果的信息。

作为获取信息的方法，座谈法具有资料收集速度快、效率高，能够有机结合调查和讨论等优点，但是有些涉及隐私问题，在座谈会上无法讨论深入，只能获得一些初步的信息。因此，应用座谈法时也要按照程序来进行，充分发挥其优点，规避其缺点。同时注意座谈前做好座谈提纲（表3）、座谈中做好记录、座谈后做好资料的归纳整理。

访谈提纲和座谈提纲原则上是一致的，区别在于人数的多少。

1.5 360度评估

360度评估（360°Feedback），又称“360度考核法”或“全方位考核法”，是指由员工自己、上司、下属、同事等从各个角度来评估受训学员的方法。评估内容可以包括工作态度、工作能力、团队合作、创新能力、合理化建议、行动计划落实、技术攻关等。通过这种理想的评估，我们可以从学员自身、上司、下属、同事处获得多种角度的反馈（表4），从而明晰学员在整个学用转化阶段的行动、过程和结果，包括其本人对自己学用转化效果的评价，以及上司、下属、同事眼中学员培训后的行为变化，从主观和客观的角度更加了解培训对学员工作态度、工作能力和实际问题解决的影响。

这种全方位的评估方法会使评估结果更为客观和全面，但工作量相对较大，实施起来较繁琐。当受训人数较少、项目对学用转化效果评估要求较细时，我们可以采用这种方法。

2　培训学用转化效果评估数据收集的可靠来源

要做好培训学用转化效果评估工作，除了选用科学的数据收集方法外，还需要找到可靠的数据来源，确保数据的有效性，这样得出的评估结果才是可信的。

2.1 学员

学员是学用转化的具体实施者，是学用转化效果评估数据最直接的信息来源。通过我们设计的行动计划反馈、调查问卷反馈、访谈和座谈反馈，可以收集到学员在整个培训学用转化的进行情况以及最终效果的第一手资料。为了能够获得更可靠的数据，在与学员进行座谈、访谈时都要注意氛围的营造，引导学员愿意交流，详细地展示学用转化的过程，使我们可以从中提炼出评估需要的数据和资料；同时，还应与各级人力资源部门通力合作，建立行动计划反馈和调查问卷反馈机制，确保反馈信息的准确性和真实性，从而收集到可靠的数据资料。但是由于这些数据带有很强的主观性，在数据处理时必须进行客观分析，去除自我表扬、夸大事实的部分。

2.2 学员的主管

受训学员的直接主管往往也是评估数据的可靠来源。因为他们可以直观地观察到培训后学员工作的变化，如新思路、新方法的提出、对现有工作的改进措施以及产生的积极结果等。他们能够代表组织的意见，具有很强的客观性，是最适合作为评估的数据。而建立起学用转化效果评估机制，明晰学员主管应该承担的督导作用，也会进一步提升学员主管所提供信息的价值和可靠性。

2.3 学员的下属

学员的下属可以观察到他们的领导培训之后在技术决策、问题解决中显示出的新方法、新思路以及在团队协作、规范运作、精细管理方面展现出的新面貌。在获取信息的过程中，我们要营造轻松愉快的氛围，阐明访谈的目的，引导下属敢于把观察到的事实陈述出来。在整个访谈过程中，建议避开学员所在单位的其他人员在场，或将访谈场所设置在学员所在单位之外。

表4　360度评估学员表

下属提供的信息往往是主观性的，其意见反馈可能会存在偏颇。但在某些情况下，下属更加了解哪些因素影响了他们的工作，并且可以提供有关这些变化的信息。与其它信息来源的信息结合在一起加以分析使用，会使结果的可信度大大增加。

2.4 学员的同事

在实际工作和生活中当一个人的行为有所变化时，其身边人是可以观察和感知的。所以，我们可以从对同事的访谈中侧面了解学员训后与训前表现的变化，从而了解培训对学员的工作态度和工作能力的影响，例如是否将培训所思、所想、所悟分享给周围同事，是否在课题研究或日常工作中提出新的方法和思路，是否在年终总结中将工作进步归因于培训的作用等。

总之，在学员实施学用转化的任务过程中，学员的领导更多看到的是学用转化的结果（对工作促进的效果），同事、下属更容易观察到学用转化的过程。因此，我们需要尽可能全面地去挖掘可用信息，尽可能对学员的学用转化情况有一个全面的综合的评价。

3　培训学用转化效果评估数据收集注意事项

进行培训学用转化效果评估的数据收集，除了要选用科学的方法、可靠的数据来源外，在实际评估工作中还应注意以下几个方面：

一是尽可能收集充足的数据。一般情况下，数据越充足，可信度越高，结果准确度就越高。根据实践经验，如果培训项目规模较小（学员人数不超过50人），可将所有学员都加入样本；如培训项目规模较大，基于50人的样本也基本能够满足评估要求。

二是使用多维度数据评估数据来源应尽可能广泛，通过这些数据之间的相互佐证，更易形成正确的判断。如果学用转化效果仅有受训学员一人的自评结果，那么他对自己的评价必然是“优”。

三是排除培训外的影响因素。员工培训后的表现多因多果，所以在收集资料时要确保结果产生的原因是来自于培训的效果，剔除其他因素的影响，回归评估的初衷。

四是尊重调查结果和评估结果。所有学员的学用转化效果不一定都很显著，而其原因也是多方面的。在收集数据和评估过程，评估人员要保持平常心，忠于调查和评估结果，正视会有学员学用转化效果不好的事实。

五是选择适当的评估时机。学员回到工作岗位进行学用转化，需要一定的时间来保证的。评估过早，间隔时间太短，学用转化很可能未进行完，看不到转化后的结果，因而会低估培训的真实价值，从而会影响我们对培训价值的判断；评估过迟，间隔时间太长，多因多果的影响会增强，培训的效果会被其他因素所掩盖，难以评估。所以我们建议，将评估时间定为培训结束后的6至12个月。

六是取得学员所在单位的配合。鉴于评估工作的数据来源大多需要学员所在单位领导的配合、协助与支持，在前期一定要做好充分沟通，使其了解我们评估的目的、意义、做法以及需要配合、监督和观察的事宜，以便得到他们的理解与支持。

[1］卡尔霍恩·威克等著;周涛,宋亚男译.将培训转化为商业结果[M].北京:电子工业出版社, 2013.

[2］罗伊·波洛克著;周涛,宋亚男译.将培训转化为商业结果实践手册[M].北京:电子工业出版社, 2015。

[3］柯克帕特里克著;奚卫华,林祝君等译.如何做好培训评估-柯式四级评估法[M]. 北京:机械工业出版社, 2007.

[4］杰克·J·菲利普斯著;张少林,李元明,李洁译.如何评估培训效果-追踪六个关键因素的实用指南[M].北京:北京大学出版社, 2007.

[5］唐丽颖.培训效果评估及转化实务[M]. 北京:中国劳动社会保障出版社, 2014.

[6］孔令启,翟敏全,石慧利. 四层次培训评估实施中的问题探悉[J]. 商场现代化, 2008, 23:278.

[7］房新娜,胡翔,钱振萍. 高层次专业技术人才培训学用转化的影响因素及对策[J]. 石油化工管理干部学院学报, 2015, 02:40-45.

[8］房新娜,苏永进,钱振萍. 油田板块高层次专业技术人才培训学用转化效果评估模型构建[J]. 继续教育, 2016, 06: 41-43.

A Study on the Effective Methods for Data Collection in Assessment of the Effectiveness of Learning Transfer

Fang Xinna， Qian Zhenping （SINOPEC Management Institute， Beijing 100012， China）

Data collection is a vital step in the process of assessing the effectiveness of learning transfer， and the methods for data collection as well as data sources have a direct impact on assessment results. Building upon the researches in this fi eld at both home and abroad， the paper comes up with some effective methods for data collection and reliable data sources， and lays out a number of considerations during data collection， so that reliable data can be acquired and used in assessment of the effectiveness of learning transfer.

learning transfer， effectiveness assessment， data for assessment， data collection

2016-4-6。

房新娜（1969—），女，山东省威海人。毕业于成都理工学院油藏工程专业，硕士。副教授，现就职于石油化工管理干部学院。电子邮箱：fangxn.glgy@sinopec.com。