专业技术培训全过程评估的探索与实践

盛　湘　王永凤　张 鸿

（石油化工管理干部学院，北京　100012）

专业技术培训全过程评估的探索与实践

盛湘王永凤张 鸿

（石油化工管理干部学院，北京100012）

如何通过评估去有效判断培训的效果，始终是一个悬而未决的难题。本文结合基于O2O开展的全流程培训项目实例，详细介绍了在教学实践中，如何充分发挥项目组、学员和直线经理三方的作用，以及对培训项目实行全过程评估的主要方法。

培训；全流程；评估；学用转化

1　研究背景

杰克·韦尔奇说，培训的成本是有限的，但是效益是无限的。培训是一个潜移默化的过程，需要反复历练，可能需要很长时间才能见效，这使得培训经济效益很难被衡量。

虽然越来越多的培训机构和人员都认识到，判断一个项目是否成功，最重要的是看它是否对人们产生了影响，是否帮助组织达成目标、改善绩效。但是，如何通过评估去有效判断培训的效果，始终是一个悬而未决的难题。突出表现在以下三个方面：

第一，评估与绩效联系不够。现有的评估基本没有延伸到学员培训后的工作实践中去，无法测量到绩效是否提升，影响了企业领导和业务部门对培训工作价值的认可。

第二，评估方法单一。目前大多数企业都在广泛运用柯克帕特里克（Kirkpatrick）提出的四层次评估模型，即柯氏四级评估。但是，培训项目的评估还主要限于反应层和学习层评估，缺少行为层和结果层评估。而且反应层和学习层评估也未能很好地与培训最终目标和绩效联系起来，而陷入了对培训项目本身和对授课教师评估的误区。

第三，评估对培训的改进作用并不明显。一方面是评估不及时，很难做到实时评估、实时反馈、实时修正；另一方面，训后的评估力度和可信度不高，对培训方案再开发参考价值不大。

对此，笔者结合石油化工管理干部学院专业技术传统项目“高研班”的全流程培训，在准备-学习-转化-评估四个阶段的教学实践中，通过发挥项目组、学员及其直线经理三方的作用，探索了全过程评估的方法。

2　评估设计

2.1流程设计

国外在培训效果评估模型方面的研究相对成熟，1959 年柯氏四级评估模型更将研究带入了系统化与结构化的阶段，并促进了大量实证研究的产生。在总结国内外学者关于培训效果评估研究成果的过程中，笔者注意到培训效果评估模型的理论研究主要沿着两条主线展开（图1）。一条是以柯氏提出的评估思想和方法为主，即层次评估法；另一条以Warr提出的评估思想和方法为主，即流程评估法。

图1　培训效果评估模型的发展路径

层次评估法主要是针对培训效果的评估，将培训成果按反应层(受训者的满意程度)、学习层(对培训内容的掌握程度)、行为层(工作中行为的改变程度)、结果层(个体和组织绩效的改善程度)四个层次进行评估，有利于发现培训的效果与过程中的不足，可对今后类似的培训工作起到指导和参考作用。但对于当次培训而言，却无法弥补因不足而造成的损失，更无法提高本次的培训质量。

流程评估法的典型模型是CIPP模型，即背景评估（Context）、输入评估（Input）、过程评估（Process）、成果评估（Product）。该模型的创新之处是把培训效果评估纳入到整个培训系统，使得培训评估具有一定的系统性。它的显著优势是不仅对培训的必要性和可行性进行分析，还注重对培训过程进行监控，这种过程中的评估可以及时发现和总结培训的经验和不足，其反馈信息可及时为培训项目提供同步参考。但是，运用这种评估方法还需对评估过程细化，对培训内容做更多的思考。

由此可见，这两大类评估方法都有各自的优缺点，项目组在进行培训效果评估方法设计时，综合了两大类模型的特点，设计思路以CIPP的过程性评估和成果评估为主线，将柯氏评估的不同层次纳入其中作为支撑（图2），既运用过程性评估来做到对培训的实时监控，发现不足及时改善，确保培训质量，又运用柯氏评估来丰富过程中各个节点评估的内容。

2.2维度设计

项目组从个人、组织和专家三个维度对项目开展全过程评估（图3）。在不同评估阶段根据每个维度的特点设计不同的评估手段，这些评估手段可以分别归属到柯氏评估的不同层次。

图2　培训效果评估流程设计

图3　培训效果评估维度设计

3　评估方法

3.1数据收集法

数据收集方式有五种：业务指标、行为观察、预测数据、反馈意见和企业案例，项目组在全过程评估中都有所运用。比如反应层的移动评估是从学员个人维度对每门课程收集的反馈意见；学习层评估的《研修报告开题报告》和结果层的《研修报告评审表》都是从专家维度收集的反馈意见；学员直线领导在《学用转化执行书》和《学用转化落实书》上的签字也是从组织维度分别在行为层评估和结果层评估收集的反馈意见。当然，在作出此类反馈的过程中也必定会有行为观察和业务指标数据的跟进和积累；在学员的研修报告和《学用转化落实书》中，也需要相关的业务指标、预测数据以及企业案例作为支撑。

3.2纵向比较法

提到培训改善绩效，就需要回答一个问题：跟什么比？对比的相关性和公平性决定了评估的可信性和有效性。通常有两种基本对比类型：横向对比和纵向对比。

横向对比是将受训员工组与未受训员工组的绩效表现进行比较，通常对比同一环境中的小组更合适。比如，将已经参与培训的员工与那些即将要参与培训的员工进行对比，可以避免两组之间本身就存在差距。但横向对比法需要观察员的介入，操作起来相对更加困难。

纵向对比相对容易，就是对学员训前和训后的绩效进行比较，其最终的表现形式会较为明显。比如，项目组在行为层评估中采用的《学用转化执行书》，既有个人即将采取的具体行动，又有组织的指导意见，结果层评估中的《学用转化落实书》既有个人转化具体成果的描述，又有组织的审定签字，分别从个人维度和组织维度实现了前后纵向的比较。还比如学习层评估的《研修报告开题报告》，体现的是专家给某一学习团队在研究思路、研究重点等方面提出的指导意见。结果层评估的《研修报告评审表》，则体现了专家对该团队最终研究成果的评定意见，这也很好地从专家维度体现了前后纵向的比较。通常情况下，如果大多数培训学员在训后都能够做得更好，或获得更好的评价，或实现了自己的目标，我们可以认为培训产生了一定的价值。

3.3关键指标法

评估指标的设计应当既能证明学习有效，又能使学习得到持续改善。因此，指标的选取需关注成果的长期稳定性，只有那些信度较高的成果才能对企业的战略目标和关键绩效指标产生长期而稳定的积极作用。鉴于勘探开发业务收益短期内很难界定，项目组便围绕课程子目标选择评估指标。比如，油田开发高研班评估指标确定为提高采收率、提高开发效益、提高稠油开发技术等，有助于进一步分析所学课程是否真正能够促进业务板块工作，改善绩效。

4　评估分析

4.1过程性评估

过程性评估设置在培训的各个节点，具体由柯氏评估的反应层评估和学习层评估来体现。

（1）个人维度

授课结束后，学员即刻通过远程或移动客户端对课程做满意度评分，进行意见反馈和评价，这是最直接的评定，即完成反应层评估。针对学习层评估，项目组通过“一课一提问”、“一课一行动”等教学活动让大家在进行课程内容回顾梳理的同时，完成《行动计划意向书》，《行动计划意向书》的内容包括今天的授课重点、对学员最有启发的地方、可以解决岗位中的哪些难题、回到企业打算采取哪些改善的行动等。项目组通过学员对这些问题的回答，可以比较全面地了解学员对培训内容的掌握程度，即完成个人维度在学习层的评估。

（2）专家维度

长期以来，高研班都要求学员针对自己企业的问题进行研究，最后形成研修报告，研修报告是重要的考核指标之一。由于长期受到本企业、本岗位工作经验的制约，研究思路难免容易固化，研究成果无论是推广还是借鉴也都存在局限性，有些报告甚至因为工作忙而流于形式，更谈不上高质量。加之培训时间有限，研修报告很难得到充分、深入的交流。

建构主义指导下的培训，关注的是全员的参与和团队的成绩。因此，在全流程培训方案设计中，项目组非常强调开展团队研究，团队成绩成为考核的重要指标之一。项目组将高研班的个人研修报告进行了创新设计，运用研讨式教学引导大家选题，并邀请专家前来指导开题。比如，石油地质高研班通过结构化研讨将研修报告的主题聚焦在“复杂断裂系统描述与形成机理分析”、“复杂岩性圈闭识别与精细描述”等四个方面。专家组普遍认为，聚焦后的主题不仅紧贴中国石化油气勘探形势，同时也找到了制约生产的核心问题。同时，专家组也给每个学习团队从研究思路、研究方法、报告结构等方面提出了中肯的指导和修改意见，比如针对“复杂岩性圈闭识别与精细描述”的开题报告，专家明确提出在研究过程中，要注意“类型”的完整性；要树立针对不同类型的适用技术序列，突出不同风格等建议。

4.2成果评估

成果评估体现在柯氏评估的行为层和结果层。学习效果的最终转化通常存在一定的时滞性，需要员工回到工作岗位上工作一段时间后才能有所体现，尤其对于“结果层”的评估，需要对学员培训转化情况进行跟踪。

（1）个人和组织维度

个人和组织两个维度的评估分别通过“《学习承诺书》—《学用转化执行书》—《学用转化落实书》”三个阶段、三种呈现方式来体现前后纵向的比较以及中间过程的管控。

《学习承诺书》为学员与直线领导促成一次训前的深度谈话，深入讨论自己还有哪些行为（工作表现）需要改进、强化或杜绝，本次培训可以为组织和个人带来哪些价值，达成一致意见后，直线领导在《学习承诺书》上签字认可。这样做的目的是为了让学员更好地认知自己，明确组织的期望，更清楚地知道自己需要什么以及打算怎么去做，获得领导的支持，也为最终的评估提供对比数据。

《学用转化执行书》是学员结合生产实际对《行动计划意向书》进行排查、整合后提出要具体解决的问题和即将付诸转化的具体实施计划，并交由直线领导签字认可。转化期间，直线领导会提供相应的转化条件，给予支持、辅导和督促。

转化结束后，学员通过《学用转化落实书》对学用转化的具体过程以及成果进行自我评估，之后交由直接领导审核并签字，完成组织对转化落实情况的评估鉴定。以油田开发高级研修班为例：

第一步，项目组通过《学用转化落实书》对学用转化成果数据进行采集统计。培训班25名学员，有21名学员完成了学用转化，转化率达84%，制定并实现的转化目标总数共53个。如，一名学员在《学用转化落实书》中写道：“在学用转化过程中，带领研究团队有针对性开展技术攻关，取得较好效果，在储层精细描述方面，取得了三个方面的技术进步，一是单砂体井震联合沉积微相研究方法进一步完善；二是三角洲前缘厚油层内部结构解剖技术基本形成；三是相控三维地质建模技术在油田开发挖潜得以推广应用。”其主管领导审定认为，“该同志在学用转化阶段，发挥学术带头人作用，培训与应用相结合，培养了一批油藏描述人才，成果现场实施效果显著”。可见，在学用转化阶段，学员是否真正将所学知识与岗位结合，实现绩效提升，自我评定以及直接领导层的评定是最有效的评估。

第二步，运用关键指标法完成目标分析。首先，按照课程子目标将53个转化结果分成7类（表1）：提高采收率、提高效益、提高稠油开发技术、优化区块目标管理、提高储层刻画及建模技术水平、提升致密油藏开发效果及其他综合技术提高；然后根据目标类型追踪所学课程完成目标分析（图4）。以“提高采收率”为例，所占比例高达25%，主要对应《特高含水后期提高采收率机理及潜力方向》，可以在很大程度上理解为学员通过学习本门课程，结合实际工作制定了转化目标，并在岗位完成相应学用转化。所占比例越大，说明学用转化率越高，通过课程的受众面和启发性反映出当前开发板块的主要问题。对于占比较小的转化目标，通过具体情况具体分析，发现普遍存在岗位工作中涉及较少、转化难度大的问题。总体上来看，学员确实将所学知识和技能应用到工作中，发生了明显的行为变化，实现了学用转化与绩效提升，带动了岗位工作。

表1　学用转化完成情况统计

（2）专家维度

研修报告在完成选题、开题后，即进入团队研究阶段，直到完成。这个过程均属于个人维度的行为层评估，项目组在此期间将为各个团队提供线上线下的交流平台。

图4　转化目标分类

对于研修报告的评审则属于结果层评估，项目组仍然采取了专家意见这种数据收集方式，邀请相应领域的富有权威性的行业专家对研修报告进行指导和评审。比如，石油地质高研班的评审专家普遍认为，改变模式后的研修报告质量明显高于往年，主题研究的深度和宽度都得到了明显的体现，具有较高的参考价值，学员都跳出了过去的经验，不再局限于个体的思考，而是站到集团这样一个更高的平台研究问题，更有利于凝聚集体经验和智慧，有利于科研创新。可见，研究的过程以及报告最终的理论水平与实践应用水平也在很大程度上反映着培训的效果，是学用结合、学用转化的很好体现。

5　结语

在当前培训中，企业对培训的期望和要求越来越指向学员的行为改变和绩效，基于课堂讲授、以教师为中心的评估方式已经很难对培训学习作出科学、准确的评价，不能充分体现培训的真正价值和意义所在，也不能实现其对于培训实践的持续优化和支撑作用，企业要求的评估结果应当能够实现对培训过程的监控和对效果定性定量的评价。当下，国内外研究和应用的评估模型与评估方法非常丰富，都各有其优点，也有一定的局限性。因此，我们在借鉴的基础上，需要切实考虑企业自身的特点，并从培训的出发点去设计培训评估，进行改进和创新，以更好地为企业培训效果服务。

[1]卡尔霍恩·威客, 罗伊·波洛克. 将培训转化为商业结果[M]. 北京:电子工业出版社, 2014.

[2]詹姆斯·D·柯克帕特里克, 温迪·凯塞·柯克帕特里克.柯氏评估的过去和现在[M]. 江苏:江苏人民出版社, 2012.

The Implementation of Whole Process Assessment in Technical Training

Sheng Xiang,Wang Yongfeng, Zhang Hong
(SINOPEC Management Institute, Beijing 100012, China)

How to evaluate the effectiveness of training through assessment has always remained an unresolved issue. The paper, based on a whole process O2O training program, describes in detail how to give full play in the teaching& learning practice to the roles of the program coordination team, trainees, and line managers. The paper also describes in detail the main methods of whole process assessment of the training program.

training, whole process, assessment, learning transfer

2016-7-28。

盛湘（1977—），女。毕业于中国地质大学（武汉）石油地质专业，硕士研究生。高级工程师，现为石油化工管理干部学院培训专家。电子邮箱：shengx.glgy@sinopec.com。