基于多维度全流程的培训效果评估体系研究——以神华集团管理学院为案例

● 高杰 范新

■责编/李朋波 E-mail:784072532@qq.com Tel:010-88383907

加强国有企业领导干部能力建设，提升国有企业领导干部素质，造就一大批具有全球战略眼光、市场开拓精神、管理创新能力和社会责任感的优秀企业家和一支高水平企业经营管理人才队伍，是《国家中长期人才发展规划纲要（2010—2020年）》中的重要战略目标。正是在这样的背景下，一批致力于为大型央企集团挖掘、培养管理干部的企业大学应运而生。作为神华集团最高规格培训机构的神华集团管理学院成立于2010年12月，从成立之初就肩负起快速提升神华系统内职业经理人的领导力、执行力，铸就神华企业新领袖群体和企业家团队的使命。如何更好地实现培训目标、发挥培训价值，除了需要开发经典学习项目外，更要建立一套完整的培训效果评估体系作为保障。

培训效果评估是检验企业培训效果和质量的重要措施和手段，但同时也是企业培训

一、中层管理人员培训效果评估的现状

在搭建培训效果评估体系之前，首先要借鉴外部成功经验，对目前中高层管理者培训效果评估工作的现状进行调研和回顾。通过二手资料分析和现场调研交流，我们认为中高层管理者的培训效果评估工作存在以下五大问题：

第二，静态为主，缺乏延续性。多数培训项目的评估仅限于培训满意度的调查，以考试或写学习心得的形式反映，且对于这些评估方法的选择也没有科学的依据，评估比较强调的是，培训结束时是否掌握了所学知识和技能，而没有关注学员在日后工作中对新知识、新技能的应用效果，是否能够提高个人工作绩效和组织绩效。

第三，局部为主，缺乏系统性。目前国内绝大多数企业评估时生搬硬套国外评估模式，未结合本企业实际，建立适合企业特点的评估体系。如绝大多数企业所采用的柯式四级评估模式，它只是以“被培训者”为评估对象（冯俊，2011），显然只是定位于培训教学评估中的一个层面，再加上三、四级评估数据难以处理，往往将精力主要集中于反应层和学习层的评估上，尚未普及行为层和绩效层的有效评估方法。

第四，评估结果应用弱化。对通过学员的满意度调查问卷等方式收集到的信息，没有进行深入系统的分析，同时也缺乏与培训师、学员、培训组织管理人员以及公司决策层的充分沟通与反馈，因此造成了培训效果评估结果的低效使用（盛逸民，2003）。

第五，研究成果不易转化。虽然国内外有很多针对培训效果评估的研究，但以中高层管理者这一难以测评的对象为主体的研究，大多数仍停留在理论层面，实践经验和成功案例匮乏（李莉等，2006），一定程度上弱化了研究的指导性、应用性和操作性。

二、培训效果评估方法

培训效果评估产生于20世纪50年代，评估的方法依据不同的划分标准有不同的类别。根据是否采用数学方法可分为非数量化方法（定性）和数量化方法（定量）；根据评估的范围可分为分析评估法和综合评估法；根据评估的主体可分为自我评估法和他人评估法；根据评估的基准可分为相对评估法和绝对评估法等（肖小华，2008）。对目前培训领域较常用的评估方法进行盘点，主要分为两大类：层次评估法和流程评估法。

（一）层次评估法

层次评估法的主要代表模型是柯氏模型，从1959年提出至今，该模型的运用越来越广泛。随着我国企业对培训效果评估的日益重视，柯氏模型亦已成为我国企业培训评估的主要工具，并取得了一定的效果。该模型主要是针对培训效果的评估，通过对四个层次的评估，能够发现培训的效果与不足，为今后培训改进提供参考。

东西如此，人也如此。一个人好与不好，不在模样上。俊朗的人不一定是好人，丑陋的人也不一定是坏人。这么说吧，高人不一定个高，高人是境界高，与身量无关。人附加值在哪里呢？在心。一个人，心好，就是好人，好人好气息。心坏，就是坏人，坏人坏气息。所以人也分贵贱，高人则贵，滥人则贱。君子则贵，小人则贱。

柯氏模型的评估是事后评估，可对今后类似的培训工作起到指导和参考作用。但对于本次培训而言，质量的检验无法弥补已经造成的不足，更无法提高本次培训的质量。因而，有必要对这种经典的培训评估模型进行优化设计，实现培训全过程的评估（李春生，2013）。

（二）流程评估法

CIPP模型是典型的流程评估法，斯塔弗尔比姆（Daniel Stufflebeam）在对泰勒行为目标模式反思的基础上提出了CIPP模型。该模型由四项评估活动的首个字母组成：背景评估（Context）、输入评估（Input）、过程评估（Process）、成果评估（Product）。该模型的重要创新之处是把培训效果评估纳入到整个培训系统，使得培训评估具有一定的系统性（刘志新等，2011）。它的显著优势是不仅对培训的必要性和可行性进行分析，还注重对培训过程进行监控，这种过程中的评估可以及时发现和总结培训的经验和不足，其反馈信息可为后续项目提供同步参考，但是，这种评估方法却还有待对“成果评估”等做出更多内容及应用的思考（初娜，2013）。

随着研究的深入，我们可以看到已有的模型在运用到不同层次人员的培训效果评估上，难以全面考虑到此类人群的个性特点，其适用性和操作性都有很大的局限。因此，在探索神华集团管理学院的培训效果评估路径上，首先提出了要根据培训对象的特点和需求，利用层级模型和流程模型的“互补”关系，对既有模型进行适当的选择和必要的组合，形成具有自身特色的效果评估体系。在效果评估体系建设上，秉承了上述传统的层级模型与流程模型的基本思想，坚持从培训前、培训过程中到培训后的全流程评估路径，将学员、培训师以及学员所属单位作为不同评估主体，以CIPP模型为基础，添加层次模型加以改进，逐步建立起与学院发展目标相契合、行之有效的多维度全流程培训效果评估体系。

三、神华集团管理学院培训效果评估路径图

神华集团管理学院的主要培训对象为集团中高层管理人员，即集团党组管理干部及后备管理干部，而培训的重点内容是开拓管理视野、更新管理理念和提升管理能力，那么从效果评估的角度则需要考查是否在以上三个方面取得了预期的效果。在对层次模型和流程模型各自的优缺点进行分析的基础上，结合企业中高层管理人员学习特点和实际情况，一套高效实用的评估模型应该贯穿培训的各个环节，并通过设计、选择和组合而最终形成。所以，本文以CIPP模型为基础，添加层次模型加以改进，提出基于多维度全流程的培训效果评估体系的构建思路，从而开发出培训效果评估路径图，如图1所示。

图1 神华管理学院培训质量评估路径图

图2 以战略为基础的人才能力建构图

（一）培训预评估

评估机制并非是事后证明，而是在项目设计阶段就要明确，所以，神华集团管理学院的效果评估路径起点定位在培训前，我们称之为“预评估阶段”。该阶段的评估主要是指背景和输入层次的评估，即对培训的必要性和可行性的评估。其中，必要性是对培训需求的分析和检验，可行性是对培训方案的整体评价，包括培训目标的制定是否合理、是否有相应的资源支持、对资源的利用是否充分等。虽然很多干部培训机构对这两方面的预评估都有所考虑，但在具体实施过程中由于评估方法复杂、评估结果应用方向不明确等问题，常常将预评估环节忽略。为了解决以上问题，神华集团管理学院提出一套具有自身特色的预评估方法——需求分析+项目评价两步法。

1．需求分析

从节约成本和因地制宜的角度来看，神华集团管理学院的需求分析遵循“弹性灵活”的原则，采取“菜单式组合”的方式，根据不同的培训对象和培训目标来选择不同的分析方法，并从3个层次——组织层、任务层和人员层展开。如图2所示，组织层分析是通过以战略为基础的人才能力建构图实现的，任务层分析是以“神华集团中层管理人员胜任素质模型”为基础，而人员层分析则是通过问卷调查的形式实现的。针对人员层的培训需求分析，学院将该项工作的价值定位于掌握培训对象的个体特征、学习偏好和对培训服务的期望，兼顾可行性和有效性的要求，采用问卷调查的形式进行，重点关注问卷的个性化设计，经过团队开发和样本检验，最终确定问卷内容包含三个版块：学员个人信息、学习内容偏好以及培训服务要求。考虑到填答对象为中高层管理人员，则问卷题项力求简洁、表述清晰易懂，既可以更全面地了解学员情况，又能保证收集到的信息可直接服务于培训项目设计，为培训方案的制定以及培训跟踪评估提供参考。

2.项目评价

项目评价是对培训项目方案的综合评估和客观定位。项目方案的优劣一方面取决于是否能够满足培训目标需求，另一方面还体现了干部培训机构的资源开发、利用和整合的能力。在资源有限的条件下，如何获取资源并进行分配，使其达到最优化配置，是在培训效果评估时需考量的一个重要指标。但如何有效合理地评价项目方案，并且充分挖掘评价结果中的信息价值，是考验培训机构的效果评估工作理念是否先进、方法是否科学的重要环节。为了解决这一难题，神华集团管理学院的研究团队根据评价目标，从学院自身特点出发，借鉴“波士顿矩阵”设计思路，开发了“项目方案评价矩阵”。该矩阵以“项目重要性”和“资源匹配度”两个维度为划分依据，将学院拟实施项目方案进行评价，评价结果分为4类：“明星项目”、“问号项目”、“金牛项目”和“板凳项目”，如图3所示。

其中，明星项目指的是项目非常重要，完全符合学员学习需求，而且资源配置合理，能够实现培训价值最大化的项目；问号项目指的是项目重要性程度高，但在项目设计方案中对于培训资源的配置和利用有待完善；金牛项目指的是项目需求紧迫性较低，但可以有效利用各类培训资源的项目；板凳项目则指由于项目启动的紧迫性低，而且资源配置尚不到位，可以暂缓实施、保留观察的项目。对于培训项目的评价，有助于培训组织者更加清晰地掌握项目定位以及对项目在实际运行过程中的评估标准。

图3 项目方案评价矩阵

（二）培训过程评估

过程性是CIPP模型的一个重要特点，它将“成果评估”置于培训过程之中，使评估结果对后续项目的完善和提升产生推动作用（陈大凤等，2012）。培训过程评估阶段即是抓住培训过程中的关键时间结点，及时了解培训的进展情况以及学员对于整个培训项目的感受和评价，根据学员的意见和建议，对后续培训项目进行修正，以不断完善培训工作。在这一阶段，神华集团管理学院重点关注对学员的反应层和学习层的评估。

1.反应层评估

反应层评估是指在培训结束之后，通过学员对培训的课程设置、教学方法、师资结构、培训场地等要素的直接反应和满意度来评估培训质量。由于反应层测量的是受训学员对培训活动各方面的主观感受，所以需要了解培训对象的个体特征。神华集团管理学院的培训目标群体是以集团总部及各子（分）公司副职以上级别领导为主，他们多数参加过各类培训活动，具有丰富的参训经验，信息存量大，需求满足剩余空间有限，所以他们将会对学院的培训产品有更高的期望值。而对于学院来讲，学员不仅是学院开发的培训产品的使用者，同时也是产品质量的检验者，能够及时、准确地得到他们的评价和反馈，将为学院不断提升培训水平，完善培训体系提供参考和依据。反应层的评估是学院和学员进行对话沟通的一个重要途径，如何把握好这一环节，获取高附加值信息，则需在问卷开发和访谈技巧上做到精心设计、充足准备。学院所开发的问卷避免了传统评估问卷的抽象化、笼统化和形式化等问题，取而代之的是注重学员体验的个性化问题设计，从而激发学员的填答兴趣，保证评估结果的有效性和应用性。除此之外，设计不仅体现在问卷内容上，还体现在时间安排、调查环境以及调查方法上，只有综合考虑以上因素，才能达到最佳效果。

2.学习层评估

学习层评估主要评估学员通过培训学到了什么知识，以及是否了解这些知识应如何应用到工作中去。对于基层管理人员或技能操作人员的学习评估一般通过书面考试的形式进行理论知识的测试，也可以通过角色扮演、情境模拟等方式测试学员的技能改善情况。但对于中高层管理人员来说，领导力或战略专项能力培训的效果并不局限于理论知识的获取，而是如前文所介绍的，在于是否开拓了管理视野、更新了管理理念和提升了管理能力，所以量化的知识测试并不完全适用于对这类学员学习效果的检验。因此，管理学院提出将“知识输出”作为评估维度实现学员的学习层评估。知识输出的具体内容包含三类成果，即随笔、论文和案例。在培训项目启动后，由学院专职人员经过专题辅导、成果集编撰、案例论文评选、择优刊载、入库存档等5个环节，完成三项成果的评价、考核和转化。采用这种柔性评估方法既可以实现学员的隐性知识挖掘、沉淀和存储，又可以对学员的学习成果转化情况进行定性评价，更加全面地衡量培训价值是否有效发挥、培训目标是否得以实现。

（三）培训跟踪评估

神华集团管理学院认为培训效果评估工作，在培训结束之后才进入到关键阶段，我们称之为“培训跟踪评估”阶段，即在培训项目结束以后通过对学员的跟踪回访而展开的培训后续影响评估，这是整个评估体系中最重要的部分，也是最容易被弱化的部分。该阶段的主要任务是对培训结果进行实效检验，衡量培训所产生的影响和预期目标的契合度。借鉴柯式模型，学院从行为层和绩效层两个层次进行跟踪评估。

1.行为层评估

行为层评估主要是评估受训学员是否将通过参加培训所学的知识技能等应用到了实际工作中，是否实现了学习成果与实际应用之间的顺利转化。评估的重点是培训转化结果，即对参训人员返回工作岗位后个人能力、理论素养和行为态度等方面发生变化情况的考察。针对中高层管理人员，神华集团管理学院借鉴“行动学习”的思路设计行为层评估方案，主要包含学员个人学习目标设定、学员个人学习目标评估、学员行动计划制定以及行动计划实施评估四个环节，需要由学院在培训期间引导学员开展。

在设定个人学习目标时，根据胜任力冰山模型理论，要求学员主要从思想、知识、能力三个方面明确个人学习目标，通过签订目标任务书的方式实现，鼓励学员在培训前确定要重点关注或要解决的问题，并通过个人分析总结或团队讨论的方式提出解决思路和方案。

在学员个人学习目标评估中，则按照三级评分法，将个人学习目标完成情况细化为超额完成、基本完成、未完成三个等级，要求学员从外部条件和自身情况两个层面进行原因分析。

图4 神华管理学院多维度培训效果评估体系

在学员行动计划制定中，学员应就如何在行动上体现、落实培训内容，如何把相关的理论方法转化到实际工作中进行规划。行动目标的制定应遵循SMART原则，即S（Specific），指目标要具体、明白；M（Measurable），指目标是可衡量的，即验证这些目标的信息是可以获得的；A（Achievable），指目标在付出努力的情况下是可以实现的，避免设立过高或过低的目标；R（Resultoriented），指目标要紧扣自身工作实际，能与自身工作相结合；T（Time-bound），指目标要有特定期限，学院可根据实际情况设定统一的时间标准，必要时也会导入“培训后转化”专题培训课程，辅导学员完成行动计划的制定。

在行动计划实施评估阶段，学院会收集学员行动计划的结果，并将结果与培训项目成功指标进行对照，分析其存在的潜在问题，形成最终的培训效果评估报告。同时，建立培训效果评估档案，为以后的培训提供参考和依据。

2.绩效层评估

绩效层评估是从企业的角度评估培训对企业绩效的影响。然而，对于中高层管理人员的绩效层评估只是一种理论上的理想状态，因为培训投入产出一般并不是可以量化的经济指标，培训与企业的经营业绩或经营成果之间有一个转化过程，这个转化过程是比较复杂的，而且企业的经营业绩或经营成果是许多因素综合作用的结果，诸如经济环境、行业竞争状况、国家的相关政策法规等等，培训的影响也许只是其中的一个因素，这是众多的培训效果评估方法始终无法从根本上解决的一个关键问题，也是培训效果评估往往只停留在反应层和学习层的一个重要原因。

为了综合评估中高层管理人员培训给企业绩效带来的影响，神华集团管理学院采用“学员回访问卷调查”的形式替代僵化、片面的绩效指标评价，通过培训学员自评与上级评价相结合的方式，组织开展该层次的评估。值得一提的是，学员自评问卷和上级评价问卷进行了差异化设计，分别从知识、态度、行为等方面综合评估学员参训后所发生的改变，以及对企业发展产生的影响。虽然这种评估方式属于定性主观评估，难以转化成货币价值，但在评估题项的筛选上，学院不仅挖掘了与培训项目有较高相关性的结果型指标，还添加了与企业战略发展目标相契合的趋势型指标，可以在一定程度上呈现培训对企业绩效产生的影响，这也是神华集团管理学院在解决绩效层难评估的问题上所进行的有益探索。最终形成的神华集团培训效果评估体系在培训的各个阶段、多个角度出发，形成了多维度全流程的评估方案，如图4所示。

四、结论

培训效果评估是干部教育培训过程中非常重要的一项工作，对于面向中高层管理人员展开培训的央企企业大学来说，如何更加有效、科学地跟踪、检验、反馈培训质量，是一个普遍存在的难题和挑战。神华集团管理学院经过四年的探索，从理论研究到实践应用，逐步建立起与学院发展目标相契合、行之有效的多维度全流程培训效果评估体系。学院始终认为效果评估的目的是为学员优化培训方案、改善学习体验、提高成果转化率提供依据。所以在充分利用现有资源、保证效用最大化的前提下，针对培训对象特点，提出了“以终为始”的评估理念，坚持从培训前、培训过程中到培训后的全流程评估路径，将学员、培训师、学员所属单位作为不同评估主体，以CIPP模型为基础，添加层次模型加以改进，通过个性化设计、系统化选择和最优化组合，最终形成完整的神华集团管理学院培训效果评估体系。长远来看，在总结经验的基础上，如何通过不断完善优化，更好地发挥该体系的价值是未来对学院培训效果评估工作提出的更高要求。

1. 陈大凤、林宇、罗松：《基于多维度定性定量分析的培训效果评估体系研究》，载《中国电力教育》，2012年第9期，第24-26页。

2. 初娜，《高星级酒店管理类培训效果评估的模型构建》，首都经济贸易大学硕士学位论文，2013年。

3. 冯俊：《干部教育培训教学方式创新》，人民出版社，2011年版。

4. 李春生：《浅谈注重收益加强干部教育培训效果评估》，载《甘肃科技》，2013年第22期，第83-84页。

5. 李莉、赵付明：《国有企业培训评估的现状分析》，载《中国电力教育》，2006年第4期，第17-20页。

6. 刘志新、郭校敏：《中国大型企业培训体系有效性评价研究——以中国石化、首都机场、泰康人寿为例》，载《北京航天航空大学学报（社会科学版）》，2011年第5期，第76-81页。

7. 盛逸民：《发展性评估模式建设与学校自主发展》，载《上海教育科研》，2003年第2期，第39-40页。

8. 吴松涛、陈丽萍、李汝胜：《浅谈优秀培训项目质量评估体系的构建》，载《石油化工管理干部学院学报》，2001年第4期，第28-33页。

9. 肖小华：《当前干部教育培训评估中存在的问题及对策》，载《山东省农业管理干部学院学报》，2008年第4期，第184-185页。