安徽省直机关干部培训效果评估指标体系研究

摘要：通过对国内培训效果评估指标体系问题进行分析，结合要实现的目标和构建原则，建立了一套包含4维度45个指标的效果四要素模型，并确定不同层次指标的权重，提出省直机关干部培训效果评估指标体系具体的实施步骤。

关键字：培训效果;评估指标体系

中图分类号：D262.3 文献标识码：A

文章编号：1009-3044（2020）22-0120-03

开放科学（资源服务）标识码（OSID）：

在当今全球大发展的局势下，党和政府面临着各种各样新的情况和问题，对各级干部的素质提出了更高要求，干部培训在培养高素质合格干部中起指引和导向作用。2015年《干部教育培训工作条例》的颁布到2018年《2018-2022年全国干部教育培训规划》的印发帮助安徽省直机关干部培训逐渐步人正规化、制度化的轨道，但在培训后效果的评估方面重视度还比较低，急需一套比较适用的评估指标体系在决胜全面小康、决战脱贫攻坚、全面建设现代化五大发展美好安徽中发挥实效。

1 当前国内干部培训效果评估指标体系存在问题分析

1.1 评估的覆盖面太窄

主要从学员收集评估数据，而学员单位、培训组织机构、党校很少涵盖或参与，最终会使整个评估工作缺乏公正性和可信度，这可能会导致参训学员对评估结果不认同，这样以后同一单位或者同一系统的参训学员就会以敷衍了事的态度来参加评估或者干脆不参加，导致评估陷入恶性循环的严重后果。

1.2 评估意识相对缺失

大部分学员认为干部培训效果评估没有什么必要性，与之对应的是学员所在单位对于评估的漠视。

1.3 指标体系设计不完善

评估指标体系主要针对教学管理情况进行了测评，而对于学员回到工作岗位后产生的变化以及單位绩效上的变化却没有涉及，评估深度不够，不能真正反映培训的效果，对今后培训的借鉴作用也有限。同时，由于各指标所占权重都是相同的，不能清晰的界定评估中各个方面的重要程度。所选取的一些指标也不具有代表性，不能很好反映需要测评的内容，还存在对同一内容重复评估以及区分度较低的情况。

1.4 评估方法不规范

党校对自身的评估由于缺乏监督，很容易出现评估方和被评估方是同一拨人的状况。同时由于评估组织者相关评估知识的缺失，使得评估难以深入，而只凭经验来评估又削弱了评估的有效性。

1.5 评估反馈机制不健全

目前评估的反馈缺乏相应的沟通机制，使得评估对单位、学员自身并没有太多直接影响。对于单位来说只要按时按量完成调学任务就可以了，而对于学员来说，其个人的考核、职级晋升、薪酬提高与培训效果并没有直接联系，因此单位、学员的积极性和参与度就会越来越低。

2 安徽省直机关干部培训效果评估要求

党校作为安徽直机关培养干部的主渠道，依据《中国共产党党校工作条例》、《关于加强和改进新形势下党校工作的意见》和《2018-2022年安徽省干部教育培训规划》安排，目前培训紧紧围绕首要任务、重点内容、提升质量这根主线，紧扣增强干部“八种本领”。要想为安徽省的后续发展提供坚强保障，结合安徽省直机关干部实际情况，对党校干部培训评估应从以习近平新时代中国特色社会主义思想为中心内容的理论教育更加深入、党性教育更加扎实、专业化能力培训更加精准、知识培训更加有效、干部素质培养的系统性持续性针对性有效性不断增强这五方面展开，同时评估要坚持定量与定性相结合，推进干部教育培训机构办学质量、项目质量、课程质量评估，健全共同参与的评估机制，继续完善激励约束机制，将培训效果评估的结果纳入绩效考核当中。

3 安徽省直机关干部培训效果评估指标体系的构建

3.1 评估指标体系构建的原则

（1）客观性：指标体系必须立足实际、严格选取相应指标，同时在数据的收集整理和公式的运用上做到理论依据与实际情况相统一。（2）可操作：指标体系必须具备良好的操作性，为此务必使各指标的数据能较为方便的获取，使评估过程完整而清晰。（3）稳中有变：由于评估工作的开展有一定的持续性和连贯性，必须增加一定的过程动态指标，作为衡量培训效果的指标体系只有进行同步变动才能更好地发挥其效果。（4）独立性：主要是指各指标间不能出现相互重复和代替的情况，各指标应包含有各自独立的内容。

3.2 评估指标的模型建立和分析方法 本研究在柯氏四级评估模型[1]的基础上探索建立了一套干部培训效果四要素模型，从反应、学习、行为和结果等四方面来评估培训效果。

反应层考察的是学员的直观感受，从培训目标、用书、培训内容、培训方法、授课态度、授课能力、授课效果、授课环境、拓展实践、培训管理等10个方面进行测评，能够比较好地揭示培训的教学管理状况。学习层考察的是学员对相关培训内容的掌握程度，重点分析理论、观念、思维等三方面的变化。行为层主要从德、能、勤、绩、廉等五方面来考核学员培训后工作表现和业绩上发生的变化。结果层考察的是培训给学员所在单位部门带来的改变，重点分析组织凝聚力、部门公共服务、部门组织能力、部门形象等方面发生的变化。

在干部培训效果四要素模型的基础上，结合国内外研究和省直机关干部培训实际情况，初步选择了88个指标作为第一轮指标体系。由于初选的指标可能带有较多的主观因素，操作起来也比较复杂，这里使用隶属度分析、鉴别力分析、相关性分析[2]进行筛选。

隶属度分析是就把预选指标作为一个集合，其中的元素就是指标，如果有Nk张问卷勾选第K个指标Yk，问卷数为M，那么Yk的隶属度为Rk=Nk/M。Rk越大说明Yk被越多的专家认可，否则Yk要被删除。鉴别力简单来说就是获得识别不同对象差别的一种手段。如果不同的培训班次在某指标上得分相差无几，则显示该指标的鉴别力较低，无法识别出不同班次培训效果的高低。鉴别力一般是通过变差系数来测定的。通过上面两轮分析后，指标间还可能存在较大程度的关联性，这样会破坏评估指标的独立性，因此接下来就需进行相关性分析，对关联性高的指标予以删除。

为了方便进行数据分析，本研究从省直机关党校、省委党校、省内大专院校、省公务员局等单位选择了若干名专家和进行培训管理工作的领导进行了咨询。将预选指标制作成问卷，要求从中选择44个最理想指标。共发出问卷60份，全部回收，其中有效的为57份。同时，使用分层随机取样法，从2017年到2019年所有主体班中选择5个培训班，用电子邮件发放问卷，请他们对预选指标进行勾选，有效回收400份问卷。对以上数据按上述方法筛选后最终构成一个包含21个反应层指标，5个学习层指标，11个行为层指标，8个结果层指标、4个领域层（反应层、学习层、行为层、结果层）、1个目标层（干部教育培训效果评估）的最终指标体系。

3.3 评估指标的权重确定

（1）由于不同指标对于培训效果评估的重要性不同，有必要先确定权重。这里通过构造判断矩阵，用1-9比例标度f见表1），分别对同一层的指标间进行两两判断，得出判断矩阵R={rjk）nxn，其中rjk=1（j=k），rjk=1/rkj，共得到五个矩阵。

3.4 评估方法选择

（1）测试比对法：测试比对法[3]主要用来评估学员对所学知识的掌握程度，通常在培训前后对学员进行两次内容基本相同的测评。为了避免当中非培训因素的影响，一般设立一个对照组，与被对照组的测评结果进行比较，将培训与学员对相关知识的掌握这两者的联系较为清晰的体现出来。

（2）密切人物考察法：想了解学员在单位的表现，最便捷的就是选择与学员接触较密切的单位领导和同事。为了避免同事之间可能存在竞争从而做出不客观的评价，有的领导根据学员一时的表现主观臆断，为此采取从领导、同事、下属和服务对象等多方面360度考察学员工作和服务上的变化[4]

（3）目标比对法：目标比对法是将学员应掌握的知识、持有的工作态度和能力、组织应达到的目标列入培训目标中，将培训后学员工作和单位绩效上的变化与培训目标相比对，以便找出培训需要进一步加强的地方。这需要在培训前进行良好的需求分析，了解各方面的诉求，以便使评估发挥实效。 （4）问卷法：使用问卷进行评估既可以事先拟好备选答案让学员选择，也可以让学员自由发表其意见建议。由于问卷不记名，可以获得一些较真实的想法[5]。

（5）访谈法：访谈法相对问卷法更加灵活主动，调查者可以根据需要对调查提纲随时进行增加和删除，对需要重点关注的环节花费较多时间交流和了解，具体可以采用引出、导人、商讨等多种方式[6]，以便获得尽可能多的信息。

在整个评估过程中应尽量多种方法结合使用，最大程度做到对培训效果的认知与实际情况的有机统一。

4 党校干部培训效果评估指标体系的实施

（1）明确评估目标。一般是由培训目标是否得到实现、评估过程的可操作性、评估的回报是否超过投入、各评估主体是否尽职尽责等来确定，其中最关键的是培训目标的实现。这项工作主要由培训组织机构完成。

（2）做好评估方案。主要涉及评估参与方、评估手段、评估的具体操作步骤、人财物安排、最终报告的生成与使用。这项工作由培训组织机构、专家评估小组、党校共同完成。

（3）获取评估指标数据，其中培训组织机构进行全程的监督和指导。评估各主体使用文献查阅、访谈、问卷、测验、重点考察等方法来获取数据，注意数据获取的全面性。其中，反应层获取数据工作是在培训中进行，由党校和专家评估小组来具体操作，可采用调查问卷、访谈来从培训学员获取对培训的直观感受。学习层获取数据工作在培训即将结束前实施，由党校和专家评估小组共同来实施评估，同时从管理、教学以及服务质量等方面展开对党校工作的自我评估。在对党校进行自我评估时主要由培训组织机构牵头，规范相关纪律，党校独立评估小组具体操作，对分管培训的党校领导、办公室、人事处、教务处、后勤部门进行考察，力求客观透彻。专家评估小组配合党校工作，对当中的难点重点调查，对党校调查结果中的疑点实施重新排查。在培训结束后，开始由学员单位、党校、专家评估小组展开下一步评估工作。行为层评估主要获取体现学员培训后工作表现和业绩上变化的数据，可以采用密切人物考察、目标比对、问卷、座谈等方式来进行。结果层评估主要获取体现培训给学员单位带来改变的数据，可采用目标比较法、重点访谈以及问卷等方式。为了提高获取学员和单位相关数据的可靠度和有效性，一般会进行两遍评估，第一遍选择在培训后一个月内进行，借此使学员和单位熟悉评估流程并督促其按要求开展工作，第二遍在培训后三到五个月内进行，选择这时进行评估既可以及时掌握培训对学员和单位工作产生的效果和相关不足之处，可以在下次培训开始前及时采取整改措施，同时避免离培训结束时间太久、各种非培训因素掺杂而导致测得数据与实际培训效果存在较大的偏差。

（4）整理并分析评估数据。评估数据因获取方式不同体现形式也会不同，必须先按类别整理，对一些复杂数据的统计还需要使用图表进行筛选，同时在这一过程中还需要剔除无效和不可信的数据，最后基于前面提到的数据分析流程进行分析以便得出结果。这项工作主要由专家评估小组和党校共同负责实施。

（5）编制评估报告。编制报告的工作要十分慎重，相关结论的认定要有确凿的事实和数据支撑，要充分认识本次评估报告可能给当前培训和以后培訓带来的各种影响。编制评估报告要涵盖相关背景介绍、培训计划和实施情况的描述、评估步骤与落实情况、评估数据的处理、培训实施效果与目标的比对、整改意见或有关建议。这项工作主要由专家评估小组负责，党校配合工作。

（6）调整和完善培训方案。依据评估报告中提出的整改意见或有关建议，漏洞和不足在下一轮培训计划的制定和实施中要及时地得到修改和完善。这项工作主要由培训组织机构、党校、专家评估小组共同负责实施。

（7）评估的结果反馈。评估的结果反馈主要着力点是本次培训的整体评估效果，并有针对性的附上有关学员的培训情况。结果反馈给学员让其认识到自己与其他学员的差距和不足，明确日后努力的方向，同时提出进一步的培训需求并反馈给培训组织机构。结果反馈给学员所在单位让其认识到培训对其内部人员考核管理、外部公众服务等众多方面起到推动作用，让他们更加透彻理解培训的意义，今后对培训经费的使用就更有计划性和针对性，对培训效果评估工作也会更加重视和支持。

5 结论

本研究力求设计出一套能满足安徽省直机关干部培训效果评估指标体系，在设计层面和执行层面尽量避免出现之前评估中出现的问题，但是为了让制定出的指标体系真正发挥实效，还得在今后的实践中加大评估理论的研究，制定配套的法律法规，健全激励约束机制，真正地让培训落到实处，为省直机关干部建设现代化五大发展美好安徽发挥积极作用。

参考文献：

[1]徐姌，高岩，新警师徒制培训效果评估模型研究——基于柯氏四级评估模型[J].行政与法，2019（10）：96-103.

[2]屈小妹，付康，龙青春，基于改进模糊层次分析法的电力需求侧管理效益综合评价[J].湖北师范大学学报（自然科学版），2019，39（4）：1-9.

[3]彭冬兰，同异反评估法在公共部门人力资源培训效果评估中的应用一以广西区**培训中心为案例[D].广西大学硕士论文。2006：9，22.

[4]黄燕燕.在职培训有效性的模糊综合评价模型与应用研究[D].华东师范大学，2019.

[5]吴海霞，易涛，易恒山.中医药院校本科毕业生就业质量跟踪调查[J].学校党建与思想教育，2019（24）：53-54.

[6]胡丽，崔连斌，罗胜飞，数据收集中访谈法与问卷调查法分别要怎么做[J].杭州金融研修学院学报，2019（8）：30-32.

【通联编辑：李雅琪】

作者简介：马浩淼（1986-），安徽合肥人，工程师，硕士学位，主要研究方向为计算机网络及软件工程。