姚超恒,马 宁
(中国刑事警察学院,辽宁 沈阳 110035)
改革开放以来,我国已初步建立起从中央到地方覆盖全国,以公安院校、各类公安民警培训中心为主体,以入警训练、晋升训练、专业训练和发展训练为主要培训形式的培训网络,促进了公安民警警务素质的提升,推动了公安工作发展的进程[1]。然而,作为公安民警培训体系重要组成部分的培训评估体系,却基本上处于缺失状态。实践中,往往“重培训不重评估”,没有形成完整的公安民警培训循环系统。目前,关于公安民警培训效果评估不仅在各种公安管理学教程中鲜有涉及,在相关论文、专著中也未曾受到应有的关注。相关文献中虽研究发现用柯氏模型构建培训评估体系可以提高培训评估的系统性和科学性,对学术研究和公安实战部门培训评估均具有重要指导意义,但大多数研究仍停留于宏观层面和思想层面,对于柯氏模型在公安民警培训评估中如何应用、培训评估体系如何构建、流程如何运行都未做出回答;更有甚者,把培训评估指标与培训前的准备工作内容相混淆,且基于柯氏模型构建的培训评估体系仅能评估培训后的结果,忽视了对培训过程的评估,存在一定的缺陷。公安民警培训工作有效与否不仅关系到民警自身素质的高低,更关系到公安工作能否全面决胜传统犯罪侦查治理、能否从容应对新型犯罪的迅猛发展、能否维护国家安全和社会治安秩序、能否满足人民日益增长的公共安全需要。公安机关迫切需要构建科学的培训评估体系对民警的培训效果进行评估[2]。
公安民警培训属于公安管理学研究范畴,公安管理学是源自于管理实践、服务于管理实践的科学,其未来的研究发展应该是学科理论与应用实践紧密结合的。因此,本文坚持服务公安实战需求理念,依据柯氏模型和CIPP模型的原理和方法,结合公安民警培训工作的特点和实际情况,对公安民警培训效果评估体系的构建进行探索,以期对未来的公安培训工作有所裨益。
实践中,我国公安民警培训往往“重培训不重评估”,培训制度设计是否科学、培训目标是否达成、培训方式是否有效、工作绩效是否提升,这些均为未知数或仅限于受训民警个人的主观感受,未使用系统科学的培训评估方法加以评估,培训评估作为公安人力资源管理工作的重要一环,基本上处于无序状态。观念的转变、思维方式的转换是具有革命性意义的,我国的改革开放如此,公安人力资源管理工作亦是如此,公安民警培训效果评估应受到应有的重视。
公安民警培训制度是指公安机关对较长时期内的民警培训工作所做的全局性、根本性和方向性的谋划和安排,具体包括以下几方面内容:公安民警培训工作的整体方针、指导思想和宗旨;民警培训工作相关主体的职责分工;民警教育培训的方式方法;入警训练、晋升训练、专业训练、发展训练等训练任务要求;训练机构设置、训练教官素质要求等。培训制度对公安民警培训工作具有全局指导的作用,贯穿于培训活动的始终,可以排除多种因素对培训工作的影响,使培训工作有条不紊地顺利开展。同时,培训工作也促成培训制度的完善,评价培训工作的效度,检验宏观培训制度指导下的微观培训工作是否有效,通过评价结果的反馈,促成某一点、某一次、某一项培训工作方案的调整,最终促成完备的公安民警培训制度的形成。实践、认识,再实践、再认识,这种形式循环往复以致无穷,而实践和认识之每一循环的内容,都比较地进到了高一级的程度[3]。完备的培训制度可为公安民警后续培训工作提供统一的规范和标准,使公安民警培训工作有章可循。
培训目标建立在培训需求分析的基础上,是整个公安民警培训活动所要达到的目的和预期成果。培训目标包括培训对象应该做什么、培训可被接受的绩效水平和培训对象应完成的指定学习成果三个方面。根据目标设置理论,目标本身就具有激励作用,目标能把人的需求转变为动机,使人们的行为朝着一定的方向努力,并将自己的行为结果与既定的目标相对照,及时进行调整和修改,从而能实现目标[4]。培训目标凝结了受训民警和公安工作各方面的需求,培训目标的完成可以最大程度地满足各方面需求;培训目标指引培训态度,可以帮助民警认识到培训的重要性,并积极主动参与培训。将培训评估的结果与培训目标进行比较,可以发现培训工作的不足,进而有效引导培训政策的制定、完善和实施。对培训效果进行评估,监督、检查培训目标是否达成,发现培训成果与培训目标之间的差距,有利于强化培训目标的激励作用,激发民警学习的积极性和主动性。
培训方法是指培训教官和公安民警为了实现共同的培训目标,完成共同的培训任务,在培训过程中运用的方式和方法的总称。常见的培训方法包括案例教学、课堂讲授、情境模拟训练、头脑风暴法、角色扮演法、游戏训练法、户外培训法等等。适合培训内容的编排、促进培训目标的达成是教学方法有效与否的衡量标准。纵观国内外警察训练的历史,因训练脱离实战而酿成悲剧的例子举不胜举,归根结底,其主要原因是组训者不能科学分析社会治安形势,不了解警察实战本质及对战斗力的真实需求,用脱离实际的方法指导实战化训练。通过评估可以监督、检查培训方法是否有效,是否适合受训民警,培训方案是否恰当,并为本次培训的后续项目和下次培训的方法选择提供参考。
提高民警的专业素养和综合能力是培训工作的直接目的。提高工作绩效以更好地对接人民对美好生活的向往,用担当和作为奋力书写新时代维护社会稳定的历史答卷是培训的根本目的。当民警因法律、警务驾驶、审讯等专业知识欠缺而导致工作绩效低下时,应当在培训需求分析的基础上进行有针对性的培训,培训结束后在其培训知识和技能转化为工作绩效的时间点对其进行考核,并把培训后的绩效与培训前的绩效加以比较,从而确定民警培训教育促进公安工作绩效提升的程度。
在公安民警培训工作中,涉及的相关主体包括公安机关领导层、各科所队等部门的负责人、公安机关政工部门、培训机构和培训教官、受训民警五个方面。以往无论哪一方面对民警培训关注更多的都是培训的计划、组织、考核等工作,而对于培训效果评估往往会出现这样的借口:“没有必要进行评估”“没时间评估”“评估的成本太高”“对培训没法进行评估”。源于系统科学评估体系的匮乏、紧张的培训时间安排、对培训效果评估的不了解,各方主体对培训效果评估均持抵制和怀疑态度。
由公安民警培训效果评估现状可知目前评估指标体系设计不够完善,具体表现为仅以培训结束时考试考核的方式来评价培训工作是否达到既定目标,这仅仅是对民警所学知识的考查。根据笔者依据柯氏模型和CIPP模型构建的公安民警培训评估指标体系来看,现有培训评价方法仅仅是对培训后的学习层评估,培训效果评估应该从培训前到培训后贯穿于培训活动全过程。评估指标的设计应当是多角度、连续性和系统性的;培训效果评估的对象不应当仅为受训的公安民警,还应包括公安机关政工部门、培训机构和培训教官、各科所队负责人等主体。培训前应当由公安机关领导对培训需求分析、培训计划等进行评估,评估的对象为政工部门和各科所队负责人的培训组织能力;培训中应通过问卷调查或访谈等形式对培训机构的组织管理、培训教官的授课方式等进行评估。
评估是手段而非目的,其目的是为了促进各个培训相关主体改进培训工作,使公安民警培训工作科学化、体系化、制度化、规范化,切实提升公安民警的专业知识和技能,进而提高公安机关的工作绩效。当下培训效果评估结果应用经常出现以下问题:评估结果反馈不及时或根本没有反馈;评估结果与受训民警的切身利益结合不紧密,未折算为工作绩效,与薪酬、评优与职级晋升没有挂钩,民警参与培训缺乏正向压力,达不到预期的结果;评估结果应用形式化倾向严重。如前所述,对培训效果评估的不重视、对评估的作用了解不深入、指标体系设计不健全等原因带来了评估形式化的错误倾向,受训民警往往不认真填写问卷,随心所欲应付了事,评估结果缺乏真实性和客观性。培训机构和公安机关没有采取措施将评估结果落实到工作中,使培训效果评估评与不评一个样,评好评坏一个样,评估结果应用流于形式。因此,科学高效的评估结果反馈机制需要建立系统完善的评估指标体系和评估主体做为前期基础,指标体系和主体体系完善的同时势必带来评估结果价值的全面升级,进而实现其应有的功能价值。
柯氏模型由美国学者柯克帕特里克于1959年提出,也称为培训评估四层次模型,包括反应层、学习层、行为层、结果层四个层次评估维度,简称“4R”,它们之间呈递进关系。反应层是指学员对培训讲师的授课方式、知识与工作紧密程度、课程管理等指标的满意度,通常采用问卷调查或者访谈的方式衡量;学习层是指学员对培训教师所传授知识和技能的掌握程度,通常采用考试、案例分析、实践操作等方式衡量;行为层指学员通过培训后把所掌握的知识和技能运用于工作中的程度,通常采用360°反馈法、关键事件法、行为观察法来衡量;结果层是指衡量员工培训后的工作态度和工作行为是否改进、工作技能是否提升以及组织的产量是否增加、费用是否减少、时间是否节省、质量是否提升等指标,通常采取定期统计分析工作绩效的方法衡量[5]。
1967年美国学者Daniel Stuffebeam在对柯氏评估模型反思的基础上提出CIPP模型,由各评估维度的英文首字母组成,包括背景评估(Context evaluation)、输入评估(Input evaluation)、过程评估(Process evaluation)、结果评估(Product evaluation)四个维度。CIPP模型将评估工作拓展至培训的整个过程,包括培训前、培训中和培训后三个阶段。背景层是指对培训需求分析、培训对象的选择进行评估,也是对培训的必要性和可行性的评估,通常采用小组访谈、自我观察法进行;输入层是指对培训计划的完整性、培训资源的可利用性、培训准备工作的完备性进行评估,通常采用内省法、问卷调查法、访谈法进行;过程层是指在培训过程中对培训内容、培训机构和培训教官进行评估,可采用问卷调查及访谈的方式进行;结果层与柯氏模型结果层类似,是指对培训是否达到预期目标,学员是否掌握了新知识和新技能,所学知识和技能在工作中是否得以应用,组织最终的产量、质量、利润率等指标是否有所提升进行评估,可通过对工作绩效定期统计分析加以评估[6]。
1.柯氏模型与CIPP模型的比较
柯氏评估模型主要是对学员培训结束后的培训效果进行评估,呈递进关系的各评估指标形成系统科学的结果层评估体系,并提出行为层与结果层的相关系数最强,要实现结果层终极培训目标,就必须对行为层加大时间、金钱和关注度的投入。柯氏模型的缺陷在于其仅在培训结束后对培训效果进行评估,评估的结果只能对下一次的培训起作用;CIPP模型正好弥补了柯式模型的不足,使培训评估拓展至培训开始前和培训过程中,是对培训全过程进行的全方位评估,其缺陷在于对培训效果评估最高层次——结果层的评估维度未做细化研究,而柯氏模型则正好可以弥补这一缺陷,故两者应结合起来使用。
2.应用可行性分析
柯氏评估模型与CIPP评估模型自问世以来受到各行各业的青睐,得到广泛应用。柯氏模型与CIPP模型对培训效果评估提供了科学的理论指导,其在政府、事业单位等公共管理部门中的应用,充分发挥了培训对人才综合素质全面提升的作用,促进了公务员激励机制的构建,推动了公务员工作绩效水平的提升。不可否认的是,培训效果评估方法在公安领域的应用并非简单地援引“它山之石”,必须深耕公安实践以“攻”己之“玉”。公安机关作为政府职能部门之一,承担着维护国家安全、维护社会治安秩序、保护公民生命财产安全等重要职责。新时代社会发展瞬息万变,公安工作随着社会的快速发展不断出现新情况新问题,不断面临新挑战[7]。公安机关应当应用科学的管理原理与方法提升自身的警务效能,实现“警力无增长改善”。培训是提升民警专业能力的重要途径之一,只有使公安民警培训工作落到实处,破除走形式走过场的形式主义、培训等于镀金的官僚主义、培训等于休假的享乐主义,才能真正做到对人民负责,对党负责,完成党和人民交给的重大使命。
以柯氏模型和CIPP模型相结合的公安民警培训效果评估体系,其评估维度以CIPP模型四维度为主,结果层评估采用柯氏模型“4R”评估维度,依据培训工作实际,可以把培训评估分为三个阶段,即培训前、培训中和培训后。培训前评估包括CIPP模型背景评估和输入评估两个维度,培训中评估为CIPP模型过程评估维度,培训后评估则为柯氏模型结果评估维度。把各培训阶段视为评估体系一级指标,CIPP模型和柯氏模型的相关维度视为培训评估二级指标,在得出培训评估一级指标、二级指标的基础上,再从抽象的二级评估指标中继续提取具体的评估要素作为三级指标。
培训前评估包括背景评估和输入评估两个维度,其实质是对评估的必要性和可行性进行评估。评估要素应包括培训资源评估、培训需求评估、培训计划评估、培训对象评估、培训准备评估5个三级指标。
1. 培训资源评估
这项指标中的资源主要包括资金、技术、时间、设备、智力支持等,公安机关政工部门应在培训正式开始之前对培训资源进行有效的分析和评估,确定资源是否存在以及存在的价值。
2. 培训需求评估
培训需求评估是指对培训需求的分析报告进行评估,结合公安机关、相关民警和单位的实际情况,评估培训需求的分析结果是否合理,如有不妥之处应及时完善。
3. 培训计划评估
培训计划评估即对整个培训项目的规划书进行评价,包括培训机构选择、培训时间安排、培训目标制定、培训内容规划等。评估培训计划的主要目的是考察培训计划的制定是否合理、是否符合单位的实际工作情况。
4. 培训对象评估
培训对象评估是指对即将接受培训的公安民警的知识、技能、能力、职业规划以及其实际工作情况进行摸底性的评价,通过评估得到民警培训前的原始信息,便于与培训结束后评估结果进行比较。
5. 培训准备评估
培训准备评估应区别于培训资源评估。培训资源评估是指对培训活动所需的资源是否存在,能否提供支持进行评估;培训准备评估是指培训所需资源、材料和手续是否准备完毕,如对培训管理人员、受训民警信息收集、培训设备、培训通知、培训服务等是否准备就绪进行评估。
有学者提出培训前评估没有必要,笔者认为,人力资源培训与开发是一个系统的过程,包括培训需求分析、培训对象选择、培训计划制定、培训的开展与实施、培训成果转化5个步骤,每个步骤都有其自身必要性,各个环节紧密相连、不可分割,培训效果评估亦应贯穿于培训的全过程。培训前评估旨在完善培训计划,核对培训需求分析的准确性和选择受训民警的合理性,做好前期准备工作,为培训的组织实施、培训成果转化打好基础,进而确保培训的科学性和有效性,故培训前评估是有必要的。
培训中评估为CIPP模型的过程评估维度。评估的要素应包括培训内容、培训内容与民警需求的吻合度、培训进度和中间效果、培训环境、培训教官和培训机构5个三级指标。
1. 培训内容
这项指标主要评估实际培训内容与计划培训内容之间的差异,主要表现为培训内容与计划培训内容有出入、培训内容不清晰、难度不适中等。其产生的原因主要包括以下几点:培训机构或培训教官没有按照培训计划实施培训;培训前的需求分析不准确;培训计划不完善;实际操作受到外部环境的干扰,需做一定程度的调整等。培训内容评估应尽量保证按照规划执行的前提进行,除非有理由证明培训内容调整或变化是有必要的。
2. 民警需求与培训内容的吻合度
民警需求与培训内容的吻合度是培训工作有效与否的关键和核心。培训工作若要实现培训前所制定的培训目标,必须保证培训内容与民警实际需求相一致。
3. 培训进度和中间效果
培训进度和中间效果主要评价培训的进度是否与培训前的时间安排保持一致。培训中可定期采取考试、情景模拟等方法对民警所学到的知识和技能进行评估,掌握培训的中间效果,以便为后续培训活动的完善提供参考依据。
4. 培训环境
培训环境评估包括两层含义。第一层含义指培训的软环境,即培训环境与工作环境的相似度。根据转化学习理论,培训环境与工作环境越相似,物理环境和心理环境越逼真,学习效果越好,学习成果应用于工作中的可能性也就越大[8]。在组织民警参与培训时,应使培训环境与受训民警的工作环境相类似,尤其是公安工作具有很强的实战性,如防卫控制、射击、警务战术等项目,培训工作的环境应当尽量做到与实际工作环境类似,以保证培训成果得到最大程度的转化。第二层含义指培训的硬环境,即受训民警对培训机构的卫生、服务、设施等硬环境的满意度。
5. 培训机构和培训教官
这项指标是对培训机构的组织管理工作和培训教官的知识水平进行评估,以保证培训机构和培训教官能够做好培训工作。具体评估内容包括:培训机构的组织管理、培训保障,培训教官的专业知识水平、实战经验和工作态度等。
培训后评估采用柯氏评估模型,包括反应层、学习层、行为层、结果层4个评估维度。培训后评估是监督、检查培训效果,推动培训成果转化,完善人力资源培训与开发制度的重要一环。结合培训工作,评估要素应包括培训项目整体满意度、知识技能掌握程度、工作行为与态度的改变程度、工作绩效提高度4个三级指标。
1. 培训效果整体的主观感受
培训效果整体的主观感受是对培训项目整体满意度的评估,可以帮助培训机构发现自身问题,进而为完善相关的软硬件设施和服务提供参考依据。
2. 知识和技能
培训结束后通过笔试、实操、情景模拟等方式对民警进行考核,评估民警掌握所学知识的程度并纳入绩效考核,给民警施加培训的压力,可以破除“走过场、走形式”的传统培训理念,提高培训实效。
3. 工作态度和行为
在培训结束后15天左右,通过行为观察法和小组会的形式对民警的工作行为和工作态度进行评价,对培训所学新知识是否有用、应用效果如何进行讨论,反馈民警的工作状况,促进培训成果转化。
4. 工作绩效
可以在排除其他因素干扰的情况下观察绩效成绩是否提高来衡量培训是否有效,为后续培训计划的改进、培训制度的完善提供参考依据。
笔者认为,从培训效果评估指标的特点和提高工作效率、节约人力资源的角度出发,公安民警培训效果评估大部分指标应以定性评估为主,其直接目的是发现培训工作中存在的问题,进而采取应对措施,改进培训工作,为此次培训的后续阶段和下次培训提供参考依据。培训效果评估本应做到精益求精,但考虑到公安工作的广泛性和复杂性,与打击犯罪、维护治安等外部工作和绩效考核、薪酬管理等其他内部事务工作相比应分清轻重缓急,培训评估能简化则简化,增加必要的环节,减少不必要的麻烦。日程安排较为紧密的公安民警培训工作,如果使用问卷、访谈、测试过多,公安机关领导、受训民警、培训教官都会觉得效果评估妨碍了培训本体。培训前评估的培训需求分析报告、培训计划报告等指标,可以由公安机关领导依据个人的工作经验来做出评估,并做出进一步的决策;整个评估过程仅培训中评估和培训后反应层需要使用问卷调查或访谈方式进行评估。在上述对各阶段公安民警培训效果评估内容分析的基础上,根据各指标的特点和学界常用的社会科学调查研究方法,使评估指标、评估方法、评估时间点和评估数据来源四者做到一一匹配,得到最终的公安民警培训效果评估指标体系表,如表1所示。
培训各阶段各评估指标均需要依据其特点选择合适的评估方法。培训效果评估体系不同于绩效考核指标体系,绩效考核需要对各指标用层次分析法做权重分析,并赋予分值做定量评估;培训效果评估的主要目的是对整个培训活动和受训民警的行为表现做趋向性、大致性、原则性的判断,若采用定量评估方法,数据信息的收集、评分标准设计、培训活动跟踪监控等程序将给公安机关人力资源管理工作带来沉重的负担,其结果会适得其反[9],故培训效果评估应采用定性评估方法。问卷调查是定性评估的一种方法,在培训效果评估中显得极其重要。培训前培训需求分析、对象选择、计划制定等问题通过自我观察法可以很容易得到解决;培训后民警掌握的知识与技能的评估可由培训机构编制试题或情景模拟,通过考试的形式加以评估;对工作行为和工作态度,可以通过行为观察法做出定性评估。这些评估方法都较容易操作,而培训过程中的评估需要设计一份系统科学的问卷。因此,在培训评估指标体系表的基础上,应当借鉴行为锚定法基本原理设计培训满意度调查表,如表2所示。由于培训后整体满意度评估和培训中评估是整体与部分的关系,故亦可采用本表。
经过上述研究分析虽然得出了公安民警培训效果评估指标体系表和培训满意度调查表,但是对培训效果评估涉及的5个相关主体及其职责、培训效果评估的流程、培训效果评估指标体系表和满意度调查表的应用还需进一步深入研究和阐述,以求构建起具有规范性、系统性、过程性、操作性强的公安民警培训效果评估体系。
对各主体在培训前这一阶段的工作中所承担的职责和培训工作流程进行系统梳理,是厘析培训前评估流程和各主体评估职责的基础和前提。受训民警作为培训活动的中心和主导,培训前应积极主动向部门负责人或政工部门提供培训的需求和建议。公安机关政工部门在培训前负责收集民警和各部门负责人的培训建议,制作和调整民警的培训需求报告;与培训机构协商培训计划事宜,制作培训计划报告,报公安机关负责人评估和审批;通过后送交培训机构,协商后续培训工作的相关事宜。培训机构与欲参加培训的公安机关政工部门协商培训日程、经费、考核等事项,依据培训需求分析和培训计划安排相应的教官和课程。从上述的培训效果评估指标体系表和培训前各主体的职责与工作流程可以看出,公安机关领导层是培训前评估的核心主体,需按照培训效果评估指标体系表中培训前这一阶段的指标和上述具体内容对培训的必要性和可行性进行全面评估和审核。
由上述培训中评估的指标体系和具体内容可知,培训机构和教官是培训中评估的核心主体,负责向受训民警发放培训满意度调查表或进行访谈;受训民警就培训项目中期的主观感受认真填写问卷和回答,向培训机构和培训教官进行反馈;培训机构和培训教官据此对自身的组织管理水平、授课方式等作出相应调整。
培训结束后,培训机构向民警再次发放培训满意度调查表或进行访谈,即反应层评估,受训民警对培训项目整体的主观感受进行反馈,培训机构再次完善培训工作。培训机构对受训民警进行考核,对其掌握的知识和技能进行测试,进行学习层评估,并将考试成绩发送到公安机关政工部门;政工部门根据绩效考核指标体系的专业素质考核项权重换算成相应的得分。在培训后回到工作岗位半个月后,各科所队负责人、公安机关领导对受训民警的工作态度和行为是否发生改变,即行为层进行评估,可通过行为观察法做出大致性、方向性的评估。如刑事技术民警学习指纹提取的新方法,在培训后是否应用到工作中,现场勘查水平是否得到提高,可通过刑事技术部门负责人和其他民警对其行为的观察和与其交流沟通得出结论。培训的根本目的是提高公安民警的工作绩效,因此结果层是培训后评估的核心环节。在回到工作岗位半个月后的绩效考核时间点,对受训民警进行绩效考核,与之前的绩效进行整体对比或就某一项指标,如侦查员经过审讯知识和技能的培训后,其侦查讯问指标成绩是否有所提升进行比较,从而评估培训的效度。最后由政工部门就培训后受训民警的工作行为、工作态度、工作绩效的变化和相关的建议撰写一份报告,报上级公安机关领导和传送给培训机构,公安机关据此完善本单位的培训制度,培训机构据此完善后续培训项目。
总之,完善民警培训训练机制,为新时代公安队伍输送优质警力,形成新的战斗力增长点就显得尤为重要[10]。公安民警培训是公安人力资源建设的最主要渠道和手段,是推进公安队伍革命化、正规化、专业化和职业化建设的重要途径,是实现“科教强警”的重要基础,是公安机关各项工作发展的前提和基础。本文借鉴柯氏评估模型和CIPP评估模型的基本原理和方法并综合考虑当前公安民警培训效果评估存在的共性问题、影响公安民警培训效果的因素,从服务公安实战的角度构建公安民警培训效果评估指标体系,其中包括3个一级指标、7个二级指标和14个三级指标,并设计培训满意度调查表,阐述了指标体系的运行机制。该体系贯穿于公安民警培训全过程,评估对象和评估内容涵盖了公安机关、培训机构、受训民警三方培训工作的关键主体,是较为全面、系统、科学、务实的培训评估体系,是对公安民警培训效果评估体系理论的补充与完善,对公安机关开展人力资源培训与开发工作具有一定的参考价值。当然,本文只从理论上构建了公安民警培训效果评估体系,仍需要进一步运用实证研究来验证其可行性和适用性。