“互联网+”下专业技术人员继续教育质量评价

课 题 组

(石家庄职业技术学院 人事处，河北 石家庄 050081)

习近平总书记指出“人才是第一资源.古往今来，人才都是富国之本、兴邦大计”[1].专业技术人员是国家人才资源的重要组成部分，做好专业技术人员继续教育培训是提升人才素质的重要方式.开展培训质量评价是保障继续教育培训质量的重要手段，它是以培训满足度为标准对培训的科学性与有效性作出客观公正的价值判断的过程[2].对专业技术人员继续教育培训质量评价进行研究与探讨，既有利于推动河北省继续教育培训工作质量提升，也能够为其他地区提供有益借鉴.

“互联网+”概念的中心词是互联网，符号“+”意为加号，即代表着添加与联合.“互联网+”背景下的继续教育培训形式与以往相比发生了较多的改变，在培训质量评价上，也有很多变化，如所采集的评价数据不仅有答题、问卷等显性数据，更有大量的，如点击率、阅读时间、浏览次数、复看率等隐性数据.利用“互联网+”技术，有利于对培训质量的评价过程进行全程监控和有效反馈.本文对“互联网+”背景下河北省专业技术人员继续教育培训质量评价开展研究、 探索.

1 河北省继续教育培训质量评价存在的问题

(1)继续教育培训质量评价的监督手段相对薄弱

目前，河北省专业技术人员的继续教育主要分两大门类：一类为公需科目，一类为专业科目.自2017年起，公需科目由全省统一发布，各地市人力资源和社会保障局组织实施，继续教育施教平台承担具体施教任务，每年通过招标确定，而专业科目一般由行业主管部门或所在单位进行培训.一些主管部门多侧重于行政方面的管理，对培训质量的监督手段比较薄弱，通常只做结论性评价，缺乏对过程性学习的评判；再者，由于缺乏第三方评价机构对其进行专门有效的督导测评，相关的培训机构并不十分重视评价的重要意义，导致培训部门无法适时适度调整培训的内容和方式[3].

(2)继续教育培训质量评价的体系标准较为匮乏

我国继续教育的发展历史还比较短.学界对继续教育质量评价方面的研究较少，主要围绕问题谈对策.评价是指挥棒，体系标准的匮乏导致一些培训机构在教学安排和教学管理等方面处于无人监管的盲区.即使有部分评价体系标准，也大多照搬学历教育在课程、教学、考核等方面的部署模式，例如，对学生学习行为评价主要以在线时长为参考.

(3)继续教育培训质量评价的智能化程度偏低

虽然继续教育施教平台已经实现了网络端、移动端的继续教育培训课程开发，但是对继续教育培训质量评价仍停留在对显性评价数据和现象的采集和分析阶段，如评价学员的学习状态时，主要参考后台数据采集任务点的完成比例、教学视频的播放时长等；评价学员的学习效果主要是通过在线答题等简单形式获取评价数据.这样的评价智能化程度明显偏低，难以满足对继续教育培训质量的更高追求.

2 开展继续教育培训质量评价的必要性

(1)符合上级政策的要求

《河北省专业技术人员继续教育规定》中提到，“继续教育应当以经济社会发展和科技进步为导向，以能力建设为核心，突出针对性、实用性和前瞻性，遵循按需施教、注重实效、保证质量的原则”[4].所以如何保证质量是提高继续教育实效性的重要命题，而对培训开展质量评价是保证培训质量的有力措施.

(2)有利于提升培训的科学性

①为培训机构的准入、准出提供依据

继续教育的质量是继续教育追求的永恒目标.在继续教育国际化步伐逐渐加快的当下，继续教育的管理者和组织者应通过对继续教育平台开展质量评价与诊改，加大对继续教育平台的法规执行、教学成效和管理工作的规范和约束[5].例如，美国、法国、加拿大、意大利等国家分别从建立相应的衡量指标和尺度，评价培训的计划、目标、课程及成本收益的合理性，分类评价培训课程的效率和效益、学员的满意度和掌握程度、公众和组织满意程度，得出评价结果，决定对培训机构的资助水平.河北省也可借鉴，通过对培训的质量评价，对某个培训机构进行综合研判，对不能满足要求的培训机构及时清理，对表现良好的培训机构给予大力支持，为培训机构的准入、准出、招标提供依据.

②为优化培训内容及方法提供支持

在继续教育培训中，培训评价是促使培训质量不断螺旋上升的驱动力，监测的评价数据、诊断的评价结果等评价衍生物能为优化培训内容及培训方法提供强有力的支持.

(3)体现“互联网+”评价新内涵

“互联网+”背景下的培训质量评价从知识、能力、素质评价入手，技术手段包括物联网信息采集、人工智能数据推送、评价数据分析等.准确、详实地记录参训学员学习行为数据，有助于预测和指导工作的展开.通过采集学员随堂测试情况、课后作业完成情况和参与课堂问答与讨论的频度等实时数据，就能找到学员的薄弱之处，对症下药解决问题.然后，可通过人工智能技术推送更加适合个体的学习内容和测试内容，从而使得对学习者的评价更为准确化和个性化.

3 建立“互联网+”背景下的继续教育培训质量评价模型

3.1 确定评价对象

根据对专业技术人员继续教育培训的分析，评价对象不仅涉及参训学员(专业技术人员)，还包括继续教育施教平台和继续教育组织者、继续教育管理者等等.

(1)专业技术人员

河北省的专业技术人员具有数额庞大、分类较多、所涉及行业覆盖范围较广等特征，因其工作的岗位性质不同，其对知识更新的渴求程度也不同.这充分体现了专业技术人员继续教育的复杂性特征.

(2)继续教育施教平台

继续教育施教平台一般以人才能力建设为核心，以新理论、新知识、新技术、新方法为内容，专注于 “互联网+教育”的模式，整合优质教育资源，为广大专业技术人员提供继续教育服务.

(3)继续教育组织者

继续教育组织者一般为各个单位的人事部门.

(4)继续教育管理者

继续教育管理者一般是指行业主管部门及人力资源和社会保障部门.

3.2 评价模型的理论依据

(1)柯式四层次培训评价模型

美国威斯康星大学的柯克帕屈克教授1959年提出了柯式四层次培训评价模型[6]，该模型是最早的评价模型.模型分为反应层、学习层、行为层和结果层四个层次.但是柯式四层次培训评价模型属于一次性评价，缺乏定量分析，在评价方法上也不够具体.

(2)CIPP培训评价模型

CIPP培训评价模型是由该模型中四项评价活动的首个字母组成，这四项评价活动是:背景评价(Context evaluation)、输入评价(Input evaluation)、过程评价(Process evaluation)、成果评价(Product evaluation)[7].CIPP培训评价模型具有全过程和反馈及时等优点，但是它对成果评价的效果明显逊于柯式四层次培训评价模型.

3.3 评价模型的初步构建

本文围绕评价对象，充分利用“互联网+”技术手段，将CIPP培训评价模型和柯式四层次评价模型融合使用，搭建基于培训PDCA循环的专业技术人员继续教育培训质量评价模型，其中最外环为培训PDCA循环，它是螺旋上升、阶梯递进的；内部环是为以评价为中心的CIPP，其中再将成果评价替代为更为优越的柯式四层次培训评价模型，使得模型进一步优化，如图1.

3.3.1 螺旋上升的外部循环

PDCA循环理论最初由休哈特于1930年构想[8]，后来被美国质量管理专家戴明博士在1950年挖掘出来并应用于全面质量管理中[9]，主要用于质量管理体系的持续改进问题.其工作过程依次为P(Plan)-D(Do)-C(Check)-A(Act)，即计划—执行—检查—行动;按照PDCA循环，周而复始运转，且下一个循环基于上一个循环，从而使得产品质量得到逐步提高[10].

PDCA循环理论提供了开展继续教育培训质量评价的新途径，将PDCA循环融入培训全过程，演变为培训PDCA循环，图1中用4个圆角矩形代表这4个培训阶段，分别是培训的计划(Plan)、培训的实施(Do)、培训的评价(Evaluate)和培训的改进(Improve)，流动的箭头表示将“互联网+”作为技术手段有效衔接起各个培训阶段，通过对培训各阶段的评价数据进行记录、采集、存储、处理、分析，形成具有潜在价值的评价信息，反馈给培训的改进阶段(Improve).如此循环往复，最终促进培训质量的螺旋上升.

3.3.2 评价驱动的内部循环

在PDCA这一外部循环中，打造以评价为驱动力的内部循环——CIPP模型变体.之所以称之为CIPP变体，一是因为我们将其打造为一个循环；二是因为后文提到的型中嵌套.

图1中外部的PDCA循环与内部的CIPP模型变体的交叉点为一系列的评价环节.

针对培训计划(Plan)的评价主要包括需求评价、目标评价、方案评价，其中需求评价和目标评价属于CIPP中的背景评价(Context evaluation)部分，其中方案评价属于输入评价(Input evaluation)部分.这些侧重对培训施教平台的评价.评价前置介入于培训实施之前，有效规避了培训方向性的失误和不足.针对培训实施(Do)的评价主要包括资源评价、教学评价和管理评价，属于CIPP中过程评价(Process evaluation)，主要侧重对培训施教方和培训管理及组织方的评价.

针对培训评价(Evaluate)的评价主要包括成果评价，即CIPP中的第二个P(Product evaluation)，以上主要侧重对专业技术人员的评价考察，是一种产出性评价.

图1 继续教育培训质量评价模型

下面笔者逐一对继续教育培训质量评价模型中的CIPP模型变体的四个评价活动进行详尽的介绍：

①背景评价

在专业技术人员继续教育质量评价的背景评价中所要关注的问题是:

第一，确定专业技术人员的继续教育培训需求.对培训需求进行评价是后续工作展开的基础，要对评价中发现的需求不合理、不完整、不完善之处进行修正补充.

第二，明确继续教育培训的目标.斯塔弗尔比姆认为对目标的评价是评价的第一步，要考察设定目标是否满足实际需要[11].培训目标要反映参加继续教育培训的专业技术人员参加培训后应达到的水平和状态，知识、技能、素质上会得到何种程度的提高.

②输入评价

输入评价通过分析论证培训方案，确定如何优化设计培训方案达到培训目标.输入评价要考量:培训资源的前期收集、多种方案的设计、对各个方案进行SWOT(内外部环境和竞争条件下的态势)分析、预期的成功程度、配套的资金情况.

③过程评价

过程评价是对培训进行持续的监控、反馈和修正的过程:第一是为继续教育培训平台、继续教育培训管理方和组织方提供信息反馈，从而密切监控培训实际运行与培训目标的契合程度、培训方案实施进度、培训资源的利用比例；第二是进一步对培训方案进行修订.

④成果评价——型中嵌套

相比于CIPP模型，柯式四层次培训评价模型对培训效果的评价做了更为详尽且富操作性的设计，因而将其嵌套进CIPP中的成果评价(Product evaluate)中，作为CIPP模型的有力补充和完善.柯式四层次培训评价模型中四个层次环环相扣、层层递进、逐级提高的关系.

第一，反应层.根据对参加培训的专业技术人员学习情绪、学习注意力和学习兴趣等方面的调查研究，得出专业技术人员对所参加的继续教育培训的反应和看法.可以采用小程序问卷的形式进行调查.

第二，学习层.主要衡量的是参加继续教育培训的专业技术人员通过培训的收获，即他们在培训的过程中在知识层面学到了什么，在技能层面掌握或提升了哪些，在素质层面得到了何种提高，在培训结束时是否达到了自我设定的学习目标.可以通过在线答题竞赛、仿真操作测试或网络会议做报告等形式进行考察.

第三，行为层.主要测定的是参加培训后的专业技术人员是否真正将培训所学运用到日常工作中，行为发生了多少变化以及发生了多大的变化，前者是量的考量，后者是质的变化.主要通过同行、上下级、人力资源管理者对其工作业绩进行前后比对.

第四，结果层.主要判断的是对参加培训后的专业技术人员工作业绩的提升程度以及对其所在组织产生的何种可见的正面效果.例如，若专业技术人员是一名教师，那对其所教授班级的学习成绩是否有提高，提高多少；若该专业技术人员是一名工程师，那其所设计产品的优良率和销量都是测评指标.但是此项评价需要大量测评数据，采集上具有难测性、长期性等特点，需要长时间追踪调研.所以需要借助大数据和物联网等“互联网+”技术实时采集，积累大量数据，进行长线分析.

4 结语

本文搭建的专业技术人员继续教育培训质量评价模型，具有内外双环、型中嵌套、评价驱动、螺旋上升的特点，将“互联网+”技术融入评价的全过程，对优化继续教育培训内容，提升继续培训质量，提高继续教育培训机构的准入门槛具有一定的积极作用.下一步将在搭建模型的基础上，深入探索评价体系和评价标准如何构建，为进一步加强继续教育培训的质量，完善专业技术人员继续教育培训质量的保障机制添砖加瓦.

(课题主持人：王奕；课题组成员：康海林，李玉田，谭寒冰，郭瑞雯，艾静，李伟，郭会灿，周楠)