基于SPSS统计分析软件的培训质量评价模型构建及实证研究

2024-05-27 18:36姚津
中国市场 2024年14期
关键词:培训质量评价模型

摘 要:培训质量评价是提升培训质量的重要途径和手段,科学的评价模型及应用能够有效提升培训质量。文章以电力某培训中心为研究背景,通过调研诊断、指标体系设计、指标权重确定、多轮预测和实测,最终形成适合培训中心当下的培训质量评价模型。该评价模型以培训全过程为主线,就培训对象反应层级反馈信息进行评价,并引入SPSS统计分析软件对评价数据进行分析,能够全面获取培训整体和各个过程绩效情况,科学聚焦不同样本水平的具体反馈信息,为持续提升培训质量提供科学决策方法。在电力体制改革工作的逐渐推进下,电网企业逐渐意识到培训质量管理提升的重要意义。培训质量评价是检验培训项目成败的重要标准,培训质量评价数据为全面审视现有培训工作、规范培训实施过程、提升培训绩效水平提供决策依据。国网某培训中心(以下简称中心)专门成立项目组,充分利用多年来积累的培训项目运营管理实践经验,引入SPSS统计分析软件,重新对培训过程质量评价关键点及评价模型进行优化,创新建立具有中心特色的基于SPSS统计分析软件的全过程培训质量评价模型,有效提升培训评价质效,同时也为中心其他专业提供有价值的管理工具。

关键词:SPSS统计分析软件;反应层评估;评价模型;培训质量;AHP层次分析法

中图分类号:F272.92文献标识码:A文章编号:1005-6432(2024)14-0098-05

DOI:10.13939/j.cnki.zgsc.2024.14.024

1 理论基础

中心基于SPSS统计分析软件的培训质量评价模型构建主要依据Kirkpatrick四层评价模型—反应层和质量管理-过程方法等理论开展研究。

Kirkpatrick四层评价模型就是将培训评价进行合理分层,具体分为反应、学习、行为、结果。其中,反应层级反映的是培训对象对培训过程的感性认知。主要是针对课程内容、授课师资、组织方式方法、教材讲义等内容,合理测量估算受训者的主观综合感受,通常情况下采用问卷调查的形式进行测评[1-2]。

质量管理原则之一:过程方法。过程是一组将输入转化为输出的相互关联或相互作用的活动。过程方法是系统策划整个体系所需的各种过程,识别确定这些过程的顺序和相互作用,按照規则控制过程运行,实现预期结果,并持续改进过程[3]。

2 评价量表设计与检验

2.1 量表指标体系构建

在基于Kirkpatrick四层评价模型—反应层和质量管理—过程方法基础上,通过5次头脑风暴,多次专家调研和客户访谈,将培训过程划分为培训策划过程、组织管理过程、支持服务过程和教学师资4个方面。并进行过程分解,从中提炼出11个二级指标。具体指标体系如图1所示。

2.2 指标题项设计

项目组参考培训中心历史调研问卷以及其他文献资料,采用李克特五级量表形式进行相关测评题项的设计。在几轮预测过程中,项目组分析人员通过主成分分析法对问卷中李克特量表题项进行探索性因子分析。根据KMO和Bartlett球形检验、解释的总方差和旋转成分矩阵结果,对问卷中题项及指标体系进行调整、合并或删除,降低量表的冗余度,尽量减少和控制那些与测评目的无关因素对测验结果的影响,最终形成现有测评问卷。

2.3 信度效度检验

2.3.1 信度检验

对于本问卷量表题项采用α信度系数(克隆巴赫系数)进行信度检验。项目组分别对4个维度(预设)使用信度分析,通过SPSS统计分析软件计算各维度α信度系数(克隆巴赫系数),并进行汇总,得到信度分析汇总表,如表1所示。

从信度分析结果可以看出,本问卷克隆巴赫Alpha值为0.881>0.8,且4个维度克隆巴赫Alpha值分别达到0.931、0.980、0.973、0.934,均高于0.9。结果表明,该量表的内部一致性很高,在培训满意度测评方面具有普适性,用此问卷调查的结果是可靠的[4]。

2.3.2 效度检验

第一,内容效度。内容效度方面,本问卷依据在基于Kirkpatrick四层评价模型—反应层和质量管理—过程方法,参考其他文献和量表基础上进行设计开发。并进行了预测试,经过中心领导、统计学专家和咨询专家多方多轮修订而成,具有良好的内容效度。

第二,结构效度。在实际培训项目实施过程中往往涉及多门课程或多位培训讲师。因此,在设计问卷时将问卷分为两部分:第一部分包括策划组织、设施环境和支持服务变量,第二部分包括课程师资变量。在进行结构效度分析时,同样分两部分进行结构效度分析。两部分结构效度分析均采用探索性因子分析方法对本问卷进行结构效度检验。

首先,对第一部分量表题项进行KMO和巴特利特球形检验。由检验结果可以看出,KMO=0.888,巴特利特球形检验P=0<0.05,说明该量表数据适合做因子分析。其次,在KMO和巴特利特检验合格基础上进行因子分析,SPSS统计分析软件直接输出分析结果,将其汇总形成表2结构效度分析指标汇总。

由表2可以看出,通过探索性因子分析最终探索出3个公因子,且各题项与公因子之间有着良好的对应关系,这种对应关系与量表设计基本相符。并且所有题项的因子载荷系数均大于0.6,最小为0.699。旋转后的累计方差解释率为75.28%,即以上3个公因子能够解释参与分析题项的75.28%的信息,统计学上认为信息表达良好(60%以上可认为有效表达)[4]。

对于问卷第二部分课程师资部分,进行结构效度分析。同样使用探索性因子分析,其结构效度分析结果信息汇总如表3所示。

表3结果显示,本部分KMO值为0.924,巴特利特球形检验P=0<0.05,非常适合做因子分析。通过因子分析最终得出1个公因子,所有题项的因子载荷系数均大于0.9,最小为0.913,表明该公因子与题项对应关系良好,这种关系与量表设计完全相符。旋转后的累计方差解释率为89.34%,以上综合说明本部分量表具有良好的结构效度[4]。

3 质量评价模型构建

培训质量评价模型主要探究如何科学合理综合统计分析调研对象对于培训质量满意度测评值,为培训质量全面提升提供有效数据支持。培训质量评价模型主要包括指标权重的确定和模型构建两个部分。

3.1 AHP层次分析法确定指标权重

指标权重确定方法主要有两种。第一种是使用因子分析法,求得成分得分系数矩阵,从而确定各级指标的权重。但该种方法一般方差解释率不能达到100%,不能够代表所有题项信息,具有一定的局限性。第二种方法是AHP层次分析法,该种方法在确定指标权重时,将定性和定量分析方法有机结合,应用较为广泛。AHP层次分析法首先使用探索性因子探索因子,然后利用专家打分法建立打分矩阵,最后计算因子的权重系数。本研究在模型构建过程中确定各级指标权重时采用AHP层次分析法[5]。

项目组按照AHP层次分析法构建步骤:建立层次结构模型、构造判断矩阵、层次总排序及其一致性检验等,最终得出各级因子指标权重。如表4所示。

3.2  构建满意度评价模型

基于AHP层次分析法确定的一级指标、二级指标各指标的权重值,构建培训满意度质量评价模型。具体模型如下。

T=∑4i=1wiFi

Fi=∑nj=1ujRj

Rj=∑njXjn

式中,T表示样本整体满意度值;Fi表示第i个一级指标的测评值;wi表示第i个一级指标的权重;Fi表示一级指标的测评值等于对应该一级指标项下二级指标与其对应的权重乘积;Rj表示第j个二级指标的测评值;uj表示第j个二级指标的权重;Rj表示二级指标的测评值等于该指标项下各个题项的均值。

4 评价模型应用

本项目使用该模型量表进行了实测,以参加2020年11月某培训班合计270位学员为调研对象。通过微信小程序“问卷星”发布,共计收回问卷270份,删除有缺失值等个案,有效问卷215份,问卷有效率80.0%。通过该模型对本次培训班培训质量进行评价,并使用SPSS统计分析软件进行数据清洗、整理和分析,结果如下。

4.1 整体情况分析

本次实证数据结果表明,整体培训满意度高,具体数据如图2所示。整体“满意”评价占比高达96.2%,平均得分4.71,标准差0.42(用于度量个体偏离平均值的离散程度),“非常满意”评价集中度高。没有“不满意”和“非常不满意”情况。同时,“策划组织、设施环境、课程师资和支持服务”四个维度“满意”及以上评价占比均在97%以上。说明调研对象对于培训的策划组织、设施环境、课程师资和支持服务都很认可。

4.2 个别维度聚焦

本模型优势不仅能够科学整体地评价每位学员反馈情况,而且能够聚焦培训过程中需要改进或完善的地方。如通过本次实证数据分析发现以下内容。

4.2.1 策划组织水平需进一步提升

培训组织策划是培训项目成功实施的保证,是培训质量提升的关键变量。通过前期方差分析可以看出,大部分样本对于各维度满意水平无显著性差异。但在“策划组织”维度,部分样本呈现出明显差异。如:36岁及以上样本对于策划组织维度测评均值价明显低于其他年龄样本均值;研究生及以上学历对于“策划组织”维度评价均值明显低于本科及以下样本均值。

通过进一步分析“策划组织”维度,笔者发现“策划组织”项下的二级指标“培训时间安排”得分最低。说明“策划组织”测评均值较低主要在于“培训时间安排”维度测评均值低。可能原因是培训学习与原岗位工作冲突较多,尤其是36岁及以上或研究生以上样本群体一般属于单位骨干力量,工学平衡问题更显突出。

所以,后期在培训策划前,需要切实做好需求调研,重点关注单位骨干力量人群,力争平衡工学矛盾,进一步提升整体培训策划组织水平。

4.2.2 支持服务过程需持续完善

培训支持服务为培训项目顺利开展提供后勤保障,支持服务水平优劣直接影响培训感受水平。在“学历”样本水平方差分析过程中,发现研究生及以上学历样本均值对于“支持服务”维度评价明显低于本科及以下样本均值。同样,从各维度满意度评价分布情况中也能看出“支持服务”维度“非常满意”评价占比72.09%,低于“课程师资”“设施环境”“策划组织”三个维度。

通过进一步分析“支持服务”维度,笔者发现“支持服务”项下的二级指标“餐饮服务”测评均值为4.61,仅排在“培训时间安排”之前,处于倒数第二的位置。排除不在培训地就餐或偶爾就餐但仍做评价因素的影响外,说明调研对象中有部分学员对于餐饮服务有所要求。

所以,后期培训为进一步提升支持服务保障水平,应需参考学员需求,合理改善住宿餐饮条件,为学员学习生活提供更好的环境保障。

5 结论

基于SPSS统计分析软件的培训质量评价模型,以Kirkpatrick四层评价模型—反应层和质量管理—过程方法为理论依据,以AHP层次分析法确定权重为前提,按照分解、比较、判断、综合的思维方式进行综合评价。且充分考虑题项、二级指标和一级指标等各级变量的相关关系、影响关系具有很强的科学性和实际应用价值。同时,该模型以SPSS统计分析软件为评价工具,能够深层次挖掘测评数据,探求不同样本水平、不同评价维度的表现数据以及交互信息,能够很好聚焦个别样本水平和继续改进提升的评价维度,为持续提升培训质量提供决策支持。

参考文献:

[1]张媛涛.公务员培训效果评价研究[D].西安:西北大学,2019.

[2]韩晋伟.某航天企业安全生产培训效果评价研究[D].北京:首都经济贸易大学,2019.

[3]李诗然.基于信息化平台的《员工培训与开发》全过程考核方法研究[J].科技经济导刊,2020,28(3):16-17.

[4]周俊.问卷数据分析——破解SPSS的六类分析思路[M].北京:电子工业出版社,2017.

[5]邢凯.基于灰色综合评价法的供应商评价[J].纳税,2017(13):66-67.

[作者简介]姚津,硕士,中级职称,中电伟恒(北京)科技发展有限公司天津分公司,研究方向:人力资源。

猜你喜欢
培训质量评价模型
全日制专业学位硕士研究生职业能力培训质量分析与改进措施
供给侧改革背景下职业培训问题研究
基于DEA的汽车上市公司相对效益评价
公共图书馆数字化服务的有效性评价模型
基于学业质量的增值性评价系统的分析与构建
基于产业集群的技术创新风险评价模型构建
基于熵权法的西安市外向型经济发展综合评价研究
加强党校建设提高培训质量
浅谈铁路职工教育培训质量的提高
浅谈我市职业技能培训的现状及改善途径