福州市勘测院 赵毅
360°考核信度与效度检验研究
——基于某国企
福州市勘测院 赵毅
摘 要:本文以绩效理论为基础,在某国有企业内部收集员工年度考核问卷数据,通过统计分析,对问卷的内部一致性、评分者一致性信度,以及结构效度进行量化检验,为企业绩效管理的优化改进提供依据,以期为我国企业绩效管理的发展提供借鉴。
关键词:绩效管理 360°考核 信度 效度
绩效考核(performance appraisal)是绩效管理(performance management)三大环节(制定标准、绩效考核、反馈与改进)中非常重要的一环,在整个绩效管理全过程中起着承上启下的作用。可以说一个成功的薪酬管理机制,必然有一个科学高效的绩效考核机制与之相配套。在当前我国人力资源管理实践中,许多企业开始使用科学的测度量表和信息系统,用于消除单一考评和其他干扰因素,提高绩效管理的准确性,360°考核是具有科学性和实用性的一种考核手段。由于360°考核来自上级、平级、下级等多个层面,因此能够比较准确地反映一个员工的绩效,也由此为越来越多的企业所采用。据《财富》杂志评出的前1000家大企业中,有90%以上应用了360°考核的部分或全部内容,具有广泛的实际应用价值。
调查问卷是国际上广泛采用的一种调查研究方法,是进行360°考核的基础性工作,其质量的高低直接影响着考核结果的可靠性与应用性。本文中所使用的问卷构建了以“ 策划力、执行力、管理力、凝聚力、工作绩效”5个维度为一级指标,按相应权重划分为12个二级指标的评价指标体系。
2.1评价主体的确定
本文以某国企二线职能部门中层干部年度绩效评价为内容,按照360°考核设计原则,选择与被评者工作有联系的人员作为评价主体,范围涵盖企业领导(上级)、平级(部门中层)、下级(基层员工),以及关联人员(职代会代表、其他部门人员)、员工自评等,如图1所示。
图1 某国企360°评价模型示意图
2.2绩效评价体系的确定
首先,根据绩效考核理论和企业实际,设计出“策划力、执行力、管理力、凝聚力、工作绩效”5个一级结构变量。其次,每个一级结构变量可细分为相应的二级变量,如策划力包含“创造力、计划性”,执行力包含“主动性、准确性、效率性”,工作绩效包含“本职工作、重点工作”等。问卷按照百分制设计,每个一级结构变量赋予20%权重;二级变量根据其特点给予相应的权重赋值。如图2所示。
图2 某国企绩效评价体系树状图
2.3数据采集
本次考评方式为采取无记名投票方式。被评主体10名,评价主体31名,合计有效票数一共为310票,统计票数后按总分得分高低进行排序。
信度即问卷的“可信度”,是指运用相同的方法对同一对象进行多次重复测试后,所得出结果的一致性程度。在以信度系数进行表示时,信度系数越大,则测试的可信度越高。效度(Validity)即问卷的“有效性”,是指问卷与其所欲测试的事物之间的契合度。在以效度系数进行表示时,效度系数越大,则测试结果距其真实测试目的就越接近。
3.1信度检验
信度分析方法主要包括:重测信度、复本信度、内部一致性信度和评分者信度。本研究以SPSS Statistics 22为数据分析工具,分别采用克朗巴哈(Cronbach)α信度系数法、肯德尔(Kendall’s W)和谐系数法,对问卷的内部一致性和评分者一致性进行检验。
(1)Cronbach α系数检验。内部一致性信度考察的是量表当中条目与条目间的一致性,使用Cronbach α系数进行检验较为合适,其计算公式为:
表1 Reliability Statistics
(2)Kendall’s W系数检验。评分者一致性考察的是评分者信度,Kendall’s W和谐系数能够计算多个等级变量的相关程度,从而反映出多个评分者给同一批问卷进行评分的一致性程度。当评分者意见完全不一致或完全一致时,0≤W≤1。在进行和谐系数计算及显著性检验前,先将各个评分者维度的变量进行按秩排列,转化为等级分数。本文因存在相同等级的情况,因此,需要计算校正系数,计算公式为:
表2 Test Statistics
3.2效度检验
信度系数的高低不一定与效度正相关,因此在信度分析的同时,需要进一步进行效度分析。效度分析方式主要有内容效度(Content validity)、准则效度(Criterion Validity)和结构效度(Construct validity)。本项研究主要从结构效度,即从问卷特质测量程度入手进行因子分析。根据统计理论观点,如KMO值>0.5,则可以进行因子分析。
以一级变量为维度,进行KMO及Bartlett’S球形检验,KMO值为0.874,大于0.5,说明问卷的结构效度较好。Bartlett’S球形检验Sig=0,说明它的数据服从正态分布,适合进行分析。如表3。
表3 KMO and Bartlett's Test
降维处理后,每个变量的变异均可由提取的因子有效解释,提取的1个公因子解释了总方差的93%。如表4。
表4 Total Variance Explained
对数据进行二次整理,进行回归分析,评价总分与评价得分的线性相关度。如表5。
表5 Coefficientsa
从线性回归分析可以看出,总分与提取的因子1的Sig显著,也就是说10名被考评者的得分与其各项结构变量(绩效)是密切相关的,问卷考核的效度较佳。
对问卷数据进行分析,得到以下方面结论。
(1)问卷的内部一致性信度在可接受的范围内,问卷统计结果具有实际价值,值得进一步进行分析;
(2)问卷的评分者信度较低,说明评分者评价离散程度较大,评价机制仍具有不完善之处,需加以改进;
(3)问卷的结构效度较高,使用因子分析,所提取的因子解释总方差在90%以上,说明使用此测量工具如应用得当,能较有效反映其欲测度的人员实际绩效。
为提高360°考核的信度与效度,笔者提出如下改进建议。(1)正确遴选评价主体。360°考核是一种多源考核,但切忌“惟多源论”。首先应选择适合的评价主体,否则将造成评价主体良莠不齐,考核结果适得其反。故应遴选与被考评者真正有较密切工作交集的、对其工作绩效与工作特征充分了解的相关主体,确保评价的客观与真实。(2)加强考评前培训。考评前有必要对考核者进行培训,使每个考核主体都尽可能地对每个评价项目具有相同的理解,明确其含义,知道如何正确评分,从而最大限度地消除因人为因素造成信度降低,避免影响考评结果。
参考文献
[1] 张德.人力资源开发与管理[M].北京:清华大学出版社,2012.
[2] 宇传华.SPSS与统计分析[M].北京:电子工业出版社,2006.
[3] 吴明隆.问卷统计分析实务[M].重庆.重庆大学出版社,2010.
[4] 张雪,林志健,董玲.基于360度模式的药品安全监管能力评价问卷设计[J].中国药事,2014(7).
[5] 刘畅.企业员工工作绩效问卷的编制[J].北华航天工业学院学报,2013(3).
中图分类号:F272
文献标识码:A
文章编号:2096-0298(2016)06(c)-171-02
作者简介:赵毅(1981-),男,福建福州人,经济师,硕士研究生,主要从事管理咨询方面的研究。