360°考核信度与效度检验研究
——基于某国企

2016-08-11 08:19福州市勘测院赵毅
中国商论 2016年18期
关键词:效度信度一致性

福州市勘测院 赵毅



360°考核信度与效度检验研究
——基于某国企

福州市勘测院 赵毅

摘 要:本文以绩效理论为基础,在某国有企业内部收集员工年度考核问卷数据,通过统计分析,对问卷的内部一致性、评分者一致性信度,以及结构效度进行量化检验,为企业绩效管理的优化改进提供依据,以期为我国企业绩效管理的发展提供借鉴。

关键词:绩效管理 360°考核 信度 效度

1 问题的提出

绩效考核(performance appraisal)是绩效管理(performance management)三大环节(制定标准、绩效考核、反馈与改进)中非常重要的一环,在整个绩效管理全过程中起着承上启下的作用。可以说一个成功的薪酬管理机制,必然有一个科学高效的绩效考核机制与之相配套。在当前我国人力资源管理实践中,许多企业开始使用科学的测度量表和信息系统,用于消除单一考评和其他干扰因素,提高绩效管理的准确性,360°考核是具有科学性和实用性的一种考核手段。由于360°考核来自上级、平级、下级等多个层面,因此能够比较准确地反映一个员工的绩效,也由此为越来越多的企业所采用。据《财富》杂志评出的前1000家大企业中,有90%以上应用了360°考核的部分或全部内容,具有广泛的实际应用价值。

2 调查问卷的设计

调查问卷是国际上广泛采用的一种调查研究方法,是进行360°考核的基础性工作,其质量的高低直接影响着考核结果的可靠性与应用性。本文中所使用的问卷构建了以“ 策划力、执行力、管理力、凝聚力、工作绩效”5个维度为一级指标,按相应权重划分为12个二级指标的评价指标体系。

2.1评价主体的确定

本文以某国企二线职能部门中层干部年度绩效评价为内容,按照360°考核设计原则,选择与被评者工作有联系的人员作为评价主体,范围涵盖企业领导(上级)、平级(部门中层)、下级(基层员工),以及关联人员(职代会代表、其他部门人员)、员工自评等,如图1所示。

图1 某国企360°评价模型示意图

2.2绩效评价体系的确定

首先,根据绩效考核理论和企业实际,设计出“策划力、执行力、管理力、凝聚力、工作绩效”5个一级结构变量。其次,每个一级结构变量可细分为相应的二级变量,如策划力包含“创造力、计划性”,执行力包含“主动性、准确性、效率性”,工作绩效包含“本职工作、重点工作”等。问卷按照百分制设计,每个一级结构变量赋予20%权重;二级变量根据其特点给予相应的权重赋值。如图2所示。

图2 某国企绩效评价体系树状图

2.3数据采集

本次考评方式为采取无记名投票方式。被评主体10名,评价主体31名,合计有效票数一共为310票,统计票数后按总分得分高低进行排序。

3 信度与效度检验

信度即问卷的“可信度”,是指运用相同的方法对同一对象进行多次重复测试后,所得出结果的一致性程度。在以信度系数进行表示时,信度系数越大,则测试的可信度越高。效度(Validity)即问卷的“有效性”,是指问卷与其所欲测试的事物之间的契合度。在以效度系数进行表示时,效度系数越大,则测试结果距其真实测试目的就越接近。

3.1信度检验

信度分析方法主要包括:重测信度、复本信度、内部一致性信度和评分者信度。本研究以SPSS Statistics 22为数据分析工具,分别采用克朗巴哈(Cronbach)α信度系数法、肯德尔(Kendall’s W)和谐系数法,对问卷的内部一致性和评分者一致性进行检验。

(1)Cronbach α系数检验。内部一致性信度考察的是量表当中条目与条目间的一致性,使用Cronbach α系数进行检验较为合适,其计算公式为:

表1 Reliability Statistics

(2)Kendall’s W系数检验。评分者一致性考察的是评分者信度,Kendall’s W和谐系数能够计算多个等级变量的相关程度,从而反映出多个评分者给同一批问卷进行评分的一致性程度。当评分者意见完全不一致或完全一致时,0≤W≤1。在进行和谐系数计算及显著性检验前,先将各个评分者维度的变量进行按秩排列,转化为等级分数。本文因存在相同等级的情况,因此,需要计算校正系数,计算公式为:

表2 Test Statistics

3.2效度检验

信度系数的高低不一定与效度正相关,因此在信度分析的同时,需要进一步进行效度分析。效度分析方式主要有内容效度(Content validity)、准则效度(Criterion Validity)和结构效度(Construct validity)。本项研究主要从结构效度,即从问卷特质测量程度入手进行因子分析。根据统计理论观点,如KMO值>0.5,则可以进行因子分析。

以一级变量为维度,进行KMO及Bartlett’S球形检验,KMO值为0.874,大于0.5,说明问卷的结构效度较好。Bartlett’S球形检验Sig=0,说明它的数据服从正态分布,适合进行分析。如表3。

表3 KMO and Bartlett's Test

降维处理后,每个变量的变异均可由提取的因子有效解释,提取的1个公因子解释了总方差的93%。如表4。

表4 Total Variance Explained

对数据进行二次整理,进行回归分析,评价总分与评价得分的线性相关度。如表5。

表5 Coefficientsa

从线性回归分析可以看出,总分与提取的因子1的Sig显著,也就是说10名被考评者的得分与其各项结构变量(绩效)是密切相关的,问卷考核的效度较佳。

4 结语

对问卷数据进行分析,得到以下方面结论。

(1)问卷的内部一致性信度在可接受的范围内,问卷统计结果具有实际价值,值得进一步进行分析;

(2)问卷的评分者信度较低,说明评分者评价离散程度较大,评价机制仍具有不完善之处,需加以改进;

(3)问卷的结构效度较高,使用因子分析,所提取的因子解释总方差在90%以上,说明使用此测量工具如应用得当,能较有效反映其欲测度的人员实际绩效。

为提高360°考核的信度与效度,笔者提出如下改进建议。(1)正确遴选评价主体。360°考核是一种多源考核,但切忌“惟多源论”。首先应选择适合的评价主体,否则将造成评价主体良莠不齐,考核结果适得其反。故应遴选与被考评者真正有较密切工作交集的、对其工作绩效与工作特征充分了解的相关主体,确保评价的客观与真实。(2)加强考评前培训。考评前有必要对考核者进行培训,使每个考核主体都尽可能地对每个评价项目具有相同的理解,明确其含义,知道如何正确评分,从而最大限度地消除因人为因素造成信度降低,避免影响考评结果。

参考文献

[1] 张德.人力资源开发与管理[M].北京:清华大学出版社,2012.

[2] 宇传华.SPSS与统计分析[M].北京:电子工业出版社,2006.

[3] 吴明隆.问卷统计分析实务[M].重庆.重庆大学出版社,2010.

[4] 张雪,林志健,董玲.基于360度模式的药品安全监管能力评价问卷设计[J].中国药事,2014(7).

[5] 刘畅.企业员工工作绩效问卷的编制[J].北华航天工业学院学报,2013(3).

中图分类号:F272

文献标识码:A

文章编号:2096-0298(2016)06(c)-171-02

作者简介:赵毅(1981-),男,福建福州人,经济师,硕士研究生,主要从事管理咨询方面的研究。

猜你喜欢
效度信度一致性
关注减污降碳协同的一致性和整体性
注重教、学、评一致性 提高一轮复习效率
《广东地区儿童中医体质辨识量表》的信度和效度研究
IOl-master 700和Pentacam测量Kappa角一致性分析
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
平衡损失函数下具有时间效应和通胀因子的信度估计
基于事件触发的多智能体输入饱和一致性控制
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
中文版脑性瘫痪儿童生活质量问卷的信度
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度