胡自强
摘 要 对卷烟工厂公文筐测验人才选拔项目信度和效度的研究表明,该测评具有良好的信度(克朗巴哈系数为0.752);各测评维度之间的相关系数为0.400~0.783,维度得分与总分之间的相关系数为0.592~0.879,结构效度较好,测评维度间不存在共线性,通过效标效度检测在5个测评维度上显著。
关键词 公文筐测验 张烟公司 后备人才 信度 效度
一、项目背景
青年是社会上最富活力、最具创造性的群体,青年员工则是卷烟工厂深化改革、持续发展的根本动力和希望之星,但通过“笔试+面试”的传统方法,无法可信且有效地识别高素质青年人才。本文以张家口卷烟厂有限责任公司(以下简称“张烟公司”)青年管理后备人才为研究对象,研究公文筐测验在卷烟工厂后备人才选拔、培养工作中的作用和意义,并对测评信度和效度进行实证研究。
公文筐测验是对实际工作中管理人员掌握和分析资料、处理各种信息,以及作出决策的一种抽象和集中,是评价中心技术中最核心的技术之一,具有明显优势,一是真实再现实际工作的多种情境,二是全面反映测评对象的多种能力,三是灵活设置多种参考得分因素,四是有效预测测评对象成长趋势。[1]
近年来,对公文筐测验的研究主要集中在两个方面:一是对信度和效度的研究,大部分学者认为具有较高的信度和较好的效度;二是对公文筐测验应用的实证研究。目前,针对某一行业、某一岗位的公文筐测验信度效度的实证研究较少,将测评应用于后备人才选拔并进行信度效度研究尚属首次。本研究在两个方面进行了创新:一是延展了测评对象的范围,扩展到后备人才;二是丰富了测评维度,体现了张烟公司岗位胜任模型的特点。
二、研究过程
(一)测评对象的产生
本次测评的对象共47名,为张烟公司“青年骨干员工成长绿色通道计划”(以下简称“1458”计划)经过部门推荐产生的管理后备人才初选人。“1458”计划是要编制青年骨干员工职业成长的“一个规划”,通过筹建管理、技术、操作、营销四类后备人才库,建立青年骨干员工职业成长“五条通道”,制定选育用留的“八项措施”。
(二)测评维度的确定
测评维度确立主要通过文献查阅法和访谈法进行研究,经过四个步骤:一是查阅近年来国企中层管理人员胜任力方面的研究成果;二是访谈张烟公司主要领导、分管领导、人力资源部负责人、人事测量专家等,掌握中层管理人员的工作任务、职权范围、管理对象及任职条件;三是通过寻找发掘在张烟公司及其他国企发生的真实管理案例,挖掘优秀中层管理人员的特点;四是对发掘出的素质要素进行评价,以生产管理部副主任这一中层职务为模拟职位,形成胜任该职位需要素质要素,建立胜任力模型,即时间管理、授权、跨部门沟通协调、制度执行、客户至上、管理领导、同理及激励下属和问题综合解决八种能力,并据此构建测评维度。
(三)测评试题的开发
1.测评情境的设定。设定“直接上级紧急参加全封闭培训,且手机屏蔽,无法联系请示”这一时间紧迫、孤立无援的情境,要求测评对象“临时全权负责直接上级离开后24小时内发生的部门管理工作”,并在1.5小时内按要求处理并完成试卷提供的文件。
2.测评文件的收集。测评文件通过三种方式收集:一是作为最重要的来源,收集在确定测评维度过程中通过访谈得到的真实管理案例和典型管理事件;二是查阅文献资料获得的经典案例;三是人事测量专家为本次测评设计的特定情境和文件。实施过程中收集了15名经验丰富的管理人员谈及的重要事件,并收集了10份张烟公司的管理制度和体系文件。
3.测评试题的编制。按照张烟公司文件的常用形式和行文习惯,对收集到的案例和情境进行转化,形成了公文筐测验中的6份文件,内容包括该岗位经常处理的生产、设备、安全、质量、人事、危机处理等。为检验测试文件与测评维度的相关性和一致性,由张烟公司人员及人事测量专家共9人组成专家组,对文件逐一进行复检复评,并研究确定6份文件的轻重缓急和在试卷中出现的顺序,最终形成正式试卷。
(四)评价体系的确立
1.评分人员。人事测量专家和张烟公司人员共9人组成评分人员,在阅卷前对评价办法和得分要点进行集中培训,并随机选出3份试卷进行试阅,发现问题,进行讨论研究并形成共同意见。
2.评分方法与标准。本次采用维度评定计分法,首先对8个维度单独给予分数,再合计得出总分,制定了包括8个维度、4个得分等级的评价标准。以“客户至上能力”为例,面对“产品被工艺质量部查出存在轻微质量问题要求返工,但客户着急要货”的情境,测评对象“有站在客户角度思考的意识,下令加班返工并协调人力资源部支持”的得满分5分;“有站在客户角度思考的意识,并进行安排”的得3分;“与质量部门沟通无果,不得已返工”的得2分;“利用客戶急着要货为由,强迫工艺质量部让步放行”的不得分。
三、结果分析
应用SPSS18.0统计软件,利用统计学方法对测评成绩进行信度检视和效度分析。
(一)信度检视
采用社科研究最常用的信度分析方法——Cronbach's Alpha对本次测验进行信度检视,试题的信度系数为0.752,说明具有较好信度。
(二)效度分析
采用结构效度和效标效度进行分析。
1.结构效度。通过分析8个测评维度得分对总得分的贡献性,即计算相关系数来分析结构效度,结果如表1所示。
测评维度得分之间的相关性最低为0.400,最高为0.783,在0.01水平上显著,表明各测评维度之间存在区分性。各测评维度得分与总得分之间的相关性最低为“授权能力”(0.592),最高为“问题综合解决能力”(0.879),在0.01水平上显著,表明各测评维度得分对总得分贡献显著,可以得出结构效度良好的结论。另外,利用多元线性回归分析各测评维度得分与总得分之间的共线性,结果如表2所示。endprint
如表2,Tolerance最低为0.221,最高为0.641,全部大于建议临界值0.1,VIF最低为1.560,最高为4.524,全部小于建议临界值5,可以排除各测评维度得分与总得分之间多重共线性存在的可能性,[2]进一步印证了本次测评结构效度良好的结论。
2.效标效度。以基层经历和多岗位经历为效标进行效标效度研究,探求测评得分与基层经历、多岗位经历的关系。将具有丰富基层经历且具有多岗位锻炼经历的测试对象定义为“培养组”,其他测评对象定义为“其他组”,分析各测评维度M 、SD、t、P,结果见表3。
如表3,在8个测评维度得分上,“培养组”“其他组”在时间管理、跨部门沟通协调、制度执行、同理及激励下属、问题综合解决等能力上差异较为显著,而在授权、客户至上、管理领导等能力维度上差异不显著。其中,问题综合解决能力差异最为显著(P<0.001);跨部门沟通协调能力次之(P<0.01);时间管理能力、制度执行能力和同理及激励下属能力也较为显著(P<0.05)。由此可以看出,本次测评在时间管理、跨部门沟通协调、制度执行、同理及激勵下属、问题综合解决等5个测评维度上可以有效辨别,但在授权、客户至上、管理领导等测评维度上辨别效度不高。
(三)胜任状况
22名参加测评的初步人选通过测评成为首批入库人选,他们在8个测评维度上的总体表现较好,体现出较强的能力水平和发展潜力,但也存在短板。其中,时间管理能力水平较高,满分30分,平均分为24.91;授权能力水平较低,满分5分,平均分为3.94;其他能力仍处于中等水平,需要进一步提升,具体见表4。
这与入库人选现阶段的工作内容、培养进程和发展现状是一致的。由于他们目前还处于一般管理岗位,主要负责具体业务的执行和日常行政事务,职责单一、权限较小,距培养目标仍有差距。
四、结论展望
本研究通过文献查阅法和访谈法,以生产管理部副主任为模拟岗位建立能力胜任模型并构建测评维度,通过访谈真实案例、设置特定情境,提升测评文件针对性,保证测评的信度和效度。在后续培养中,张烟公司将充分利用本次测评结果,从知识提升和实践锻炼两方面快速弥补能力短板,全面提升综合素质。
参考文献
[1] 刘小平,邓靖松.现代人力资源测评理论与方法[M].广州:中山大学出版社,2006.
[2] 高辉.多重共线性的诊断方法[J].统计与信息论坛,2003,18(1):73-76.endprint