北京市事业单位公开招聘考试模式评析

2018-10-18 10:59江爱世陈海平刘燕伟
中国人事科学 2018年5期
关键词:工勤效度题型

□ 江爱世 陈海平 刘燕伟

一、研究背景

(一)事业单位公开招聘考试相关政策

2005年年底,人事部发布了《事业单位公开招聘人员暂行规定》[1],要求自2006年1月1日起,事业单位新进人员,除国家政策性安置﹑按照干部管理权限由上级任命人员﹑涉密岗位等特殊情况,都要实行公开招聘。公开招聘的公开性和规范性能够有效保证公开﹑公平﹑公正原则的实现,促进事业单位选人制度的转变,大大拓宽用人单位选人范围,引导并营造了公平竞争﹑公开有序的人才选拔环境。2006年,人事部颁布《事业单位岗位设置管理试行办法》[2],对事业单位岗位的分类分级做出了具体规定,健全了事业单位岗位设置管理制度,对实现按岗聘任具有重要意义。

2004年,北京市政府办公厅和人事局分别下发了《北京市事业单位岗位设置管理暂行办法》和《关于北京市事业单位补充人员实行公开招聘有关问题的通知》,为深化北京市事业单位人事制度改革,建立符合北京市特点的事业单位人事管理制度,进行了大胆的探索。为贯彻人事部政策要求,落实加快推进事业单位人事制度改革部署,为进一步规范全市事业单位公开招聘工作,2010年4月北京市人力资源和社会保障局下发《关于印发〈北京市事业单位公开招聘工作人员实施办法〉的通知》[3],对事业单位公开招聘工作人员的原则﹑公开招聘考试各工作环节都提出了更加规范和严格的要求。

(二)事业单位公开招聘考试状况

事业单位补充工作人员实行公开招聘是事业单位人事制度改革的重要举措,其最终目的就是选拔最符合岗位需要的人才,而选拔过程中最重要的核心问题就是“考核评价”。事业单位涉及行业众多,是专业人才集中的地方,大量用人岗位有特别的素质要求,对招聘考试应该考什么及怎么考都提出了技术上的挑战。另外,在专业要求明确的条件下,如何甄选考生,也是一个有待研究的问题。正由于技术上的不确定性,导致用人单位在招考工作上各显神通,招考方式和内容也显得百花齐放。

由于事业单位公开招聘考试目前尚未制度化,缺乏统一规范要求,各用人单位理解﹑把握和执行政策不统一,采用程序﹑方法不规范,考试内容和形式也缺少理论依据,以致考试缺乏公信力。此外,事业单位招考争议事件频发,泄题﹑萝卜招聘﹑测评内容与工作岗位无关﹑因人设考及考试舞弊事件偶有见诸媒体,严重影响事业单位招考的公平性,对政府公信力带来一定负面的影响。

(三)北京市前期“联合考试”尝试

为进一步规范公开招聘考试工作,2007年上半年,北京市在全国率先开展了事业单位公开招聘考试服务平台的尝试(称为“联合考试”),全市统一命题,招考单位自主决定是否参加。“联合考试”推行三年,受到各事业单位的普遍肯定,解决了公开招聘工作中程序﹑方法不规范,评价的内容﹑标准不一致,考试投入成本过高,工作效率不能保证等诸多问题,在考试的权威性方面减少很多质疑。

但随着事业单位人事制度改革的不断深入,“联合考试”需进一步改进。联考所考查内容﹑形式与公务员招考考察内容﹑形式有一定相似之处;各类岗位的考察内容和形式缺乏岗位针对性,与实际岗位联系不够紧密。联考是否能够涵盖事业单位新进人员所需的素质需要值得商榷。此外,考试题目和题型有待丰富,也缺乏相对规范和统一的考试大纲,用人单位不清楚考试测量目标,考生不清楚考试要求。

针对这些问题,北京市又开始了两年多的探索,对事业单位公开招聘考试如何既能保证考试公平性,提高社会公信力,又能帮助用人单位选拔到合适的人才进行了更加深入的研究,逐渐形成了分岗位考试的事业单位公开招聘考试新模式。

二、研究历程

(一)访谈调查

2010年4月,北京市人力资源和社会保障局(专技处和人事考试中心)先后对广播电视﹑农业﹑科技等多个行业事业单位管理岗位和部分专技岗位人员进行了访谈和调查,并对多家省市人事考试机构进行了问卷调查。

在访谈和调查的基础上,考虑到对全市各类各级事业单位的适用性和通用性,确定了事业单位公开招聘人员笔试的基本定位是入门筛查,从考生中筛选具备绝大部分事业单位岗位所需素质的人才。将考试所考察的能力定位为“通用能力”,即所有性质的事业单位﹑所有岗位应该具备的基本素质,包括逻辑思维能力﹑语言文字能力﹑问题解决能力和学习能力。这些能力要素具备良好可操作性和可接受性,基本涵盖事业单位三类岗位招聘所必需考察的基本方面。

(二)拟定并发布考试大纲

历经方案设计﹑文献检索﹑招考单位访谈﹑问卷调查﹑数据分析,又经大纲编写﹑多次专家论证﹑若干次大纲修改等过程,该市于2011年年底完成了《北京市事业单位公开招聘工作人员公共基本能力笔试大纲(试行)》的草拟稿。

就大纲中“岗位区分与否”问题,鉴于前期调研及后续的总结提炼,发现目前事业单位中对于管理岗位﹑专技岗位人员的招聘,在基本能力素质要求上有很多相似之处。除此,作为事业单位人员入门素质的公共考试,测评的要素只能侧重通用的一般能力或素质,不可能涉及太多的专业技能,何况专业技能完全因岗位而异,因专业而异。因此,考试大纲在考察目标部分没有对三类岗位给予明确区分。

但鉴于用人单位对不同岗位招聘考试有区分需求,我们设计了具有不同岗位特色﹑具有较高表面效度的新题型,允许考试根据岗位需要,采用不同题型,考查不同的能力要素。如同样是考查学习能力,管理岗考试可选择百科知识题型,专技岗可选择时新知识。考虑到管理岗工作中对工作的计划和安排事项较多,计划编排就是力图模仿此类计划和安排;规则解读模仿的是管理岗工作中对政策的理解和应用工作;图形比较题型是考虑到专技岗和工勤岗工作中经常需要对细节进行处理。

经过三年的实践及研究探索,北京市人力资源和社会保障局(专技处与人事考试中心)于2015年对外发布了《北京市事业单位公开招聘工作人员公共基本能力笔试大纲(试行)》。这是北京市第一部完整的指导性的事业单位公开招聘笔试大纲,适用于北京市各事业单位管理岗﹑专业技术岗和工勤技能岗的招聘笔试,重点测试事业单位不同类别岗位的公共基本能力,旨在进一步规范事业单位公开招聘考试工作,把好北京市事业单位“进人关”。

(三)确定考试新模式

2011年大纲制定形成后,北京市人事考试中心作为命题服务机构,依据大纲,确定了事业单位公开招聘考试新模式,通过题型﹑数量﹑难度等的不同组合,形成考察能力要素不同的三类岗位试卷。

在考试时长上,管理岗和专技岗考试时长为150分钟,工勤岗考试时长90分钟。在考试内容上,三类岗试卷采用不同题型,每种题型侧重的能力有所区分,除最基本的认知能力外,专技岗针对岗位需求还考核空间关系等能力;工勤岗更偏重机械能力等。三类岗位试卷部分题型见表1,管理岗和专技岗试卷均包括客观题和主观题,工勤岗试卷全部为客观题,三类岗位试卷既有共用题型,也有各自不同的题型。

表1 北京市事业单位公开招聘同步考试笔试三类岗位试卷部分题型

新考试模式初具雏形后,我们针对新考试特别是新题型在投入事业单位进人考试中的可行性进行了专家论证,最终确定了其中大部分新题型的可行性。并于2012年1月进行试测并加以分析[4],结果表明,新题型对考生难度适中,个别题型需要适度调整,区分度总体上较高,能够较好地区分考生。新题型与传统题型具有一定相容效度,具有独立使用价值。总体而言,设计思路是合理科学的,是符合实际情况的,考试总体框架是可行的,新题型具有较好的质量,考生认同考试新题型及考试形式。

(四)考试推广情况

北京市事业单位公开招聘考试新模式,即北京市事业单位公开招聘工作人员公共基本能力笔试同步考试确立后,从2012年开始,每年进行三次考试,全市统一组织,各用人单位自愿参加。报考岗位分为管理岗﹑专技岗和工勤岗,每类岗位一套试卷。截至2017年6月,已进行17次正式考试,参与单位累计361个,考生人数累计152186人,为北京市事业单位甄选人才发挥了积极作用。

表2显示,参与考试的单位数量及考生人数基本呈逐年递增趋势,表明北京市事业单位公开招聘同步考试赢得了用人单位的认可,越来越多的单位选择通过同步考试招录人员。

表2 2012—2017年北京市事业单位公开招聘考试参加单位及考生数量

北京市事业单位同步考试历经了实践检验,受到了考生﹑用人单位等各方面的认可。问卷调查表明,对于分三类岗位考试,用人单位认为较为合适;对于该考试,用人单位总体满意度较高,认为其统一规范﹑科学有效,保证了招聘考试本身的科学性,进而保证了招聘人才的质量,也进一步提高了北京市事业单位公开招聘的社会公信力。

三、实证研究

为进一步全面﹑客观评价北京市事业单位公开招聘考试笔试试卷质量及八种新题型在实际考试中运用的效果,我们选取某年三次考试三类岗位试卷成绩作为分析对象,以考试测量理论为依据,从考试总分分布﹑题型质量分析﹑试题难度分布﹑信度和效度等方面进行分析,旨在从量化的角度,对试卷质量及新题型的质量进行实证分析;并对多次考试进行因子分析,以此探讨不同考试测查目标的稳定性。

(一)总分分布情况

按岗位类型对试卷总分分布情况的分析表明,不同岗位三次考试总分的平均分比较接近,均在64分左右,表明考试整体难度比较稳定;考试分数呈负偏态分布,即高分段考生略多。从分数范围来看,管理岗和专技岗试卷最高分与最低分之差都在70分左右,表明考生成绩分布范围比较广,能把各种能力水平考生区分开。这一结果基本符合我们的命题总体构想,体现了考试的“劣汰”定位。

(二)不同题型质量分析

衡量题型质量高低的主要指标是难度和区分度,这里以题型得分率(题型平均分/题型满分)为难度,以题型得分与总分的相关系数为区分度,分析不同题型质量。

难度方面,按得分率处于[0.3,0.7]为中等难度的标准,绝大多数题型为中等难度;而空间关系难度相对较大,但也是中等难度;图形比较相对比较容易。这说明各次考试中不同题型难度设置比较合理,试卷具有较好的区分能力。

表3 三次考试三类岗位试卷中新题型与常用传统题型的难度和区分度统计

区分度方面,新题型文稿校对﹑规则解读﹑实用写作和短文加工,常用传统题型阅读理解﹑图表解读和逻辑推理的区分度都非常好;时新知识区分度相对较低;其他题型区分度在一般至非常好之间。总体而言,大多数题型区分度比较好,能够鉴别不同能力水平考生(见表3)。

(三)试题难度分布

对于事业单位招聘考试这样大规模的考试,试卷不同难度题目分布与考试结果的测量误差密切相关。为此,我们对试卷客观题目的难度分布进行了分析,因三次考试难度分布比较相似,我们以某次考试为例来说明(见图1)。

在大规模考试中,考生的能力特征呈正态分布;为对考生作最大程度区分,题目难度分布也应正态分布,即非常难或非常容易的题目较少,越接近中等难度的题目越多。从图1可见,其中工勤岗试卷题目偏简单一些,总体来说,三类岗位试题难度都大体接近正态分布,题目难度分布比较广,难度梯度也比较多,能够较好地把不同能力水平考生区分开来,保证了考试结果的可靠性。

(四)试卷的信度

计算整卷信度α系数,以了解试卷内部所有题目间的一致性。通常,标准化的能力测验和知识测验的信度要求达到0.9以上,即测验分数很可靠;对于临时编题组卷的招聘考试,信度要求可略微降低(见表4)。

表4 三次考试三类岗位试卷整卷信度

可见,三次考试三类岗位试卷整卷的α系数大体在0.7以上,这对于招聘测验来说是可以接受的,且三次考试内部一致性比较稳定,三类岗位之间的差异也不大。这都表明该考试内部一致性信度较好,但与标准化测验相比还是存在差距,今后需要认真研究提高测验内部一致性的方法途径。

(五)效度

根据事业单位公开招聘考试的特点及目前拥有的数据,我们选取学历作为效标来研究考试的效标关联效度,并分析新题型与常用传统题型的相容效度及不同岗位考生得分差异,以此研究考试有效性。

图1 第3次考试中管理岗、专技岗和工勤岗试卷题目难度分布

1.效标关联效度

通常,人们认为不同学历考生群体的能力水平是有差别的。事业单位公开招聘这种大规模考试应能区分不同学历的考生。这里我们将学历作为效标,研究考试的效标关联效度。

统计分析结果表明,各次考试中硕士及以上﹑本科﹑专科及以下三个学历考生群体的成绩存在显著差异(Ps<0.05)。除了第2次考试中工勤岗本科和专科及以下学历考生没有显著差异,其余任意两类考生间的成绩均存在显著差异,即硕士及以上学历考生群体的成绩明显高于本科学历考生,且两者均显著高于专科及以下学历考生群体的成绩。这表明随着学历层次的提高,考生成绩也相应提高,可以认为该考试能有效区分不同能力水平的考生群体,证明该考试具有以学历为效标的实证效度。

2.相容效度

北京市事业单位公开招聘同步考试具有多个题型,不同题型所测查要素之间既有相关又有区别,因此这些题型之间的相关应该是中度以下相关但不能是无相关。我们这里着重考察新题型与常用传统题型的相容效度,考察两类题型之间是否彼此之间既相互联系又不可替代,以此分析新题型的独立价值。

表5 新题型与常用传统题型的相容效度

表5显示,新题型与常用传统题型总分之间的相关非常显著(Ps<0.05)(除第3次考试中时新知识与逻辑推理相关不显著),但相关系数都比较低,相关系数区间为0.06~0.44,从区分效度和相容效度角度来说比较理想,表明新题型与常用传统题型之间既具有比较好的独立性也具有比较好的兼容性,彼此之间既相互联系又不可替代,各个题型考察了不同的能力要素,可作为单独的测验使用,也可联合使用。

3.对不同岗位考生的区分

三类岗位试卷所侧重考察的能力要素不同,有共有的题型,如文稿校对﹑阅读理解等,各自也有特有题型。对不同类型试卷中的共有题型进行比较分析有助于我们了解分三类岗位考试的合理性和必要性。

对每个共有题型,我们在不同岗位试卷中选取相同数量题目,统计分析结果表明,3次考试不同岗位试卷的共同题型得分差异大体是显著的(Ps<0.05),表明这些题型能有效区分不同岗位的考生。其中,文稿校对﹑阅读理解和图表解读是三类岗位试卷共有的题型,事后比较发现在这三个题型上,三次考试管理岗考生的得分均显著高于专技岗(Ps<0.05),专技岗考生得分均显著高于工勤岗(Ps<0.05)(如某次考试中抽取相同数量的阅读理解题目管理岗考生平均得分3.91分,专技岗考生平均得分3.74分,工勤岗考生平均得分3.39分,两两差异显著)。句段排序﹑实用写作和逻辑推理是管理岗和专技岗试卷共有的题型,前两个题型均是管理岗考生表现好于专技岗(Ps<0.05)(如某次考试中抽取相同数量的句段排序题目管理岗考生平均得分3.74分,专技岗考生平均得分3.63分,差异显著),而逻辑推理则是专技岗考生表现更好(Ps<0.05)(如某次考试中抽取相同数量的逻辑推理题目管理岗考生平均得分6.77分,专技岗考生平均得分6.83分,差异显著)。图形比较和空间关系是专技岗和工勤岗试卷共有题型,工勤岗考生在图形比较上表现更好(P<0.05)(如某次考试中抽取相同数量的图形比较题目专技岗考生平均得分15.88分,工勤岗考生平均得分16.74分,差异显著),而专技岗考生在空间关系上表现更好(P<0.05)(如某次考试中抽取相同数量的空间关系题目专技岗考生平均得分2.03分,工勤岗考生平均得分1.49分,差异显著)。

表6 三类岗位试卷共有题型比较分析

可见,同一个题型在不同岗位上表现不同。这可能体现了不同岗位对考生能力要求不同,体现出分岗位考试的合理性。

(六)因素结构稳定性分析

不同于一般的心理测验,招聘考试的特性决定了考试题目的非重复性。每次考试都需变换题目,不仅使得不同考试之间的可比性降低,更重要的是整个考试测量目标和测量要素都可能发生变化。此外,计划编排等创新题型缺乏前期研究基础,编审题也缺乏足够经验和规范,这些都容易使考试测量目标不稳定。在整个考试不能实行等值设计的情况下,为保证历年﹑历次考试分数基本具有相同价值,实现历次考试的大致可比性,需要证明考试的测量目标具有稳定性,这对保证整个考试的公平公正,避免考生成绩受到题目变动的影响,具有十分重要的意义。

鉴于上述原因,我们对2012—2014年9次考试共40877名管理岗考生成绩进行了探索性因素分析,验证考试因素结构的稳定性[5]。结果表明,9次考试中有8次考试的因素分析都只有一个公因子,且其大多数因子载荷总和达到了30%以上,这表明考试基本上每次只测查了一个共同内容,即可认为是胜任事业单位管理岗工作的通用能力。阅读理解﹑逻辑推理和图表解读三个传统题型的因子载荷历次都最高,新题型计划编排﹑实用写作因子载荷略低但也都可以接受,表明这些题型对胜任管理岗工作有重要作用。历次考试各个题型公因子数目相同,且其因子载荷相当稳定,证明北京市事业单位公开招聘同步考试的因子结构除了偶尔波动,尽管题目变动,但是整体上具有稳定的筛查功能。

四、结论与讨论

(一)研究结论

在事业单位公开招聘考试的大背景下,为解决考试规范性和科学性问题,北京市开发了体现事业单位用人特色﹑分三类岗位考试的考试新模式。就题型而言,实证分析表明大部分题型特别是新题型难度适中,区分度比较高,其中空间关系难度偏大,图形比较题型相对容易。新题型与常用传统题型具有一定的相容效度,彰显了其独立价值。就信度而言,三类岗位试卷整体信度在0.7以上,对于招聘考试而言是可以接受的。就共有题型而言,共有题型能对不同岗位考生进行有效区分,表明了分岗位考试比较合理。就考生学历差异而言,随学历层次的提高,考生成绩也相应提高,证明这个考试具有以学历为效标的实证效度。就考试稳定性而言,历次考试各个题型公因子数目相同,且其因子载荷相当稳定,证明北京市同步考试的因子结构除了偶尔波动,整体具有稳定的筛查功能。

(二)主要特点

基于北京市事业单位公开招聘考试新模式的研究历程及实证分析,可见该考试具有以下方面的特色:大纲的制定与发布﹑分岗位考试的实施﹑题型的创新。

考试大纲作为事业单位公开招聘笔试的指导性文件,规范了事业单位公开招聘考试工作。大纲还列出了事业单位公开招聘考试必需的能力素质及可能的题型。各用人单位公开招聘笔试时,可参照大纲自主命题,也可根据岗位需求将大纲内容与专业考查内容相结合,自主设计更有针对性或和岗位联系更加密切的题型进行考核,从而更好地体现应聘者的实际潜力。

新考试模式中,分管理岗﹑专技岗和工勤岗进行考试,根据岗位要求在题型上进行不同的组合,形成了考查能力要素不同的三类试卷。对三类试卷的共有题型分析发现,同一个题型在不同岗位上的表现是不同的,这可能体现了不同岗位对能力素质的要求不同,表明了分岗位考试的合理性。

采用的八种新题型经过实际测试信效度良好,与常用传统题型之间既具有比较好的独立性也具有比较好的兼容性,体现了新题型的独立价值。规则解读﹑计划编排等题型与实际工作情景十分贴近,使得考试具备高表面效度。

(三)未来发展思考

1.简版测验的探索

简版测验是提高考试效率的有效方式,能够减少考试时间,提高考试效率和效度。目前北京市事业单位公开招聘同步考试的报考岗位划分为三个大类,每个大类使用同一套试卷,题型较多,考试时间也长达两个半小时。为提高考试对岗位的针对性,减少考试时间,提高考试效率和效度,有必要探索合适的简版测验形式。

我们对1335名专技岗考生成绩数据进行分析[6],采用主成因分析方法,按照因子载荷大小逐次增加分测验构成不同简版,按照误差尽量小﹑α错误概率小于0.05﹑统计检验力大于0.9且考生覆盖率95%以上﹑节约时间5项标准,得到了由逻辑推理﹑阅读理解﹑图表解读与短文加工组成的最优简版。这个结论还有待其他岗位考试跨期数据的支持。

2.定制化试卷考试

分三类岗位进行事业单位招聘考试,相比以前,北京市在涵盖事业单位新进人员所需的素质需要上有所进步,然而还是不能够满足不同单位不同岗位的需求。

事业单位门类繁多,领域各异,岗位职责千差万别,可能每一个岗位都有独特的需求。在未来题型成熟﹑开发充分的前提下,考试中心可以指定某些题型必考,用人单位根据岗位所需求的能力要素,事前申报自选题型,考试中心根据用人单位需求灵活组合各个题型,设置定制化试卷。这种自由组合可以很好地满足不同单位不同岗位的需求,以求得招聘考试的最大化效果。

3.加强考试效度研究

考试是否选拔出了用人单位想要的人员,员工入职后是否表现出了岗位要求的能力水平,这是衡量招聘考试是否有效的重要标准。目前对北京市事业单位公开招聘同步考试质量的效度研究停留在考后学历效标分析﹑题型间相容效度﹑考试对不同考生的区分上,缺少外部效标研究。这一方面是由于哪些是更有效的外部效标存在争议,另一方面有效收集效标数据在操作上比较复杂。

为进一步提高考试科学性,以后需要更加重视通过多种渠道收集效度资料以对考试进行检验改进。如将考试分别施测于工作绩效优秀的人员与一般的人员,或将同一题型同时施测于不同岗位﹑不同行业的人员,考察各个题型效度,以进一步调整和改进北京市事业单位公开招聘同步考试笔试。

猜你喜欢
工勤效度题型
离散型随机变量常考题型及解法
常见数列创新题型归纳
效度验证模式系统整合与效度研究发展策略
高校工勤技能人员人事档案履历分析与管理策略
《广东地区儿童中医体质辨识量表》的信度和效度研究
巧妙构造函数 破解三类题型
工勤员主管与护士长协作对手术室管理质量的影响
科研单位工勤人员管理的现状与策略
黑龙江省人力资源和社会保障厅关于做好省直事业单位工勤人员转岗聘用工作的通知
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度