评价中心技术的设计实施策略和研究进展

2015-01-30 14:14马庆霞马庆霞北京双高人才发展中心第一资源研究院高级经济师电子邮箱maqingxsinacom
中国人力资源开发 2015年12期
关键词:评价者效度参与者

● 马庆霞马庆霞,北京双高人才发展中心第一资源研究院,高级经济师。电子邮箱:maqingx@sina.com。

评价中心技术的设计实施策略和研究进展

● 马庆霞
马庆霞,北京双高人才发展中心第一资源研究院,高级经济师。电子邮箱:maqingx@sina.com。

内容摘要 评价中心技术是人员选拔和发展的有效工具,尤其是鉴别管理潜能的有价值技术。本文综述了大量研究和实践,包括评价中心的开发过程、标准化技术及选拔效度等,并从使用角度,向组织和专业人员提供评价中心的设计实施策略和未来研究的建议。

关 键 词评价中心技术 设计实施策略 效度

评价中心技术是指采用情景模拟方式,综合运用无领导小组讨论、文件筐测验、角色扮演、管理游戏、演讲测评等方法,对受测者的能力和职位胜任特征等进行测评的活动。评价中心技术(the assessment center method,ACM,以下简称评价中心)自50多年前产生以来用于人力资源管理的多个方面,包括选拔、诊断和培训等(Thornton & Gibbons, 2009)。评价中心虽然很昂贵、费时,但它是人员选拔和发展的有效工具,尤其是鉴别管理潜能的有价值技术。研究发现,评价中心和各种工作表现间的相关最高达到0.64 (Byham,1970)。

评价中心于20世纪80年代后期进入我国,近几年在我国一些政府部门和企事业单位人员选拔和评价中得到了应用。殷雷(2007)综述了评价中心的基本特点与发展趋势,孟卫东等人(2011)综述了评价中心及其应用研究,卞冉等人(2013)对评价中心的构想效度进行了综述,李文武等人(2013)对评价中心在企业中层管理人员选拔中的应用进行了阐述,刘柏涛和周斌(2014)对运用评价中心提高公务员选拔的工作效率和预测效度进行了探讨。然而,国内研究者主要集中在对评价中心基本特点、应用方法步骤及发展趋势等方面的综述上,有关评价中心的实施标准及效度研究等比较缺乏。

评价中心适用于管理人员的评价、选拔和培训等。例如,2010年北京市公开选拔224名局处级领导干部和企事业单位高级管理人员时,应用了评价中心。在公开选拔面试环节使用半结构化面试和无领导小组讨论,提供近3年业绩报告,并进行心理健康和工作压力心理测验。此次公开选拔中评价中心的应用,提高了考评工作的效度。又如,某党校尝试将评价中心应用到干部培训中,由参与培训的学员搜集实际工作案例,培训老师根据培训目标和内容对案例进行选择、加工,形成培训材料。培训主要采用文件筐练习、角色扮演、无领导小组讨论等方式,学员参与模拟,互动交流,从行为层面提升学员的能力,激发了学习热情。

本文综述了大量研究和实践,涉及评价中心的开发过程、标准化技术及选拔效度等方面,从使用角度,向组织和专业人员提供评价中心的设计实施策略和未来研究的建议,为评价中心用于人力资源管理实践提供参考。

一、评价中心的设计

评价中心的主要特征是多种评价过程。一组参与者参加多种测评或练习,一组受过培训的评价者通过观察,根据事先确定的工作相关行为评价每个参与者,交流共享数据然后做决策(Ballantyne & Povah, 1995)。Knapp等人(2011)建议,保持模拟练习的数量最小,因为许多模拟测量类似的特征,过多会使评价者混乱。评价特质6-7个足够,因为绝大多数管理职位的行为都在此范围内。

Riggio和Bronston(1997)提到,当今使用的基本评价中心模型建立在Bray五十年代在AT&T的开拓性研究上。Bray的模型测量由工作分析确定的知识、技能和能力(KSA)。KSA包括复杂的构想如领导、判断、难题解决和决策等,属于工作表现维度。至于参与者的数量,一般来说6个参与者是最适合的,因为参与者越多,评价者压力越大越易疲倦,可能导致对参与者的评价不够准确。超过12个参与者,组织工作难以控制(Ballantyne & Povah, 1995)。评价中心的设计主要包括以下几个方面。

1.评价中心管理人员

这一领域的研究综述很少。评价中心管理人员必须能领导挑战性工作,熟悉研究文献、建立人际关系、制定标准、编辑相关资料并设计,给高层提供科学的计划建议。Knapp等人(2011)建议评价中心管理人员应来自组织内部,有强大的教育背景,从事过评价计划开发和实施,有较强的领导技能,感觉敏锐,有前瞻性,受组织尊重,有自主权,并获得高层领导的支持。

2.工作分析

在设计评价中心时,首先需要开发目标职位的职能要求、人际责任、环境因素和成功表现要求的行为因素,并从行为角度描述要评价的特征,以指导练习的选择(Ballantyne & Pavah, 1995)。Knapp等人(2011)提出几个有效的来源帮助确定最重要的表现标准。工作说明书列出职位要求的许多关键行为维度。工作分析是有价值的工具,可以在人力资源部门、成功的在职者、观察、工作活动调查表或受尊敬的管理者帮助下完成,也可参考标杆管理。详细的有区分度的行为能增强评价中心预测的成功程度。

3.建立正确的练习组合

需要建立正确的练习组合,保证参与者有足够机会表现与特定标准有关的能力。Knapp等人(2011)建议至少从3-4个练习中搜集资料。人们通常在三种情境中工作:小组,一对一,自己单独工作,评价中心内容需要反映人们不同的工作情境。

4.评价人员的选拔和培训

高素质的评价者团队对评价中心的成功非常重要,评价人员可以是目标职位的上级经理、人力资源经理、心理学家和外部顾问。Knapp等人(2011)建议使用内部人员,从组织外部聘请专家既花费昂贵,也可能缺乏组织文化知识,同时参与者的信任和尊重也是使用内部评价者的理由。评价中心管理人员必须意识到“偏见”因素,使用多个评价者、多个练习、对观察和评定进行小组讨论、适当的培训及多种评价都有助于降低这一因素。

评价者的另一个重要的成功变量是针对选拔标准,准确观察、归类和评定参与者的能力,并用简洁的报告进行描述。选择的评价者必须有时间,愿意把精力放在评价任务上,因为评价结果对参与者未来有很大影响。大多数研究者建议使用6-12个评价者。Knapp等人(2011)认为6人是可行的数量。少于6人可能导致无效果的讨论,多于6人可能使讨论时间过长,一些评价者可能丧失兴趣或几乎不发言。

在评价中心过程中评价者的培训很重要。一旦选择了基本的标准,评价中心管理人员有许多可用的培训工具。首先,选择模拟练习。评价中心管理人员要熟悉模拟和培训资料,负责对评价者的培训。如果可能,培训应在测评现场外进行。Knapp等人(2011)建议四天培训计划,3-4个行为练习,培训时间的具体长短依赖于评价者能否较快地熟悉行为维度的鉴别、归类和评定并达成一致。

培训时,评价中心管理人员介绍每个练习,包括其设计、目的和样例。有时使用角色扮演确保培训的深入和全面。可以使用模拟录像,也可以聘请角色扮演者进行模拟,确保评价者理解行为维度并能观察、记录、归类和评价,并让评价者在每个行为标准的归类和评定方面非常接近。

5.角色扮演者的选择

Knapp等人(2011)提出,绝大多数评价中心使用“问题员工”模拟,角色扮演者扮演“问题员工”。角色扮演者选拔标准包括年龄、自信、可靠和可用,主要来自地方学院和大学。一些组织使用专业演员。选拔合格的人,训练他们尽可能真实地进行模拟练习,而不是表演。评价中心管理人员培训角色扮演者,使用录像让其观察自己的表演,允许讨论并提供建设性意见。评价者观察模拟练习,讨论角色扮演者的表现。

二、评价中心的实施

1.简要通知

在评价中心开始前,用书面或电子邮件通知相关人员程序和时间表,以确保准时到达。日程表应简单,容易理解。关于练习的顺序效应几乎没有研究。Knapp等人(2011)建议,以无领导小组讨论开始,避免连续进行类似的练习。让评价者有足够的时间综述记录,尽可能早开始写报告。评价者综述记录时,可安排参与者准备下一个练习,如文件筐测验。

2.房间安排和用品准备

如果条件允许,评价中心可在工作地点之外进行。准备多个房间,能够为参与者、评价者和评价中心管理人员提供住宿。准备一张大圆桌,让参与者、评价者和评价中心管理人员围绕而坐。重要的是,每个评价者都能清楚观察指定的参与者。准备几个小房间用于面试和角色扮演,以及参与者的练习准备。所有房间应该有桌子、椅子、纸和笔等用品,并在评价前一天准备好。评价中心管理人员和工作人员应该在评价当天提前到达,确保在所有人员到达前准备好相关设施。

3.实施评价

评价开始前,评价中心管理人员详细介绍评价中心过程,大约30-60分钟。内容包括评价中心历史和目的,评价中心设计和事件的简短介绍,每个练习的简要概述,时间表,介绍评价者和角色扮演者;阐明评价者的任务,包括观察和记录,评价过程,以及最后的报告,评价结论等。应该把评价者集中在会议室,每个人进行自我简介,并说明房间安排,如果需要可以参观。

评价中心文献表明,参与者感受到不同程度的焦虑。参与者在同伴、经理面前面临较大压力。评价中心管理人员的一个职责是帮助参与者尽可能放松,降低他们的压力。研究表明,大多数评价持续一天至一天半,主要依赖于练习数量。Knapp等人(2011)建议评价最多一天半,如果可能尽可能短。通常早上8点开始,下午4点结束。评价者应尽早开始评价,当天晚上完成对所有参与者的评价;如果没有完成,可安排第二天早点开始。如果使用一天半评价中心计划,第二天上午11:00-11:30结束,大约下午1:00开会。当天完成对所有参与者的评价。

结束评价的专业方式是集合所有的参与者、评价者、角色扮演者、工作人员,表示对每个人支持的感谢。说明评价者准备评价报告的要求,给参与者反馈的时间和形式,提醒参与者回去工作后不要讨论评价的任何细节。如果使用跟踪调查表,应阐明其意义。

4.评价者讨论和撰写报告

(1)评价者讨论

评价者完成报告和最后的评定等级之后,开始讨论。通常依次对参与者在每个练习中、在所有标准上的表现给出一致分数。Boyle等人(1995)总结了三种方法:第一,评价者报告证据,给出自己的评定,其它评价者讨论证据,同意或修改。这是最传统的方法。第二,评价者报告证据,其它评价者讨论证据,小组达成一致评定。第三,评价者报告证据,独自评定,然后取平均。这一方法的变异包括评价者讨论有差异的评定(通常在五点量表上大于一点的差异)。研究表明最初评定的统计整合与一致方法产生的总体评估高度相关。Thornton和Rupp (2006)研究发现,不管一致讨论还是统计整合方法都导致总体评估等级和表现标准间的更高相关。Knapp等人(2011)认为,第一种方法最合适,争议最小,可对不同观点公开讨论。解决讨论中的争议时,重点在于评价者达成一致的判断标准。

(2)撰写评价报告

评价中心报告有多种形式。Ballantyne 和Povah (1995)提供的格式最有代表性,可以作为指导,报告包括四个部分:一是个人概况,包括在单个标准上的表现和总的表现概述;二是个人在各个练习中的表现概况;三是个人优点和缺点;四是发展需要和行动计划。

Knapp等人(2011)建议,评价中心管理人员写最后报告,因为其对评价中心最有经验,参与所有的评价讨论,对组织内可用的资源有更好的了解,能提出适当的发展建议,而且可使报告的撰写方式一致。虽然这种方法花的时间最长,但每个报告花的时间会越来越少,因为行为表现描述、评价和建议具有相似性。

三、评价中心中的反馈和追踪

1.反馈

反馈是评价中心的最重要部分,如果用于发展,反馈更详细。Knapp等人(2011)建议,反馈在评价结束后一周内进行,评价中心管理人员与参与者面对面,没有其它人在场。反馈的目的是确保评价对参与者个人成长的价值。评价中心管理人员应提供可理解的具体评价信息,表示对参与者的关心,回答参与者的问题。通常参与者对反馈非常焦虑,评价中心管理人员应在反馈开始前聊天,帮助参与者放松。讨论当前的事件、工作和对评价的反应等等。从时间上看,可选择周五反馈,参与者因而可以利用周末来考虑讨论的结果。反馈后对参与者的任何问题开放。每个参与者应该接到评价中心结果的个人册子,作为反馈的基础。建议给参与者提供复印件,评价中心管理人员保存1份,复印件保存在中心图书馆供未来参考。

2.发展计划

如果评价中心用于选拔,发展计划的设计并不是必要的。如果评价中心用于发展,本部分很重要。对内部参与者的发展计划,重要的是员工理解并认识到,建议的发展计划的成功依赖于三方,即培训和发展的专业人员、参与者的经理和参与者本人。为了帮助参与者开发弱项,发展计划应该集中在建议参与适当的工作相关情境的机会,由经理、教练提供即时反馈。

3.追踪

在评价后适当时间内进行追踪是有益的。追踪有多种形式,用电子邮件追踪评价者和参与者,了解他们的看法和对未来评价的建议。如果进行追踪,建议在各方遗忘前尽可能早开始。邮件可包括相关问题的满意度评定,以及有限数量的开放问题,追踪形式要短而切题。

四、评价中心用于选拔的效度

评价中心可用于选拔管理和非管理职位人员,包括:外部选拔、内部晋升、高潜能员工识别、胜任特征的鉴别,以及人员裁减和重组时员工的留用等。用于选拔时,目的是提供候选人未来在新职位上成功的能力的总评价,为便于决策,评定通常合并为总体评估等级,预测候选人在一些职位或职位簇上的未来表现。

1.内容的代表性

评价中心是一种方法,不是一个构想,不同的评价中心可能测量不同的构想(Arthur & Villado, 2008)。当然,许多评价中心评定共同或类似的维度(Arthur et al., 2003)。有恰当和代表性的内容对评价中心尤其重要,手册(International Task Force, 2008)提出,评价中心维度和练习应该基于全面的工作分析。调查表明,绝大多数评价中心基于工作分析,使用各种技术包括问卷、对在职者的观察和胜任特征模型(Spychalski et al., 1997)。用于选拔的评价中心更多进行工作分析,建立胜任模型,发展评价中心可使用组织已有的胜任模型。选拔程序与工作越相似,内容效度越好。尽可能把尽量多的实际工作要求包括在各种模拟练习中,可改进内容效度(Frank & Preston, 1982)。Sackett(1987)提出,除了维度和练习,计分系统和指导语也是评价中心内容的一部分。Thornton等人(2004)提出,不仅考虑维度和练习,还应包括维度的表现水平和组织背景。Smith(2013)提出用互动理论、自我理论等解释个体在评价中心不同练习间的表现差异。

2.标准关联效度

历史证明评价中心评定和晋升、表现评价、薪水提升间强大的预测关系(Adler, 1987; Thornton & Byham, 1982)。评价中心总体评估等级和最终的维度(有时一些练习)评定预测各种相关的外部变量。评价中心的预测效度依赖于测量的构想、目标职位及实施质量。

Bray等人(1968)发现总体评估等级和工作表现评定间0.51的相关,Borman(1982)发现总体评估等级和培训表现间相关0.48。Gaugler等人(1987)的元分析发现,总体评估等级和各种标准测量间平均校正效度为0.37。Schmidt等人(1998)对选拔方法的综述表明,评价中心的平均效度可与其它许多评价方法媲美。最近元分析发现总体评估等级和表现评定间更低的平均效度(r=0.26, Hardison & Sackett, 2004; r=0.28, Hermelin, Lievens, & Robertson, 2007)。平均相关可能低估了实际效度,元分析倾向于使用高信度水平的标准测量如表现评价(Lievens & Thornton, 2005);进行评价中心前对候选人的筛选可能导致评价中心分数的范围限制。

一些研究表明,统计合成评价人员评定比通过一致判断达成总体评估等级,有更高的预测效度(Borman, 1982; Feltham, 1988),但Chan(1996)发现相反的结论。评价中心设计之外的因素也可能影响效度,如Binning等人(1999)发现,总体评估等级对复杂工作来说是更好的预测指标。

3.测试后果的公平性

随着整体效度观的发展,重新强调评价后果和评价过程(Messick, 1995, 1998)。后果研究包括考察偏见和参与者对评价程序的反应。选拔方法应该没有偏见,尽可能避免负面影响和其它消极后果(American Educational Research Association et al., 1999)。评价中心分数的亚群差异与认知能力测验分数差异相对要小。早期研究发现,男性和女性(Moses & Boehm, 1975)、黑人和白人(Huck & Bray, 1976)类似的平均评定。亚群差异在要求更强认知能力的练习中似乎更大(Goldstein et al.,1998)。然而,评价中心一般测量非认知和认知技能,评价中心总评定的亚群差异比传统认知能力测量更小(Schmitt & Mills, 2001)。评价中心是相对公平和无偏见的选拔技术(Cascio & Aguinis, 2005)。

Anderson等人(2006)发现,女性比男性更高的平均总体评估等级,女性在口头表达和相互作用上的分数更高,但男性在难题解决上得分更高。Bobko等人(2005)发现,黑人和白人在强调技术资料的练习上有更大的差异,在强调人际技能练习上有更小的差异。这表明,在评价中心表现中出现的亚群差异程度一定程度上依赖于评价的具体构想(Roth et al., 2008)。

另一个与测试后果相关的问题涉及参与者对选拔程序的反应。认为选拔过程公平并与工作相关的参与者更可能对组织持有积极的观点,有更强的接受职位的愿望(Truxillo et al., 2002)。参与者认为练习是相关的和现实的(Thornton & Byham, 1982), 比认知能力测验的表面效度更高(Macan et al., 1994)。然而,消极的反应和后果也是可能的。晋升评价中心中失败的在职员工可能体验到更低的自尊、竞争力和职业道德(Fletcher, 1991),表现出了更少的自我发展行为(Noe & Steffy, 1987)。这些研究结果表明,不能简单地断定评价中心的公平性。未来研究需要确定,亚群差异可能的中介变量,如评价人员的特征、评价人员培训、“工作表现风格”维度(即与认知能力有关的)数量(Shore et al., 1990)等等。

总之,评价中心广泛用于各种职位的人事选拔,包括外部选拔、内部晋升、潜能的早期鉴别,以及能力认证等。许多证据证明了评价中心的选拔效度。虽然评价中心很昂贵、费时,但与其它方法相比,评价中心有更高的总效用。

五、评价中心的有关争论

下面讨论与评价中心用于选拔有关的争论和未来研究需要。争论包括过去研究中有不同研究结果或对实践的冲突建议。未来研究不仅需要探讨争论,而且需要研究没有经实证检验的主题。

1.透明度:选拔情境中的优点或妨碍

近年来吸引大量研究兴趣的问题涉及评价中心中评价的维度对参与者的透明程度,以及其可能产生的积极或消极影响。从事选拔工作的研究者和实践者必须考虑测验保密问题。例如,在能力测验中,普遍的担心是一些参与者可能事先获得题目,因此练习或记住了正确答案(Do & Brummel, 2006)。在个性测验中,许多研究者提出,当被评价的个性特质明显时,候选人可能“装好”,或者有意歪曲反应以对组织更有吸引力(Stark et al., 2001)。在上述任何一种情况下,评价的预测效度都会受到损害,因为参与者没有如实表现自己。在其它类型的选拔情境如结构化面试中,维度透明可能实际上提高效度,因为可降低无关因素的影响,如紧张或错误理解指导语,使参与者展现与能力相关的知识或行为(Maurer et al., 2008)。Kleinmann(1993)发现能正确感知评价维度的参与者在维度上获得更高的分数,Smith-Jentsch(2007)发现维度透明时参与者获得更高的评定,但其它研究没有发现差异 (Denning & Grant, 1979; Kolk et al., 2003)。个性领域的作假研究指出作假能力和作假动机之间存在一定的差异(Viswesvaran & Ones, 1999)。使用求职者样本的一个评价中心研究(Kolk et al., 2003, Study 2)没有发现透明使分数提高。对于参与者在对各种透明线索的反应中能否调节行为以及实际调节行为的程度,未来还需要进行进一步的研究。

公平也是决定维度是否透明的考虑因素。Kleinmann (1993)研究表明,参与者觉察练习材料的目标维度的能力不同。Dodd建议,给所有参与者同样的信息,维度透明使测试更公平。这一建议与一般心理测验标准一致,测验应该对所有参与者同样熟悉或同样不熟悉,对用于发展的评价中心建议透明(Thornton & Rupp, 2006)。然而,关于这样的信息披露是否影响评价效度并没有明确的证据。Smith-Jentsch(2007)提出,觉察什么被期待的能力可能是工作相关技能,维度透明实际上可能降低评定中这一变异来源。

总之,关于透明对分数放大和结构效度影响的两方面证据,难于决定是否或什么条件下透明在选拔情境中是有利的,对此需要进一步研究。

2.评价中心作为最高表现还是典型表现测量

评价中心的吸引力在于练习与目标工作的仿真度,即评价中心与该职位在职者典型遇到的情境的类似程度。评价中心的早期支持者强调,评价中心可以让组织看到候选人晋升前在更高管理职位上的表现(Byham, 1970),这意味着典型表现评定。然而,最近几个研究者提出,评价中心更适合作为最高表现,最高表现代表候选人如果有机会和足够的动机能够做什么。Ployhart等人(2001)认为,两天的评价中心时间相对较短,参与者精力集中,评价中心应该测量最高表现。

评价中心是最高表现的证据是评价中心评定与能力的相关比与个性特质的相关更强(Marcus et al. , 2007)。认知能力更高的候选人能够识别什么行为最有效,并执行这些行为,即使它们不是候选人自然偏好的行为。相比之下,个性变量(如责任心)反映候选人的习惯工作和交往风格,因此是典型表现预测指标。沿着类似的推理路线,Smith-Jentsch(2007)建议,维度对候选人透明可把评价中心从典型表现测量转换为最高表现测量。当候选人知道他们被期待做什么时,评价中心评价他们是否能做(最高表现);当参与者被给更少指导时,更可能以习惯和典型方式行动。但上述建议缺乏实证证据。不管评价中心测量典型还是最高表现都可能随评价中心条件而变化:如评价中心的目的是选拔还是发展、维度的透明度及使用小组或个体练习等等。测量的维度类型可能也有影响。在一些评价中心中,评定的维度如影响他人与个性特质(如驱力、人际风格)类似,可能使评价人员作出个性定向的推断;行为风格维度可能使评价人员强调成功或不成功地完成任务,与最高表现对应。基于任务的评价中心(Lance, 2008a)可能对应最高表现。该领域的进一步研究对评价中心实践者有较高价值,允许预测指标和标准间的更好对应,并改进对评价中心测量维度的了解。

六、未来研究方向和建议

本部分首先阐述解决前面部分描述的争论的研究思路,如关于是否促进透明的争论可通过研究其对不同结果如预测准确性、公平性、参与者反应和构想效度的影响解决;评价中心测量最高或典型表现问题可直接解决,使用恰当的表现标准如各类行为的监督者、同伴评定和客观的表现资料,包括比较不同类型指导语的评价中心;候选人维持聚焦的时间长度和动机应该实证考察,而不是简单推断。下面提出探索评价中心用于人事选拔中的具体研究主题,这些问题还没有相关研究,需要在未来的研究和实践中进行探讨。

1.候选人培训

大量评价中心准确性研究集中在评价人员及其准确评定的能力上,很少注意候选人能否控制自己的评价问题。评估各种培训对提高候选人评价中心表现的效能还没有相关研究,包括如何准备评价中心的书、各种咨询公司提供的1-3天培训计划等。这些培训是否影响候选人的表现,以及这种影响是积极的(减少干扰)还是消极的(降低效度)目前还不清楚。未来研究应该探讨其对各种结果的影响,包括候选人进入评价中心的自信心、不同维度上的表现(如管理技能、决策能力、人际关系、个性类型),以及对不同人口特征和工作背景的候选人的效能。

另外,评价中心结果受候选人的印象管理技巧影响吗?印象管理是一个过程,人们试图影响他人对自己的印象。很少有实证研究评价印象管理策略使用的普遍性和效能,也没有这些作假如何识别和解决的建议(如通过评价人员培训),这些都需要进一步研究。

2.练习的重复使用

需要研究在选拔和晋升测试中重复使用练习的优点和缺点。设计新的练习花费时间,组织可能愿意重复使用已开发的有效的练习。然而,关于练习内容的信息总有一天会“泄露”,这可能给后来的候选人一个优势,预先知道练习可能让其事先准备可能的反应策略。研究应该探讨不同水平的了解练习内容对候选人在不同维度上表现的影响,如对候选人在授权、决策或领导技能上表现的影响。

3.评价中心的标准化

评价中心标准化的缺乏还没有研究,但在选拔和晋升考试中很重要。易受标准化缺乏指控的练习包括无领导小组讨论(如小组组成可能不同,候选人可能健谈或沉默,有经验或无经验,在种族、性别或年龄和练习方面类似或不同),以及角色扮演练习(角色扮演者没有一致地饰演“问题员工”或不同的角色扮演者对不同的候选人可能饰演不同的“问题员工”)。参与小组练习的候选人组成(如无领导小组讨论、游戏)不可能标准化。Schmitt 和 Hill(1977)发现,候选人群体的性别和种族组成对自我、同伴或评价人员评定几乎没有影响。候选人、潜在候选人、经理和其它利益相关者(Caldwell et al., 2003)对评价中心标准化的知觉,以及标准化缺乏对行为和结果的实际影响需要进一步研究。

4.编制练习诱发行为

另一个研究领域使用特质激活理论(TAT,Tett et al., 2000)指导练习的内容和指导语的建构。TAT提出,不同的情境“激活”不同特质的程度不同,即特质在环境中决定行为的程度。这一观点与强弱情境观点类似(Mischel, 1973),在强情境条件下,情境线索产生巨大的影响,几乎没有行为变异;在弱情境条件下,情境线索不产生较大的影响,行为主要由个性决定。Haaland等人(2002) 提出,特质激活是评价中心设计的基本概念。如果一个练习没有充分激活特定的特质或维度,那么行为将几乎没有变异,因此评定极少不同。研究者多年来提出,并不是每个维度都能在每个练习中观察到,练习必须有意设计诱发相关的行为(Thornton, 1992)。而且,决定特定练习评价特定维度的适当性是专家判断。如果TAT研究能提供配置练习和维度的理论基础,将对评价中心实践有重要价值,应进一步研究用于确保模拟练习诱发维度相关行为的方法。

不同类型的练习指导语可能对候选人表现产生不同的影响。案例前简单指导语如“分析情境,提出建议” 测量候选人的系统思考倾向,更复杂甚至规范的指导语如“解释难题,列出难题的可能原因,描述最可能的原因,列出三个解决办法,每个办法的代价和好处,然后描述你的最佳平衡决策” 测量决策能力。考虑这些问题的研究对练习设计应该很有价值。

5.再测的影响

需要研究评价中心的再测效应,候选人可能在一段时间里参加一个以上的评价中心。大组织中的管理人员在职业生涯中,可能参加多个评价中心,如有关晋升、发展计划、领导力培训和继任计划等。作为评价者的人员,对后来在评价中心中作为候选人的表现影响还没有相关研究。很可能,作为评价者可能有助其后来成为更好的候选人,这些再测效应还没有研究。

6.技术

评价中心设计者长期以来寻求使评价更有效和更少花费的策略。高性能计算机、便宜的电信、复杂软件的流行推动评价中心的创新。计算机化的文件筐、模拟员工的电子邮件、访问网络资源越来越普遍。一些评价中心完全通过电话进行,使用远程的角色扮演者模拟客服中心可能遇到的各种任务或模拟情境(Gowing, 2006)。数字视频技术用于连接在世界不同地方的评价人员和候选人(Rupp, 2006)。人工智能和视频游戏技术允许一些评价中心实践者提供完全基于计算机的模拟,候选人与虚拟世界中的虚拟人物(或替身)交往。虽然这些技术开发起来昂贵,但能减少或消除传统评价中心的许多操作花费(如旅途、住宿、角色扮演者等)。虽然许多实践者热切使用这些技术,但几乎没有其效果的实证评价,没有与传统评价中心的比较研究。虽然一些证据表明视频没有减小评价的准确性(Ryan et al., 1995),技术对其它结果如候选人反应可能有负面影响(Bauer et al., 2004)。技术的影响不一定是消极的,许多支持者认为,他们能在传统技术基础上改进(如更现实,更详细捕获反应),但这些主张缺乏相应实证研究的支持。归根结底,评价中心是一项基于人力判断的技术,过程的全部或部分自动化效应必须更好地研究,探讨其能否被认为是真正传统意义上的评价中心。

总之,证据表明评价中心提供了其它人事选拔方法的一个可行替代和补充。研究和实践表明评价中心对许多职位的候选人和其它利益相关者来说是有效的、公平的、合法的和可接受的。进一步研究作假和印象管理对评价中心评价的影响,整合多个评价者和练习的观察和评定的最佳方法,以及模拟设计和实施及复杂信息整合方法的创新等都有助于改进评价中心匹配个人能力和组织要求的效能。评价中心用于人事选拔效度的提高必将推动评价中心在人事选拔和评价中的应用,并最终服务于我国的人力资源开发和管理。

参考文献

1.卞冉、高钦、车宏生:《评价中心的构想效度谜题:测量维度还是活动?》,载《心理科学进展》,2013年第2期, 第358–371页。

2.李文武、张培霞:《评价中心技术在企业中层管理人员选拔中的应用》,载《现代营销(学苑版)》, 2013年第11期 ,第78-79页。

3.刘柏涛、周斌:《基于评价中心的公务员选拔方式初探》,载《甘肃社会科学》,2014年第3期。

4.孟卫东、于泽玮、司林波:《评价中心技术及其应用研究综述》,载《燕山大学学报(哲学社会科学版)》,2011年第4 期,第97-101页。

5.殷雷:《评价中心的基本特点与发展趋势》,载《心理科学》,2007年第5期,第1276- 1279页。

6.Anderson, N., Lievens, F., Van Dam, K., & Born, M.. A construct investigation of gender differences in a leadership role assessment center. Journal of Applied Psychology, 2006,91: 555-566.

7.Arthur,W., Jr., Day, E. A., McNelly, T. L., & Edens, P. S.. A meta-analysis of the criterion-related validity of assessment center dimensions. Personnel Psychology,2003,56:125-154.

8.Arthur, W., Jr., & Villado, A. J.. The importance of distinguishing between constructs and methods when comparing predictors in personnel selection research and practice. Journal of Applied Psychology, 2008,93:435-442.

9.Ballantyne, I., and Pavah, N.. Assessment and Development Centers. Aldershot,England: Gower,1995.

10.Hermelin, E., Lievens, F., & Robertson, I. T.. The validity of assessment centres for the prediction of supervisory performance. International Journal of Selection and Assessment, 2007,15:405-411.

11.International Task Force on Assessment Center Guidelines. Guidelines and ethical considerations for assessment center operations. 2008:Available at www.assessmentcenters.org.

12. Knapp, P. R., Mujtaba,B.G.. Strategies for the Design and Administration of Assessment Center Technology: A Case Study for the Selection and Development of Employees.Journal of Business Studies Quarterly,2011, Vol. 2, No. 2:154-171.

13.Smith P. J.. Performance Variation in Assessment Center Simulations. Unpublished doctoral dissertation, Fielding Graduate University,2013.

14.Smith-Jentsch, K. A.. The impact of making targeted dimensions tranparent on relationswith typical performance predictors. Human Performance, 2007,20:187-203.

15.Thornton, G. C., III, & Rupp, D. R.. Assessment centers in human resource management: Strategies for prediction, diagnosis, and development. Mahwah, NJ:Lawrence Erlbaum,2006.

16.Thornton,G.C.,Gibbons, A.M.. Validity of assessment centers for personnel selection.Human Resource Management Review , 2009,19:169–187.

■责编/罗文豪 E-mail:whluo1988@hotmail.com Tel:010-88383907

(注:此处仅列出部分主要参考文献,更多文献请与作者联系索取。)

Strategies for the Design and Administration of Assessment Center Technology and A Review of Recent Research

Ma Qingxia
(Beijing G&G Human Resource Development Center)

Abstract:Assessment centers have proven a valid tool in the selection and development of personnel, and especially are valuable technique for the identification of management potential. This article reviews a great deal of research and practice in the application of assessment centers on the development of the process, standardized techniques, validity for personnel selection and offers practical suggestions from center managers regarding for a smoother design and administration of an actual assessment center and future research.

Key Words:Assessment Center Technology; Strategies for the Design and Administration; Validity

猜你喜欢
评价者效度参与者
休闲跑步参与者心理和行为相关性的研究进展
门限秘密分享中高效添加新参与者方案
效度验证模式系统整合与效度研究发展策略
《广东地区儿童中医体质辨识量表》的信度和效度研究
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
基于评价信息满意度的群体信息集结方法
教师的角色转变带来的课堂教学变革
基于代理的多方公平交换签名方案
海外侨领愿做“金丝带”“参与者”和“连心桥”
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度