培训经历对无领导小组讨论测评效度影响的实验研究

● 曹大友 王琳

一、研究背景

无领导小组讨论这一情景模拟测评技术，自二十世纪八十年代引入我国，在企业员工招聘、政府公务员选拔中越来越受到青睐（夏建文，2011）。无领导小组讨论作为一种群体性测评技术，其测评效度备受实际工作者与研究者关注。关于无领导小组讨论测评效度的已有研究主要分为两类：一是对测评技术本身的结构效度进行研究；二是研究评分维度的设定、讨论题目的拟定、面试官选择、客观物理环境等因素对测评效度的影响作用。研究表明，在规范操作的前提下，无领导小组讨论技术自身具有较好的结构效度（严娟、袁军，2014；康春花等，2010）；并且在题目经过专业拟定，考官人数为4-6 人且在讨论前对评价标准进行培训，使用六个维度对行为进行观察，考场明亮、整洁且面试者呈圆弧状就坐的情况下，无领导小组讨论测评效度最高（张笑菡，2011）。这些针对测评效度影响因素的研究有益于指导无领导小组讨论技术的合理使用，通过调整可以使其测评结果更为准确。本文探索培训经历这一“新生”因素对无领导小组讨论测评效度的影响，对于该测评技术影响因素框架的完善以及指导实践运用均具有重要意义。

随着无领导小组讨论技术的广泛运用，面试培训中的无领导小组讨论培训也逐渐兴起。求职者通过培训，可以了解无领导小组讨论的原理、熟悉测评流程、获取讨论技巧、积累讨论经验。培训之后，求职者再次参加无领导小组讨论，通常会得到一个比培训前更高的成绩。短短几天的培训明显不可能全方面的提升求职者的个人能力，也就是说培训导致无领导小组讨论对同一个人产生了两个不同的评价结果。产生上述现象的原因可能是培训使得求职者在面试中更加会伪装、表演，通过技巧的运用获得高于个人实际能力的测评结果；也可能是培训帮助求职者克服紧张、压力、陌生等因素的影响，使得求职者原本难以完全发挥的个人能力得以充分展现。为了实现准确衡量求职者个人能力水平的测评目的，我们不得不考虑：同一个求职者培训前后的两个测评结果，哪一个与求职者的自身实际能力更为接近？这种针对性的培训，是如何影响无领导小组讨论的测评效度的？企业在招聘实践中又该如何应对培训这一外在因素所带来的影响？

二、实验设计

本文选取了探索性的实验法作为上述问题的研究方法。根据研究目的，人为的控制测评试题、面试官、面试者个人特质等因素，在一种近乎纯化的状态下研究培训经历对无领导小组讨论测评效度的影响作用（刘军，2008）。本实验主要包含实验设计、数据收集、统计检验以及结果解释等环节（Taylor，1988），其中实验设计主要分为实验思路设计以及实验程序设计：

1.实验思路

本实验的目的是探索培训经历对于无领导小组讨论测评效度的影响情况。基于实验的可控性和便利性原则，选择了横向对比的实验方法。将有培训经历者的测评效度和无培训经历者的测评效度对比分析，探索培训经历对测评效度的影响。

已有研究中，无领导小组讨论效度的检验一般采用效标关联度检验的方法，比如彭平根、张利岩的同时效度，骆方的预测效度，本文参考李志的360 度评价法收集效标（李志等，2012）。以无领导小组讨论测评结果与360 度评价结果配对样本T 检验的结果衡量测评效度这一变量。将有培训经历组和无培训经历组的测评效度对比分析，判断培训对测评效度的影响。得出结论之后，运用同样的方法检测培训对单项要素测评效度的影响，尝试对上述结论做出解释。

2.实验程序

根据实验思路，本实验的主要环节包含：（1）通过调查问卷的方式获取样本基本信息和判别有无培训经历，（2）实际模拟无领导小组讨论情境，获取测评结果；（3）对所有试验样本进行360 度评价和访谈，将评价结果作为效标；（4）对收集的数据统计分析，探究培训经历对测评效度的影响。整个实验程序如图1 所示：

三、实验实施

图1 实验流程图

（一）无领导小组讨论的实施

1.题目选择与测评要素

为了保证无领导小组讨论实验的严谨性与现实性，选取2013 年某市公务员选拔面试题目作为本次实验考题。该题目经过众多专家检验，其科学性和有效性可以保证。测评要素与测评标准与当时所使用的一致，完全符合《全国公开选拔党政领导干部考试大纲(试行)》规定，测评要素主要包含以下五项：

（1）综合分析能力：分析问题思路清晰，善于抓住问题的要害，解决问题的方法切实可行。（2）组织协调能力：在讨论中善于寻求大家观点的共同和分歧之处，为达成小组目标主动平息纷争，推动小组形成统一意见。（3）人际合作能力：能够专心聆听别人发言，主动与他人沟通，态度和方式得体。（4）语言表达能力：能够清晰表达自己的观点和思想，语言生动、流畅、富有感染力。（5）个性稳定性与举止仪表：面试中情绪稳定沉着，穿着打扮自然得体，言谈举止表现出良好的文化素养。

2.参与人员

面试官：某高校人力资源方向老师5名（三位教授、一位副教授以及一位讲师），都是拥有丰富的人力资源管理培训经历的专家学者，具有较高的专业能力和业务水平。五位考官在实验前对各能力的评价标准进行了统一。

计时员：熟悉无领导小组讨论的人力资源方向研究生，在实验前进行了相关培训。

表1 实验样本基本信息情况表

表2 无领导小组讨论实施流程

表3 考官间信度系数

3.实验样本选择

根据随机抽样原则，选取某高校管理学院的24 名应届毕业生作为实验样本。所有样本来自三个不同专业方向（工商管理、会计、市场营销），彼此之间相互陌生。24人的就业意向均为综合管理类岗位，相同的求职意向使得实验更具现实性。其中十个样本参加过无领导小组讨论相关培训，另外的十四人仅仅自己看过相关书籍或从来未接触过相关知识。样本信息如表1 所示。

4.无领导小组讨论实施流程

在进行无领导小组讨论之前，对五名面试官进行了相关培训，培训内容为面试题目相关知识、评价标准的统一以及面试过程中应该注意的问题等。实验过程中，将24个实验样本随机分为三组，每组八人中均有无培训经历者和有培训经历者。每组无领导小组讨论时间为一个小时，具体实施流程如表2 所示：

（二）360 度评价与访谈的实施

360 度评价法又称全方位评价法，是指针对特定的个人，包括被测评者本人在内的多个相关人员对其进行评价。基于心理测量学的真分数理论，360 度评价比其他评价法相比，往往具有更高的信度与效度（吴三清等，2003）。因此本研究将360 度评价结果作为衡量无领导小组讨论效度判定的效标。

本实验的自评与他评是通过调查问卷的方式完成的。调查问卷是基于无领导小组讨论测评要素所编制的，对同样的五种要素进行评价，每项要素通过四个问题衡量，问卷采用五分制李克特量表。评价者为：任课老师（1 人）、寝室室友（2 人）、班级干部（2 人）和被评价者本人，六人评分的均值作为360 度评价的结果。

在360 度评价结束后，就评价结果的准确性与被测评者的辅导员进行验证式访谈。请辅导员对被测评者得分较高和较低的能力，分别举例验证。经过访谈，我们认定360 度评价的结果基本与被面试者的个人能力一致。

四、数据统计与分析

1.面试官评分一致性信度检验

无领导小组讨论为多面试官同时对多面试者的能力进行测评，常用评分者一致性系数（Kendall 系数）作为其效度检验的衡量指标。面试官对面试者的评分一致性检验如表3 所示：五项测评要素的肯德尔系数在0.382 至0.481之间，均达到了显著水平（p ＜0.001）。说明所有面试考官对于各面试者的能力有着较为一致的评价，本次无领导小组讨论实验的数据具有较高的信度。

2.培训经历对测评效度影响性检验

在探索培训经历如何影响测评效度之前，需要先验证培训经历是否会对测评效度产生影响。首先，将面试者的无领导小组讨论得分与他们的360度评价得分做差，差值越大，说明该面试者测评的有效性越低。以有无培训经历为分组依据，对所有面试者两项测评得分之差进行单因素方差分析，数据输出结果如表4 所示。总体评价的方差分析结果为显著（p ＜0.05），说明对有培训经历者和无培训经历者，无领导小组讨论测评有效性是有显著性差异的。培训经历确实会对无领导小组讨论的测评效度产生影响。

从测评要素的角度来看，综合分析能力、语言表达能力、个性稳定性与举止仪表三种要素的方差分析结果为显著，其他两种的结果为不显著。说明培训经历通过影响上述三种能力的测评效度的方式，实现对总体评价测评效度的影响。

表4 测评结果有效性的单因素方差分析

表5 无领导小组讨论与360 度评价配对样本T 检验

3.效度检验

将无领导小组讨论结果与360 度评价结果进行配对样本T 检验，结果如表5 所示。

首先，以360 度评价结果为效标，无领导小组讨论总体评价的T 检验结果为：有培训经历组不显著，无培训经历组为显著（p ＜0.01）。说明有培训经历组的无领导小组讨论测评结果与360 度评价测评结果无差异，测评效度较高；而无培训经历组的无领导小组讨论测评结果与360度评价测评结果具有显著差异，测评效度较低。

结论1：无领导小组讨论测评有培训经历者效度较高，测评无培训经历者效度较低。

其次，从测评要素角度看，无培训经历者的综合分析能力、语言表达能力和个性稳定性与举止仪表三方面的T检验结果为显著，且均差都为-1 左右。这说明无培训经历者在无领导小组讨论中所获得的评价显著低于360 度评价结果。在无领导小组讨论中存在某些因素会影响无培训经历者个人能力的发挥表现，因而获得低于个人实际能力的评价结果。这三种能力被显著性低估，导致了无培训经历者总体评价效度的降低。然而，有培训经历组的上述三种能力的T 检验结果均为不显著，表明两种测评方法在这三种能力上的评价结果是完全一致的，即培训可以帮助面试者上述三种能力的充分表现。

在组织协调能力和人际合作能力方面，两组的T 检验结果均为不显著，说明两种测评方法在这两方面评价结果无显著差异。表明，讨论环境中没有因素影响这两种能力的发挥，培训也不会提升其发挥。

结论2：无培训经历组在综合分析能力、语言表达能力和个性稳定性与举止仪表三方面的个人能力难以充分表现，导致了无领导小组讨论的低测评效度；有培训经历组的各项要素以及总体的测评都具有高测评效度。

最后，将数据进行综合对比：无培训经历组要素均差都在-1 左右，有培训经历组的均差在±0.3 左右；无培训经历组的三种要素T 检验结果为显著，有培训经历组不显著。数据表明，培训可以使难以充分发挥的能力得以充分发挥，提高了无领导小组讨论的测评效度。同时，有培训经历组的T 检验数据中未出现无领导小组讨论测评结果显著高于360 评价结果的情况，证明培训只能使个人能力充分发挥，而不会显著的超水平发挥。

结论3：培训可以使面试者的个人能力得到充分发挥，提高无领导小组讨论测评效度。同时，培训不会导致能力的显著超水平发挥现象。

五、讨论

1.培训对于测评效度的影响

无领导小组讨论是安排一定数量的求职者，在特定时间内，就某一问题进行自由讨论。讨论过程中所有求职者处于平等地位，不指定领导，不安排座次，面试官根据面试过程中表现，对求职者进行评价。测评所基于的原理是求职者在无领导小组讨论过程中的表现与其在未来工作中的表现具有较高的一致性。

对于无培训经历的求职者而言，整个讨论过程始终是在陌生环境的不适应、考官时刻关注的高压力、对结果的高度重视的条件下。并且，他们并不知道何种行为表现会得到面试官的高分评价，对于讨论节奏也没有全局的认识。这些因素的综合作用导致，没有培训经历的求职者往往难以充分表现自己的能力，这也使得无领导小组讨论对无培训经历者测评效度较低。

为了更深入的研究培训经历对测评效度的影响，我们收集了大量无领导小组讨论培训课程的相关信息。对信息整理分析后发现 ，现有培训主要可以分为测评原理讲解、获得高分的技巧、讨论中该注意的问题以及多次的现场模拟四个模块。这四个模块的培训刚好对应解决无培训经历者在讨论过程中所遇到的困难。对求职者而言，培训将本来的陌生、高压的环境变成了熟悉、习惯的环境，同时又知道如何表现会获得面试官的高评价。因此，有培训经历者在无领导小组讨论过程中能够将自身能力发挥的淋漓尽致，测评效度高于无培训经历者。

2.培训影响测评效度的原因分析

面试官通过无领导小组讨论对面试者多方面的能力进行评价。不同能力的发挥度受环境影响情况不同。实验研究表明，综合分析能力、语言表达能力和个性稳定性与举止仪表三种能力的发挥情况受环境影响较大，会因为环境压力而难以充分发挥，但这种难以发挥的现象也可以通过简单的培训快速消除。人际合作能力和组织协调能力的发挥情况较为稳定，无论是环境压力还是针对性的培训，其发挥状况都不会出现波动。所以，无领导小组讨论测评效度的变化的原因是，某些测评要素的发挥易受环境影响，存在波动性。培训的作用就是让求职者的各方面能力都可以得以充分发挥，导致了测评的高效度。

同时，实验还证明了无领导小组讨论内在的科学性。尽管求职者通过培训掌握了大量表达技巧，在讨论过程中也存在一些表演或伪装行为，但是这些表演、伪装、技巧并不会使求职者得到高于个人能力的评价。

3.实验结果推论

基于上述实验结论，我们可以做出这样的推论。首先，面试中可能存在部分面试者自身能力合格，但对无领导小组讨论缺乏相关了解，导致评价结果较差而被淘汰的现象。但往往不存在面试者自身能力不合格，因为参加过相关培训，获得高评价结果而被招录的现象。其次，如果讨论中有培训经历者和无培训经历者获得相同的得分评价，通常无培训经历者能力更高。

在运用无领导小组讨论选拔人才的过程中，为了保证公平和帮助企业获取最优秀人才，企业最好将有培训经历和无培训经历的面试者分开组织讨论。当有培训经历者和无培训经历者同台竞技时，面试官要对无培训经历者在语言表达能力、综合分析能力等要素的评价上加以注意，因为这些能力的发挥情况特别容易受到环境的干扰，得分低并不一定意味着能力差，也可能是不知道如何发挥。

六、结论

通过无领导小组讨论实验，得出了以下结论：

第一，无领导小组讨论这一测评技术对有培训经历的求职者的测评效度高于无培训经历的求职者。

第二，无培训经历的求职者因为受到环境的干扰较大，使得自身的某些能力无法充分发挥，导致了测评的低效度。合理的培训可以消除环境因素的干扰，保证能力的充分发挥。所以，在招聘中，可能存在能力合格的人因为不知道如何表现自己的能力而被淘汰的现象。并且，如果两个人获得同样的得分，无培训经历的求职者自身能力往往超过参加过培训的求职者，得分相同的情况下应该录取未参加过培训的求职者。

第三，培训仅仅只能让求职者在面试中充分表现自己能力，而不会让求职者的能力超水平发挥。所以，现实中往往不会出现，自身能力不足的求职者因为参加培训而被录取的现象。企业在招聘过程中，只要评价结果符合要求，可以放心录取。于此同时，企业可以鼓励求职者在面试之前，对无领导小组讨论的相关知识进行了解、学习、参加相关培训。通过培训，无培训经历的求职者可以更加充分的表现自身能力，更容易获得就业机会，企业也可以避免错失人才。

1. 刘军：《管理研究方法：原理与应用》，中国人民大学出版社，2008 年版，第103–114 页。

2. 康春花、姜宇、辛涛：《概化理论在人事测评中的评分者一致性研究》，载《心理科学》，2010 年第6 期，第1456–1460 页。

3. 李志、冉瑞琳、关香丽：《控制式无领导小组讨论的实验研究》，载《重庆大学学报(社会科学版)》，2012 年第1 期，第42–47 页。

4. 彭平根、丁彪、苏永华：《LGD 在企业选拔中高级管理人才方面的实证研究》，载《心理科学》，2002 年第5 期，第576–579 页。

5. 吴三清、杨杰、凌文辁：《360 度评价实践理性刍议》，载《思想战线》，2003 年第3 期，第31-34 页。

6. 夏建文：《无领导小组讨论在企业招聘中存在的问题及对策》，载《中国人力资源开发》，2011 年第12 期，第30–33 页。

7. 严娟、袁军：《基于CTT、SEM、GT 方法的无领导小组讨论信效度研究》，载《湖州师范学院学报》，2014 年第2 期，第86–90 页。

8. 张笑菡：《关于无领导小组讨论信度he 效度因素的研究》，载《商业文化》，2011 年第3 期，第163–164 页。

9. Taylor S E,Brown J D. Illusion and well-being: a social psychological perspective on mental health.Psychological bulletin, 1988,103(2): 193–210.