社会预警指标的网络测试和纸笔测试方式的等价性比较*1

任孝鹏， 陆柯雯，2

(1. 中国科学院 心理研究所行为科学重点实验室，北京 100101; 2. 中国科学院大学，北京 100049)

社会预警指标的网络测试和纸笔测试方式的等价性比较*1

任孝鹏1， 陆柯雯1，2

(1. 中国科学院 心理研究所行为科学重点实验室，北京 100101; 2. 中国科学院大学，北京 100049)

本研究的目的在于比较生活满意度、政府满意度、社会风险判断等社会预警指标的网络调查和传统调查的等价性。通过197个大学生间隔一周对社会预警指标进行两次评价，一次是传统的纸笔测试，一次是网络测试。结果表明，生活满意度的线上(4.28)高于线下(4.10)；而自我状态、政府满意度、社会风险判断和集群意向的线上和线下没有差异。这说明有的社会预警指标如集群意向的纸笔测试和网络测试的结果相同，有的社会预警指标如生活满意度的纸笔测试和网络测试的结果差异比较大。用网络测试来替代传统的纸笔测试，需要在社会预警指标的选择上做更好地控制和校正。

网络测试；纸笔测试；社会预警指标

一、理论基础与问题提出

据天涯网站的不完全统计，过去20年中，群体性事件呈增长趋势，群体性事件数1999年约3.2万，2011年约18.25万。[1]群体性事件带来经济损失和社会资源的浪费，处理不当会加剧社会矛盾。从社会心理学的角度来看，群体性事件属于没有组织性的临时性集群行动，[2]虽然一般都有特定的偶然的社会事项刺激或者导火索，[3]但是背后有复杂的社会心理过程，不公平感和相对剥夺是社会不满的心理基础。[4]群体性事件最初并非学术性概念，心理学领域往往称之为集群行为(collective action)，[3]但是由于群体性事件与西方学者所说的集群行为的产生原因和表现形式确有不同，而且在转型期的中国又表现为突出的社会问题，所以学术界有越来越多使用群体性事件的趋势。[5][6][p.329-338]社会预警指标是指能够对群体性事件起预测作用的态度和行为意向指标。一般来说，这些社会预警指标并不是对导致群体性事件的偶然事件或导火索进行预测。中科院心理所社会预警团队基于王二平等的社会心态指标和任孝鹏等的心理和谐指标建构了群体性事件的社会预警指标体系。[4][7][8][p.36-50]这些预警指标包括自我状态、生活满意度、社会问题严重性、社会发展信心、地方经济发展满意度、地方经济发展预期、消费信心、中央政府信任感、地方政府信任感、中央政府工作满意度、地方政府工作满意度等多个态度或行为意向。[9]并且在全国的多个调查点进行了多轮调查，对这些社会预警指标的有效性进行了检验。

到目前为止，这些社会预警指标的获取是通过传统的入户调查和纸笔测试进行的。这些方法对于构建和验证社会预警指标的有效性很有必要，而且也可以从长的时间跨度对群体性事件发展趋势进行预测。但是从满足决策者对群体性事件的预防和快速应对来说，需要克服数据采集时间长的缺点。网络测试可以解决这个问题，尽管网络测试也有劣势，比如回答率低。[10][11]

从心理测量的角度，用网络测试代替传统纸笔测试需要解决社会预警指标在两种情境下的测量等价性问题。同一个测验在不同的情境下应用时，可能会存在测量特性的变化。测量等价性包括很多方面，有均值、变异度、信度和效度等基于经典心理测量理论的指标，也有基于潜变量分析的测量不变性。[12]大量研究表明，网络测试和传统测试有着相等的测量等价性。[10]-[13]但是就社会预警指标而言，两种测试方式是否等价还不清楚。而且社会预警指标的测量条目与一般的心理特征的测量工具不同，有的条目有一定的敏感性，而这些敏感性的条目是否会受到测试方式的影响也值得研究。本研究的目的是以大学生为被试，对社会预警指标的两种测试方式的等价性进行探索。研究假设围绕纸笔测试和网络测试两种数据采集方式提出，而且主要采用经典心理测量理论的测量等价性指标进行比较和讨论，包括均值、信度和测量误差。具体来说：

假设1.社会预警指标的网络测试和纸笔测试的均值相等

假设2.社会预警指标的网络测试和纸笔测试的信度相等

假设3.社会预警指标的网络测试和纸笔测试的测量误差相等

二、研究方法

(一)被试

通过招募广告在北京林业大学招募了197名学生，间隔7-10天分别完成两次调查，一次是在实验室完成传统纸笔测试，一次是通过互联网完成。有3名学生没有进行第2次测试，最后得到有效样本194个。被试平均年龄M年龄=22.14岁，SD=1.99岁。性别：男性42人(21.6%)，女性131人(67.5%)，21人没有报告性别(10.8%)。

(二)研究工具

自我状态：采用任孝鹏、郑蕊和白新文编制的心理和谐问卷的自我状态量表，包括13个条目，如“我经常感到精神紧张”，采用李克特5级评分，1=非常不满意，5=非常满意。分数越高，表示对自我的状态感受越积极。该量表的α系数为.70，说明该问卷有好的信度。

生活满意度：采用Diener编制的生活满意度量表，包括5个条目，如“在许多方面，我的生活接近我的理想”，采用李克特7级评分，1=非常不满意，7=非常满意。分数越高，表示对生活越满意。该量表的α系数为.70，[14]说明该问卷有好的信度。

社会风险判断：采用王二平课题组编制的21个条目，如“您认为环境污染问题是否严重”，采用李克特5级评分，1=一点也不严重，5=非常严重。分数越高，表示对社会风险因素的判断越消极。该量表的α系数为.88，说明该问卷有好的信度。

政府满意度：采用王二平课题组编制的19个条目，如“您对本地政府在反腐倡廉方面的工作是否满意”，采用李克特5级评分，1=很不满意，5=非常满意。分数越高，表示对政府工作的评价越积极。该量表的α系数为.90，说明该问卷有好的信度。

集群行为意向：采用王二平课题组编制的3个条目，如“面对不公平事件时您采取集体示威解决问题的可能性有多大”，采用李克特5级评分，1=非常小，5=非常大。分数越高，表示越可能采取极端集群行为应对不公平情境。该量表的α系数为.70，说明该问卷有好的信度。

(三)研究程序

研究者通过在北京林业大学的BBS上发布招募广告，被试被事先告知需要填答两次问卷，中间间隔1周。两次都是在实验室完成，一次是传统纸笔测试，一次是在实验室的计算机上通过互联网进行网络作答。在进行测试的过程中，主试会给被试讲解回答注意事项，纸笔测试结果由主试当场收回。参加调查的被试给予40元。采用spss18对数据进行录入和分析。

三、结 果

从表1中可以看出，在选择的5个社会预警指标中，生活满意度的网络测试结果(4.28)高于纸笔测试结果(4.10)；而自我状态的网络测试结果(3.55)低于纸笔测试结果(3.61)；政府满意度、社会风险判断和集群行为意向的两种调查方式之间没有差异，假设1得到部分验证。

从表1中可以看到，内部一致性信度除集群行为意向的网络测试为.64，其余社会预警指标的信度均高于.70，达到了测量学的要求。从两种测试方式之间的一致性来看，除集群行为意向的相关系数为.26，其余社会预警指标的相关系数均高于.50，也基本满足测量学的要求。假设2得到了验证。

表1 社会预警指标的描述性统计和信度表

注：*表示P<.05; ￥表示P<.10；内部一致性系数为Cronbach’s α coefficient

在对两种测试方式的测量误差进行比较时，我们采用了Boyer和于洪彦推荐的方法，[15][16]并不采用表1中的标准差的大小来定义测量误差，而是采用以下方法：(1)对每个社会预警指标来说，计算每个被试在社会预警指标上的标准差，得到每个被试在纸笔测试和网络测试上的标准差；(2)比较纸笔测试和网络测试的标准差的差异。计算结果如表2，除集群行为意向测量误差没有差异以外，其余社会预警指标的测量误差存在差异，网络测试的测量误差低于纸笔测试。假设3大部分没有得到支持。

表2 社会预警指标的测量误差表

四、讨 论

本研究采用组内比较的方法，对自我状态等5个社会预警指标在网络测试和纸笔测试两种情境下的等价性进行了比较。结果发现，不同的社会预警指标的等价性程度存在差别。自我状态、政府满意度、社会风险判断无论是均值、内部一致性信度、两种测试方式之间的一致性信度都达到了等价性的要求，而网络测试的测量误差要小于纸笔测试。生活满意度的内部一致性信度、两种测试方式之间的一致性信度达到了等价性的要求，但是网络测试的均值高于纸笔测试，测量误差小于纸笔测试。集群意向行为均值、内部一致性信度和测量误差都达到了等价性的要求，但是其两种测试方式之间的一致性很低，只有.26。综合来看，这些社会预警指标在网络测试情境和纸笔测试情境下的结果具有测量可信度。本研究的结果与多数研究一致，[11][12][13][17]网络测试与传统测试具有测量的等价性。但是，与多数研究采用组间比较不同，本研究采取组内比较，能够避免组间比较不可控的很多因素，结果更有说服力。从心理测量学的角度来看，多数社会预警指标的网络测试代替纸笔测试不会受到等价性的影响。

每个社会预警指标在两种情境中的差异并不遵循相同的模式。以均值为例，就生活满意度而言，本研究与蔡华俭的结果相同，都发现网络测试高于纸笔测试。[12]蔡华俭认为这是由于纸笔测试时是集体实测，被试回答问题时有他人在场，反映了社会称许性导致谦逊反应的结果。不过，本研究中的纸笔测试是采用被试单独实测，排除了测试时他人在场的影响，仍然发现类似的结果，这可能反映了社会称许性和是否集体实测无关，更有可能的是只要有线索提醒被试可能被关注，就会启动社会称许性。其他4个社会预警指标存在着两种情境下的均值没有差异。这表明实测情境对不同变量的影响不同。有些变量的测量条目受社会称许性的影响较大，如生活满意度，而有些变量的测量条目受到社会称许性的影响较小，如社会风险判断。就测量误差来说，本研究发现除集群行为意向以外，有4个社会预警指标的测量误差是网络测试小于纸笔测试。就两种测试方式的一致性来说，集群行为意向的一致性较低，只有0.26；而其余4个社会预警指标的两种测试方式基本满足测量学的要求。这可能和集群行为意向的条目更为具体有关，如“采取集体示威的方式”，而条目的表述越具体，受环境变化(测试方式改变)的影响就越大；而社会风险判断的条目，如“反腐倡廉”，概括性要高一些，受环境变化(测试方式改变)的影响相对较小。这也提示我们尽管有很多研究表明网络测试和纸笔测试在大多数情况下具有等价性，每个新的量表仍然有必要重新进行另种测试情境的等价性比较，这一方面可以确保该量表的等价性，另一方面也能够更准确地描述该量表在什么程度上具有等价性。

除个别指标，如生活满意度以外，本研究是首次将社会预警指标的测量进行网络测试和纸笔测试的等价性分析，有着重要的意义。社会预警指标的某些变量如社会风险判断、政府满意度和集群行为意向的测量条目有一定的政治敏感性，如“你采取集体示威的可能性”，客观上增加了数据采集的难度，而网络测试的匿名性相对来说可能会降低这种难度。社会预警指标的一个重要用途是对未来一段时间内是否会发生群体性事件或者某地区发生群体性事件的数量和严重程度进行预测，时效性是必须解决的问题，网络测试是解决这个问题的可行办法。由于社会预警指标是利用传统纸笔测试和某地区的群体性事件等效标的关联建构和筛选的，如果网络测试的情境和纸笔测试的结果存在着差异，那么就有必要通过统计技术等手段进行修正，否则就没有办法直接利用前期的研究结果对未来一段时间内的群体性事件进行有效地预测。

当然，本研究也有局限性。第一，由于本研究采用组内设计，由同一被试在间隔一周回答两次，两者的相关系数并不能真实地反应两种测量方式的一致性，其中混杂了重复测量的效应在内，未来可以通过组内和组间的混合设计，用更严格的标准来检验两种情境的一致性。第二，本研究采用的是大学生样本，对很多社会现实问题的判断，学生和成人(非大学生)可能存在着差异，而且成人样本更接近社会现实，未来可以通过成人被试进行两种情境的比较，使得比较结果具有更高的生态效度。

[1] 李宝臣.我国近五年内群体性事件研究：基于案例的宪政分析[D].华中师范大学博士学位论文，2013.

[2] 王二平.群体性事件的心理演化机制[N].人民论坛,2013.

[3] 弯美娜,刘力,邱佳等.集群行为：界定、心理机制与行为测量[J].心理科学进展,2011，(5).

[4] 张书维,王二平,周洁.跨情境下集群行为的动因机制[J].心理学报,2012，(4).

[5] 于建嵘.当前中国群体性事件的主要类型及其主要特征[J].中国政法大学学报,2009，(6).

[6] 王二平.群体性事件的心理学分析[A].北京市社会科学界联合会,北京师范大学.科学发展，文化软实力与民族复兴(上卷)[M].北京:北京师范大学出版社,2009.

[7] 任孝鹏,白新文,郑蕊等.心理和谐的结构与测量[J].华人心理学报,2009，(1).

[8] Ren,X.P.,Bai,X.W.& Zheng,R..Harmony as a Social Indicator of Confucius-based Society:A Multi-level Analysis of Antecedents of Harmony[M].In J.X.Zhang,Y.Y.Yang,L.Liu,& M.J.Zhou (Eds.),Towards Social Harmony:A New Mission of Asian Social Psychology.Beijing:Educational Science Publishing House,2013.

[9] 郑蕊.社会态度和集群行为监测与预警指标体系构建[C].第一届全国网络心理与社会预警研讨会，2013.

[10] 方佳明,闻绍.网络调查参与意愿形成的心理影响因素研究[J].应用心理学杂志,2011，(4).

[11] Shih,T.H.,& Fan,X.Comparing response rates from web and mail surveys:A meta-analysis[J].Field Methods,2008,(3).

[12] 蔡华俭,林永佳,伍秋萍等.网络测验和纸笔测验的测量不变性研究：以生活满意度量表为例[J].心理学报，2008，(2).

[13] Dillman,D.A.,Phelps,G.,Tortora,R.,et al.Response rate and measurement differences in mixed-mode surveys using mail,telephone,interactive voice response(IVR)and the Internet[J].Social science research.2009,(1).

[14] Diener,E.,Oishi,S.,& Lucas,R.E.Personality,culture, and subjective well-being[J].Annual Review of Psychology,2003,(54).

[15] Boyer,K.K.,Olson,J.R.,Calantone,R.J.,et al.Print Versus Electronic Surveys:A Comparison of Two Data Collection Methodologies[J].Journal of Operations Management,2002,(4).

[16] 于洪彦,黄晓治.书面调查与网络调查的区别[J].统计与信息论坛,2011，(10).

[17] Huang,H.M.Do print and Web surveys provide the same results[J].Computers in human behavior.2006,(3).

[责任编辑: 刘胜兰]

Measurement Invariance of Social Monitoring Indicators between the Paper-and-pencil Survey and the Web-based Survey

REN Xiao-Peng1& LU Ke-Wen1,2

(1.KeyLaboratoryofBehavioralSciences,InstituteofPsychology，ChineseAcademyofSciences，Beijing100101,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China)

This paper examines the measurement invariance of social monitoring indicators between a paper-and-pencil survey and a web-based survey which includes life satisfaction and government satisfaction, collective intentionality, social risk factors, etc. It gives both a paper-and-pencil survey and a web-based survey per week to 197 undergraduates concerning five social monitoring indicators. The results show that their life satisfaction is higher in the web-based(4.28) than the paper-and-pencil(4.10) and that other four indicators have no significant difference. It helps deepen our understanding of measurement invariance of social monitoring indicators and reveals that some indicators such as collective intentionality are almost the same in the two surveys while other indicators like life satisfaction show much variation on different conditions. Thus, there should be some adjustment of the social monitoring indicators when the web-based survey is used to replace the traditional one.

web-based survey; paper-and-pencil survey; social monitoring indicator

2014-01-22

中国科学院规划与决策科技支持系统建设项目“社会态度与集群行为监测与预警指标体系研究”(GH11041)资助。

任孝鹏(1973—)，男，山东苍山人，中国科学院副研究员，博士，研究方向为社会心理学、文化心理学。

B841

A

1000-5110(2014)02-0085-05