问与答之间:访员因素对数据质量的影响

2016-03-06 22:00涂洪波
山东社会科学 2016年5期
关键词:数据质量测量误差

涂洪波

(北京大学 社会学系,北京 100871;中山大学 城市社会研究中心,广东 广州 510275)



问与答之间:访员因素对数据质量的影响

涂洪波

(北京大学 社会学系,北京100871;中山大学 城市社会研究中心,广东 广州510275)

[摘要]访员因素是问卷调查过程中测量误差的主要来源。在数据收集环节,访员对数据质量的影响主要表现为访员偏差和访员效应:访员偏差是由访员行为所引起、对数据质量产生不预期的差异性影响;访员效应则主要表现为访员在场、访员特征以及访员经验等角色特征对被访者应答的影响。本文尝试着结合问与答的过程,来理解访员因素、样本无应答与数据质量之间的影响关系。

[关键词]测量误差;数据质量;访员偏差;访员效应

在社会调查过程中,访员扮演着研究者与被访者之间的桥梁角色,访员主导着与被访者之间问与答的互动过程。在争取被访样本配合的情形下,访员要帮助被访者理解问卷、记录和整理被访者所提供的信息内容,并对被访者的不充分应答进行追问以获取更详实的信息。另一方面,访员在面访过程中也不可避免地会影响被访者的应答,从而对社会调查的数据质量产生至关重要的影响。客观上看,学界在一如既往地关注定量研究方法和分析技术的同时,也在逐步重视数据质量问题,但对于抽样调查的数据和客观事实之间存在着哪些误差、为什么会存在这些误差、如何才能有效地控制这些误差,都还有待进一步认识。本文关注并讨论数据收集阶段由访员因素所引发的测量误差问题,通过对访谈环节问与答过程的分析,阐释访员偏差、访员效应对数据信度和效度的影响,这也是社会科学定量研究能有所推论意义的基础所在。

一、关于测量误差

社会科学研究中的测量误差主要源于研究设计和数据收集两个阶段。从广义上说,定量研究过程中的测量误差包括抽样框误差、抽样误差,以及由概念的操作化、数据收集、编码、录入与清理等操作环节所产生的误差。在特定的构思框架下,这些围绕着研究设计而展开的直接或间接的测量过程,都会产生相应的测量误差,从而导致随机抽取的样本指标值与被推断的总体指标值之间出现偏离。

测量工具、访员、被访者以及调查环境等因素都会导致信息的缺失与变异,其中访员因素与调查数据的信度显著相关。问卷调查的实施过程就是调查员与被访者之间的互动过程,调查员完全有可能在这个过程中发挥作用,或因自己的主观倾向影响被访者的情绪、认知和判断。在数据收集环节中,访员的年龄、性别、种族、人格特征、调查经验等都可能对测量误差产生影响*边燕杰、李路路、蔡禾:《社会调查方法与技术:中国实践》,社科文献出版社2006年版,第161-191页。。此外,访员是否选择了合适的被访者、是否清晰地表述了问卷的意思、是否对题项的理解出现偏差、是否能争取被访者的配合、是否由于疲劳或其他原因而发生各种错误等,也都会影响测量工具的实际效果。一般而言,导致问卷调查中被访者的不合作行为的原因主要是来自问卷设计、调查场景、调查员因素和被访者特征等四大方面,而不同的影响因素之间又是相互交织的*边燕杰、李路路、蔡禾:《社会调查方法与技术:中国实践》,社科文献出版社2006年版,第197-225页。,如由于被访者有意不回答(拒访、拒答)或无意不回答(访员漏问、被访者不在家、被访者不适合接受调查)等原因会造成无应答误差*参见郝大海:《应答率的意义及其他》,《社会学研究》2007年第6期;风笑天:《再谈样本规模和调查回收率——对〈应答率的意义及其它〉一文的回应》,《社会学研究》2007年第6期。。

二、访员偏差及其控制

对于访员偏差行为的研究,一直以来存在着一个比较棘手的问题,那就是如何在访员中随机地分配被访者,从而能有效地分析哪些数据变异是由访员偏差引发的,其研究的虚无假设应该是:不同的访员面对“相同或基本相似的被访者”,应该都能获得同样的预期值*Hyman, Herbert, “Interviewing in Social Research”, Chicago: University of Chicago Press,(1954),pp.149-152.。一般来说,不同访员总会受到样本差异的影响,除非是在实验室情景下。此外,问卷调查的过程实际上是一个“毁坏性过程”,被访者在接受调查前后肯定会产生差别,这种差别可以体现在认知结构上,也可以体现在应答行为上,这就是测量效应问题。正因如此,有的学者反对针对同一批被访者展开访员行为差异研究,因为被访者有可能是记住了头一次访谈中的答案,而且在第二次的调查中不予思考地做出简单的重复应答。如果在研究设计中只让被访者接受一次调查,我们则需要考虑一些方法以保证访员能够获得同样的预期值*Raymond F & Robert Williams, “A Method for Measuring Error Due to Variance Among Interviewers”, The Public Opinion Quarterly,(1956),p.257-64.。

虽然对于访员偏差行为的研究存在着不同观点,仍不妨碍学者们产生某些共识,即访员偏差(interviewer bias)是指由访员个体行为所引起的、对数据质量产生的差异性影响*Hansen, Robert and S. Marks, “Influence of the Interviewer on the Accuracy of Survey Results”, Journal of the American Statistical Association, (1958),pp.635-55.。访员偏差可能存在于不同访员之间,也可以存在于同一访员的不同调查行为之间,它是数据收集环节中测量误差的一个主要来源。访员偏差反映的是调查过程中的访员行为差异,它涉及测量的一致性与稳定性问题,因而对数据质量的信度产生影响。

Hyman等人发现,访员的行为差异对数据的准确性产生的影响主要表现在以下方面:访员“拒绝”提出问题,例如省略或改变问卷中的问题,抑或在特定情境下自己认定某种答案;访员在解释问卷中的概念或措辞时,回答过于模糊、主观臆断的成分太多,或是解释得太复杂以致于被访者难以理解;由于缺乏良好把握,访员在追问时提出的问题或提问的方式一定程度上改变了被访者原本要给出的答案。Hyman等人的研究也探讨了访员的行为偏差与数据质量之间的关系,即访员差异会带来不同的测试结果;访员的年龄、性别、职业、教育程度以及对被访者的态度和期望,都会对调查行为及数据收集产生显著的影响*Hyman, H., Cobb, J., Feldman, J., and Stember, C., “Interviewing in Social Research”, Chicago: University of Chicago Press,(1954),pp.734-61.。在Cannell & Fowler主持的关于生理健康与医疗卫生的问卷调查中,有关于被访者过去一年里住院治疗经历的题项,数据质量评估的依据是应答率。访员通过两种途径来收集信息:一半的被访样本接受面访,对于另一半的被访样本,这个问题则被放在一张表格里,由被访者自填并寄回。统计结果显示,无论是以访员主导的问卷填答形式还是自填问卷的形式,被访者因素决定着过去一年里住院接收治疗问题的应答率*Cannell & Fowler, “A note on interviewer effect in self-enumerative procedures”, American Sociological Review,(1964),p.29-38.。正是这个结论,引发了诸多访员对被访者激发过程的后续研究与讨论。研究人员向被访者提出问题,“你觉得你所接触的访员是希望获得准确的答案还是大概的信息?”与此同时,访员也被要求回答如下问题:“你在调查过程中更关注答案的准确性呢还是完成问卷的效率?”研究结果表明,如果被访者认为访员更希望获得准确的答案,那么此访员事实上也更有可能收集到高质量的数据信息。更为重要的是,被访者的行为与访员所关注的内容是高度相关的,如果访员更看重信息收集的准确性,被访者的行为倾向也往往是“提供访员更希望获得的准确信息”*Bailar Barbara A, “Some Sources of Error and Their Effect on Census Statistics”, in Demography 13 (1976),pp. 273-86.。

就访员偏差行为的成因而言,国内外学者也作了相关研究与解释。Freeman & Edgar认为,无论问卷的结构简单还是复杂,访员在行为上都会表现出与调查要求所不一致的偏差,访员的筛选与培训是造成不同访员之间行为差异的首要原因。*Freeman J. & Edgar Butler, “Some sources of interviewer variance in surveys”, Public Opinion Quarterly,(1976),pp.126-34.其次,访员的工作量及其问卷调查的时间安排是造成同一访员不同调查行为之间差异的主要因素,访员在不同的工作量安排下,调查行为会体现出很大的差别*梁玉成、周怡:《问卷调查中的访员因素》,载边燕杰、李路路、蔡禾:《社会调查方法与技术:中国实践》社科文献出版社2006年版,第161-191页;。

访员偏差行为对数据质量的影响,一方面取决于其固有的导致误差的可能性,另一方面又取决于这种可能性在调查实践中被控制的程度。对访员偏差的控制,主要内容就是访员行为的标准化问题。Cannell展开了一系列的研究,目的就是为了减少访员在被访者面前表现出来的行为差异。在这些研究过程中,Cannell尝试采用不同的途径来强化访员行为的一致性并使之趋于标准化。首先,Cannell强调访员在读题的时候语速要缓慢,访员的语速可能会影响到被访者对问卷调查的认知及态度,以免被访者认为访员希望尽快完成问卷,但这种对访员行为的干预措施并未对数据质量产生显著的积极影响。其次是通过放录音带展示问卷调查过程中的行为模版,这种“系统强化”的方法在数据收集的过程中展现出更好的效果,在若干实验情景下明显提高了数据质量。其三,Cannell要求访员对被访者的某些行为给出肯定性反馈,访员肯定而积极的回应能进一步有效地促进被访者提供高质量数据信息;与此相反,当被访者不加思索很快给出答案时,访员应该提醒被访者多思考一下并尽量提供准确的信息*Barbara Snell Dohrenwend; J. Allen Williams, Jr.; Carol H. Weiss, “Interviewer Biasing Effects: Toward a Reconciliation of Findings”,The Public Opinion Quarterly, No. 1. (1969), pp. 121-29;Bailar Barbara A, “Some Sources of Error and Their Effect on Census Statistics”, in Demography 13 (1976),pp. 273-86.。Collins通过听数据收集过程的录音来了解并研究访员的行为差异,他同样发现,不同的访员在数据收集过程中可能会偏好于使用不同的特定词汇,这些持续、频繁出现的词汇对于所收集到的数据是有明显影响的,尤其是面对开放式题项时*Wyatt, D. I. and D. T. Campbell, “A study of interviewer bias as related to interviewers' expectations and own opinions.”, International Journal of Opinion and Attitude Research 4 (1950),pp.77-85.。

对访员行为的有效控制是需要条件的,其中必然涉及问卷设计的内容。如前所述,就访员偏差行为的控制而言,最有效的措施是使个体访员在面对不同被访者时表现出行为一致性,所以如何控制访员行为的差异问题与问卷设计是密切相关的。如果问卷设计清晰、合理而严谨,访员就无需对被访者可能产生的疑问进行过多的解释,访员偏差行为产生的空间也是有限的。社会调查过程中,语言直接关系到问卷调查的质量问题*蔡禾:《语境与问卷调查》,载边燕杰、李路路、蔡禾:《社会调查方法与技术:中国实践》,社科文献出版社2006年版,第29-46页;。题项对访员行为差异的影响是可以预见的,在问卷设计过程中尽量减少可能带来访员行为差异的题项是控制访员差异的有效途径之一。当访员越多地针对某题项追问被访者以获得充分信息时,访员因素对数据质量的影响也就越大;当题项是描述性类型、很有可能需要访员去进一步追问答案信息时,由访员因素所引入的测量偏误也会更大*Cannell, C. F., F. J. Fowler, and K. H. Marquis, “The influence of interviewer and respondent psychological and behavioral variables on the reporting in household interviews.” Vital Health Statistics Series 2, National Center for Health Statistics 26 (1968),pp.265-68.。这些发现反复强调了一个问题,那就是要想减少由访员因素所带来的测量误差,高质量的问卷设计是一个必要前提。

访员行为的有效控制同时也与访员培训及访员管理密不可分。访谈过程中访员应该遵守的基本程序、调查过程中让访员提哪些问题,在访员手册中应该都有明确的准则。强化对访员队伍的管理,如加强现场复核和电话复核,采用录音、录影等手段来督导和协助查证,也是控制访员偏差的重要策略。总之,在数据收集过程中,访员信度总会有波动*Stock, J. S., and Hochstim, J, “A Method of Measuring Interviewer Variability”, Public Opinion Quarterly,(1951),pp.322-34.,我们应该通过访员培训和对调查工作量以及调查时间的合理安排来尽量保持数据质量的稳定性。

三、访员效应对被访者应答的影响

访员的角色特征影响被访者的应答,从而影响最终的数据质量,这种影响通常被理解为访员效应(interviewer effects)。访员效应对被访者应答的影响最早出现在对贫困问题的研究中*Rice, S., “Contagious Bias in the Interview”, American Journal of Sociology,(1929),pp.325-378.,研究结论是基于对两个访员的比较而得出的:一个访员(禁酒主义者)所收集的数据表明,酗酒是造成被访者贫困的原因;而另一个访员(社会主义者)的数据信息则显示,被访者的社会、经济地位才是造成其贫困状况的原因。正是基于这种还有着很大局限性的研究以及后续一些关于民意调查的研究发现,访员效应现象逐步得到了更多的关注*Campbell, Bruce A, “Race-of-interviewer effect among southern adolescents”, Public Opinion Quarterly.(1981),p.59-72.。

在社会调查的过程中,访员效应主要表现为访员在场、访员特征以及访员经验等角色特征对被访者应答的影响,其中访员的预期会对被访者应答产生影响,这也是早期访员效应研究中的一个关注点。Hyman和民意研究中心(NORC)的同事们把访员的预期划分为角色预期(role expectation)、态度结构预期(attitude structure expectation)和概率预期(probability expectation)三类:角色预期指访员对特定被访群体(如职业妇女、黑人等)中的个体的应答是有预期的;态度结构预期指访员希望被访者的应答在观点上是一致而非互相矛盾的;概率预期指针对问卷中的特定问题,访员关于被访者的应答大概会是什么情况会形成一种自我判断。*Herbert Hyman, “Interviewer Effects in the Classification of Responses”, The Public Opinion Quarterly,(1951),pp.189-97.Rosenthal的研究同时关注了访员自身的态度取向和对被访者的预期这两个问题,他认为访员会在若干方面引发数据质量的偏差,如访员的个人观点可能在不经意间流露出来,而被访者也会依此对自己的应答做出修改。在对被访者某些应答的追问(probe)过程中,访员针对哪些具体内容进行有选择的追问、以何种方式追问都可能会带来数据收集结果上的偏差。此外,在大多数抽样调查的过程中,访员在确定最终进入调查的被访者时也可能造成一定程度的样本偏差*Rosenthal, R, Gordon W. Persinger, Linda Vikan-Kline, and Kermit W. Fode, “The Effect of Early Data Returns on Data Subsequently Obtained by Outcome-Biased Experimenters”, Boston: Harvard University, Unpublished Manuscript,(1961).。不同的调查对访员的要求不同,有些要求访员不折不扣地按照指令操作,有些则给访员以适当的回旋余地,Sudman称之为角色要求。访员角色的结构性越好,访员越忠实于角色要求,数据收集环节的测量误差就越小*Sudman, Seymour, and Norman M. Bradburn, “Response Effects in Surveys”, Chicago: Aldine,(1974).。

(一)访员在场对被访者应答的影响

由访员主导的问卷填答过程中,被访者可能隐瞒某些信息,因为这些信息中包含着特定的不被社会认可的个人行为内容。在以自填式问卷收集数据的过程中有可能得到的真实信息,访谈过程中往往得不到真实的答案,尤其是当某个答案信息与社会道德相违背的时候,被访者在广为接受的社会规范压力下,会调整自己的回答而给出虚假信息,这就是被访者在访员在场的情形下对那些不被社会期许的行为所做的印象整饰*Feldman; Herbert Hyman; C. W. Hart , “A Field Study of Interviewer Effects on the Quality of Survey Data”, The Public Opinion Quarterly,(1951),pp.235-43.。对于性、吸毒、酗酒等敏感问题,被访者的应答倾向非常普遍,访员在场会带来非常显著的系统误差*Ronald Cosper, “Interviewer Effect in a Survey of Drinking Practices”, The Sociological Quarterly,(1969),pp.152-157.。

(二)访员特征对被访者应答的影响

访员的个人特征也可能会影响甚至决定着被访者对问卷中特定问题的回答,如在关于反犹主义态度的问卷调查中,当访员的名字里包含着常见的犹太姓氏或是有非常明显的犹太姓氏特征时,被访者的反犹主义态度会明显减少*Robinson, and Rhode, S., “Two Experiments in an Anti-Semitism Poll”, Journal of Abnormal and Social Psychology,(1946),pp.213-36.;访员的种族特征影响着黑人被访者对种族态度问题的应答*Schuman, H., and Converse, J., “The Effects of Black and White Interviewers on Black Responses in 1968”, Public Opinion Quarterly,(1971),pp.44-68.。被访者会根据访员的年龄特征而给出相应的不同回答,也会根据访员性别在特定题项上表现出不同的态度取向*Kane, E., and Macaulay, L., “Interviewer Gender and Gender Attitudes”, Public Opinion Quarterly,(1993),pp.159-65.;被访者会根据访员的社会背景而对自己的收入状况给出不同的回答:面对明显来自生活社区以外的访员,一个依靠救助金生活的人可能会如实回答自己的收入状况,但对于来自类似生活环境的访员,被访者可能不会把自己的收入状况说得那么清楚*Weiss,C.,“Validity of Welfare Mothers' Interview Responses”, Public Opinion Quarterly,(1968),pp.622-33.;访员显而易见的社会阶层身份甚至会影响着蓝领被访者表达他们对社会、政治问题的看法*Katz, D., “Do interviewers bias polls?”, Public Opinion Quarterly,(1942),pp.281-94.。访员的外在特征不是孤立存在的,这些特征可以表现为不同的符号象征、背后可能蕴含着不同的社会意义:在美国,访员特征可能与种族关系问题相联系;在魁北克,访员特征可能体现为语言差异,访员的种族、性别、年龄等特征对态度量表的影响尤为显著*Fellegi,I.,“Response Variance and Its Estimation”, Journal of the American Statistical Association,(1964),pp.327-42.。

(三)访员经验对被访者应答的影响

有经验的访员与无经验的访员之间总是存在差异的,但这种差异并不必然对数据质量产生显著影响。访员的经验在社会调查过程中可能发挥着积极作用,但也可能扮演着负面角色。通常意义上我们认为,有经验的访员能带来更高的问卷应答率。但高应答率却并不一定就代表着好的数据质量,因为随机抽样程序的严格实施与调查的回收率似乎具有天然的反比关系*风笑天:《再谈样本规模和调查回收率——对〈应答率的意义及其它〉一文的回应》,《社会学研究》2007年第6期。。

从另一个角度上看,有经验的访员往往不会像没经验的访员一样严格地按要求把问卷中的问题逐字逐句读出来,在NSDUH(National Survey on Drug Use and Health)问卷调查中,相关数据表明,访员参与NSDUH的经验越丰富,收集的问卷中汇报使用过毒品的被访者案例越少。这种情况引发了我们对数据收集过程的思考:大多数被访者在进入问卷调查的时候,大都不太清楚访员希望从他那里获得什么信息,也不知该如何有效地提供这些信息,此时访员的作用至关重要,他们的工作让被访者明白该如何配合问卷调查的展开。在NSDUH问卷调查过程中,由于是自填式问卷,访员是不需要提问的,但有经验的访员可能会给被访者带来某种印象,那就是要尽快完成问卷的填答。在这种印象的驱使下,如果被访者回答曾经使用过毒品,将面临着许多其他后续要回答的问题,而隐瞒真实信息则可跳过这些问题,从而缩短完成问卷的时间*Groves, Robert M.,. “Survey Errors and Survey Costs”, New York: Wiley,(1989).。这也似乎佐证了有经验的访员在严格执行调查要求方面可能会存在欠缺。

访员偏差与访员效应是可能会引发数据收集环节中测量误差的两个不同方面内容。随着社会调查理论与方法的逐步完善、访员培训的强化、访谈技术的提高、访员的提问方式逐步趋于标准化、非诱导式追问程序逐步形成,一定程度上减少了访员因素对数据质量信度和效度的负面影响。

四、访员因素与样本无应答

无应答有两种情形,即题项无应答(item nonresponse)和样本无应答(sample unit nonresponse),其中样本无应答会造成特定属性的样本在数据分析过程中出现的频次过低,在分析结果上产生选择性效应*Lessler, J. and Kalsbeek, W., “Nonsampling Error in Surveys”, New York: Wiley,(1992),pp.169-201.,因此大多数的社会调查都会专门为此做出艰苦的努力。

Groves & Couper认为,被访者是否拒访受到样本的社会属性、问卷的设计、访员的个体特征、访谈情景(包括居住环境)以及被访者以前接受调查的相关经验等方面因素的交织影响*Groves & M. Couper, , “Nonresponse in Household Interview Surveys”, New York:Wiley,(1998).。在入户调查过程中,不在家的被访者比例会随着一年内的不同时间、每个星期的不同工作日、每天的不同时间段以及所处城市的地理空间范围等因素而产生变化,但不在家的被访者和拒访之间没有客观的因果关系,样本无应答问题更多的是集中在收入很高或者很低的人群身上*Kish, L., “A Procedure for Objective Respondent Selection Within the Household”, Journal of the American Statistical Association,(1949),pp.68-92.。了解样本无应答的来源,在调查中对其进行预测及控制,并估计它在调查中可能产生的影响都是必不可少的。报告社会调查过程中样本的无应答状况已经成为一种惯例做法。

在跟踪调查过程中,样本无应答问题更是倍受关注,对于历时研究而言,样本减损所导致的无应答几乎是所有此类调查中最头痛的问题。为了不让非随机的样本减损导致样本失去代表性,美国家庭收入动态调查(PSID)非常强调问卷回收率问题。PSID在1968年展开第一波调查,次年的样本减损率就达到了11.9%。截至第21波调查,PSID跟踪调查的初始样本只有48.8%还在接受继续的跟踪调查*Jeffery E.Zabel, “An Analysis of Attrition in the Panel Study of Income Dynamics and the Survey of Income Dynamics and the Survey of Income and Program Participation with an Application to a Model of Labor Market Behavior”, The Journal of Human Resources 33, pp. 479-506.。PSID有一个子项目叫SIPP(Survey of Income and Program Participation),这是一个两年零八个月的固定样本跟踪调查,每4个月展开一次数据收集。SIPP在1984年第一次展开问卷调查,第一轮的问卷无应答就达到了5.9%,只有71.4%的最初样本能完成所有的8波跟踪调查。通过对PSID以及SIPP的数据分析,研究人员发现,跟踪调查的频次以及时间间隔对样本减损会产生影响,跟踪调查的历时跨度越长、调查频次越密,样本减损率越高。此外,地区的人口状况以及地理位置也同样对样本减损过程产生影响。为了降低样本减损率,自1985年开始便尽量安排同一位访员对同一位被访者进行下一波的跟踪调查,同时尽量缩短问卷调查的时间。这种实际操作层面上的经验告诉我们,由同一访员对同一被访者进行跟踪调查有助于降低被访者对访员的陌生感和焦虑感,从而有可能提高续访率,这也是访员因素对于历时性数据质量影响方面值得关注的地方。PSID在它长达40年的跟踪调查过程中,为了减少样本流失而采取过诸多办法,让访员在非调查时期保持与样本家庭的联系;维护访员队伍的稳定性以及维持与样本家庭的对应关系,是保证后续的跟踪调查过程中较低样本无应答的重要举措。

五、对问与答过程的一个思考

哥伦比亚广播公司和纽约时报曾在1980年联合展开了一次全美范围内的电话访谈调查。与之前的类似调查不同的是,此次电话访谈格外关注访员之间的行为差异。研究结果表明:首先,访员之间的行为差异对调查结果的影响是客观存在的,尤其是涉及到某些特定变量时,访员差异对样本的分析结果产生着显著的影响;其次,访员偏差和访员效应对主观题项和客观题项的影响作用存在差异,这种偏差更多的是由于访员在数据收集过程中引入了不被预期的个人干涉而造成的,它以诸多的形式表现出来,并对主、客观题项都有影响。那些可能被拒答的敏感类问题、开放式问题(尤其是涉及到需要追问的内容)以及需要访员解释的题项等更易受访员偏差的影响;第三,访员偏差和访员效应与被访者特征是相关联的,访员的个人能力状况以及对问卷调查的态度、预期直接影响着访员行为,年龄越大的受访者越容易受访员效应影响;第四,访员偏差和访员效应是访员行为、被访者以及问卷设计等因素共同作用的结果*Groves, R., and Kahn, R., “Surveys by Telephone: A National Comparison with Personal Interviews”, New York: Academic Press,(1979).。这些发现引起了人们关于调查研究方法论的思考。对于访员差异和访员效应的评估与测量是一项复杂的工作,在现实的社会调查过程中往往不易测量。大多数的社会调查,无论是电话访谈还是面访,都有时间和经费的约束,这也在一定程度上导致访员对数据质量产生影响。由此,从调查方法论的意义上去关注访员效应对调查结果的影响,或是通过研究设计的调整来减少访员因素引发的测量误差,是很有必要的。

在问与答的另一端,就被访者而言,越来越多的证据表明,被访者在听到访员的提问之后,会进行相关的信息处理,然后再给出信息反馈。我们可以把问与答的过程分解为以下步骤:

步骤一,接受题项信息并加以理解(包括概念、措辞及句意的理解)。理解的过程也是对问题的诠释过程,当某个问题有多个可能的诠释时,被访者需要在有限的时间里对不同的理解作出判断和选择。如:“在过去的一个月时间里,你和医生有过多少次关于健康状况的谈话?”当被访者面临这个问题时,他可能会产生如下的考虑:这些谈话是否包括电话交谈?专业足疗师属于医生范畴吗?“过去的一个月”是指大致四个星期时间呢还是严格意义上的一个完整月份?被访者一般都是在揣摩并理解问题之后再去回忆相关信息;

步骤二,对与题项相关联的信息进行处理。信息处理的过程包括对个人经历进行回忆(通常依据某个线索或时间框架)、整理相关联的回忆信息并判断哪些信息对于准确回答问题是有用的;

步骤三,对整理后的应答结果是否符合题项要求进行评估。如果潜在的应答被认为在信息内容上并不充分,被访者将重复上述步骤;

步骤四,对整理后的应答结果是否符合个人期许进行评估。这是被访者自我印象整饰的过程,这个过程关心的不是应答结果是否符合调查的具体要求,而是看应答是否会有潜在的令人不满的社会效应。上述步骤是对问-答过程中被访者所面临的问题的简要描述,它也反映了被访者要回答这些问题可能遇到的潜在的复杂性,尤其当面临的问题需要被访者花费相当的精力去搜索精确答案或是当被访者认为如实给出答案让他很尴尬时,完成这些步骤并不是简单的事情。

在问与答的过程中,被访者往往是有条件地提供准确信息,这主要包含两个方面的内容:

第一,被访者的回忆(retrieval)。对于问与答的过程而言,最大的障碍莫过于被访者对信息内容的回忆以及在给出回答时所面临的问题。认知研究表明,许多因素对回忆的过程产生差异性极大的影响。很常见的一种情况是想不起来以前所发生的事情,哪怕有提示的线索也无济于事。Wagenaar的研究显示,在对个人经历的回忆过程中,有20%的重要细节在一年以后被遗忘,60%的重要细节在五年以后也会消失,而且应答者的回忆时间直接影响应答信息的准确性*Wagenaar, W., “My Memory: A Study of Autobiographical Memory Over Six Years”, Cognitive Psychology,(1986).。在有类似记忆信息的干扰下,被访者更难对问题提供准确的应答。在这种情况下,被访者往往会把其他时期或情形下所发生的事情“传输”过来,这就会导致对具体事件发生频次的有偏估计,而这正是在历时性社会调查中很常见的一种情形*Fowler F., & Mangione, T., “Standardized survey interviewing:Minimizing interviewer-related error”, Sage Publications,(1990),pp.268-75.。

第二,被访者的推断(inference)。在回忆的基础上,被访者通常会依据特定场景和某些启发因素给出应答,这个过程就是推断。对被访者而言,可获得性启发法(availability heuristic)常用于判断某事件发生的频率,这时人们往往会利用记忆中最容易获取的信息进行主观估计*Krosnick, J., “Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys”, Applied Cognitive Psychology,(1991).。频率的估计极大地受对事件熟悉程度及其重要性的影响,如果一件事情更容易被回忆起来,在每次的回忆过程中它也就表现为出现的频次更多,这种记忆的可回溯性及有效性会造成认知偏差。对于历时研究而言,某个时点上的数据偏差还可能通过其他时点上的数据收集进行弥补,但对于截面研究而言,可能就意味着致命的缺陷。

(责任编辑:陆影)

[中图分类号]C915

[文献标识码]A

[文章编号]1003-4145[2016]05-0085-06

作者简介:涂洪波(1971—),男,社会学博士,北京大学社会学系在站博士后,中山大学城市社会研究中心专职研究员,主要研究方向为组织社会学与社会学研究方法。

收稿日期:2015-10-30

猜你喜欢
数据质量测量误差
《疯狂的计量单位》
密度测量误差分析
纵向数据下变系数测量误差模型的渐近估计
电子商务平台数据质量控制系统及仿真模型分析
强化统计执法提高数据质量
浅析统计数据质量
金融统计数据质量管理的国际借鉴与中国实践
浅谈统计数据质量控制
电磁式电压互感器频域测量误差分析
基于敏感因子的GPS速度测量误差补偿算法