问卷是否可信——基于体育核心期刊论文（2010—2018年）的系统分析

柯友枝，孙建刚，张业安，李 博，刘 阳,3*

（1.上海体育学院 体育教育训练学院，上海 200438；2.上海体育学院 期刊中心，上海 200438；3.上海市学生体质健康研究中心，上海 200438）

0 前言

问卷是指研究者为了收集调查对象的行为、态度及观念等社会资料或信息，将所要调查的内容和问题编排成统一形式，从而用以解释所研究的问题和验证所提出的研究假设的一种测量工具（徐建华等，2015）。问卷调查法，即以问卷为测量工具来收集资料的一种调查方法，在体育人文社会调查、运动心理测量等体育学研究中得到了广泛的应用（黄汉升等，2009）。在体育科学研究中，问卷调查研究最为重要的前提是确保问卷的可靠性和准确性，即信度和效度（曾五一等，2005）。作为评价调查问卷的两个重要指标，信度和效度的高低既是一个问卷的基本特征，也是衡量问卷的关键指标。一个信度和效度较好的问卷是调查研究结果可信可靠、准确真实的重要前提，对研究的整体质量有着至关重要的作用，因此，提高信度和效度是研究者追求的目标。在这两个基本特征中，信度是效度的基础，好的问卷首先应具备较高的信度，如果信度低，效度必然低（张力为，2002a）。因此，调查问卷的信度往往是研究者重视的首要问题。

信度（reliability）是指测验的可靠程度，它表现为测验结果的稳定性和一致性（Carmines et al.，2009），是表明问卷调查科学性的一个重要因素（李灿等，2008）。对于使用问卷法的研究者来说，对所使用的问卷进行信度检验是保障研究结果科学性的重要前提（方千华，2008；齐红梅等，2013）。另外，进行正确的信度分析可以帮助研究者识别与整个问卷关联性不大的题项，为进一步修改问卷提供理论依据（张虎等，2007）。因此，体育科学研究人员掌握体育研究调查问卷信度检验的一般流程，了解不同信度检验方法并进行合理选择与应用是极有必要的。本研究检索了2010—2018年体育科学研究领域《中文社会科学引文索引》（CSSCI）刊发的使用问卷调查法的学术论文，对其中信度测评情况进行总结与分析。

1 研究对象与方法

1.1 研究对象

以问卷信度测评方法在我国体育研究领域中的应用情况为研究对象，以2010—2018年CSSCI收录的9本体育类期刊①本研究纳入的9本期刊2010—2018年均被评为体育类核心期刊。采用问卷调查法的学术论文为调查对象，纳入研究的9本期刊分别是《体育科学》《中国体育科技》《北京体育大学报》《上海体育学院学报》《体育学刊》《体育与科学》《天津体育学院学报》《武汉体育学院学报》《西安体育学院学报》。

1.2 研究方法

通过文献资料调研收集相关文献，运用数理统计法对研究信息进行统计与分析。以中国知网（CNKI）高级检索程序为检索工具，以中国社会科学索引（CSSCI）收录的9本体育类期刊为论文来源，论文的刊发时间段为2010年1月1日—2018年12月31日。在精确论文来源期刊和刊发时间的基础上，将符合研究条件的各期刊所有论文导入文献阅读与管理软件，通过对文献题目、摘要和全文阅读的方式进行人工筛选，检索流程如图1所示，最终纳入1 221篇研究论文。以数理统计法对纳入文献进行信息提取与整理分析。

图1 纳入分析论文的检索流程Figure 1. Process of Document Retrieval

1.3 纳入与排除标准

纳入标准：纳入2010年1月1日—2018年12月31日，在9本指定刊物上刊发的论文，其中运用问卷调查法（包括使用各类量表）的全部纳入。

剔除标准：未采用问卷调查法的论文；仅采用由询问事实性问题组成问卷的论文；所有作者均为国外研究者的论文；非定量研究范式的论文；会议论文、刊讯、题录、通知等。

2 结果与分析

2.1 运用问卷法的期刊概况

问卷调查法是当前体育研究领域常用的研究方法之一，在体育科学研究中占有重要地位（黄汉升等，2009）。由表1可知，2010—2018年采用问卷法的论文总数有所下降，一方面说明我国体育科学研究条件逐渐提升、研究方法逐渐充盈；另一方面，从运用问卷法作为研究方法的论文占比可以看出，问卷调查法仍然是体育研究领域中不可忽视的一种重要的研究方法。使用问卷调查法的论文数目最多的刊物是《北京体育大学学报》（349篇），其次是《武汉体育学院学报》（208篇），两者数量相差较大且明显多于其他刊物，比排在第3位的《上海体育学院学报》多出75篇。问卷法论文刊登数量最少的是《体育与科学》（75篇），其次是《体育科学》与《体育学刊》（78篇），两者差别较小。从各刊物发表问卷调查论文数量占本刊物所有论文总数的百分比来看，《上海体育学院学报》《北京体育大学学报》《武汉体育学院学报》所刊发的论文中问卷调查研究论文所占权重相对较高，《体育学刊》《体育科学》《体育与科学》所刊发的论文中问卷调查研究论文所占权重相对较低。总体而言，问卷调查法在体育研究领域体现出了运用的广泛性和实用性，体现了体育学科研究的定量化趋势，符合体育科学研究发展的要求。

2.2 应用问卷法的规范性

2.2.1 问卷名称的报告

近年来，问卷的编制逐渐引起了体育科学工作者的关注，其编制方法的科学性、规范性和合理性不仅影响到各种测量的准确性，更彰显了体育学科的发展水平（戴俭慧等，2014）。问卷具备清晰明确的名称是问卷规范性的标志之一，其对于研究目的的表达以及研究方法的展现具有重要作用。而在本研究中却发现，纳入的1 221篇使用问卷调查法的论文中，具有（或提到）所使用问卷名称的比例仅为56.8%（693篇），有43.2%（528篇）的论文没有或没有说明问卷的名称，不但给阅读者带来了诸多不便，同时也对于研究者之间的学习交流造成了阻碍。

从数据上看，问卷法应用的规范性问题仍然存在改进空间。使用问卷调查法对研究对象进行调查之前，对所使用的问卷进行基本情况的介绍是研究规范性的一种体现。本研究发现，部分研究者对问卷信息交代不全或者不够重视的情况，反映出研究者在研究方法运用过程中对一些细节问题的轻视或者认识不到位。张力为（2006）对91篇采用问卷调查为主要方法的硕士论文进行分析，发现问卷调查法在运用过程中缺乏科学的系统性和继承性。事实上，问卷法与其他方法一样，是一种严谨的研究方法，各环节都应体现出研究的科学性与规范性（刘朝杰，1997）。反之，研究者对学术的怠慢会影响到公众对科学研究的学术尊重。人既作为研究的主体和客体，制约和影响着问卷调查的可靠性和适用性，作为一种具体的社会调查方法，问卷调查法有着特定的方法学范式（徐建华等，2015）。事实证明，只要研究者们规范科学地运用问卷调查法，保证问卷调查的质量，更易于获得有价值的研究成果（徐建华等，2019）。

表1 各期刊每年发表采用问卷法论文总数及占总论文数比率Table 1 The Number of Articles Published by Each Journal in Each Year Using Questionnaires and the Ratio of Total Articles

2.2.2 问卷类型的选择

纳入本研究的文献中，多数（60.2%）论文采用“自编问卷”，但需注意的是，使用自己编制的问卷，其难度远大于借用前人研制且已认可的问卷（张力为，2006）。部分研究使用的是“引用问卷”（21.8%）和“改编问卷”（10.1%），还有部分研究对采用问卷的来源性质交代不清（7.9%）。调查结果显示，自编问卷占据大多数，但其潜在的问题需要引起注意，最为突出的是问卷的信效度检验问题。使用未经（或未正确）进行信度测评的问卷，将会使研究结果的可靠性和客观性受到质疑（李曼，2013）。

部分研究者借用或移植国外问卷，将先前研究的信度估计方法作为自己当前研究的信度估计方法，这在一定程度上可减轻研究者的负担（张立敏等，2008）。但由于地区文化的差异以及样本的特点，借用或移植问卷存在着一定的弊端，表现在语言、测量和功能等值性上。这就涉及到测验的本土化问题，即测量的方法、标准与程序等必须要与特定语言或文化背景条件下对象的特殊性相一致（叶国雄等，1994）。另外，在研究中应用前人研制的问卷时，不仅要考虑和报告研制者最初研制该问卷时的信度，还应检验和报告该问卷在本项研究中的信度（张力为，2002a）。还有部分论文仅仅提到运用问卷法进行研究，对问卷的来源描述不清，体现出研究者们的科学研究素养有待提高。总之，标准化的问卷是一个不断发展和演变的过程，尤其当借用和移植国外的问卷时，还会衍生出本土化的问题，因此须正确谨慎的运用问卷调查法。

2.3 问卷信度的测评情况

问卷是用于测量人们某些特征的工具（风笑天，1994），而信度是评价问卷测验质量的最基本指标（张力为，2002b）。本研究发现，在所检索到的1 221篇文献中，报告信度结果的有740篇（占总数的60.6%），有481篇（占总数的39.4%）文献未对信度进行报告（表2）。对于只问询事实类的问卷，例如，仅采用由社会人口学信息或基本情况所组成的问卷，一般而言，是不需要进行信度检验的（张力为，2002a）。因此，本研究在文章筛选中剔除了仅使用问询客观事实问卷的研究，以保证本研究结果的准确性。虽然对信度进行报告的比例较高，但对于体育科研的严谨性来说，60.6%的比例不足以令人满意。对问卷信度进行清楚合理的评价，是国内科学研究者们进行问卷调查时常常容易忽略的问题（张虎等，2007）。问卷设计者往往注重的是数据收集的难易程度以及问卷设计的逻辑性问题，很少会关注问卷的可信度问题。然而，测评问卷信度是问卷调查法研究中非常重要的一步（叶宝娟等，2012），只有信度被接受时，问卷的数据分析才是可靠的（徐万里，2008），以问卷法为主的体育科学调查研究均应提高对这一环节的重视程度。

呈现具体的信度结果是对问卷进行信度检验科学性的表征，相同功能问卷之间信度的对比，需要以问卷的信度结果以及信度计算方法为依据。本研究发现，纳入研究的论文中对问卷信度结果的描述有3种情况，“有具体值”说明的论文数为524篇（占论文总数的42.9%）（表2），此类论文有信度检验的具体数值，因此，某些检验方法相同的论文之间可以进行信度对比，读者也能够通过具体的数值了解问卷的信度程度。然而遗憾的是，部分论文仅交代了信度值，而具体的信度检验程序却不得而知。对信度结果进行“主观描述”的论文数为149篇（占论文总数的12.2%），此类论文没有报告信度结果的具体值，仅对信度进行了主观描述，例如，使用“信度较高”等词汇。此类论文虽然对问卷的信度进行了说明，但读者很难把握问卷的具体信度程度，且不同问卷信度之间不能进行对照与对比，研究者们若想参考、改良或使用此问卷比较困难。对所使用的问卷信度结果“无任何说明”的论文为548篇（占论文总数的44.9%），这些论文虽然使用了问卷调查法，但对问卷信度结果完全没有提及，对同领域的研究者来说，通过此类论文获取的研究结果和经验的可靠性得不到保证。有研究表明，以问卷调查为主要研究方法的硕士论文对信度的运用也存在较多误区（毛志雄，2014；张力为，2006）。由此可见，研究者们对自身使用的问卷信度信息掌握并不充分，对问卷信度的重视程度不足，对问卷调查法的使用方法还需进一步的了解。综上说明，研究者缺乏专业的研究技能，问卷法被滥用的情形并不少见。

表2 问卷信度的测评情况Table 2 Test Results of Questionnaire Reliability

2.4 问卷信度的测评方法

对于问卷信度的测评而言，明确地报告信度的检验方法是不可或缺的。详细介绍问卷信度检验方法可以让读者根据对研究方法的陈述评判研究的质量，同时还能给读者提供同类研究遵循的研究流程，以检验研究结果的准确性（张力为，2002b）。但对信度检验方法无任何说明的论文高达573篇（占论文总数的46.9%）（表3），此现象说明，研究者在问卷调查法中对信度的检验不够重视或者并不清楚信度检验的方法，一定程度上影响到论文的质量且可能直接影响研究结果的准确性和客观性。有640篇论文（占论文总数的52.4%）对问卷信度的检验方法进行了明确的说明，但对于科学研究的严谨性来说，这一比例仍远远不够。

表3 问卷信度测评的方法使用情况Table 3 Usage of the Method of Questionnaire Reliability Test

从纳入论文对问卷进行信度测评的指标来看，内部一致性信度是目前最常用的指标。另外，重测信度的应用也为数不少，但大多数研究对内部一致性的重视程度高于重测信度。不同的信度检验方法适应于不同的条件，不同检验方法得出的结果也会存在一定差异，能够从不同角度反映问卷的信度程度。在实际研究中，很难对某一问卷进行所有可信度的评估，选用合理的信度检验方法要结合问卷种类和研究目的（蒋小花等，2010）。更重要的是，选用的方法要与调查问卷的整体设计要求相符合（黄汉升，2009）。另外，利用纸笔测验进行调查研究时，应先确定需要进行信度检验的内容，并非所有的内容都需要进行信度测评（张力为，2002a）。有8篇论文（占论文总数的0.7%）在评估信度时以“专家评估”“相关系数”“交叉证实”“r值”的方式对信度结果进行描述，并不能反映出研究中信度测评采用的具体方法，也就不能对其信度测评的合理性进行准确的认识。更进一步，因为不能确定其信度检验方法是否合理，就不能确定其信度高低。综上说明，部分研究者对问卷信度检验重视不足，对信度的相关专业知识了解不足。

2.5 问卷信度测评的趋势

从信度是否报告的角度看，总体呈现出趋向规范化的良好态势，越来越多的论文在使用问卷调查法时报告了信度。最低为2012年度的47.6%（图2），但也有近一半的论文报告了信度，最高为2018年度80.9%的论文报告了信度。在一定程度上说明，研究者对于问卷调查法信度报告的意识逐渐增强。尽管问卷调查法的信度检验方面取得了很大的进步，但是，也应意识到问卷应用的问题仍然存在，研究规范性仍需继续优化加强。

图2 问卷信度测评的趋势Figure 2. Trends of Questionnaires Reliability Assessment

从信度结果呈现方式的趋势来看，信度结果报告的方式越来越具体化，有“具体值描述”的越来越多，“无任何说明”“主观描述”的情况也越来越少（图2）。从目前情况看，在运用问卷法收集资料的调查研究中，对于问卷信度检验的过程有了很大进步，但还存在着一定的问题。在调查中也发现，部分研究者只是对信度的具体值一笔带过，但具体程序却不得而知。这不仅影响到科学研究结果的准确性，还会使人们对问卷调查法的总体信任感受到影响。目前，体育科学研究应用问卷调查法时信度检验方面存在诸多不足，但也能看到我国研究者在此方面取得的进步，还需体育工作者共同努力继续改善这一状况。

3 问卷信度应用规范

3.1 测评方法

问卷的信度是指问卷调查结果的稳定性和一致性。研究者根据不同问卷或量表会选择不同的信度检验方法，这一选择以问卷内容、研究目的以及应用现状为基础，其最终目的是保障问卷的质量，确保研究结果的权威性。以下为体育科学实践中常见的问卷信度检测方法，其适用范围、计算方法、分析方法和评价标准归纳为表4。

3.1.1 重测信度

问卷的重测信度（test-retest reliability）是指用同样的问卷，在相似的情境下对同一组调查对象在不同的时间进行两次测量，测评其结果的一致程度（张力为，2002a）。结果相关程度越高，或是差异越不显著，则信度也就越高，测量结果越一致。重测信度常用于事实性或习惯性行为等在短时间内无明显变化的调查问卷（亓莱滨等，2003），以及了解调查对象的态度和意见的问卷（蒋小花等，2003）。通常来说，问卷测评的内容和难易程度都会影响到问卷的重测信度（Otter et al.，2010）。内容多、回答难的问卷由于增加了被调查者回答的不确定性而使得问卷重测信度降低，而问卷内容越少，对调查者来说越简单，其重测信度也越高。此外，如果两次问卷调查的间隔时间过长，也会降低重测信度。因此，常见的两次测量间隔需在2～4周（蒋小花等，2003）。对问卷重测信度进行评价分析时，当评估的变量是二分类变量时，可用Kappa系数评估重测信度；当评估连续变量或等级变量时，则应采用基于方差分析的内部相关系数ICC（intraclass correla‐tion coefficient）来测评问卷的重测信度（Bailey et al.，1994）。一般ICC＞0.80表示重测信度极好，0.61～0.80表示重测信度较好，0.41～0.60表示重测信度中等，0.21～0.40表示重测信度较差，ICC≤0.20则表示重测信度很差（Landis et al.，1977）。

3.1.2 内部一致性信度

问卷的内部一致性信度（internal consistent reliabili‐ty），是指问卷内测评相同内容的所有题目之间的一致性。内部一致性信度适用于了解调查者态度以及意见式的问卷（亓莱滨 等，2003），克隆巴赫系数（Cronbach's α）是最常用的内部一致性信度检测指标（Bonett et al.，2015）。其应用的条件是被检测的所有题目都必须是测量同一种现象，并对该现象进行相等程度地解释（Cronbach et al.，1951）。克隆巴赫α系数越大，各条目间相关程度越高。一般，克隆巴赫α系数＞0.80表示内部一致性极好，0.71～0.80表示内部一致性较好，0.66～0.70表示内部一致性中等，0.60～0.65表示内部一致性较差，＜0.60则表示内部一致性很差（DeVellis，2006）。需要注意的是，判断问卷或量表内部一致性高低时，需要同时考虑题目的数量（巫秀美 等，1998；Eisinga et al.，2013）。因为克隆巴赫α系数会随着题目数量的增加而增加，而并非真实题目之间内部一致性的增加（温忠麟 等，2011；Yang et al.，2011）。

3.1.3 折半信度

问卷的折半信度（split-half reliability）是指将一份问卷分成对等的两半后，调查被试者在这两个部分所得分数的一致程度。折半信度在评判某个测验特定两半之间的一致性程度时较有使用价值（陈希镇等，1991）。这种方法一般不适用于事实式问卷，常用于调查被试者态度以及意见式问卷（亓莱滨等，2003）。在应用折半信度进行分析时，如果问卷中包含反意条目，需要先将反意条目的得分作逆向处理，以保证条目有相同的得分方向，进而将全部条目按奇偶或前后顺序分成对等的两半（蒋小花，2010），最后计算其Spearman-Brown系数和Guttman Split-Half系数以评估其相关程度（Thompson et al.，2010）。折半信度系数通常在0.60～0.80，一般应＞0.70（Luking et al.，2017）。

表4 信度运用方法Table 4 Reliability Application Methods

3.1.4 复本信度

问卷的复本信度（equivalent-form reliability）是让同一批被调查者一次性完成两份等效问卷，计算两份等效问卷结果的一致程度。有两份难度、内容、形式和提问方向完全一致的问卷是测量复本信度的前提（李灿等，2008）。复本信度在一定程度上可以弥补重测信度的缺陷，但因为很难得到两份等效的问卷，所以在实践中较少采用此种方法（蒋小花，2010）。一般常用Pearson相关系数、Ken‐dall等级相关系数和Spearman等级相关系数计算复本信度。复本信度的标准往往很高，一般在0.85～0.90，＞0.85表示信度可被接受（McDowell，2006）。

3.1.5 评分者信度

问卷的评分者信度（scorer reliability）指的是多个问卷评分者给相同被试人员评分时的一致程度。在实践中，有些问卷需要调查者根据被调查者的回答进行等级评判或打分，如考试试卷等。因此，该问卷的信度在很大程度上取决于调查者评分的稳定性以及一致性，对这类客观性较低的问卷，则需要计算评分者信度以判断问卷的质量（李灿等，2008）。评分者信度又分为评分者间信度，即不同评分者测评同一份问卷的结果一致性程度；以及评分者内信度，即同一评分者在不同时间或地点对同一份问卷评定结果的一致性。评分者信度常用Pearson相关系数或Kendall、Spearman等级相关系数进行计算（Bartko et al.，1976）。评分者信度相关系数通常在0.65～0.95之间，一般要求宜＞0.85（McDowell，2006）。

3.2 应用流程

问卷调查法是体育科学研究实践中最常用的研究方法之一。对问卷进行信度测量与评价是保证问卷质量的关键，也是保证研究结果科学性的前提。尽管问卷的类型多种多样，其信度的测量与评价也有着不同的方法和标准，但研究者在对问卷进行信度检验时都应遵循严格的流程和规范。从上文对2010—2018年我国9本体育类核心期刊应用问卷调查法的论文进行系统分析后发现，仍有部分已发表的论文在信度应用流程的规范性上存在欠缺。因此，本研究总结归纳了问卷信度应用的一般流程（图3）。

图3 问卷调查法信度检验流程图Figure 3. Reliability Test Flow Chart of Questionnaire Survey Method

在对问卷信度进行测评时，首先判断该问卷是否为已存在问卷，如果是，则查询该问卷是否已经进行过信度检验，并确定该问卷信度测评对象是否与本研究相同或类似（包括年龄、性别、地区、文化等社会人口学情况），信度报告是否规范，检验方法是否正确，评估标准是否适宜。如果该问卷符合以上条件，则可被引用。如果该问卷不符合以上条件或者是全新设计的问卷，则应进行规范的信度检验。进行标准信度检验首先应确定测验的内容，并非所有的内容都需要进行信度检验；合理的信度指标需根据问卷的种类和研究目的以及问卷的整体性研究设计进行选择；信度结果需根据所选择的信度检验方法采用相应的测评方法进行计算；判断信度结果是否符合评价标准是对所得信度结果进行分析，以此来判断该问卷的信度程度。如果符合信度评价标准则表明该问卷信度具有可信度，否则，应修改问卷再次进行规范的信度检验直至符合评价标准。问卷信度检验描述示例如下：

对学生校外身体活动问卷进行重测信度检验，120名11岁在校5年级学生（男生50.0%）完成该问卷，并在2周后再次完成该问卷。采用组内相关系数对问卷两次测试结果进行分析，结果显示，该问卷的组内相关系数在0.61～0.85，根据Landis等（1977）的评价标准，证明该问卷具有较好的重测信度。

4 小结

随着体育科学定量研究范式的普及，问卷调查法仍然是目前常用的体育社会科学研究方法之一，在本研究纳入的9本刊物中均占有较高比例，但同时也揭示了我国科学研究者在使用问卷调查法过程中所潜在的一些问题。在提倡学术规范的今天，科学研究者在运用问卷调查法时，须重视并加强问卷的编制修订工作，遵循信度检验的一般流程，正确应用信度检验方法，从而有效地利用问卷调查法得出科学客观的研究结论，保证学术论文的质量。