体育社会调查问卷信度检验的方法学探索——基于中文核心体育期刊163篇文章分析

蒋雪莱

(三明学院体育学院，福建三明365004)

信度(亦称测验或测量信度)是指测量数据与结论的可靠性程度［1］。“只有信度被接受时，量表的数据分析才是可靠的”［2］。检验测验信度通常是数据分析非常重要的一步［3］，以问卷法为主的体育社会调查研究均应报告问卷信度的检验情况。因此，体育社会学研究者极有必要了解体育社会调查问卷信度检验的方法，并能在体育社会调查的问卷信度检验中对其进行合理运用。通过中国期刊网(CNKI)的检索发现，除了张力为［4］从理论角度探讨信度的正用与误用问题的专题研究成果外，迄今为止，尚未见其他从方法学角度对体育社会调查研究中的问卷信度检验问题进行专题研究的成果。故本文拟对中文核心体育期刊刊载的社会调查研究学术论文(以问卷法为主要形式)中问卷信度检验方法的运用情况进行调查与分析，从方法学视角分析其问卷信度检验方法的运用情况，揭示目前体育社会调查学术论文中问卷信度检验的方法运用现状和特征，为体育社会调查问卷信度检验方法的规范运用和创新提供参考。

1 研究对象与方法

1．1 研究对象为了使体育社会调查问卷信度检验方法学的研究更具说服力，本文以《上海体育学院学报》《成都体育学院学报》《天津体育学院学报》《武汉体育学院学报》《北京体育大学学报》《体育科学》《中国体育科技》7种从1992年以来均进入《中文核心期刊要目总览》的核心体育期刊在2012—2014年所刊载的社会调查研究学术文章为样本，对样本的问卷信度检验信息进行分析，共查阅到报告问卷信度检验情况的文章163篇。由于有的文章进行了多项问卷测量，有的问卷测量报告的信度种类不止一种，所以涉及的问卷测量有276项，涉及的问卷信度检验信息有301条。需要说明的是，本文主要从结果呈现的角度，对这301条问卷信度检验信息进行解析，而不涉及其研究的特定主题和具体内容。

1．2 研究方法文献资料法:通过中国期刊网与超星数字图书馆等检索和查阅了相关的文献资料。

数理统计法:对样本的301条问卷信度检验信息中所反映出的具体信息属性进行逐类归纳、统计与分析，包括问卷性质(单维或多维)、问卷来源(自行研制、改编、引用)、信度种类、信度属性(问卷本身的或测量结果的信度)、检验方法、指标系数等信息。针对样本问卷信度检验方法学的进展、特征及其存在的问题进行剖析，提出优化我国体育社会调查问卷信度检验方法的建议。

2 样本问卷信度检验的方法学特征

2．1 信度检验的二元方法趋势日渐明显对问卷来源明确并报告了明确信度检验种类的169项测量的调查发现，64项使用了引用问卷的测量中绝大多数(82．8%)检验了内部一致性信度，部分(25．0%)检验了重测信度;25项使用了改编问卷的测量，其信度检验情况与使用了引用问卷的测量相似，相同的数据分别为84．0%和20．0%;80项使用了自编问卷的测量则是以重测信度检验为主(63．8%)、内部一致性信度为辅(36．2%)。与信度检验种类相对应的是，对相同问卷测量项目所运用的信度检验方法的调查也发现，使用了引用问卷和改编问卷的测量，方法运用最多的是α系数法，重测法的运用次数则少得多;使用自编问卷的测量中大多数运用了重测法，运用α系数法的也为数不少(表1)。上述现象表明，在体育社会调查问卷信度检验中，使用或改编现成问卷的测量，一般会对内部一致性信度进行检验，但不一定会检验重测信度;而采用自编问卷的测量，目前以重测信度检验为主。由于大多数研究者在目前的研究实践中对内部一致性的重视程度似乎更高［4］，并且内部一致性信度比较接近于测验信度［5］;因此，使用自编问卷的体育社会调查测量，其信度检验应保持内部一致性信度和重测信度并重。这说明随着信度检验理论和方法的不断发展，样本的问卷信度检验逐步分成了以内部一致性信度检验为主的使用，或改编现成问卷的信度检验及以内部一致性信度和重测信度检验并重的使用自编问卷的信度检验，体育社会调查问卷信度检验的二元方法趋势日渐明显。

表1 不同来源问卷信度种类与检验方法(n=169)Table 1 Types and methods of reliability test in the questionnaire from different sources

2．2 更加重视对内部一致性信度的检验合成信度(CR)其实是内部一致性信度［5］。由表2可知，在248项报告了信度种类或通过信度检验方法可以推出信度种类的问卷测量中，明确检验了内部一致性信度的就达到了110项(44．4%)。此外，由于历史的原因，许多文献在研究中往往不报告检验的信度种类，而直接以α系数替代内部一致性信度。因此，对内部一致性信度进行检验的问卷测量项次肯定超过以上统计数据，并大大超过检验了重测信度的问卷测量项次。由此可见，在样本论文的问卷信度检验中，对内部一致性信度和重测信度这2种目前体育社会调查问卷信度检验中最常用的信度指标，大多数研究者对前者的重视程度高于后者。这是样本在问卷信度检验方法学上的一个明显的进步，因为:一方面，内部一致性信度比较接近于测验信度，尤其是通过验证性因子分析，计算合成信度(即内部一致性信度)的ρ系数能比较准确地估计测验信度［5］;另一方面，重测信度是通过重测法计算出来的，而重测法一般要求用同一量具对一组应试者先后施测2次［6］。在体育社会调查的样本量较大的情况下，重复测量的操作难度无疑会很大，而且进行重复测量导致“重测信度往往并不很高，使人有吃力不讨好的感觉”［4］，此时检验重测信度显然不是一种合理的选择。由此可见，以内部一致性信度度量体育社会调查的问卷信度应是一个发展趋势，只不过内部一致性信度经常会被误解为α系数［5］。近年来，在文献中比较流行称其为合成信度，内部一致性信度将来可能更多地以合成信度的名称出现。

表2 检验的信度种类(n=248)Table 2 Types of reliability tested

3 样本问卷信度检验存在的方法学问题

3．1 对信度概念的基本认识模糊信度是反映测验结果受到随机误差影响程度的指标，是评价测验质量的最基本指标［7］。体育社会调查中的问卷信度其实是“评价测验结果可靠与否的一个指标，而不是测验工具的不变属性”［8］，故诸如“该问卷的信度是多少”或“该问卷的信度达到了可接受的水平”这样类似的提法都是不准确的。调查发现，样本对于问卷信度检验结果或结论的描述中，有207项(75．0%)测量是如此描述的，扣除笔误和无法准确判断的测量，有115项(占41．7%)测量所报告的信度检验结果确实是问卷本身的信度估计，而不是本项体育社会调查研究的问卷测量结果的信度估计，说明部分样本作者对信度概念基本认识较模糊，认为问卷信度是对问卷本身可靠程度的评价。

3．2 信度估计过分依赖α系数统计发现，扣除没有报告信度系数和检验结果的信度检验信息，在剩余的234条信度检验信息中，有182条(77．8%)均是以α系数报告信度估计结果，说明样本对信度的估计过分依赖α系数。α系数即使在总体范围内也会错误地估计量表的信度［9］。大量研究认为，α系数不能很好地估计测验信度［5］，并且还存在要求量表题项受潜在变量影响相等、不能对题项进行信度评估等诸多缺陷［2］。目前的研究已发现了许多比α系数更好的信度估计指标，如γ系数、合成信度ρ系数、λ系数等。样本在问卷信度估计上之所以还大量使用α系数，可能主要有以下2个原因:① α系数的学界地位。虽然α系数一再受到质疑甚至否定，但报告α系数依然流行［10］。② α系数计算简单易行。用SPSS软件窗口操作就可计算得出，而计算其他类型的信度系数则相对比较困难。

3．3 对多维问卷的分量表信度检验重视不够多维问卷要通过每个子问卷的考察结果再综合反映整个问卷的情况，而不宜仅检验一个总问卷的信度［11］。调查发现，在样本的229项多维问卷测量的225条有报告具体信度检验结果的信息中，只报告总量表而未报告分量表信度检验结果的86条(38．2%)，说明样本论文对多维问卷的分量表信度检验重视不够。

3．4 误用“信度引入”方法估计信度调查发现，在117项引用问卷的测量中，有40项(34．2%)的信度估计采用的是“信度引入”方式(即信度检验完全依靠引用问卷的原始信度)。研究者存在的问题是将特定场合的结论错误地引用到一个更宽阔的范围里［8］。导致这种现象产生的主要原因是研究者错误地认为，通过那些在先前的研究实例中获得了很高信度系数的社会调查问卷所获得的新数据一概都是可靠的［7］，那些来自于引用问卷中的信度估计对于他们当前的体育社会调查研究已足够了。然而事实并非如此。

3．5 信度检验情况描述随意

3．5．1 仅报告信度检验结果 如果体育社会调查有进行问卷信度检验的，“论文作者必须用明确的术语报告进行了哪种信度检验，检验结果如何”［4］。调查发现，有75条(24．9%)信度检验信息只报告了信度检验的结果，基本都是报告α系数及其计算值，如“信度检验显示，量表的α系数为0．93”。通过这样的信息，读者只能知道该测量信度的估计值是多少，而无法具体分清其是进行了哪种信度检验。因为α系数可以表征多种信度，一般习惯和最常见的是用来表征内部一致性信度和同质性信度。近年来也有研究发现［12］，α系数作为评分者间信度和重复测量信度的指标得到了广泛的应用。导致这种现象产生的原因是前文所提到的研究者习惯直接以α系数替代内部一致性信度;而α系数其实仅是一种衡量信度的指标系数而已。这种做法有偷换概念的嫌疑，过去这也许仅是一种不严谨的习惯，现在和将来则将这种做法视为一种不科学和不负责任的行为。

3．5．2 无信度指标系数或信度指标系数模糊 显然，只有用一个明确的系数加上一个具体数值的组合才可能清晰地表征问卷信度检验的结果，否则，读者无法明白研究者是用哪一种系数表征信度检验结果。调查发现，有40条(13．3%)信度检验信息只报告了一个模糊的系数加上一个具体的数值，如“用重测法进行了信度检验，r或相关系数为0．93”。这条信息并未说明r或相关系数是Pearson相关系数、Spearman等级相关系数还是内部相关系数ICC，而这些指标系数都可以表征重测信度的检验结果。有31条(10．3%)信度检验信息只报告了检验的信度种类和一个具体的数值，如“调查问卷内部一致性信度为0．86，重测信度为0．84”，读者同样不知道这些具体数值是哪种指标系数下计算出来的数值。

3．5．3 描述信度检验情况笼统 学术论文不能笼统地解释“问卷信度经过检验，达到可接受的水平”［4］。这个问题已是老生常谈了，但调查发现依然有25条(8．3%)问卷信度检验报告还在犯这种错误。这种贴标签的做法是一种极不严谨和极不负责的行为。

4 优化我国体育社会调查问卷信度检验方法的建议

4．1 严谨描述问卷信度检验情况严谨的问卷信度检验情况描述必须明确指明信度的种类和信度检验的结果，如果能对检验程序和研究特征进行充分描述则更好。遗憾的是，调查发现样本的301条问卷信度检验信息中只有121条(40．2%)是符合和基本符合要求的(即有信度种类、检验结果)，其余的180条(59．8%)问卷信度检验信息均描述较随意。在美国，新的测量量表或问卷一经问世就能得到推广应用，对信度和效度证据的严谨描述是主要原因之一［13］。因此，我国的体育社会调查学术论文应对问卷信度检验情况进行严谨描述，无论是使用自编、改编或是引用问卷的测量均应如此;而且从避免信度滥用的角度考虑［4］，采用引用问卷进行体育社会调查的学术论文还应报告引用问卷在其原始测量中的信度。

4．2 选择合理的信度检验方法有研究指出［5］，只要误差不相关且合成总分有意义，不论测验是否单维，只要α系数高到可以接受，那么测验信度就可以接受，对于通常的单维测验更是如此。体育社会调查中的大多数问卷测量，往往凭研究者的经验和常识就可以判断出题目之间的误差是不相关的，因而对于大多数的体育社会调查问卷测量而言，报告α系数已足以支持测验信度了［14］，毕竟α系数的计算相对简单。如果计算出的α系数过低而没有参考价值，则可以通过计算合成信度的ρ系数估计信度(ρ系数不低于α系数并比较接近于测验信度［5］)。由此可见，研究者所选择的信度检验方法是否合理，关键在于其应用于体育社会调查问卷信度检验时，是否做到了恰到好处并能合理而巧妙地运用［15］。最为重要的是，其要符合体育社会调查问卷信度检验的整体性设计要求。由温忠麟等提出的测验信度分析流程即计算测量信度双标杆法，正是这样一种在整体设计与具体运用环节均符合体育社会调查问卷信度检验要求的信度检验方法(关于信度双标杆法的原理和具体流程参见文献［5］或［10］)，而且简化了的合成信度计算程序，研究者可以很容易套用。目前，对于体育社会调查问卷信度检验而言，计算测量信度双标杆法无疑是一种可供选择的合理的信度检验方法。

4．3 重视多维问卷的分量表信度检验许多做过体育社会调查问卷信度检验的研究者都有如下经验，如果一个问卷有多个分量表，可能会出现问卷总体信度较高而个别分量表信度较低的现象，原因可能是有的分量表信度很高而把其他信度很低的分量表的缺陷掩盖了。因此，对多维问卷的信度检验，“应分别计算每个分量表的内部信度，否则会降低问卷的内部信度”［16］。事实上，更科学的做法是，不仅要计算总量表和分量表的信度，最好还要计算各测量题目的个别题项信度(SMC)的系数R2。这样，就可避免有学者对体育社会调查的问卷信度检验提出类似“思考一个量表或者分量表仅给出一个α系数信度指标可能会有不妥之处”的担忧了［17］。

4．4 重新计算引用问卷信度之所以必须重新计算引用问卷信度是基于以下3个原因。①“信度引入”不符合问卷信度检验的要求，因为引入的信度是引用问卷在其原始研究中的信度，而问卷信度检验是检验引用问卷在本项研究中的“测量结果的信度”［8］。②“信度引入”这种方式本身就存在着巨大的隐患，因为“信度引入”方式所报告的其实就是现成问卷本身的信度，而有些标准化的量表也存在着一些信度问题［18］。特别是引用国外的一些量表，因为“在不同人群和文化中使用的时候需要重新考虑因素结构和因素的组成”［19］。③本项测量中的信度是读者判断和评价本项研究的重要依据，是必须报告的内容［4］。

5 结束语

我国体育社会调查研究学术论文的问卷信度检验体现出了鲜明的方法学特征，包括:逐步分成了以内部一致性信度检验为主的使用，或改编现成问卷的信度检验及以内部一致性信度和重测信度检验并重的使用自编问卷的信度检验，问卷信度检验的二元方法日趋明显;对于内部一致性信度和重测信度这2种最常用的信度证据，更加重视对内部一致性信度的检验，这是一个明显的进步。由于部分研究者的科学方法自觉意识和信度检验方法论素养不高，这些学术论文的问卷信度检验也存在一些不容忽视的方法学问题，包括:对信度概念的基本认识模糊;信度估计过分依赖α系数;不重视多维问卷的分量表信度检验;误用“信度引入”方法估计信度以及信度检验情况描述随意。严谨描述问卷信度检验情况，选择合理的信度检验方法，重视多维问卷的分量表信度检验以及重新计算引用问卷信度等，都是优化我国体育社会调查问卷信度检验方法的有效手段。

［1］ 卢淑华．社会统计学［M］．北京:北京大学出版社，1989:187

［2］ 徐万里．结构方程模式在信度检验中的应用［J］．统计与信息论坛，2008，23(7):9-13

［3］ 叶宝娟，温忠麟．用 Delta法估计多维测验合成信度的置信区间［J］．心理科学，2012，35(5):1213-1217

［4］ 张力为．信度的正用与误用［J］．北京体育大学学报，2002，25(3):348-350

［5］ 温忠麟，叶宝娟．测验信度估计:从α系数到内部一致性信度［J］．心理学报，2011，43(7):821-829

［6］ 杜林致．心理测量学［M］．天津:南开大学出版社，2011:51

［7］ 谢小庆．信度估 γ 系数［J］．心理学报，1998，30(2):193-196

［8］ 关丹丹，张厚粲．信度的再认识与信度概括化研究［J］．心理科学，2004，27(2):445-448

［9］ 屠金路，王庭照，金瑜．结构方程模型下多因子非同质测量合成分数的信度估计［J］．心理科学，2010，33(3):666-669

［10］ 温忠麟．α系数:晃而不倒的信度标杆［N］．中国社会科学报，2011-10-13(12)

［11］ 倪宗瓒．医学统计学［M］．北京:高等教育出版社，2003:230-239

［12］ 关守义．克龙巴赫α系数研究述评［J］．心理科学，2009，32(3):685-687

［13］ 齐红梅，刘微娜．我国运动心理学领域心理量表或问卷编制修订的潜在问题分析［J］．成都体育学院学报，2013，39(6):91-94

［14］ 叶宝娟，温忠麟．α系数的区间估计方法比较［J］．心理科学，2013，36(1):215-222

［15］ 黄汉升．体育科学研究的方法学探索——基于中国体育学300篇博士学位论文的调查与分析［J］．体育科学，2009，29(9):3-17

［16］ 蒋小花，沈卓之，张楠楠．问卷的信度和效度分析［J］．现代预防医学，2010，37(3):429-431

［17］ 戴俭慧，金亚虹．体育科学量表编制中几个主要问题探究——一种方法优化的思考［J］．体育科学，2014，34(3):88-95

［18］ 陈显健．论影响体育社会学科问卷调查研究方法使用效果的几个重要因素［J］．浙江体育科学，2008，30(2):115-122

［19］ 张立敏，张力为．SPEQ在中国文化背景中的检验与重建［J］．体育科学，2008，28(3):34-37