认知诊断阅读测试信效度检验

杜文博

摘 要： 本文利用SPSS统计软件对建立好的一套认知诊断阅读测试题进行信效度检验。结果显示：本套阅读试题的信度为0.794，达到可接受信度0.7，试题的内部相关性较高，并能区分不同水平的学生。基于上述发现，本试题可以用来对学生的阅读水平进行诊断测试。

关键词： 认知诊断 阅读测试 信效度

1.研究背景

认知诊断理论是认知心理学与心理测量学相结合的新型心理测量理论。它旨在通过对学习者技能掌握情况的细致分析，为学习者提供有效的诊断反馈。（涂东波等2012）通过认知诊断，对个体的评估不再局限于宏观能力层面，而对个体内部微观认知结构进行剖析，有助于人们更好地了解个体内部心理活动规律及加工机制，准确发现个体的优缺点，及时补救以促进个体全面发展。（Lee et al.2009；关丹丹2009）

将认知诊断应用于英语阅读测试旨在发现学生对不同阅读技能的掌握情况，从而为他们提供针对性的补救措施。英语阅读认知诊断试题的构建是实现诊断过程的重要步骤，试题的信效度的高低直接决定了它是否可作为诊断工具应用于大规模诊断测试。因此对试题信效度的检验尤为重要。本文研究的试题为西安交通大学PELDiaG课题组设计的一套具有诊断功能的英语阅读测试题。该套试题分为三大部分，合计43道多项选择题，每一道题包含若干认知阅读属性。第一部分是一篇约800词的泛读题，要求学生快速浏览文章选出相应答案。第一部分结尾设有两道策略题，旨在了解学生完成该部分试题的技巧。第二部分为三篇精读题，分别含有12道、5道和6道题目。第三部分为10道完形填空题，难度与四级试题相当。整套试题的结构见表。

2.相关理论

英语阅读认知属性指的是被试在完成题目时采用的知识、技能、策略、思维过程、阅读技巧等。通过对大量文献回顾及理论指导，课题组定义了8种被试最常用的阅读属性，见表1。

“Q矩阵”是一个描述测验项目与属性之间关系的矩阵，首先由Embreston提出，后经Tatsuoka完善形成“Q矩阵理论”。本文采用的认知诊断阅读题共包含43道题目。经7位专家标注，形成属性与题目之间的Q矩阵如下表所示。其中横排为属性，竖排为题项，并采用0/1标注。0代表正确答对该题不需要掌握此属性，1代表正确答对该题该属性是必须掌握的。由于空间限制，部分矩阵予以省略。

根据信效度相关理论，本文提出如下假设：

1：试题的内部一致性应较高，Cronbachs alpha应高于0.7。

2：试题的各组成部分应该显著相关。

3：试题应能区分不同水平的学生，不同水平学生的作答情况显著不同。

3.研究方法

为验证提出的假设，本文利用SPSS软件对学生作答数据进行统计分析。参加阅读测试的学生为西安交通大学非英语专业的本科生，合计401人。正确回答一道题得1分，合计41分。根据学生的作答情况，将学生分为高水平组（分数大于28）与低水平组（分数等于或低于28）

401份学生数据分组后，高水平组共215份，低水平组共186份。将学生数据导入SPSS软件，进行一系列统计分析：信度分析考察试题的内部一致性。内部相关性、因子分析及单维ANOVA分析考察试题的结构效度。本文显著性水平设为0.05。

4.数据分析及讨论

试题良好的信度是效度的必要条件。本试题的Cronbachs alpha值为0.794，高于可接受值0.7。说明本试题基本可靠，假设1得到证实。

试题结构效度可通过试题各部分的相关系数，以及与总分的相关系数得出，见表。从表中看出，试题的三部分，泛读、精读和完形填空显著相关。虽然三部分都测试阅读，但所测属性不同，我们期待它们之间的相关较低，在（+0.3，+0.5）的水平（Alderson，Clapham，& Wall，1995）。数据显示三部分之间的相关系数在0.3左右。说明三部分所测属性分布清晰。其次，精读与完型与总分的相关系数均高于0.7（分别为0.872，和0.753），说明这两部分在该试题中占有比重最大。本试题的效度可靠，假设2得到证实。

一套有效的试题应该能够区分不同水平组的学生。单维Anova分析显示高水平组的平均分在三部分阅读题中均高于低水平组。两组在每一部分的变量都显著不同。说明该试题可以区分不同水平组的学生，见表5。

5.结语

根据信效度统计分析显示，本试题的信度和效度可观，所有假设得到证实。试题内部一致性较高，三个子试题的相关性在可接受范围内，并能区分不同水平组的学生，该套阅读认知诊断试题可以用于诊断测试。

参考文献：

[1]关丹丹.认知诊断理论与考试评价[J].评价与测量，2009（4）：8-12.

[2]马晓梅课题组.个性化英语学习诊断与指导系统实证研究与系统构架概要[J].外语教学与研究，2008（3）：184-187.

[3]涂东波，蔡艳，丁树良.认知诊断理论、方法与应用[M].北京：北京师范大学出版社，2012.

[4]Alderson，J.，Clapham，C.and Wall，D.1995.Language test construction and evaluation.Cambridge：Cambridge University Press.

[5]Lee，Yong-Won，& Yasuyo，S.Cognitive Diagnosis Approaches to Language Assessment：An Overview.Language Assessment Quarterly，2009，（6）：172-189.

[6]Rupp A.，Templin J.，Henson R.A.Diagnostic Measurement：Theory，Methods，and Applications[M].New York：The Guilford Press，2010.