认知诊断理论在语言测试中的应用研究

李晓娟

（广西大学外国语学院，广西 南宁 530004）

认知诊断理论在语言测试中的应用研究

李晓娟

（广西大学外国语学院，广西 南宁 530004）

认知诊断理论结合了现代心理测量学和认知心理学的研究成果，对人的内部心理加工机制进行研究，对个体的微观认知优势和弱势进行诊断。作为测试领域新时期的典型代表，认知诊断测试充分结合现代测量技术和先进理念，将认知诊断应用于语言测试中。结合语言测试的当前状况，分析认知诊断理论与语言测试的结合，讨论认知诊断模型的发展及选择、认知诊断测试的应用流程以及认知诊断测试的信度和效度问题。结果表明，将认知诊断理论应用于测试中有助于测试实现其目的，对于测试实现其内容效度具有推动作用，同时还能诊断被试的心理发展状况。

认知诊断；语言测试；认知模型

一、引言

语言测试是教育教学的重要组成部分，是教学过程中进行测量评估的方法与手段，对促进教育发展起到不可或缺的作用。作为语言学、教育测量学、认知心理学等的交叉学科，它的主要目的在于科学地测量语言能力，并为语言能力的提高提供思路。根据测试目的和用途，语言测试可以分为以下几类：水平测试、成绩测试、诊断性测试、潜能测试和编班测试［1］15，每一类测试都有各自的优势和不足之处。其中，诊断性测试主要用来探寻被试在某些知识点上是否有困难，找出教学过程中教师教和学生学的缺陷，并针对这些缺陷及时地找出解决办法，这也是其区别于其他类型测试的特点之一［2］。在传统观念中，测试通常都是以分数为基准来衡量被试的知识掌握情况，分数高则表示被试对所测内容掌握较好，反之则差。然而随着语言测试的发展，测试者不再仅仅满足于获得测试结果，而开始更多地关注到分数背后的各种因素，比如导致被试分数丢失的原因、相同测试结果的个体间差异以及被试哪些知识掌握得很好、哪些技能还有所欠缺等等，也就是说，测试者越来越多地开始从测验中获取诊断信息，从中了解被试的知识结构和他们解题的认知加工过程等，从而对被试进行有针对的补救，也大大地促进教育的发展。同时，被试也能从中进行分析总结，根据自身的学习风格和策略等进行调节与改进。目前的相关研究中，国外对认知诊断的研究主要是在微观层面。Sheehen et al.曾将认知诊断理论用于美国的青少年群体，来探讨他们的文本加工技能［3］，Buck et al.曾运用该理论对TOEIC考试的阅读试题的认知属性进行了研究［4］，Buck&Tatsuoka曾针对英语听力试题进行过认知诊断评估［5］，Lee&Sawaki也对英语听力考试的认知属性进行过认知诊断［6］。国内将认知诊断用于语言测试的研究相对少一些，但也推动了诊断测试的发展。桂诗春提出以认知信息处理模型为基础的语言测试，通过实例说明了认知语言测试的诊断性作用［7］，陈慧麟和赵冠芳提出将认知诊断理论引入语言测试领域是语言测试研究的新阶段［8］，洪丽燕分析了将认知诊断理论引入现代语言测试领域的必要性和可行性［9］，陈慧麟对语言测试中的认知诊断及其应用流程进行了介绍［10］。从以上研究可看出，为了对学生的认知结构进行科学而有效的诊断，认知诊断这项新的诊断技术应运而生。这种方法对人的认知层面进行研究，实质上也是对能力进行研究的进一步拓展，它能够对认知属性进行界定，对认知能力及其结构作出诊断，从被试的测试反应中推出人们不可观察的知识状态［10］。那么，将认知诊断理论应用于测试中对于语言测试有什么意义呢？它具体有什么推动作用呢？讨论认知诊断理论与语言测试的结合以及它在语言测试中的应用情况，探究它对语言测试的具体推动作用是十分必要的，以期对今后的语言测试有所启发，有所促进。

二、语言测试与认知诊断理论

作为社会生活的一部分，语言测试随着社会的发展进步而不断进步着。它的发展经历了四个时期：前科学时期、心理测量—结构主义时期、心理语言学-社会语言学时期和交际语言测试时期。而其中的后三个时期又分别对应了三种测试模式：心理测量-结构主义模式，心理语言学-社会语言学模式和交际语言测试模式，它们体现出语言测试从注重语言知识到注重交际能力的转变，是一个质的飞跃［1］5。因此，语言测试在越来越注重各项具体语言技能和能力的今天，面对测试群体复杂和具体的情况，更需要认知诊断理论来解释和描述试题中包含的语言技能的认知属性，并对其中的构造加以诊断。随着心理测量学和认知心理学的进一步发展，人们不再局限于只关注个体宏观上的能力测评，也希望能深入了解他们微观层面的心理加工过程，了解他们的认知过程。这就给我们带来了新一代的测试理论，它强调的是问题解决的认知加工模型在测验编制中的指导作用，强调对个体宏观能力水平评估及微观心理加工过程评估并重，并将认知诊断视为其核心［11］2。当前在国外的一些国家，甚至有些社会主流观点认为，没有诊断的测试是不负责任的行为，由此可见认知诊断的受重视程度越来越高。认知诊断能够将认知与测试相结合，对个体的认知结构进行诊断，揭示其心理加工过程，对测试的发展具有十分重要的意义。在教育领域，具有认知诊断功能的测量要推断学生反应背后的认知强项和弱项。从另一个角度说，认知诊断测验至少应测量三方面的认知特性：一是认知领域中构成一些高层能力构建的基础的重要技能或知识；二是体现人们如何对这些知识和技能进行组织的知识结构；三是认知过程［12］。总的来说，它强调测试要考查被试的心理加工过程。将认知诊断理论应用到语言测试中，不仅是语言测试由过去走到现在的发展结果，也是今后测试领域的发展方向之一。

三、认知诊断理论在语言测试中的应用

与一般的测试相比，语言测试的认知诊断要对人的心理加工过程、认知结构等进行测量，这一点相对比较困难，因为我们无法直接观察到人脑的运转与思维过程，只能通过测试的结果来分析和加以诊断。由此可见，对认知诊断模型及发展、认知诊断操作流程和认知诊断测试的信度和效度有清晰的认识是很好地将认知诊断理论应用到语言测试中并最大程度发挥其作用的必要条件。

（一）认知诊断模型及其选择

认知诊断充分吸收了认知心理学对人类认知加工过程的内在机制进行研究的成果，开发出了具有认知诊断功能的心理计量模型（简称为认知诊断模型），并将认知心理学研究成果直接纳入计量模型中，进而提供认知诊断信息［11］3。它的实现是建立在三大理论基础之上的：现代认知心理学、现代统计数学和计算机科学。首先，现代认知心理学为测试的编制提供了理论支持，对测试的开发提供了指导；其次，心理测量学使测试所包含的认知属性等融合到了测量模型中，从而使被试的认知结构模式化，有利于实现对被试的认知诊断。最后，统计数学和计算机科学实现了对数据的深层次分析，也有利于对未知参数作出估计。

心理测量学家和认知心理学家们经过不断尝试，开发出了越来越多的认知诊断模型，用以测量被试的内部心理加工过程，并提供认知诊断信息。在众多的认知诊断模型中，RSM，AHM，RUM和DINA目前在国内外使用最为广泛，但每种模型都是针对具体情景下提出的，各有其特点。实现语言测试的认知诊断，选用认知诊断模型是至关重要的，由于不同的认知诊断模型具有不同的认知假设，因此，在实际使用过程中，认知诊断模型的选择应当充分考虑该模型是否和测试项目反应机制相匹配，以及是否能够提供充分的技能诊断信息。

（二）认知诊断测试应用流程

语言测试的认知诊断，要求测试必须经过仔细挑选和认真设计，要涉及相关认知技能或认知属性，这样它才能够激发出被试的认知结构或技能掌握情况下的外在行为表现；此外，测试者由这些认知属性和测试的具体情况，采取合适的认知诊断模型或心理计量模型，从而将要测的技能与被试反应之间的关系进行模型化，再通过被试的测试表现来推出他们的内在知识结构和技能的掌握情况。要达到以上目的，认知诊断的应用流程主要包含以下7个步骤（具体流程见图1）：描述测量目的、创建属性空间——构建认知模型、根据认知模型设计测验Q矩阵、开发和分析评估任务、选择和评价认知模型（Q矩阵）和认知诊断模型、模型参数估计、报告评估结果及补救。

图1 认知诊断一般步骤流程图［13］

认知诊断在开始前，测试者的测量目的必须十分明确，因为它决定了测试所涉及的属性和属性空间，同时，明确测量目的也是建立认知模型的基础，是实现诊断目的的前提条件。传统测试并未对被试在完成测试过程中的心理历程进行描述与说明，而认知诊断测试则将被试可能涉及的心理过程分解成多个认知属性或技能，并通过建立认知模型来做出诊断，这个认知模型又可以通过Q矩阵来进行数字化解释。由于属性空间的界定涉及多个领域，专家们经讨论后得出，认知模型不止一个，因此对于认知模型的选取，测试者需要谨慎地做出选择。在认知模型确定之后，测试的编制，即测试的设计就成为了重中之重，因为它直接关系到测试能否为被试提供充分详细的信息。测试的设计涉及到一些相关的原则和约束条件，如题型、信度和效度等等，因此测试者在设计测试过程中应当综合考虑多方面因素。根据测试的设计，认知诊断任务的开发及施测便可以实行。再者，选择恰当的认知诊断模型进行评估也是不可或缺的，它能促使心理测量成功地对被试的认知结构和被试间的差异进行考查，实现对被试认知情况的诊断。在认知诊断评估的实施中，心理计量模型的参数必须是可以估计出来的，参数估计后，还要对测试的信效度、模型与资料的匹配度进行评估。在以上步骤结束后，分数报告就可以用来解释和说明许多问题了，当然，这里的分数报告不仅包括公布测试分数，也应包括对分数所做的解释。在认知诊断测试中，这些步骤也可以概括为五大过程：第一，诊断目标的确定。第二，认知模型的构建，目前认知心理学家还未开发适合于成就测试的认知模型，因此研究者可以采用与认知心理研究范式来构建适合认知诊断的认知模型。第三，测试项目的设计，这涉及到认知属性之间的层级关系，也就是测试各项目的考核方式。第四，项目的编写，即根据项目考核模式来编制相应的试题。第五，测试组卷，这一环节需要保证认知诊断测试编制的基本原则，例如试卷的项目考核模式应包含可达矩阵，且对每个属性的测量次数不少于三次等。

（三）认知诊断测试的信度和效度

语言测试的信度和效度一直是人们关注的话题，它是衡量测试好坏的关键指标。信度也被成为可靠性，用来衡量测试结果的一致性和稳定性，而效度又被称为有效性，用来衡量测试是否测出了要测的内容。如果一份测试没有信度和效度，那么它便是无意义的。认知诊断测试要求测试者不仅公布测试分数，还要对测试成绩所包含的被试的知识结构和加工技能进行解释说明。对于怎样保证认知诊断测试的信度和效度，目前国内外的研究仍处于发展状态，其中，信度研究主要集中在信度指标上，且各信度系数的表现仍缺乏系统的比较研究，包括影响因素的研究。在现今阶段，信度和效度系数仅用于评价认知诊断测试的分类结果的精确性和有效性，已有的认知诊断测试的信度和效度评估方法，主要是基于模拟的方法、a系数、相关系数或仅给出模式分类指标等，且整个的信效度评价体系也仍有待进一步完善，需要我们寻求更多的信度和效度的证据去提高认知诊断测试的信度和效度。

在目前的教育测试中，能够直接应用到测试中的认知模型非常少，这就直接决定了诊断反馈结果是否准确和有效，因为在教育测试中，Q矩阵是效度证据的重要来源之一，它的正确与否直接决定了诊断结果的有效性，同时，Q矩阵本身质量的好坏、信效度衡量指标是否能作为评价Q矩阵质量的指标都是值得思考的。在大规模考试中，一些信度和效度指标还是被用来衡量测试的某些属性，这在一定程度上是可以反映出信度和效度的某些方面的，对测试的信度和效度评估具有重要的应用价值。总的来说，在认知诊断测试中，信度和效度研究相对来说是一个较新的研究领域，有待学者们的进一步研究。

四、结语

当代语言和测试理论处于不断发展中，而认知诊断理论作为测试发展的新追求和新阶段，不论是对理论的发展还是对实践方面的测试都具有十分重要的意义。首先，认知诊断有助于测试实现其最主要的功能，即测出要测的内容，并促进被试甚至是整个测试领域的发展。这在很大程度上与现代认知心理学测量观的基本观点是一致的，都是用认知分析的方法来描述心理活动的内在机制，并根据这一点来设计不同形式的测试，从而测出被试心理活动的机制与相应机制之间是否一致或存在缺陷，以便提出补救措施，促进发展。从这个角度来讲，认知诊断是实现测量与发展之间的循环促进作用的关键环节。其次，认知诊断对于提高测试的内容效度具有推动作用。目前，人们在教育和心理领域所用的经典测试理论或项目反应理论都是根据测试的统计特性来指导设计的，对被试的内在知识结构还不够重视，这就使测试的内容效度的分析很难进行。认知诊断理论根据认知心理学的研究成果来设计测试，一定程度上能使测试的内容效度得到保证。再者，将认知诊断理论运用到语言测试中，有利于推进当代的教育实现其个性化特征，也能有效地提升素质教育的进程。它能帮助测试者诊断出被试在学习过程中所存在的认知优势与劣势，进而准确地找出他们在学习过程中存在的问题，也为因材施教提供基础，为素质教育的推进打好基础。

认知诊断测试以其不同的测试目的、功能、测试编制理论基础以及测试项目质量的评价标准区别于传统测试，它有助于测试者更好地了解被试的内部心理活动规律及加工机制，实现对被试的认知发展情况的诊断，以促进被试的全面发展，也对改进教与学提供更加精确的信息，是语言测试未来的发展方向。目前，认知诊断测试还处于发展状态，其应用和相关研究，例如认知诊断模型的开发与选择以及认知诊断测试的信度和效度研究还有待进一步加强，希望未来认知诊断测试在这些方面能继续发展，在教育教学领域中发挥更大的作用。

［1］补爱华.语言测试方法论［M］.上海：上海交通大学出版社，2011.

［2］Nitko，Anthony J.Designing Tests That are Integrated with Instruction［A］.In Linn（Ed），1989：455.

［3］Sheehan KM，Tatsuoka KK&Lewis C.A diagnostic classification model for document processing skills［R］.NJ：Educational Testing Service，1993.

［4］Buck G，Tatsuoka K&Kostin I.The subskills of reading：Rule-space analysis of a multiple-choice test of second language reading comprehension［J］.Language Learning，1997，47（3）：423-466.

［5］Buck G，Tatsuoka K.Application of the rule-space procedure to language testing：Examining attributes of a free response listening test［J］.Language Testing，1998，15（2）：119-157.

［6］Lee Y&Sawaki Y.Application of three cognitive diagnosis models to ESL reading and listening assessments［J］.Language Assessment Quarterly，2009，6（3）：239-263.

［7］桂诗春.认知与语言测试［J］.上海：外语教学与研究，1992（3）：3-8.

［8］陈慧麟，赵冠芳.认知诊断的应用——语言测试研究的新阶段［J］.外语测试与教学，2013（2）：1-10.

［9］洪丽燕.语言测试中的认知诊断行评价［J］.烟台职业学院学报，2015（21）：60-62.

［10］陈慧麟.语言测试中的认知诊断及其应用流程［J］.外语测试与教学，2015（2）：51-60.

［11］涂冬波，蔡艳，丁树良.认知诊断理论、方法与应用［M］.北京：北京师范大学出版社，2012.

［12］J.P.Leighton&M.Gierl（eds）.Cognitive diagnostic assessment for education：Theory and Application［M］.Cambridge，UK：Cambridge university press，2007：119-145.

［13］汪文义，宋丽红.教育认知诊断评估［M］.北京：北京师范大学出版社，2015：11.

【责任编辑：孙健】

Study on the Application of Cognitive Diagnosis Theory in Language Testing

LI Xiaojuan
（School of Foreign Languages，Guangxi University，Nanning 530004，Guangxi，China）

Combining modern psychometrics with cognitive psychology，cognitive diagnosis theory studies the internal psychological process and diagnoses the strengths and weaknesses of individual microcosmic cognition.As a typical representative of testing field，it makes full use of modern surveying technology and advanced ideas to apply cognitive diagnosis to language testing.To provide advice for testers，to promote the development of cognitive diagnosis testing and to push forward the current education development，this paper analyzes the combination of cognitive diagnosis theory and language testing and discusses the development and choice of diagnostic models，the application process of cognitive diagnostic testing and the reliability and validity about cognitive diagnostic testing.The result shows that applying cognitive diagnosis theory into testing could assist testing in reaching its goals，realizing its content validity as well as diagnosing the psychological development of the test objects.s

cognitive diagnosis；language testing；diagnostic model

H059

A

1671-5934（2017）01-0097-04

2016-11-22

李晓娟（1992-），女，湖北阳新人，硕士研究生在读，研究方向为外国语言学。