语言测试中的认知诊断性评价

语言测试中的认知诊断性评价

洪丽燕

( 黄冈师范学院 外国语学院，湖北 黄冈 438000)

摘要：认知诊断是现代测试技术的重要手段，本文旨在研究以认知诊断为基础的新的语言测试模式，分析了将认知诊断性评价理念引入现代语言测试领域必要性和可行性。建立认知诊断性评价机制时，应以先进的理念为依托，整合多方面资源，评价管理层和评价参与者通力合作，运用现代测量技术，实现考试评价的认知诊断功能。

关键词：语言测试；认知诊断；测量理论；必要性；可行性；评价机制

收稿日期：2014-11-03

作者简介：洪丽燕(1979- )，女，湖北黄冈人，黄冈师范学院外国语学院讲师，硕士.

中图分类号：H09文献标识码：A

目前国内的考试通常由测试者为考生提供一个总分或者相应的等级值，由此分数相同或相似的考生表面上被认为具有相同的知识构架、学习策略或者知识加工能力，然而实际情况往往大相径庭。随着认知心理学与现代心理测量学的不断发展，语言测试专家们越来越不满足于“总分反馈”的传统评价，他们希望语言测试能够提供个性化的、诊断性的评价信息，通过测试了解受试者的认知结构。

1认知诊断理论概述

Mislevy提出，截止至1993年，心理测量理论已经跨越了标准测试理论阶段，即Standard Test Theory，朝新一代测试理论，即Test Theory for a new generation of tests发展[1]。1998年，漆书青等撰文并重新定义标准测试理论，认为其重在宏观层面上整体评价考生的能力结构(ability level paradigm)，提供考生一个单维度的、直线性、可连续观察的数值(漆书青，戴海崎，丁树良，1998)。很显然这种从宏观上笼统地说被试水平如何的测量理论难以适应社会的发展和人们的新要求，人们更希望能从微观的角度对被试的心理内部加工过程、加工技能、认知结构/知识结构等进行诊断性评价。

20世纪70年代，认知心理学取得了长足的发展。受认知心理学的启发，测试者们尝试将其与测量学结合，研究受试者的心理因素对测试的影响，研究采用定性与定量相结合的手段，即现代测试理论的雏形。认知诊断理论是现代测验理论的重心，是认知心理学与现代测量学相结合的产物。利用现代测量手段，观察并分析受试者在考试过程中的反应，并由此诊断受试者内在的知识结构(knowledge structure)和知识加工技能(processing skills)的方法被称之为认知诊断(cognitive diagnosis assessment, CDA)(Leighton & Gierl，2007)[2]。

2语言测试与认知诊断性评价

2.1 语言测试的四大时期

依据刘润清，韩宝成(2000)的观点，语言测试反映的是测试者的语言观，换言之，什么是语言以及什么是语言能力的问题。在语言测试发展的不同阶段，由于人们对语言和语言能力的理解持不同的观点，因此语言测试学先后经历了科学前语言测试、心理测量学—结构主义语言学测试、心理语言学一社会语言学测试，以及现代的交际语言测试时期。

在语言测试学发展的第一个时期，试题的命题和考试评价完全以教师或命题人员的经验和主观判断来完成，并未对语言能力的构成和语言学习的目标给出定义。以Bloomfield、Fries和Lado等为代表的美国语言学家在结构主义语言学和心理测量学的基础上构建了心理测量学—结构主义语言学测试模式。语言测试学发展至结构主义时期，语言学家们提出语言能力可分性的假设[3]。因此，这一时期的测试者认为广义上，语言实质是知识和技能的系统。测试者希望通过考查学生的语言知识和加工技能达到全面评估受试者语言水平的要求，即语音、词汇、语法知识和听、说、读、写、译技能的掌握情况。

在社会语言学测试时期，试题较多采用完形填空(cloze)、听写和作文等整体性综合测试的形式，综合性测试在语言测试领域日益得到重视。束定芳，庄智象(2008)认为，社会语言测试阶段，通过考察受试者在不同语境中综合运用语言的能力，更接近于语言运用的实际过程。随着时代的发展，人们对语言的本质有了更深刻的理解。在20世纪90年代，美国应用语言学家Bachman提出了全新的交际语言能力(communicative language ability, CLA)模式[4]。

2.2 认知诊断性评价的可适用性

将认知诊断理论引入语言测试领域对于语言测试研究在更高层次上发展是非常必要的，它为测试评价带来了新的思路，杜金榜(1999)认为应从以下几方面分析认知诊断性评价：

①注重了解学生的学习过程

目前对学生实施的评价仍过分倚重终结性测试评价，主要还是通过一个笼统的分数来反映学生的语言能力水平。学习是一个渐进的过程，针对学生的动态学习过程展开的诊断性评价，有助于学生及时调整自己的学习目标、管理学习资源、选择学习策略，决定学习进程；还有助于减低学生单纯追求应试技巧、一味重视卷面分数的盲目性。认知诊断性评价的应用符合语言测试研究的发展趋势，即“从测试以设计者为中心到注意研究测试方法及被试特征对测试行为的影响；从只看答卷结果到注意研究被试的答题过程”(韩宝成，2000)。

②反映学生的能力结构

交际语言能力是现代语言测试研究的对象，所以交际语言能力模式是现代考试评价系统的基础，现代考试评价系统仍需逐步发展评价理论，使其更加完善和科学。基于认知诊断的语言测试力求评价学习者的能力结构，即被试者知识的获得(成就)和认知加工技能，从而使认知诊断性评价在现代语言测试中的应用成为可能。Bachman在20世纪90年代认为，语言能力主要受三大因素制约，即知识结构、学习策略和心理生理的影响，而且三大因素还可以进一步细化成多种。时至今日，Bachman所提出的全新的语言能力CLA模式对语言测试领域仍有着深远的意义。以当前国内外规模较大的标准化测试为例，如CET、PETS、IELTS、GRE、TOFEL等，它们均是交际语言能力测试的结果(邹申，2005)。

③提供即时、详尽的反馈信息

如上文所言，目前我国的考试通常仅提供学生一个卷面总分或者给出相应的能力等级，如A或B等。这样的反馈信息会让考生及家长误认为分数相同或相似者应当具有近似的知识构架、学习策略或者知识加工能力，当然实际情况往往大相径庭。由此，考生们对自己单一的分数或等值往往无法做出合理的分析与解释，考试对学生的正面反拨效应也自然大打折扣。为了能够对不同学生的知识结构和隐藏在分数背后的内部认知加工过程进行分析和评价，学者们开发出许多心理测量属性模型，其中比较著名的有线性LLTM逻辑斯蒂克特质模型(linear logistic trait model)，RSM规则空间模型(rule space methodology)等等，它们均能够为学生提供详尽的、深入细致的诊断信息。

3关于认知诊断性评价的探讨

戴家干(2008)则指出，“当前我们提升教育质量、改造考试的重点是在传统考试的基础上构建一个科学的教育考试与评价体系”[5]。

3.1 组织者和参与者评价理念的改革

在评价实施过程中，经过系统、专业化学习的评价参与者首先要对项目评价本身进行仔细的分析，例如评价目标是什么，评价的主要任务有哪些，评价需要诊断哪些语言能力等。其次，评价参与者要关注被试者的认知心理过程，通过创新试题类型、优化项目编写技术等编制出具有较强认知诊断功能的试题，切实提高考试的效度。最后，评价参与者要确定评分规则，统计、分析测量数据，运用先进的评价理念对考生的语言能力做出有效的诊断，并给予细致的信息反馈，以此提升教师和学生的教学效果，达到考试的正面反拨作用[6]。

3.2 诊断测量学模型的应用

现代语言测试的诊断评价功能正逐渐受到人们的重视，人们希望考试能提供他们“会什么”、“缺陷何在”的具体诊断信息。考试要向认知诊断性评价转变，这就涉及到认知诊断测量学模型的选择和应用[7]。首先，定义试题所涉及的认知属性及属性间的阶层关系，分析被试者解答试题时的心理认知过程，主要方法有回顾文献法、学科专家确定法、试题内容分析法、考生有声思维法等[8]。其次，展开大规模的测试，为获取项目参数及被试参数提供基础。最后，以认知诊断模型为基础，通过计量化的模型对被试心理加工过程和知识属性掌握情况进行定性、定量的评估与判断。前者是对试题内容、形式的分析，后者是关于试卷质量和考生知识能力水平方面的评价[9]。

3.3 提供全新的诊断性评价报告

认知诊断性评价不仅仅是报告学生一个最终的分数或能力估计值，更为重要的是报告学生知识技能各个组成方面的分数，有针对性地写出关于学生目前已经掌握的知识点、没有掌握的知识点、能力结构的优势与缺陷等评语，并从促进学生成长的角度出发，给予合适的建议[10]。这样一来，考生可以清楚了解自己在英语学习上有哪些优势，还存在哪些问题，可以在下一步的学习中有所针对，从而为自己制定更合理的学习目标[11]。

基于认知诊断的测试评价机制以现代统计方法和计算机技术作为工具，诊断被试的认知结构和认知过程，突破了以往“总分反馈”的、单一的评价模式，提供具有诊断功能的评价报告，提高了语言测试的效度，能很好地发挥评价的正面导向和促进发展的功能。未来，在诊断性语言测试题的的命制、认知诊断模型的应用、认知诊断性评价的信度、效度研究等方面的研究仍将是学者们关注的热点[12]。

参考文献：

[1]Bachman L. F., Foundamental Considerations of Language Testing [M]. Oxford University Press, 1999.

[2]Bachman, L. F., Modern language testing at the turn of the century: Assuring that what we count counts [J]. Language Testing, 2000.

[3]Leighton, J., P., & Gierl, M., Verbal reports as data for cognitive diagnostic assessment. In J.P. Leighton & M. Gierl (Eds.), Cognitive diagnostic assessment for education: Theory and Applications. Cambridge, UK: Cambridge university press, 2007.

[4]Mislevy, R.J., Foundations of a new test theory, in Frederikson, N., Bejar, I., & Robert J. Mislevy, eds.: Test Theory for a New Generation of Tests, Hillsdale, NJ: Lawrence Erlbaum Associates, 1993.

[5]戴家干．改造我们的考试[M]．北京：高等教育出版社，2008．

[6]杜金榜．外语教学中的诊断性测试[J]．外语教学与研究，1999(4)．

[7]韩宝成．语言测试理论、实践与发展[J]．外语教学与研究，2000(1)．

[8]李筱菊．语言测试科学与艺术[M]．长沙：湖南教育出版社，2001．

[9]刘润清，韩宝成．语言测试和它的方法[M]．北京：外语教学与研究出版社，2000．

[10]漆书青，戴海崎，丁树良．现代教育与心理测量学原理[M]．南昌：江西教育出版社，1998．

[11]束定芳，庄智象．现代外语教学：理论、实践与方法[M]．上海：上海外语教育出版社，2008．

[12]邹申．语言测试[M]．上海：上海外语教育出版社，2005．

(责任编辑高蕾)