学生对线上诊断性测评反馈报告的评价调查研究

梁炯霞

(广东科学技术职业学院 外国语学院，广州 510640)

引言

近年来，线上教学、线上自主学习已经发展成熟并成为日常教学的常态。教学与测试是同时存在、紧密联系且相互作用的。测试是检测教学效果和提高教学质量的重要手段，是教学过程中不可欠缺的重要环节。因此，线上测试也应与线上教学一样得到重视和发展。本研究从学生的角度出发，探讨学生对于线上诊断性测评反馈报告的看法，了解高中低水平学生的评价有何差异，并深入剖析造成差异的原因。由于目前国内英语语言能力线上测评平台较少，高质量且免费开放的更少，因此，本研究选择全球四大著名英语语言能力的线上诊断性评估平台之一的DIALANG平台，由Alderson团队于2005年研发。

一、研究背景

传统的语言测试只提供一个笼统的考试分数或语言能力估值，无法解释具有相同分数或相同语言能力的学生具有不同的知识状态及不同认知结构这一现象。语言测试专家们更希望语言测试能够提供诊断信息，能够报告学生在考试中的认知过程、知识结构和加工技能，并对高能力被试与低能力被试的差别进行刻画，为教学和学习提供丰富的反馈信息。于是，20世纪90年代，以认知诊断为核心的新一代测量理论应运而生。诊断性测评的测评方法与目标等先天特质，决定了诊断性测评只有与互联网结合起来才能获得发展。因此，线上诊断性测评研究应该受到关注和重视，应与线上教学研究并驾齐驱、齐头并进。

目前，国内外主要通过构建认知模型来测量学生在考试中的知识结构、加工技能，以及对细颗粒化的能力属性的掌握情况。阅读、听力方面的研究最多，写作和口语次之。如国外：Jang[1]，Li et al[2]，Yi[3]研究了阅读和听力的认知诊断性评估；Kim[4],Chapelle et al[5]对写作进行认知诊断研究；国内：马晓梅等[6]研发的英语视听诊断评估与策略指导一体化网络系统，被作为西安交通大学的校本学习系统。范婷婷等[7]探讨了英语阅读能力认知诊断测试中需解决的主要问题，即理论基础、属性定义、题型选择以及模型的可操作。闵尚超等[8]将听力能力划分为六个认知属性，运用四个不同性质的认知诊断模型，从粒化认知属性层面探究英语听力理解中的互补性机制及其体现。孟亚茹等[9]基于认知诊断评估，探索基于听力认知属性的动态评估干预模式。此外，也有学者探讨学生对诊断性反馈报告的看法，如Wagner[10],Jang et al[11]研究发现学生对反馈报告的态度不一、对利用该报告的效率并不理想，学生需要更多的指导才能高效利用反馈报告；田霖等[12]也有类似的研究结论。但是，总的来说，国内外对这方面的研究都不多，国内更少。

因此，本文研究的问题：(1)学生对DIALANG英语阅读能力诊断性评估的反馈报告评价如何？(2)高中低水平学生的评价有何差异？造成差异的原因是什么？

二、研究设计

(一)研究对象

本文的研究对象为某高职院校大一学生，分别来自计算机软件、体育保健与运动防护、体育产业营销、财务管理、建筑专业。该样本专业和英语水平覆盖面较广，具有一定的代表性。

(二)研究方法

本研究主要采用文献法、问卷调查法。

(三)研究工具

本研究采用的DIALANG测试平台是国外的英语语言能力在线测试平台，于2005年由Alderson团队研发，提供 14种欧洲官方语言的多语种诊断性测试，涵盖听力、阅读、写作、词汇、语法五大方面的语言能力测试。根据考生的答题情况，依照欧洲共同语言参考标准(简称“欧框”)，该平台提供语言能力级别诊断报告和学习建议。本研究只选用其中的阅读能力诊断测试。DIALANG反馈报告主要包括：(1)级别诊断报告：A1，A2，B1，B2，C1，C2(级别水平由低至高依次递增)；(2)各个级别的学习建议。

(四)统计工具

本研究使用SPSS 24.0进行单因素方差分析。

(五)研究过程

为了更科学准确地获取学生对DIALANG英语阅读能力诊断性评估反馈报告的态度和看法，本课题组开发编制了一份较有针对性的问卷。问卷经过多次试验和修改才最终确定。问卷包含两大部分：级别诊断报告和学习建议。级别诊断报告部分含6个题项，学习建议部分含8个题项，共计14题项。问卷采用李克特5级计分量表形式，具体分为完全不同意(1分)、不同意(2分)、不确定(3分)、同意(4分)、完全同意(5分)共5个等级。

本研究通过问卷星平台发放问卷，回收270份。为减少未认真作答带来的数据污染，剔除全选同一个答案的问卷。剔除无效样本问卷后剩余252份进行数据分析。

运用描述性统计方法对252份问卷进行分析，了解学生对DIALANG英语阅读能力诊断性评估反馈报告的态度和看法。

运用单因素方差分析法，探究高中低三种测试水平的学生的态度看法是否具有显著性差异。然后结合国内外文献、DIALANG测试平台特点、学生特征，分析讨论造成差异的原因。

三、结果与讨论

(一)学生的态度与看法

1.级别诊断报告

总体而言，将近50%的学生认为级别诊断报告简单易懂。但是，有接近30%的学生持相反意见，认为该级别诊断报告生词多，该级别诊断报告的用词造句不易理解。约60.32%的学生认为该级别诊断报告能准确地诊断出其英语阅读能力总体水平，9.13%学生认为不能，30.56%学生表示不确定。57.14%学生认为能准确地诊断出我对英语阅读能力各项技巧的掌握程度，10.31%学生认为不能，32.54%学生持不确定意见。

2.学习建议

在学习建议的可理解性方面，41.27%的学生认为该学习建议生词很少，27.78%的学生持相反意见，30.95%学生保持中立态度。48.02%的学生认为该学习建议的用词简单易懂，27.38%学生表示该学习建议的用词不易理解，24.6%学生表示不确定。52.78%学生认为学习建议的句子结构简单易懂，25.4%学生表示不确定，21.83%学生持相反意见。61.51%学生表示该学习建议具有现实可操作性，10.31%的学生表示相反意见，28.17%表示不确定。70.24%学生认为该学习建议能为我进行英语阅读能力训练指明方向，8.73%持否定意见，21.03%表示不确定。61.11%的学生认为其能够在实际学习中运用该学习建议中提到的方法，11.11%的学生持否定意见，27.78%的学生表示不确定。66.27%的学生认为其能够在现实环境中找到该学习建议中提到的资源，7.14%的学生持否定意见，26.59%的学生选择中立立场。50%的学生认为根据该学习建议能轻松地进行英语阅读训练，15.48%的学生持相反意见，34.52%的学生选择中立立场。

(二)高中低水平差异情况

252份有效问卷中，有四个水平的学生，具体分别是A1、A2、B1、B2四个等级水平。结合DIALNAG测试平台对等级的划分标准，以及学生平时的考试成绩，即期末成绩或期中成绩，本研究把A1定为低水平，A2定为中水平，把B1和B2定为高水平。本研究在高中低三个测试水平学生中分别随意抽取15份数据样本，共计45份，进行单因素方差分析。方差齐性检验表数据显示，P=0.260，大于0.05，说明方差呈齐性，满足方差分析的前提假定。方差分析推断统计表显示，sig.=0.439,大于0.05，说明各组平均数之差没有达到显著水平(见下表)。

单因素组间方差分析推断统计表

(三)讨论

1.“不确定”的比例略高

在级别诊断报告和学习建议两大部分问卷中，学生被试选择“不确定”的比例略高。14个题项中，每题的“不确定”选择比例约在21%—35%区间。为何会有这么多学生选择中立的态度？主要原因是问卷填写前的准备工作烦琐复杂。首先，学生需要先观看登录操作视频，按照视频指示登录DIALANG测试网页进行英语阅读能力诊断性测试。该平台的登录步骤比较烦琐。其次，该测试共有30道阅读题，每题都是阅读1—2个段落的小短文完成对应选择题的形式。与被试学生的平时英语测验相比，这个测试是有一定难度的，并且有些题型不太熟悉，至少需要25分钟才能完成。完成测试之后，学生还需要认真阅读该测试平台提供的级别诊断报告和学习建议，最后才开始填写问卷。换言之，学生在填写问卷之前，已经花费了大量的时间和精力去做相关的准备工作，在填写问卷时难免带有一点厌烦情绪。

2.级别诊断报告的准确性

问卷数据表明，均有10%左右的学生认为该级别诊断报告不能准确地诊断出其英语阅读能力总体水平、对英语阅读能力各项技巧的掌握程度。经分析，背后原因主要有两点。其一，对于被试学生而言，DIALANG平台的英语阅读能力测试题目总体偏难。题目偏难，区分度就低，不能很好地区分出高水平学生和低水平学生，难以反映学生的真实水平。其二，DIALANG平台测试题目中有些题型是学生平时很少接触的，并且整个平台都是以英文呈现的，基础差的学生未必能看懂所有的题目指示说明，从而降低了测试的准确性。其三，DIALANG平台的测试结果诊断报告从低至高共分为六个等级：A1，A2，B1，B2，C1，C2，这与学生平时习惯的数值型分数成绩不同，不够直观明了。学生习惯了100分制的分数，而这些等级与100分制之间没有直接对等关系，他们很有可能因此觉得诊断报告不够准确。

3.学习建议的可行性

问卷数据表明，有10%左右的学生不认为该学习建议具有现实可操作性，能为其进行英语阅读能力训练指明方向、能在实际学习中运用该学习建议中提到的方法、能在现实环境中找到该学习建议中提到的资源。15%的学生认为根据该学习建议不能轻松地进行英语阅读训练。原因主要是：DIALANG是国外的在线测试平台，其生成的学习建议自然是依据国外的情况条件设定的，有些建议在中国没办法实施。

4.高中低水平学生之间的观点无显著差异

单因素方差分析显示，高中低三个测试水平的学生对DIALANG在线测试平台的态度和看法没有显著性差异。经分析，原因可能有如下几点。其一，这个问卷调查是在2020年6月实施的，恰逢新冠疫情时期，学校所有课程都实行线上教学，所以这个问卷调查也是以线上的形式进行。没有教师在课堂上面对面监督，学生填写问卷难免有敷衍了事的心态。其二，学习建议部分问卷的最后四道题目都是关于学习建议的可行性，由于大家的生活学习条件限制，所以三个水平学生的答案自然也是相似度高。其三，整个问卷调查中，学生选择“不确定”选项比例略高，因而导致三个水平之间没有显著差异。因此，问卷中是否可以删掉“不确定”这个中立态度的选项，也是一个值得斟酌的问题。

结束语

随着线上教学的常态化，线上测试必然成为教育发展的重中之重。了解学生对构建线上测试平台的态度和看法有助于提高平台的使用率和有效性，从而推动线上测试的改革创新和发展。本研究还有许多不足之处，例如某些问卷题项还不够科学；问卷调查实施过程中，教师没有面对面地让学生进行平台测试然后填写问卷。否则，将会获取到更丰富、更理想的信息。