大数据时代下大学生学习评价指标体系构建研究

[摘 要] 为回归教育本体，教者从实质性评价角度出发更客观地对学习者进行评价，构建一套大数据时代下的高校大学生学习评价指标体系，从而更科学地反映学习者的学习质量。研究运用德尔菲法确立、完善学习评价指标体系，通过多次专家调查讨论确立了以学习态度、学习过程和学习效果为一级指标，包含13个二级指标和13个三级指标的学习评价指标体系，该指标体系针对性强，结构合理，具有较强的科学性和适用性。

[关键词] 德尔菲法;学习评价;评价指标

MOOC、SPOC、在线学习、混合式学习等成为我们今天重要的课程形态和学习方式。与传统环境下的学习相比，互联网支持的在线学习有着巨大的发展前景和优势，甚至已成为学校教育教学方式的重要组成部分。随着国家一流课程建设的不断深入，教学模式发生着重要变化，教师更应思考如何提高教学质量。学习质量是教育教学活动的根本。有效的学习评价是教学活动的重要组成部分，也是进行教学决策的重要前提，而有效的学习评价依赖于全面、可靠的评价依据。因此，在已有研究的基础上，探索传统学习评价现状及问题，构建一套行之有效的学习评价指标体系，对改善教学决策和实施个性化教学具有重要的指导意义。

一、学习评价现状及问题

（一）评价指标缺乏针对性

近年来，随着课堂教学改革及教育评价改革的推进，在教学过程中注重过程性评价、诊断性评价已成为众多学者和一线教师的共识。但在具体实践过程中，因理论过于复杂、缺乏针对性而与实践割裂，一线教师无法有效践行。大多数高校的评价指标体系通用于工学、理学、文学、管理学等，未区分学生专业性质，甚至出现长时间不更新的现象。传统学习评价所存在的问题在新理念的碰撞和渗透下逐渐显现。在信息技术与教育不断融合，我国高质量教育建设不断推进的进程中，学校必须融合新理念、新思想、新技术改变传统学习评价现状，优化评价指标体系，规范评价方法，发挥好评价指挥棒的作用，建立科学的教育导向，以更好地培养具有创新性、创造性的时代新人。

（二）评价结果缺乏科学性

传统的学习评价结果通常以最终的考试分数或优秀、良好、合格和不合格的等级制呈现，无法具体地反映学生学习过程中存在的问题。针对不同的教学目标，学生的完成度，学生在知识、方法、技能、实践、思想等各方面的表现与差异都无法通过最终的结果展现出来，以致“唯分数”等顽瘴痼疾严重影响着学习评价及教育导向的科学发展。此外，传统的以教师为主的评价方式易使教师的主观因素影响学习评价结果，使学习评价有失公正和客观性。而随着大数据、人工智能、学习分析等新一代信息技术在教育教学中的深度融合应用，以及信息化学习环境的开发，学习者学习的全过程数据得以保留。我们通过对数据的深度分析，可以构建出学习者画像。新技术的参与及新的教学方式为学习评价从主观走向客观和科学提供了良好的契机和条件。《深化新时代教育评价改革总体方案》提出，要充分利用信息技术，提高教育评价的科学性、专业性、客观性。可见，在学习评价指标的制定过程中，充分考虑新一代信息技术的参与是实现教育评价科学性、专业性、客观性的有效手段。

（三）评价实施重结果轻过程

传统学习评价的实施大多重视结果而忽视评价过程，且缺乏对评价过程的监管及具体的可操作的监管措施。尽管教师在具体的评价实施环节可以充分根据课程特点采用合适的方法，极大地发挥教师的主动性，增加课程评价方法的多样化，但可操作的监管措施的缺失会使评价结果的公正性和科学性受到怀疑。此外，部分学校的评价指标不清晰，在推行过程中难以发挥以评促改的作用，以及评价的导向和激励作用。学校过程监督和监管的缺失，还有可能带来一定的负面效果，如教师只重视结果而忽视过程、评价不认真，学生对结果不重视等。所以，在评价指标的具体执行阶段，教育管理部门需要和一线教师共同完成。

二、学习评价指标体系的构建

（一）研究方法

研究采用德尔菲法。德尔菲法即根据一定的问题邀请相关领域的专家或有经验的管理人员对某一问题进行预测并最终达成一致意见的方法。德尔菲法有匿名性、反馈性和统计性等特点，根据德尔菲法的要求，专家或管理人员数量可以根据研究项目的大小和涉及面的宽窄而定，一般在8～20人。研究通过德尔菲法分析初步构建的学习评价指标的科学性和有效性，以构建科学合理的学习评价指标。

（二）研究过程

1.确定指标体系。教育评价中的实质性评价倡导根据评价对象本身的特性进行评价，以真实反映评价对象的实质特征。当前，对学习者的评价，更多的是以成绩等外部特征进行的评价，忽略了学生学习与成长的特点，忽略了人本质特点的反映。回归教育本体，大学具有教育性、学术性和服务性的特性。关于培养什么人的教育首要问题，习近平总书记在全国教育大会上指出，要培养德智体美劳全面发展的社会主义建设者和接班人。因此，研究将评价指标划分为学习态度、学习过程和学习效果三个维度，初步构建了一个具有3个一级指标、11个二级指标的学习评价指标体系。其中，一级指标学习态度重点考查学生对学校、教师、课程等的情感认同，以及学生自身的纪律意识和学习投入度;学习过程主要考查学生在学习阶段表现出的自主学习能力、沟通表达能力、协作学习能力、创新能力和实践能力;学习效果主要考查学生的知识应用、知识迁移和知识创新的程度。

2.遴选咨询专家。德尔菲法专家一般在8～20人，入选标准：（1）本科及以上学历;（2）副高以上职称;（3）具有丰富的质控经验;（4）积极性高，愿意填答问卷;（5）能保证参与多轮函询。根据以上标准，研究最后选取15位专家，其中，教授6人，副教授9人。

3.设计咨询问卷。为了更全面地了解专家及让专家全面了解指标体系，研究设计了专家个人信息问卷表、专家评价表及学习评价指标体系表。

4.开展问卷调查。德尔菲法需要进行开放式的首轮调研、评价式的第二轮调研、重审式的第三轮调研和复核式的第四轮调研四轮专家调研。问卷过程全部在问卷星平台完成。每轮问卷发放和收回周期为7天，重点讨论指标体系的观测点是否科学，指标的解读是否存在歧义。我们根据每一轮的建议和意见，对指标体系进行修改，作為下一轮调研的依据。

三、问卷调查结果与分析

（一）开放式的首轮调研结果与分析

我们根据初步设想的指标体系进一步完善各个子指标的解释，设计首轮调研问卷。调研问卷包括导语、指标体系中各个子指标的重要性和专家对指标体系的熟悉程度量化打分表、专家基本情况介绍三部分。专家对指标的重要性评分按照Liket量表，将重要性分为不重要、不太重要、一般、比较重要和非常重要五个等级，赋值为1、2、3、4、5。专家对指标体系的熟悉程度分为非常熟悉、熟悉、一般、较不熟悉和非常不熟悉五个等级，分别赋值1.0、0.8、0.6、0.4、0.2。同时，我们将专家的判断依据分为实践经验、理论分析、同行了解及专家直觉四个方面，量化值分别记为0.8、0.6、0.4、0.2，如表1所示。

第一轮共邀请了15位专家参与调研，专家基本信息如下：年龄方面，小于36岁的2人，36～40岁的7人，41～45岁的2人，46～50岁的2人，大于50岁的2人;学历方面，本科1人，硕士研究生5人，博士研究生9人;高校工作时间方面，低于10年的4人，10～15年的4人，16～20年的3人，21年以上的4人;专业方面，研究心理学的2人，研究数学的4人，研究教育学的4人，研究计算机科学与技术的4人，研究工商管理的1人，研究化学及化学工程的1人。

第一轮问卷回收后，我们使用Excel 365对结果进行分析，主要分析专家的积极系数、权威程度和意见协调程度。

1.专家积极系数。专家积极系数用专家问卷有效回收率和专家意见提出率表示。一般认为，专家咨询表回收率在70%以上则表明专家积极性较高。两轮发出问卷共15份，收回共15份，回收率100%。其中，第一轮中有12位专家提出意见，专家意见提出率80%。这两个数据表明专家非常重视。

2.专家权威程度。专家权威程度（Cr）由专家对指标的判断依据（Ca）和专家对指标的熟悉程度（Cs）决定，一般认为权威程度系数>0.7即可接受。专家的权威程度系数等于0.778，表明专家权威程度较高。

3.专家协调程度。专家协调程度反映了专家对全部指标的协调程度、对信息重要性的意见集中程度，用Kendall’s W系数表示，系数越大，表明专家协调程度越高，结果越可靠。经SPSS 20.0计算，第一轮咨询协调系数为0.138，表明结果具有一定的价值。

4.专家意见和建议。通过对第一轮专家调研结果的统计分析可以看出，专家对现有指标认同度较高，共有12位专家提出了意见和建议，包括学生还应具有举一反三、主动学习的能力;教师可利用网络学习平台，让学生讲解某个知识点或习题，教师评价分析，加深学生印象;整体分类很清晰，学习态度板块分类偏简单;自主获取学习资源的能力很重要;增加对线上线下学习过程数据和学习结果考核的评价;学习动力、成就动机也很重要等。

专家针对初步构建的学习评价指标体系主要提出了三点建议，一是要重视学生的学习动机，二是要注重学生的学习兴趣，三是要结合线上线下资源对学习者进行评价。因此，我们在初步构建的学习评价指标体系基础上增加两个二级指标，具体如表2所示。

（二）评价式的第二轮调研结果与分析

在第一轮指标体系的基础上，进行第二轮调研。共发放 15份问卷，收回 15份，全部有效，专家积极度非常高;统计结果显示咨询协调系数为0.200，专家意见协调程度高于第一轮;变异系数都小于0.25，说明专家意见一致，经检验结果可信。统计结果如表3所示。

研究通过德尔菲法从学习态度、学习过程、学习效果三个维度确立了学习评价指标体系，以期改变传统学习评价注重外部评价而忽略对学习者学习与成长特点的考查的不足，促使学习评价能真正反映学习者在德智體美劳多个方面的学习成长程度。

[基金项目]2020年度江西省教育科学“十三五”规划资助项目“基于教育大数据的学习评价与决策支持研究”的阶段性研究成果（项目编号：20YB250）。

[作者简介]徐新爱（1973— ），女，江西丰城人，南昌师范学院，教授，研究方向为数据挖掘、计算机教育。

3417500338239