机器学习方法在学习评价改革中的运用探讨与实践研究

关键词：机器学习；混合教学模式；随机森林方法；学习评价改革；嵌入式

0 引言

中共中央、国务院印发的《中国教育现代化2035》提出了推动教育现代化的十大战略任务，其中就包括利用现代技术加快形成现代化的教育管理与监测体系，推进管理精准化和决策科学化，学习评价改革是其中的重要研究热点之一。

匹配现代化教学模式的学习评价，不仅需要终结性评价，也需要过程评价；不仅需要关注如单元测试等考核结果，也需要关注学习行为数据；不仅需要评价线下学习行为，也需要评价线上学习行为。包含上述考虑的学情大数据，数据量大，关系复杂，均与能力培养、学习结果相关。如采用人力方式进行学习评价，工作量巨大，无法全面考虑学情数据，更无法做到及时反馈评价。

本文研究在人工智能赋能教育的时代背景下[1]，将机器学习方法引进学习评价，实现自动的、嵌入学习过程的自动评价，包括增值评价。同时，在能力本位理念指导下建立评价体系，助力学生核心能力提升。

1 建设目标与应用价值

1.1 建设目标

学习评价是以教育目标为依据，运用有效的评价技术和手段，对教育活动的过程和结果进行测定、分析、比较，并给予价值判断的过程。本研究从规范学情大数据并提炼学情因素、学情因素权重获取、学情评价模型构建、评价模型应用效果验证等方面展开研究，旨在建立一个基于能力本位和学情大数据的学习评价模型，并嵌入学习过程，实现对学习评价与管理机制的精细化。

在学情因素集的探索上，在价值导向层面上积极转变，使得评价能够与“更好地促进学习者的发展”[65590c787ae7d6323059c6c95c2e4c2716884139a894aed7360106dd473a28b02]的内在本质相契合。从规范学情大数据和考虑学习者能力本位出发，通过直接提取可量化指标和通过数据挖掘、相关度分析、关键词提取等分析手段清洗出包括情感态度在内的学情评价指标，完成学情因素集的采集。

1.2 应用价值

学习评价体系研究作为教育大数据分析的重要应用之一，也是教育教学改革中重要的一环。本案例的学习评价模型是在学情评价指标体系和学习云空间大数据基础上，采用机器学习方法，利用历史学习数据作为训练集，得到学习评价训练模型，输出结果稳定可靠，并可在机器学习过程中不断学习迭代改进，达到智能分析评价的目标，具有应用价值和学术价值。其应用价值有如下4个方面。

（1） 教育更注重对自主学习能力、沟通交流能力、问题解决能力和批判性思维等的培养[3]，这种人才评价本质层面上的改变，也要求在思维变革主导下进行学情因素集合的系统性创新，更应将对学生培养目标的知识目标、能力目标、素质目标整合，对应融入学习因素集合设计当中。本研究利用数据挖掘、相关度分析、关键词提取等分析手段，清洗出符合规范的学情评价指标有关数据，分析方法成熟可靠，为学情评价模型可靠性夯实基础。

（2） 基于学情大数据的学习评价体系的研究，通过挖掘学情数据与学习结果相关性实现对学习情况的判定。这种基于过程的嵌入式的评价，可为学生进一步的学习方向提供可信的依据，也作为教师调整教学活动设计的重要数据支撑，从而进一步提升学习云空间的学习效果。

（3） 嵌入式的、可记录的学习评价[4]，方便追踪学生在一段时间内学业成就的变化，考查学生学业成就的净增值，更客观合理地评价学生在学习过程中的“增值”，即实现增值评价。学生在学习过程中及时得到评价反馈，促进其自身反省、克服不足，改变不良状态，并依据评价结果调节、控制、规范学习行为，引导学生向预定学习目标前进。

（4） 智能学情评价可解放教师劳动力，让教师更关注教学活动设计本身。及时反思教学，从能力本位出发改革教学活动，提高教学质量，做到以评促学，以评促教，确保教学改革顺利进行。

2 建设内容

本研究建设内容包括制订课程标准、创新教学模式、学习评价改革等。建设重点在于学习评价改革，其次是评价改革的先行基础，即课程标准的重新制订以及“半翻转”混合教学模式的创新。

2.1 重构教学内容体系，制定课程标准

基于能力本位教育理念，以提高学生综合素质、知识水平和创新能力为原则，结合教学改革的最新研究成果，对教学内容体系包括思政元素进行了整合、优化，制定适应学生培养目标的课程标准。

（1） 明确培养目标

以培养学生的数据抽象能力、复杂程序设计的能力、算法实施与维护能力为总目标。具备理解原理、掌握方法、熟练应用的能力；具备设计性能优、效率高、可读性强、易维护的程序的能力；具备解决实际问题、自主学习、探索研究的能力。

（2） 基于教育理念，整合内容结构

信息技术专业基础课程体系各门课在内容结构上各自不同，又有小部分互相重叠，在体系上是先行、后继的线性关系。整合内容包括梳理知识体系的线性关系，设计各自独立的实验模块和连贯的实践项目，让学生能通过实践项目不断循环巩固实际项目实战中的分析、设计、实施流程，最终形成内化的解决实践问题的能力。

（3）“ 岗、课、赛、证”分解优化，制订课程标准

将整合的信息技术专业基础课程体系分解到各门课程中去，同时基于“岗、课、赛、证”梳理知识点，融入课程思政元素，以此制定课程标准并实施。

融入思政元素是通过专业知识内容联系生活实际进行思考，引导学生提高学生运用马克思主义哲学的科学世界观和方法论来帮助解决实际思想问题的能力。构筑切合大学生核心价值观的关于课程的世界观、人生观和价值观。将劳动教育、工匠精神与思政元素结合，落实立德树人根本任务

2.2 创新“半翻转”混合教学模式

从“以学习者为中心”和“信息技术与教育教学深度融合”的指导思想出发，将传统课堂向线上线下混合教学模式转变，逐步形成“课堂教学、实践教学、网络学习、课外拓展训练”的适合本学院学生学情的“半翻转”混合教学模式[5]。

创建“ 教赛证合一、三维立体化课堂”，从基础能力训练出发，注重实践能力培养，提高学生个人素质。

第一课堂完成基础能力训练，包括基于MOOC的线上学习和课程实践教学。线上学习任务包括基础理论知识学习和小组协同实践任务，通过学生自主学习、自主在线测试、分小组协同学习、汇报交流学习成果等形式展开。课程实践教学内容包括教学案例、课堂实践，作品评价等，完成综合实践能力训练。基于第一课堂的基础能力训练应注重形成性评价，再加上期末考试得出课程的总体评价。第二课堂则提升实践能力，包括提供竞赛、考证信息，鼓励学生参与竞赛、考证、参与创新实践项目等。第三课堂完成素质培养，以小组探究式学习模式为主，侧重团队协作、多科目融合创新能力培养。

2.3 学习评价改革

（1） 规范学情大数据，提炼学情因素

学情数据存在主观性强、数据涉及范围广的特征，需要充分考虑学习培养目标，加强对于学生非认知能力的评价，利用数据挖掘、相关度分析、关键词提取等分析手段，清洗出包括情感态度、自我效能在内的学情评价指标有关数据[6]，建立学情数据规范。现有分析方法成熟可靠，为学情评价模型可靠性夯实基础。

本研究初步建立了基于多元能力培养目标的二级评价指标。一级指标情感态度，观测点包括登录次数、观看视频个数、查看问题次数、上传资源次数、学习进度等；一级指标学习过程，观测点包括登录平台时长、观看视频时长、测评次数、测评结果、笔记次数等；一级指标自主学习能力，观测点包括提出问题次数、拓展知识完成情况等；一级指标协作学习能力，观测点包括回答问题次数、回答问题被点赞数、参与任务次数、任务完成度、人际交往能力等；一级指标反思与自我效能，观测点包括学习总结个数、反思字数、自我满意度等。观测点即为考虑的二级指标。

为保证评价可操作性和稳定性，指标须实现自动获取并且量化，消除人为带来的不稳定性。

（2） 学习评价模型构建

本部分内容基于机器学习训练学习评价模型，将历史学情数据作为训练数据集，实现数据隐含价值的深入挖掘。

第一收集历史评估数据作为训练集，提炼评价有关指标。

第二需要对指标数据预处理，包括指标正则化、指标向量化和拆分数据集。指标正则化将数据归到制定的区间[0，1]内，抑制异常值的影响。指标向量化则采用数据标注独热编码，使得数据的分类更准确。拆分数据集将历史评估数据80%用于模型训练，20% 用于模型测试。

第三选择训练模型。线性回归模型实现分值评价[7-9]，首先假设自变量和因变量是线性关系，然后通过对现有样本进行回归，进而计算出回归系数以确定线性模型，最后使用该模型对未知样本进行预测。随机森林模型实现等级评价[10-13]，通过集成学习的思想将多棵树集成，它的基本单元是决策树，每棵决策树都是一个分类器，对于一个输入样本，N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果，将投票次数最多的类别指定为最终的等级输出。

评价模型构建流程如图1所示。

3 评价模型评估

在测试模型有效性中，用课程历史学习数据作为测试数据对预训练模型性能进行评估，将模型评价结果与专家标注对比，得出的对比折线图，如图2所示。

图2中虚线表示评价模型结果数据，实线表示专家标注数据。由图2可见，评价结果与专家标注结果基本一致。

此外，为验证评价结果的准确度，我们由教育专家和任课教师组成10人专家小组对学情数据进行评判，采用delphi方法，得出评价结果，与训练模型得到的评价结果相比对。

首先将学情数据中考虑的4个一级指标和20个二级指标向专家组介绍，明确本次评价的目标是得出总的学习评价得分与等级。然后专家组每位专家独立匿名评价。收集专家组的评价，对其中评价结果有较大差异的部分学情数据打乱，再次分别征询意见、收集评价结果。如此反复进行三轮匿名评价。最后对所有专家所有学情数据的末次评价整理统计，采用中位数法，得到专家组的最终评价与等级。delphi方法克服了在专家会议法中经常发生的专家们不能充分发表意见的弊端，各位专家能真正充分地发表自己的预测意见。

基于随机森林模型得到的评价等级结果和专家组得到的评价等级结果采用一一比较的方式，具有93.3%的一致性。

基于多级线性回归模型得到的评价评分结果和专家组得到的评价评分结果采用值方差（value square deviation， VSD）方法验证得分的相似程度，值越小序列越相似。经计算，本评分结果与专家评分结果的值方差为0.51，准确程度高。

4 实践效果

4.1 评价改革解决问题

（1） 解决学习评价不及时和缺乏增值评价的问题

本案例“评价牵引”的动态评价机制，可方便实现增值评价，弥补增值评价缺乏的问题。本案例成果“基于机器学习和学情大数据的学习评价预测系统”已申请专利并授权。

（2） 解决学习评价因素主观性的问题

本案例依托通信技术，学情因素指标获取实现自动获取并且量化，消除人为因素带来的主观性。

（3） 解决学习评价模型不稳定的问题

传统评价模型强调评价因素与结果的因果关系，但实际上，其因果关系往往难以求证。本模型强调指标与结果的相关性，经过大量历史数据进行模型训练，提高模型准确性和稳定性。

4.2 学生培养成效

本学习评价改革在本专业3门课程中实践，结果表明学生对课程学习兴趣浓厚，并对教师的教学以及效果表示满意，在学期末对学习课程的打分评估中，教学满意度均达98%以上。

部分优秀毕业生入职中国移动、腾讯、百度、网易等企业。通过实地走访、第三方数据调查公司等方式了解到，用人单位对本专业毕业生的专业能力素养满意度处在较高水平，连续三年满意度均在95%以上。

5 结束语

本研究在重构教学内容体系，制订课程标准，以及“半翻转”教学模式改革的基础上，研究实践相应的学习评价改革，利用人工智能机器学习方法实现嵌入式自动学习评价。评价指标体系关注学生知识技能与个体发展，包括沟通交流能力、问题解决能力、自主学习能力和可持续发展能力等，为学生提供更好的学习监督体验并刺激学习内因、提升学习效果，真正做到以评促学，以评促教。

本研究成果为包含线上学习的教学模式提供一种可行的评价方案，有良好的示范作用。