基于教学平台和教学活动数据分析的过程性评价体系建构应用

付佳 赵峰

基金项目：济南大学教研项目“新工科视域下学科竞赛驱动的线上线下混合式教学实践研究”（项目编号：J2136）。

作者简介：付佳（1980 —），女，硕士，济南大学土木建筑学院讲师，研究方向为环境行为分析、城市设计与城市更新；赵峰（1974—），男，硕士，济南大学土木建筑学院讲师，研究方向为修建性详细规划。

摘  要：文章面向学习分析技术和过程性考核评价融合发展的需求，着重研究基于教学平台和教学活动的过程性考核评价体系建构办法，将学习行为和评价要素拆解为评价指标并赋予权重，通过与终结性考核成绩建立关联，对比其与章节测验平均分、章节学习次数、课堂互动分数和作业平均分四项评价指标之间的相关度发现，章节测验平均分指标项显著预测终结性考核成绩，其他指标显著性依次为作业平均分、章节学习次数、课堂互动分数，从中挖掘出对过程性评价指标层次及权重赋值进行动态调整的理论依据。

关键词：过程性评价；教学平台；评价体系；指标层次

中图分类号：G40-057    文献标识码：A    文章编号：1673-7164（2023）31-0056-04

随着互联网、人工智能和大数据等信息技术与教育教学的不断融合，远程教学模式以及过程性考核评价逐渐成为教育发展的趋势，利用学习分析技术建构多元、有效的课程评价体系是高校教育中亟待解决的问题。传统的学习评价坚持评价其所学的考核理念，评价过程中教师作为评价者对被评价群体的学习效果进行终结性的监测、总结和反馈，最终提供学习情况的证明。过程性考核评价秉持以评促学的理念，教师作为主要评价者，帮助学生明确学习内容和目标，从终结性评价转向形成性评价。如何建构过程性考核评价体系，明确各项指标在现有教学活动和教学平台中发挥促学的作用，成为教学工作者关注的问题。基于此，文章从课程教学实践出发，以过程性评价促学为目的，考量过程性考核指标与终结性考核结果之间的相关性，构建评价体系，以期为课程教学改革、教学平台创新提供参考。

一、过程性评价体系建构研究现状

国内外关于过程性评价体系建构的研究已有一些代表性的成果。常珊珊、蒋立兵提出，构建评价体系标准的四条一级指标，分别是条件要素、过程要素、结果要素、支撑要素［1］。陆启越基于双螺旋模型，从评价理念、评价主体、评价内容和评价方法探讨实施过程，构建“一体两翼三维四元”的过程性评价体系［2］。林文荟、褚和晶等应用层次分析法等确定各级指标的权重，构建基于超星泛雅平台的在线课程评价指标体系［3］。周梅基于CIPP评价模型，从“背景评价”“输入评价”“过程评价”和“结果评价”四个维度建构评价体系［4］。欧洲远程教育大学联合会2013年联合推出MOOC教育质量评价标准，核心内容是源于在线学习及开放教育的质量评价标准。美国高等教育信息化协会（EDUCAUSE）发布的《2022地平线报告：教与学版》关注疫情背景下多项分析技术促进教育发展的新趋势，重点揭示混合学习、基于人工智能的学习分析等常态内容的新变化［5］。目前，从国内外过程性评价体系建构研究现状整体情况来看，评价指标体系的构建还不够细致，少有基于教学活动和教学平台的维度来探讨过程性评价体系的建构。

二、教学活动和教学平台的课程教学改革

高校教学活动需频繁结合网络教学平台开展应急远程教学，此举一方面保障了教学活动能正常进行，另一方面推动了教学平台和线上教学的快速发展。从2020年春季学期至今，济南大学的城乡规划专业的城乡道路与交通规划课程从部分内容依托超星泛雅平台逐步变成全过程结合平台开展。借助平台多样化教学活动和全流程统计数据，课程平时成绩进行两方面改革，一是平时成绩全透明，二是平时成绩占总成绩比重提升。学生可以通过学习通App实时查看自己平时成绩获得情况，随时修正学习行为。平时成绩占比从2020年的20%逐步提高到2022年的60%，平时成绩占比增加超过50%，表明课程正从传统侧重终结性评价逐渐转向过程性考核。

（一）教学平台

在可供开展混合教学的众多平台中，由超星集团开发的超星泛雅平台因其与课程结合的自由度高、灵活性强而被选作本课程网络教学媒介，该平台主要包含基础数据、课堂报告、学情统计、学生成绩和学习监控等模块，为在线课程教学提供全方位活动平台和技术支持。超星泛雅平台提供的成绩管理模块，可实现细化调整评价指标权重和对学生群体公布的功能，针对不同课程的过程考核评价体系进行差异性建构。面临线上教学和远程教学的特殊情境，教师需要创新教学方法，充分利用智慧教学工具和平台，深度挖掘平台教学数据，不断完善教学考核机制，才能够高质量地完成教学任务。

本课程与平台的结合经历了三个阶段的发展：第一阶段与课程结合较少，平台上只提供课程回放视频，平时成绩占比20%；第二阶段与课程中等程度结合，除课程回放视频外增加了签到、拓展阅读等与课程同步的资源，平时成绩占比30%；第三阶段持续完善课程同步资源，增加学习检验内容，包括作为学习检验的章节测验，和课前预设的课堂互动、讨论环节，平时成绩占比60%。目前，课程在“课堂+平台”的模式运行下，学习过程趋于完整。

基于教学平台形成的实时、准确的后台数据，开展以学生为中心、以过程为重心的学习痕迹记录和学習效果分析。利用平台提供的统计数据如任务点完成度、作业提交及完成情况、章节测验正确率等，对学生进行学习过程追踪、实时监测并预警提示。

（二）教学活动

本课程教学是以课堂教学为主，超星泛雅平台和社交课程群为辅，叠加应急远程教学模式开展的组合教学模式。目前依托平台开展的教学活动可灵活应对线上、线下、混合教学等不同情境需求。社交课程群一般是微信群或QQ群，主要目的是方便师生就教学信息等及时沟通。依托超星泛雅平台为学生提供多样化、全过程教学活动，包括课程视频回放、拓展阅读及其资源链接、章节测试、课堂互动、签到、投票、异步讨论、作业、分组、学情预警等项目。

三、过程性评价体系的构建

本研究采取美国匹兹堡大学教授斯塔提出的层次分析法，评定各指标次序和权重。将学生课程学习过程划分为参与度、表现度和贡献度三项一级指标。参与度体现学生课堂学习的参与程度，可进一步分解为对出勤、阅读和课堂互动的考核，其中阅读包括文字阅读和视频阅览，课堂互动包括随堂练习和观点投票。贡献度体现学生对其他同学的影响力，包括平台上的异步讨论和作业中的小组作业部分。表现度体现课后学习的效果，包含章节学习次数、章节测验和终结测验。具体的过程性考核各项评价指标及标准、评价平台和评价权重见表1。

本次建构过程性考核评价体系兼顾课堂学习和课后成效两部分，主要考查学生的课堂参与情况、学业完成情况和素养能力获得情况。一级指标中的参与度指标是为了考查学生在课堂的参与程度，包含签到、阅读和课程互动。学生在现场可以借助手机端学习通App即时完成课堂签到、随堂练习和观点投票活动，鼓励学生参与课堂互动，提高学习积极性；阅读考核的内容是设为任务点的视频和文档，其内容是课堂教学内容的深化和拓展，授课视频回放资源并未被设置成必要完成的任务点。课程回放资源上传的目的是为了给因互联网信号不稳定、课后需自主复习的学生提供学习便利性，因此并未设置成任务点。贡献度包含两项监测指标：作业和异步讨论，该指标意在考核学生在群体中发挥的影响力。作业获得分数为三次作业的平均分，前两次作业分数相差不大，差异主要集中在第三次作业任务，即小组合作完成的综合性成果报告，因此分析作业分数与终结性考核成绩相关性时数据可靠有效；异步讨论发生在超星泛雅平台和社交课程群，在本次研究中，仅收集超星平台讨论次数的数据，未涉及讨论发生的社群、时间、频次等其他特征，也未收集、分析社交课程群的数据资源。表现度主要测量学生学习效果，包括章节测试、章节学习次数和终结性考核成绩。其中章节学习次数的统计，包含任务点和非任务点的浏览学习记录。学生自主学习非任务点的行为数据，是进行学习动机分析的重要指标，也是课后学习效果测量的重要量化数据。

基于课程平台和课程活动的过程性评价体系建构的目的不仅是关注学生最后获得的成果，还关注学生整个学习过程中的动机、付出与投入、取得的成效等。建构基于此的评价体系有利于学生知识和能力的全面发展，解决以往期末考试成绩难以用于评价学生在学习过程中真实能力获取的问题。文章围绕评价指标体系，从学生的参与、表现、贡献三个方面对学生学习全过程进行动态评价，学生可通过学习通App随时调取过程考核成绩及其各项构成，让评价活动和学习过程成为学生控制学习成效的明确途径，从而激励学生主动参与到学习和评价机制的运转。

四、过程性评价体系效果分析

为了探讨过程性考核评价体系各项指标与终结性考核成绩的相关性，文章采用多元线性回归模型T=β0+β1Ｘ１+β2Ｘ２+β３Ｘ３+β４Ｘ４，学生终结性考核成绩作为因变量，自变量X1是章节学习次数，X2是作业平均分，X3是章节测试平均分，X4是课堂互动分数。课堂签到、阅读、讨论与终结考试的散点图未呈现线性关系，不具备分析条件，因此本次研究中仅选取如下四项进行分析。分析结果见表2。

采用多元线性回归分析结果表明，回归方程显著，F=4.977，p=0.005。其中，章节测验平均分（β=0.796，P<0.001）显著预测终结性考核成绩，章节学习次数（β=-0.170，p=0.3）、作业平均分（β=-0.279，p=0，151）和课堂互动（β=-0.069，p=0，666）不能预测终结性考核成绩。根据Ｐ值大小可以推断过程性考核各项目与终结性考核成绩关联度大小排序：章节测验平均分＞作业平均分＞章节学习次数＞课堂互动。终结性考核题型采用主观、客观题目相结合的卷形，基础知识点曾经在章节测试中出现过，学生印象深刻，因此该部分分数较容易获得。通过章节测验完成对每章知识点梳理和知识框架的搭建，如此学生更容易建立起清晰的思维导图框架。作业里需要组队完成的综合报告，只有具备相对完整知识结构和应用能力，才能保证报告的质量，此项作业才可获得较高的分数。因此，认真完成综合报告的学生面对试卷中强调科目結构性的综合分析题时，可获得相应的得分优势。

五、总结及启示

文章面向当前学习分析技术及过程性考核评价融合发展的需求与趋势，着重研究了基于教学平台和教学活动的过程性考核评价体系构建的问题，通过与终结性考核成绩建立关联，对比具体评价指标与终结性成绩之间的相关度，从中挖掘对未来过程性评价指标进行动态调整的理论依据。纵观到目前为止课程线上教学积累的经验和教训，具体启示如下：

首先，就学习总体效果而言，过程性考核评价的确有利于学生完成全过程学习行为，但是建构怎样的评价体系才能将师生的工作量（时间投入）控制在可接受的范围内，需要结合课程特色、学情差异和教学活动等教学要素进行调控建构。

其次，就评价指标体系建构而言，指标层次以及权重赋值应尊重教学现实，构建符合学习规律的评价体系。以城乡规划专业为例，高年级的专业课考核可着重考查将知识转化为专业素养的能力，低年级的基础课考核可着重考查基本知识的掌握情况。通过对终结性考核成绩与过程性考核评价指标相关性的分析，理论性强的课程可提高章节测试平均分权重以提高学生学习动机，应用性强的课程可提高综合作业、成果报告等评价指标权重来促进全过程自主学习行为的发生，实现课程教学培养应用型人才的目标。

再次，在教学平台上讨论模块的教学活动设计需反思。对讨论数据进行分析时发现，讨论次数与终结性考核成绩之间不具备线性相关性，二者几乎以平行的方式呈现在坐标空间。结合实际授课过程反思这种结果的成因，可能是学生为了获取讨论所占平时成绩的分数，在平台讨论模块所进行的发言、回复、发起话题等活动，几乎与学习行为和学习成效无关，只是以空泛浅显的提问和回答完成讨论任务。

最后，就平台开发而言，仍有用户体验需提升。一是课堂现场签到、答题、投票等基于课堂现场完成的互动活动需要增加扫码答题功能。这项功能有利于应急远程教学模式、混合教学模式下区别统计现场和远程学习者的数据，尤其针对签到功能，当处于课堂现场教学模式时，开启签到通道，所有选课学生都可通过学习通App即时完成签到，无须临场完成。此统计结果可能导致签到行为数据不具备分析意义；二是平台小组任务模块，需要增加将小组各成员成绩计入平时成绩的选项，以便教师分析平台上学生的统计数据。

参考文献：

［1］ 常珊珊，蒋立兵. 面向学生学科素养发展的学习过程评价指标体系建构［J］. 教育科学研究，2020（09）：24-29.

［2］ 陆启越. 高校思政课过程性评价模型与体系建构［J］. 江苏高教，2021（10）：74-80.

［3］ 林文荟，褚和晶，叶金丹，等. 基于超星泛雅平台的在线课程评价指标体系研究［J］. 科技风，2021（29）：114-116.

［4］ 周梅. 研究生学术英语写作项目的评价体系建构——基于CIPP评价模型的研究［J］. 研究生教育研究，2021（02）：43-48.

［5］ Pelletier K，Mccormack M，Jamiereeves，et al. 2022 EDUCAUSE Horizon Report，Teaching and Learning Edition［EB/OL］. （2022-04-18）［2022-04-28］. https：//library.educause.edu/resources/2022/4/2022-educausehorizon-report-teaching-and-learning- edition.

（荐稿人：王林申，济南大学土木建筑学院教授）

（责任编辑：胡甜甜）