过程数据驱动的在线开放课程质量评价设计

摘 要：“十四五”时期，关注学习过程，重视用户体验，构建与时代背景相适应的在线开放课程质量评价框架与指标，已成为推动在线教育高质量发展的重要命题。本研究从过程视角出发，以数据为导向，关注在线开放课程实际使用情况，首先构建了过程数据驱动的在线开放课程质量评价框架，该框架包含学习过程数据采集、学习过程数据映射、学习过程数据分析与课程质量等级评价四个流程，以及数据生成、数据采集、数据映射、数据分析、结果输出、质量计算、优化策略七个评价环节；其次设计了过程数据驱动的在线开放课程质量评价指标体系；最后以“中小学教师数据素养”MOOC为例，基于第二期的学习过程数据开展了评价实践，分析了课程存在的实际问题，并从课程内容、学习过程、课程平台环境、学习支持服务四个方面提出在线开放课程质量的优化策略。

关键词：学习过程数据；在线开放课程；课程质量评价；评价框架；评价指标体系

一、问题提出

近年来，在线教育理论体系与实践过程相互渗透、融合发展（陈晓慧， 2020），在线学习已成为全球主要学习形式之一，以慕课（Massive Open Online Courses， MOOC）为代表的在线开放课程成为学习者的主要学习资源。自2008年大规模开放在线课程首次被戴夫·科米尔（Cormier， D.）提及以来，我国建设与规划在线开放课程已十余年，其中设计与开发高质量在线开放课程一直是在线教育的重点工程。开展在线开放课程质量评价是提升课程质量的重要途径。传统的在线开放课程质量评定主要聚焦于课程内容本身，评价维度主要涉及师资队伍、课程资源、教学内容、学习系统、平台保障等（王璐 等， 2017）。大数据时代，越来越多的研究者意识到学习者学习在线开放课程生成的海量学习过程数据价值巨大，这些数据被在线学习平台记录下来，体现了学习者学习课程的全过程，亟待深层分析与挖掘。

在“十四五”新发展阶段，在线教育越来越关注在线开放课程用户的体验与感受，基于学习体验评价与改进在线开放课程成为推进在线教育可持续发展的关键。过程数据驱动的在线开放课程质量评价基于课程实际使用情况，关注学生“使用”与“消费”课程的学习过程，提高课程用户黏性，是推进在线开放课程可持续发展的重点任务（王娟 & 刘伟， 2022），然而相关研究却不多。鉴于此，本研究从过程视角出发，以数据为导向，关注学习体验，开展过程数据驱动的在线开放课程质量评价研究，旨在厘清从哪些维度采集哪些学习过程数据才能保证在线开放课程质量评价指标体系的构建。

二、相关研究

（一）在线学习过程数据分析研究

进入21世纪，在线学习已成为必然趋势，更加强调以学生为中心、自主构建知识体系以及有意义的学习（葛晓春， 2001），并产生了海量学习过程数据。刘革平等（2005）构建了远程学习过程评价系统，运用数据挖掘技术分析电子学档，以达到自动化评价学习过程数据的目的。随着慕课的发展，在线开放课程数量与规模迅速扩大，学习分析、数据采集与挖掘等技术不断发展，学习过程数据分析逐渐成为研究热点。张艳霞等（2015）提出用数据表征在线学习过程，通过收集、分析学生学习行为和学习环境数据以优化学习过程。上超望等（2018）设计了包含学习过程性活动记录、学习过程数据处理与存储、学习过程数据融合、学习过程数据分析和在线学习过程性评价五个子系统的在线学习过程性评价模型。

分析学习过程数据最终目的是改进教与学，提高教师教学效果与学生学习成绩。文献研究发现，近年来学习过程数据的研究主要聚焦于在线学习效果预测（Agudo-Peregrina et al.， 2014; 江波 等， 2018）、在线教学解释与反思（魏顺平 等， 2015; 何文涛 等， 2019）、在线学习投入分析（Dewan et al.， 2019; 马志强 & 岳芸竹， 2020）、在线学习路径规划（崔萌 等， 2020），以及在线学习行为干预与预警（舒莹 等， 2019; 杨丰玉 等， 2021）等方面。少数研究基于学习过程数据开展了素养测评与学习者综合评价。如李美娟等（2022）认为计算心理测量理论结合自上而下的理论指导和自下而上的数据驱动，以证据为中心设计测验，借助学生作答过程数据测评其合作问题解决能力；吴斓等（2022）开发了基于过程数据流的协作问题解决能力自动化评估系统，并验证了系统的有效性与可用性。张倍思等（2022）设计了多源过程性数据驱动的学习者综合评价模型，为实现数据驱动的学习过程评价提供了参考。

总的来看，学习过程数据的分析主要通过系统地采集学生学习行为数据，如课程评语、学习活动参与、交流互动、学习成绩等一切与学习过程、学习态度、学习效果等密切相关的数据，以全方位地分析评价学习者的学习表现、学习投入与行为特征。虽已有研究基于学习过程数据进行了教学反思、学习评估、素养测评等，但鲜有学者从学习过程视角关注在线开放课程质量评定与优化问题。

（二）在线开放课程质量评价研究

1999年，《面向21世纪教育振兴行动计划》出台，开启了我国在线课程建设之路。回溯我国20多年在线课程理论与实践研究，基于专家、学习者、平台建设者、课程设计与开发者等视角，聚焦于质量评价指标、提升建议、评价方法等方面的质量评价研究颇多。

质量评价指标是优化在线开放课程、推进在线开放课程可持续发展的研究重点。早在2002年就发布了CELTS-22，包含课程内容、教学设计、界面设计和技术4个维度，课程说明、资源扩展、学习目标等32条具体评价指标。2007年，国家精品课程建设项目启动，从教学队伍、教学内容、教学条件、教学方法与手段、教学效果、特色政策支持等指标对课程进行评审。国内外学者就在线开放课程质量评定指标也开展了系列研究。如Bigatel和Edel-Malizia（2018）将包含教学方法、教学、学习3个一级指标，学习愿景、技术水平、教师角色、学生角色、学习环境等9个二级指标的在线参与式学习指标框架（IELO）作为评估课程的指南；杨晓宏等（2019）认为课程资源质量、课程实施效果和学习平台保障是评估课程质量的关键指标。

在线开放课程质量提升与保障研究有利于解决课程低完成率、高辍学率问题。如詹泽慧等（2009）从资源、过程和人员三个方面提出了网络课程感知质量提升策略；王璐等（2017）从保障学习支持服务、增加系统管理和维护人员、优化平台程序、提高教学视频质量、重视教师队伍的综合素质、提高学习者对教学内容有用性的感知、提供高质量辅助性资料等方面提出了质量保障策略；李运福等（2022）关注价值主体需求，提出了增强课程移情性和响应性设计、优化学习支持服务模型、强化课程有形性设计等课程动态优化方案。

常见的在线开放课程质量评价方法主要有调查法与访谈法（杨晓宏 等， 2019）、文献归纳法（李青 & 刘娜， 2015）、德尔菲法（董艳 等， 2003）、扎根理论（王璐 等， 2017）、内容分析法（谢幼如 等， 2003）、专家咨询法与层析分析法（童小素 & 贾小军， 2017），不少学者采用多种方法评估在线开放课程质量。可见，在线开放课程质量评定受到研究者广泛关注。但已有在线开放课程质量分析与评价研究对学习者真实使用课程的体验与感受关注较少，未将学习者的认知发展、行为表现、情感态度三者同时纳入在线开放课程质量评价因素。

三、质量评价框架构建

（一）构建思路

本研究主要参考了用户体验与证据中心设计理论，运用文献调研法确定了在线开放课程质量评价维度、学习过程数据运行环节，设计了过程数据驱动的在线开放课程质量评价框架与指标体系。基于对在线学习过程性评价理论与实践研究的分析（上超望 等， 2018），本研究构建的框架包含了设计评价关键环节和确定质量评价维度两个重点。

1. 设计评价关键环节

在线开放课程质量评价与反馈能够在课程与学习者之间形成良性循环，以提升课程质量，并促进学习者未来更好地发展。结合在线学习过程数据分析相关研究，过程数据驱动的在线开放课程质量评价关注学习体验，包含数据生成、数据采集、数据映射、数据分析、结果输出、质量计算、优化策略七个环节。在线开放课程质量评价关键环节也可视为学习过程数据运行环节，各环节密不可分、相辅相成，共同形成课程质量评价闭环（如图1所示）。

2. 确定质量评价维度

在线学习投入度测评、有效学习评估以及学习过程性评价等指标体系研究为本研究构建过程数据驱动的课程质量评价框架提供了参考。行为投入、认知投入和情感投入是当前获得学术界普遍认可的学习投入结构。如弗雷德里克斯（Fredricks， J. A.）等（Fredricks et al.， 2004）以及傅钢善和佟海静（2016）借鉴布鲁姆学习理论，认为在线学习过程包括认知参与、情感参与和行为参与；李爽等（2018）从认知、行为和情感三个维度构建远程学习投入测评量表，认为认知投入是影响学习最关键的因素，其次是行为投入与情感投入；王勇宏（2020）认为在线学习行为投入可用平台登录次数、学习时长、资源访问次数、作业完成次数与质量、测试完成次数与质量、交互次数与质量等数据量化表征。

综上，本研究认为以数据为导向，关注在线开放课程的实际使用状况，将认知、行为、情感三个评价维度与可采集的单元测试得分、单元作业得分、期末考试得分、视频学习人数、课程论坛参与度、作业完成质量、课程评价情感极性等多模态在线学习过程数据进行“一对一”或“一对多”映射，以此评价在线开放课程质量，具有一定的可行性和前瞻性。

在确定评价维度和可获取的过程数据后，初步拟定了过程数据驱动的在线开放课程质量评价框架与指标体系。为保证评价指标的科学性，本研究采用专家访谈法，通过电子邮件函询和面对面访谈等形式对5位专家（包括4位高校教授和1位博士）就指标的合理性与可操作性进行了访谈，从访谈文本中提取了专家核心观点，如“认知、行为、情感三个维度能够完整地用于评价在线开放课程质量，但认知是一种复杂的意识活动，在构建指标体系时，为与学习过程数据对应，可考虑改为‘学业成就水平’”“建议将认知、行为和情感具体化、详细化，可将指标体系改为‘学业成绩、行为表现、情感态度’，以便与二级指标和学习过程数据相关联”。通过理解分析，本研究合理采纳了相关观点，最终将过程数据驱动的在线开放课程质量评价的一级指标确定为学业成就水平、学习行为表现和学习情感态度。

（二）评价框架

在吸纳相关文献调研内容、借鉴用户体验和证据中心设计理论主要观点的基础上，本研究采用封闭式循环的架构组织过程数据驱动的在线开放课程质量评价框架。该框架包含学习过程数据采集、学习过程数据映射、学习过程数据分析、在线开放课程质量等级评价四个流程，以及数据生成、数据采集、数据映射等七个在线开放课程质量评价关键环节（如图2所示）。四个流程相互贯通、缺一不可，构成过程数据驱动的在线开放课程质量评价的有机整体；七个过程数据运行环节相互依存、环环相扣，系统展现了课程质量评价的数据处理与分析过程。

1. 学习过程数据采集

多模态学习过程数据是基于循证理念评价在线开放课程质量的基础与核心。课程管理后台完整记录了学习者学习课程过程中产生的视频浏览次数与时长、文档阅读次数与时长、发帖数与回复数、单元测试成绩、单元作业成绩、课程评语、期末考试得分等多维数据，这些数据是学习者“使用”与“体验”在线开放课程的“证据”。学习过程数据采集主要采用网络爬虫、日志分析等技术获取在线开放课程管理平台数据（邢蓓蓓 等，2016）。需要注意的是，运用网络爬虫等自动化数据收集技术采集非结构化数据，需要提前做好采集规划，明确采集目的，制定好数据采集类型、采集粒度、采集量等计划，采集过程中还需要注意数据隐私保护，不得恶意抓取侵害他人利益的数据，不得影响或妨碍网站正常运行。

2. 学习过程数据映射

学习过程数据映射是指将所采集的数据与在线开放课程质量评价维度关联起来，形成相互对应的关系。本研究中三个评价维度与过程数据存在“一对一”或者“一对多”的映射关系。如在认知维度，主要通过单元测试成绩、单元作业成绩、期末考试成绩等过程数据了解学习者的学业成就水平；在行为维度，主要通过视频浏览次数、文档阅读次数、单元作业完成次数、课堂论坛发帖数量等过程数据了解学习者的学习行为表现；在情感维度，主要通过课程评语了解学习者的学习情感态度。

3. 学习过程数据分析

学习过程数据分析主要通过运用Python、Excel等工具，采用内容分析、描述性统计分析、文本情感分析等方法进行定量与定性分析，并将分析结果输出。对于评语等非结构化数据，主要运用Python、UCINET等软件总结归纳评论热点话题、计算评语情感值（周德青 等， 2021）；对于视频、文档以及讨论区交流互动等结构化数据，主要运用Excel计算出视频资源利用率、文档资源利用率、随堂讨论资源利用率、测试参与度、作业参与度、随堂讨论参与度等。

4. 课程质量等级评价

过程数据驱动的在线开放课程质量等级评价是在学习过程数据分析结果的基础上，设计了学业成就水平、学习行为表现以及学习情感态度各指标的计算公式，计算出课程质量的得分，并根据得分确定课程等级（优秀、良好、合格、不合格）。在计算“学习情感态度”等非结构数据时，需通过Python进行自然语言处理分析，借助文本情感分析的函数、包与库等，算出每句评语的情感值，再根据评语条数，算出课程评价的情感均值。

四、指标体系与计算方法设计

在线开放课程质量计算是在过程数据驱动的在线开放课程质量评价框架基础上，设计过程数据驱动的在线开放课程质量评价指标体系，并运用层次分析法对指标体系进行赋权，再推理设计各级指标的计算公式，最后结合过程数据计算课程质量分值，判断课程质量等级。

（一）指标体系初步设计

首先，通过梳理学习过程性评价、在线学习投入度测评、在线开放课程质量等国内外评价指标体系后，初步设计了过程数据驱动的在线开放课程质量评价指标体系（如表1所示）。学业成就水平、学习行为表现和学习情感态度三者构成了既相对独立又相互作用的课程质量评价的有机整体，以期通过学习者学习课程的实际情况全面、系统地评判在线开放课程的质量层次。本研究将学业成就水平、学习行为表现和学习情感态度三个一级指标进行细化，设计了课程学习效果（Course Learning Effect， LE）、资源利用情况（Resource Utilization， RU）、学习积极性（Learning Positivity， LP）、学习专注度（Learning Concentration， LC）和学习情感倾向（Emotional Orientation， EO）五个二级指标，再结合中国大学慕课MOOC平台的学习者学习过程数据，将二级指标量化，形成三级指标。

1. 学业成就水平

在线学习者体验、学习、理解、领悟、反思课程的动态过程将通过学生的学业成就水平高低呈现出来。在线学业成绩受到学习者学习特征、个人学习情绪、网络环境优劣、平台流畅度等影响，可运用学习向量化方法实现在线学习过程数据融合与分类（郎波 & 樊一娜， 2019），并用作业成绩、测试成绩等过程数据表征课程学习效果，进而反映学习者的学业成就水平。本研究认为学业成就水平主要通过课程学习效果体现，其关联量化指标（过程数据）为单元测试得分、单元作业得分和期末考试得分。

2. 学习行为表现

在线开放课程中学习者的学习行为与活动构成了学习者画像，反映了学习者的在线学习轨迹。一门优质的在线开放课程会引起学习者兴趣，调动学习者学习的积极性，其课程的视频浏览量高、文档阅读量高、课程论坛参与者多，课程讨论区的会话能形成多主题、多主体的丰富社会网络关系图。本研究认为学习行为表现主要通过资源利用情况、学习积极性和学习专注度三者体现，其对应的学习过程数据有视频学习人数、文档学习人数、论坛发帖数量、课程论坛参与度等。

3. 学习情感态度

在线开放课程中学习者的情感参与可视为学习者在参与教与学活动中所产生的态度、兴趣与快乐（Patrick et al.， 1993）。课程学习过程中学习者的心理感受对其学习行为具有很大影响，学习者自身对课程的情绪将直接影响学习者学习课程的时长、讨论交流的次数与质量、作业与测试的完成度以及是否做笔记等，从而反映出学习者的学习积极性和专注度。积极向上的学习情感能为学习者在线学习提供满足感、快乐感和自我成就感，而消极抑郁的学习情感将导致学习者产生懈怠、焦虑和困惑，学习效果也将大打折扣。本研究认为学习情感态度主要通过学习情感倾向体现，其关联量化指标为课程评价情感极性。

（二）指标体系权重的确定

本研究采用层次分析法，运用Yaahp软件计算各级指标权重，对过程数据驱动的在线开放课程质量评价的三个一级指标、五个二级指标以及各二级指标的关联量化指标进行权重赋值。

1. 主要流程

指标体系权重的确定主要采用层析分析法，包含初拟评价指标体系、选择专家、设计函询问卷、发放与回收专家咨询问卷、分析问卷数据以及确定评价指标权重六个步骤。

2. 专家选择

本研究共邀请了13位在线开放课程质量、教育大数据与学习分析等相关领域的研究专家（包括11位教授、1位副教授和1位博士后），这些专家对在线开放课程质量评价均有较深刻的理解与研究经验，既能保证过程数据驱动的在线开放课程质量评价指标理论研究的专业性，又能确保本研究实践意义的科学性和合理性。并且，咨询多位专家意见既能避免专家由于研究经历、研究重点、研究背景等不同造成的相互影响，又能搭建起专家之间匿名沟通的桥梁。

3. 问卷设计

根据在线开放课程的特点，结合具体研究内容，本研究通过思考问卷编写目的、内容审核、专家意见咨询、问卷填写统计分析等流程，编写了《过程数据驱动的在线开放课程质量评价指标权重设计专家咨询问卷》。问卷包含两个部分：第一部分是专家基本情况调查，主要考量专家对所咨询内容的研究深度与熟悉程度；第二部分包含指标构建说明与专家评审表。专家评审表给出了Saaty相对重要性等级表（1～9标度），专家根据等级表对一二三级指标进行打分。其中，需要专家填写的表共有6个：一级指标重要程度对比矩阵、“学习行为表现”二级指标重要程度对比矩阵、“课程学习效果”关联量化指标重要程度对比矩阵、“资源利用情况”关联量化指标重要程度对比矩阵、“学习积极性”关联量化指标重要程度对比矩阵，以及“学习专注度”关联量化指标重要程度对比矩阵。

4. 结果分析

本次调研进行了一轮意见征询，发出专家咨询问卷13份，回收有效问卷13份，回收率达100%。问卷分析结果分为两部分。一部分是专家基本情况。统计发现，5位专家对所咨询内容的领域非常熟悉，4位专家对研究内容很熟悉，4位专家对所咨询内容的领域表示熟悉。可见，过程数据驱动的在线开放课程质量评价指标体系及本问卷的设计具有一定的专业性，问卷咨询结果的可靠性和可信度较高。另一部分是专家对各级指标权重打分的结果分析。在Yaahp软件中算出学业成就水平的重要性均值为0.4472，学习行为表现的重要性均值为0.3646，学习情感态度的重要性均值为0.1881。可见学业成就水平对评价在线开放课程质量占有较大比重，学习行为表现的重要性也凸显了出来。为确定各级指标权重，结合相关文献研究，进一步开展专家咨询，经适当调整，最终确定学业成就水平重要性均值为0.45、学习行为体现的重要性均值为0.35、学习情感态度的重要性均值为0.20，并依次确定了二、三级指标的重要性均值。

（三）二级指标计算公式

结合赋权后的在线开放课程质量评价指标结果，过程数据驱动的在线开放课程质量QC={学业成就水平，学习行为表现，学习情感态度}={课程学习效果，资源利用情况，学习积极性，学习专注度，学习情感倾向}，即QC可用{LE，RU，LP，LC，EO}元组表示。

课程学习效果由学习人数n、单元测试总得分ut、单元作业总得分uw、期末考试总得分fe所决定，计算公式见（1）。式中为将课程满分控制为1分，乘以0.01。资源利用情况与学习积极性计算公式与[LE]类似。

学习专注度与论坛发帖质量FI、单元测试完成质量TQ、单元作业完成质量HQ有关，学习专注度LC的计算公式见（2）。

LC=0.03×FI+0.04×TQ+0.06×HQ （2）

学习情感倾向主要通过课程评价情感极性体现。本研究运用Jupyter Notebook分析软件，结合SnowNLP库计算课程评语的情感分值，将情感极性分为消极、中性、积极三个等级，即EO={E1，E2，E3，E4，E5}，其中E1和E2表示消极情绪，E3表示中性情绪，E4和E5表示积极情绪，计算公式如（3）。

五、评价框架与指标体系应用

（一）评价对象

本研究选择的评价对象为中国大学MOOC平台上江苏师范大学杨现民教授主持开设的“中小学教师数据素养”在线开放课程（简称“案例课程”）。案例课程以教师数据素养模型为依据（刘雅馨 等， 2018），设计了六个专题的课程内容，经SPOC试点后，于2019年9月在中国大学MOOC平台正式面向全球学习者推出。本研究以案例课程第二期学习过程数据作为在线开放课程质量的评价数据。案例课程第二期于2020年2月15日开课，2020年5月15日结课，选课总人数为13，380人，其中有10，012位学习者在中国大学MOOC平台上生成了学习过程数据（测试、作业、考试、课程评语、课堂交流帖子等），将这10，012位学习者视为本期课程的有效学习者，并以有效学习者所产生的学习行为数据作为数据源。

（二）数据采集与预处理

学业成就水平方面主要采集了第二期10，012位学习者5次单元测试得分、5次单元作业得分以及期末考试得分。资源利用情况方面采集了53个视频的浏览人数、29个文档的阅读人数、19个随堂讨论的发帖数量。学习积极性方面采集了5次测试的答题人数和5次作业的完成人数。学习专注度主要通过每位学习者的论坛成绩、作业得分成绩、测试得分成绩来判断。学习情感倾向主要通过爬取第二期课程评价文本，计算情感得分实现。

结构化数据预处理主要包含3个步骤：1）确定数据采集无重复、无效数据；2）将测试、作业、期末考试、论坛等成绩得分为“null值”的数据改为“0”；3）修改数据格式，采集的测试、作业、期末考试等数据都是“常规”或“文本”格式，无法运算，需转换为“数值”格式。在转换格式时，由于采集到的数据格式不一、属性不定，需要注意有效学习者的数据是否全部进行了格式转换。课程评语采集后可直接生成.xls或.csv文件，通过以下步骤清洗数据：1）筛选出课程第二期的评语；2）去除与评价课程无关、表述不清的内容，如“123”“badhgjk”等；3）删除无法反映实际语义信息的内容，如“***”“%￥%……”等；4）清除复制或转发的资料文本（周德青 等， 2021）。清洗数据后得到的表格可直接进行情感值计算。

（三）数据分析与质量计算

学业成就水平层面，有效学习者测试人均分数为88.99（满分100），作业人均分数为73.17，期末考试人均得分为79.45，根据计算公式，课程学习效果LE=（0.1×88.99+0.1×73.17+0.25×79.45）×0.01，最终课程学习效果的得分为0.36。

对于其他指标，以资源利用情况为例说明计算过程，平均每个视频学习人数为8，598.21，平均每位学习者看了45.52个视频，视频资源利用率为85.88%。同样得出文档资源利用率为74.56%，随堂讨论资源利用率为69.63%，则RU=（0.04×85.88+0.02×74.56+0.04×69.63）×0.01，资源利用情况得分为0.08。另外计算可得，学习积极性得分为0.09，学习专注度得分为0.10，学习情感倾向得分为0.19。

综上，结合学业成就水平、学习行为表现以及学习情感态度三个维度的分值，基于学习过程数据的在线开放课程质量QC=0.36+0.08+0.09+0.10+0.19，计算得分为0.82，则案例课程第二期所处的质量等级为“良好”。

（四）课程质量优化策略

本研究立足在线开放课程“使用”情况，基于在线学习者真实学习体验，应用了过程数据驱动的在线开放课程质量评价框架与指标体系，验证了评价框架与指标体系的科学性与可操作性，并发现了课程运行中存在的实际问题。基于此，本研究参考在线开放课程质量优化相关研究，基于学习过程数据分析结果，从课程内容、学习过程、课程平台环境和学习支持服务四个方面提出在线开放课程质量的优化策略。

1. 课程内容

课程内容是评价课程质量核心要素之一。分析发现：1）单元测试的平均分大于单元作业的平均分。这可能与单元测试难度较低、测试作答提醒服务较多、单元测试与课程内容贴合度更高等原因相关。建议及时更新测试和作业内容，并联通两者之间所考察的知识点，以巩固和提高所学知识的。2）视频2、3的学习人数最少。若该知识掌握人数较多，建议换成文档的形式呈现，视频作为比作业权重更好的课程资源，可选择更重要的内容加以放置。3）作业3、4完成率不高，且学生作业3、4的平均得分比1、2都低，建议更换或优化作业3、4，设计更符合学生学情、调动学习积极性、促进深度学习的作业。

2. 学习过程

维持学习过程中的学习积极性与专注度有利于提高课程完成率，降低辍学率。分析发现：1）通过分析视频、文档、随堂讨论参与人数随课程运营时间，整体均呈现缓慢下降趋势，学习者可能产生了懈怠，建议在学习过程中融入一些“游戏化因素”，调动学生学习兴趣，激发学生的兴奋感与参与度（Mat & Zin， 2021）；2）随堂讨论参与度不高，但越来越多的专家开始关注学习交流与师生交互对在线开放课程质量的影响，建议采用一定的手段提高讨论交流的积极性，如每月评选出前10名踊跃发言者，给予表扬和证书等。

3. 课程平台环境

安全稳定的课程平台环境是提高学习参与度的基本条件。案例课程的开课日期正处于新冠疫情时期，这暴露出了课程平台容载量有待扩展、信息技术保障不足等问题。建议加强教育信息化顶层设计，优化基础硬件条件和网络基础设施。此外，分析发现，作业完成率不高，573位学习者作业提交次数为0，688位学习者分数小于10，2534位学习者分数低于60。这一现象可能与作业提交方式有关，中国大学MOOC平台上只能通过电脑端提交作业，建议研发手机、平板等移动设备提交作业的功能，丰富Windows、iOS等操作系统外提交作业的方式。

4. 学习支持服务

学习支持服务是保障在线学习者有效学习和高效学习的重要方式。课程开展过程中，课程学习支持服务团队需要持续关注学习者求学意愿与动机，动态干预与预警，及时将“边缘学习者”与“边缘参与者”拉回。一方面，建议在课程评分标准中明确说明期末考试、测试、作业的重要程度，向学习者明示课程总得分的参考与依据；另一方面，建议及时关注学习者的学习情绪、活跃时间、热点话题，以便及时消除学习者消极情绪，确保学习者高参与度与高专注度，并为学习者推送更符合学习需求和个人偏好的课程资源。

六、结语

大数据和人工智能等技术的蓬勃发展不断革新在线课程质量评价的理念、形态、方法、框架和指标。“十四五”时期，高质量在线开放课程是推进教育均衡发展、实现教育公平的有力方式。关注用户体验、基于证据开展课程质量评价逐渐成为在线开放课程改革与高质量建设的方向，受到政府、组织、学校等多方关注。针对如何运用过程数据评价在线开放课程这一核心议题，本研究以“课程使用”和“数据驱动”为切入视角，构建了过程数据驱动的在线开放课程质量评价框架，设计了过程数据驱动的在线开放课程质量评价指标体系与指标计算公式，并以一门在线开放课程为对象进行了质量评价实践，验证了评价框架、指标体系与公式的可行性与可操作性。

本研究仍存在一些不足。一是由于时间有限，仅以一门教研类MOOC为例，开展了一轮评价实践，评价对象可能具有一定的特殊性；二是在线开放课程可采集和可获取的学习过程数据有限，指标体系还需进一步改进和优化。未来，本研究团队将选择多门在线开放课程的学习过程数据对课程质量进行多轮评价实践，增加更多有效评价在线开放课程质量的学习过程数据类型，根据评价效果迭代优化过程数据驱动的在线开放课程质量评价框架与指标体系，为数据驱动在线开放课程质量评价提供参考与借鉴。

参考文献

陈晓慧. （2020）. 建构在线教育理论的时代呼唤. 中国电化教育 （8），22-26.

崔萌，穆肃，& 黄晓地. （2020）. 基于过程数据及分析的在线学习路径研究：规律与规划. 开放教育研究（3），58-70.

董艳，黄荣怀，李晓明，& 申瑞民. （2003）. 《网络课程课件质量认证标准》的研制与修订. 电化教育研究（6），65-70.

傅钢善，& 佟海静. （2016）. 网络环境下有效学习评价指标体系构建研究. 电化教育研究（8），23-30.

葛晓春. （2001）. 网络时代的远程学习模式. 电化教育研究（11），14-17.

何文涛，黄立新，& 王良辉. （2019）. 教学过程数据驱动下的教学解释探究. 中国电化教育（7），38-45.

江波，高明，陈志翰，& 王小霞. （2018）. 基于行为序列的学习过程分析与学习效果预测. 现代远程教育研究（2），103-112.

郎波，& 樊一娜. （2019）. 利用学习向量化样本分类的在线学习成绩预测. 计算机系统应用（3），215-222.

李美娟，刘红云，& 张咏梅. （2022）. 计算心理测量理论在核心素养测评中的应用——以合作问题解决测评为例. 教育研究（3），127-137.

李青，& 刘娜. （2015）. MOOC质量保证体系研究. 开放教育研究（5），66-73.

李爽，李荣芹，& 喻忱. （2018）. 基于LMS数据的远程学习者学习投入评测模型. 开放教育研究（1），91-102.

李运福，周效章，& 杨晓宏. （2022）. 面向主体需求的在线开放课程优化设计. 现代教育技术（1），104-110.

刘革平，黄智兴，& 邱玉辉. （2005）. 基于数据挖掘的远程学习过程评价系统设计与实现. 电化教育研究（7），67-69.

刘雅馨，杨现民，李新，& 田雪松. （2018）. 大数据时代教师数据素养模型构建. 电化教育研究（2），109-116.

马志强，& 岳芸竹. （2020）. 面向即时数据采集与分析的学习投入纵向研究——基于经验取样法与交叉滞后分析的综合应用. 电化教育研究（4），71-77.

上超望，韩梦，& 刘清堂. （2018）. 大数据背景下在线学习过程性评价系统设计研究. 中国电化教育（5），90-95.

舒莹，姜强，& 赵蔚. （2019）. 在线学习危机精准预警及干预：模型与实证研究. 中国远程教育（8），27-34，58.

童小素，& 贾小军. （2017）. MOOC质量评价体系的构建探究. 中国远程教育（5），63-71，80.

王娟，& 刘伟. （2022）. 在线课程用户粘性行为的影响因素研究. 中国远程教育（3），61-67，75.

王璐，赵呈领，& 万力勇. （2017）. 基于扎根理论的在线开放课程质量评价指标体系构建研究——以国家精品资源共享课为例. 中国远程教育（11），70-76.

王勇宏. （2020）. 大学生在线学习投入度测评指标体系构建与应用研究. 西北师范大学.

魏顺平，韩艳辉，& 王丽娜. （2015）. 基于学习过程数据挖掘与分析的在线教学反思研究. 现代教育技术（6），89-95.

吴斓，余胜泉，骈扬，&刘阳. （2022）. 面向学生过程表现的协作问题解决能力评估研究. 中国电化教育（7），87-96.

谢幼如，刘铁英，高瑞利，& 尹睿. （2003）. 网络课程的内容分析与评价研究. 电化教育研究（11），45-49.

邢蓓蓓，杨现民，& 李勤生. （2016）. 教育大数据的来源与采集技术. 现代教育技术（8），14-21.

杨丰玉，陈雨安，聂伟，& 郑巍，樊鑫. （2021）. 基于过程数据的学习预警模型设计与功能实现. 现代教育技术（7），97-104.

杨晓宏，周海军，周效章，& 郝照. （2019）. 国内在线课程质量认定研究述评. 电化教育研究（6），50-57.

詹泽慧，徐福荫，& 梅虎. （2009）. 网络课程质量评价模型：感知维度的研究. 现代教育技术（3），86-90.

张倍思，陈烨，齐艺，& 董庆兴. （2022）. 多源过程性数据驱动的学习者综合评价模型研究. 情报科学（5），104-110.

张艳霞，孙洪涛，李爽，& 陈丽. （2015）. 数据表征学习过程及其应用——学习分析数据集国际研究综述. 中国电化教育（9），85-93.

周德青，杨现民，& 李新. （2021）. 在线开放课程的学习者评价数据分析框架研究——以“中小学教师数据素养”在线开放课程为例. 现代教育技术（8），92-101.

Agudo-Peregrina， Á. F.， Iglesias-Pradas， S.， Conde-González， M. Á.， & Hernández-García， Á. （2014）. Can we predict success from log data in VLEs？ Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning. Computers in Human Behavior， 31（2）， 542-550.

Bigatel， P. M.， & Edel-Malizia， S. （2018）. Using the “Indicators of Engaged Learning Online” framework to evaluate online course quality. Tech Trends Washington DC， 62（1）， 58-70.

Dewan， M.， Murshed， M.， & Lin， F. （2019）. Engagement detection in online learning： A review. Smart Learning Environments， 6（1）， 16-35.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Mat， R. C.， & Zin， S. M. （2021）. Gamification approach to enhance students’ engagement in online distance learning （ODL） classes. International Journal of E-Learning and Higher Education， 6， 4-21.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates children’s behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality & Social Psychology， 65（4）， 781-91.

Design of Online Open Courses Quality Assessment Driven by Process Data

Abstract： During the 14th “Five-Year Plan” period， the construction of online open course quality assessment framework and indicators adapted to the background of the times have become important propositions to promote the high-quality development of online education. From the perspective of process， this study was data-oriented and paid attention to the actual use of courses. Firstly， a process data driven framework of online open course quality assessment was constructed. The framework included four processes： learning process data collection， learning process data mapping， learning process data analysis， and evaluation of course quality level， and included seven evaluation elements： data generation， data collection， data mapping， data analysis， result output， quality calculation， and optimization strategy. Then an online open course quality assessment index system was designed based on process data. Finally， taking the “Data Literacy of Primary and Secondary School Teachers” MOOC as an example， the assessment practice was carried out based on the learning process data of the second phase by analyzing the existing problems of the course and putting forward the quality optimization strategy of online open courses.

Keywords： learning process data; online open courses; course quality assessment; assessment framework; assessment index system