基于SPOC 的混合式学习评价指标体系的构建

胡庆春，蔡建华

（1.华东理工大学 信息科学与工程学院，上海 200237；2.华东师范大学 数据科学与工程学院，上海 200062）

0 引言

自2012 年以来，基于网络学习环境的MOOC（massive open online courses）受到大量研究的关注[1-2]。作为一种新的教与学模式，从对MOOC 的狂热追捧到理性的反思过程中，MOOC逐渐被修正并调整。有学者提出了SPOC（small private online course，小规模限制性在线课程）[3]，并把SPOC 和课堂教学融合形成一种新的混合式学习环境[4-5]。

基于SPOC 的混合式学习环境与传统课堂以及在此之前的在线教育有本质区别，传统的结果性学习评价缺乏面向过程的学习行为和学习效果的分析，并没有在学习者的在线学习行为与学习效果间建立紧密联系。SPOC 学习环境可以全面记录用户在学习过程中产生的学习行为数据，记录学习者的学习和交流过程，形成学习的大数据，为利用数据分析技术进行学习评价，并进一步提升教学质量提供丰富的数据。可见，对于SPOC 这种新型的混合式学习环境，传统的课堂教学以及一般的网络课程评价标准显然已经不适用，构建适用于SPOC 混合式学习环境的学习评价指标体系与评价量规势在必行。

本研究是以程序设计课程为背景，程序设计课程是华东理工大学大部分理工科专业的一门通识必修课程，每年有2 000 多名本科生修读程序设计课程，包括C、Java、Python 等在内的程序设计语言。

当前，对于程序设计课程的学习评价常用的方法是根据期末的上机考试、平时的实验报告、课程大作业以及课程的出勤率，由教师给出平时成绩。并结合学生的期末考试成绩，得到最终成绩。这种方式属于一种结果性学习评价，在传统的课堂教学中起到一定的作用。

教育部新工科教育理念的提出，为深化工程教育改革提供了一个契机。2017 年2 月，教育部发布《关于开展新工科研究与实践的通知》[6]，基于新工科视角的工程教育引起关注。新工科倡议是我国工程教育对“互联网+”等国家重大战略的积极响应。以新技术、新模式、新产业为代表的新经济蓬勃发展，对工程科技人才提出了更高要求。在高校的课程设置中，需要融合专业应用，形成新的人才培养方式，更新教与学的内容，并且随着网络教学平台的广泛使用，学生的网络学习行为应该作为一种学习评价要素纳入学习评价中，为此，学习评价的方法也需要进一步完善。

1 国内外研究现状

1.1 程序设计课程教学

在过去20 年，程序设计课程主要有3 种教学模式。

第1 种模式是传统的课堂教学，关注工具运用，强调编程能力的培养。教与学围绕着学会编程，专注于课程知识点的学习；并且鲜少采用网络教学平台，通常是传统的面对面课堂教学和答疑。学习评价主要以考试的分数衡量学生对于课程的掌握情况。

第2 种模式是以传统的课堂教学为主，辅以课程网站的支持，不仅强调编程能力的培养，还关注计算思维能力的培养。自2010 年以来，围绕计算思维理念，全国多个高校对于程序设计课程进行了一系列教学内容的改革，但是，对于学习的评价鲜有具体的相关案例。计算思维能力的培养涉及多方面，如何在SPOC 环境中评价学生是否具有一定的计算思维能力，需要面向专业的融合，在具体的案例环境中才可以恰当地评价。

第3 种模式是网络在线学习和课堂教学的混合式学习。这种模式主要是从2012 年开始，2012年被不少学者认为是中国的MOOC 元年[8]。发展到2018 年，中国高校的在线课程出现一个大幅度的提升。在2018 年12 月，教育部发文认定801 门课程为2018 年国家精品在线开放课程[9]，越来越多的高校把网络环境整合到课堂教学中。

可见，程序设计课程的教学在过去的20 年中已经从传统的师生面对面的课堂教学转变为混合式的教学。在混合式的学习环境中，基于SPOC的混合式学习环境日渐受到研究的关注[10-11]。

1.2 基于SPOC 的混合式学习环境

加州大学伯克利分校的阿德·福克斯教授提出SPOC 是MOOC 和传统课堂的融合[3]，并在软件工程这门课中进行了实践。目前，SPOC 在教学中的实现方式比较灵活，既可以采用传统教学模式，与传统的课堂教学相辅相成，又可以采用翻转教学模式。当前对于SPOC 的研究热点主要集中在教学模式、教学设计、SPOC 的在线学习等方面[12-14]，鲜有实践案例探讨SPOC 环境下学习评价指标体系的构建。

在SPOC 学习环境中，学生的学习行为形成海量的数据，这些行为数据的分类获取以及在此基础上对学习的评价，主要依托教育大数据和学习分析技术。

1.3 学习行为大数据

当前已经有研究从各个角度关注教育大数据。在国外，美国曾在2012 年发布了《通过教育数据挖掘和学习分析促进教与学》（Enhancing Teaching and Learning through Educational Data Mining and Learning Analytics）[15]报告，并启动了“Big Data Research and Development Initiative”[16]计划，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，转变教育和学习模式”。

大数据在教育领域较为典型的应用技术是学习分析（learning analytics）技术。学习分析被定义为“测量、收集、分析和报告有关学习者及其学习情景的数据集，以理解和优化学习及其发生情景”[17]。学习分析需要对学生学习过程中形成的海量数据进行解释和分析，以评估学生的学业进展，预测其未来表现并发现影响学生学习的因素，其目的是评估学生，发现潜在问题并最终优化学习。在SPOC 学习环境中可以记录并积累大量系统化、结构化的数据，这为科学的学习评价奠定了不可或缺的数据基础。

当前的SPOC 学习环境中，课程网站或者学习平台对学习的评价大多数还是基于传统的学习评价方法[18]，主要是采用考试成绩、课程的点击浏览量等的统计信息以线性方式评价学生，在一定程度上反映了学生对知识的掌握程度；也采用日志文件分析、网络内容分析等方法[19-20]，识别出有困难的学习者，对其进行一定的干预[21]。这些研究均很好地关注了学习评价中的单个因素，但数据来源单一，鲜有研究整合考虑多个因素。

学习行为大数据来源于多种类型的学习活动，数据之间缺乏互操作性，即各种类型的数据难以整合、共享。本研究对学习活动数据流进行分类，分类的基本出发点是以学生为中心，即以学生为数据流的发出主体，进行有针对性的数据分类提取，将所提取的数据用于学习评价。

2 学习评价体系框架

本研究所分析的大数据和学生的学习状态行为相关，学生在学习过程中的状态可以看成一种系统的隐性状态转移和隐性状态的表现概率事件。系统的隐性状态指的是一些外界不便观察，或观察不到的状态，如学生在当前的状态是登录进入了系统，但是他在系统访问了哪些内容，状态如何转变，针对这样一个学习结果，分析前述的学习行为，并最大化地呈现其学习的轨迹。同时，教学管理者可以对于某种学习行为和某种学习结果之间的相关性进行预测，并进一步干预其学习的过程。

上述内容构成了学习评价指标体系理论基础与研究框架（如图1 所示），从评价主体、评价内容和评价形式阐述混合式学习环境下如何对程序设计课程进行学习评价。

2.1 学习行为和评价量规

在SPOC 学习环境中有众多复杂的数据流，本研究采用面向学生的教学活动数据流的分类办法，因为学生的学习是教学分析的主要对象，教学管理决策的措施和标准应以学生为中心。通过对教学活动信息流的数据分类，可以进一步细化学习分析的各种对象，从而界定并构建特定的分析模式。通过将教学活动数据流分类来对教和学的交互行为进行建模，各种教学活动数据流以具有语义结构的数据形式存在，主要包含以下元素：数据流的发出实体、动作、时间、地点、对象和结论。

数据流格式主要为两种：一是结构化数据；二是非结构化数据，包括学习内容、学习日志、学习路径、学习成果数据、课程数据、学习成绩数据等。学习日志除了包含系统实时记录的日志文件，还包括学习论坛中的互动和交流。这些互动和交流分为事件计数、内容发展、内容贡献、内容阅览、活跃用户、热门主题（回复）、热门主题（点击）。通过对这些数据的获取、存储和分析，构建学习者学习行为相关的学生模型（如图1 所示），分析学习者已有的学习行为，并实时反馈相关的信息给学习者和管理者。

数据流的分析过程包括数据采集、数据处理、学习分析和预测建议4 个关键环节，整个功能模块框架如图1 所示。采集模块将教学主体在各教学环境中的活动数据聚合到一起，对异源数据进行格式的预处理后导入教学活动数据流库中，结合统计分析和关联挖掘。根据分析结果洞察学生的学习行为，及时给学生可视化的反馈，一方面促进其自身的反思，另一方面也有助于教师预测可能面临的问题，以便在管理决策中进行及时的干预，调整教学。

在图1 的模型中，评价量规有两个维度，一个维度是学习评价指标，分为3 类：学习态度、学习成绩和综合能力。其中，学习态度包括学习参与度、学习时间分布（视频学习时间间隔、登录时间间隔）、课程论坛的贡献度（论坛的发帖频率和浏览频率）。学习成绩包括过程性行为和结果性成绩。综合能力包括课程大作业、协作能力、创新能力（见表1），这些主要通过参加各级竞赛活动和大创项目来衡量。另一个维度是学习行为，由学习指导类、理解创新类以及交互分享类构成。依据其与评价指标的分类相结合，又细分为不同的子类，每一个子类作为学习评价指标体系中的一个参数描述。

表1 学习行为和学习行为评价量规二维矩阵

通过软件工程中的快速原型法，采用多轮迭代构建每一个参数描述；设定每个不同类别学习行为指标的权重，对每个学习行为指标进行定级，得到评价量规。对于不同的教学场景和对象，教师需要恰当地调整量规。

2.2 案例实践

在实践中，采用专业融合案例引导，以学科竞赛和各级大创项目作为应用驱动。以华东理工大学大面积程序设计课程SPOC 混合式学习环境中的数据作为样本进行分析，借助真实的一线教学数据，利用学习分析技术挖掘学生在学习过程中的实际参与表现和进展情况，分析相关学习行为特征，构建学生模型，进行学习评价。

实践场景为程序设计基础课程，示例数据来源于课程平台中的问题讨论区，该问题讨论区作为专门的网络答疑平台，学习者在其中的参与度极大地反映了其在这门课程中的学习。以该平台中的学习者为研究分析的对象，目前该平台上每个学期有约500 名大一的本科生在学习程序设计基础，首先通过网络学习平台采集学生行为数据，找到学习效果的相关学习行为指标特征，并在此基础上实践学习行为评价量规的制订。

在研究中，采用了开源的可视化平台Kibana分析网络学习平台中的行为数据，并把分析结果可视化展示给学生看，有助于学习者反思其学习。在一段时间内对于课程平台中所选中的区间，呈现了一个有规律的峰值访问。课程平台中对于内容阅览的可视化中可以看到在某一日，或者某段时间对于热点内容的阅读达到一个峰值，而经过仔细分析时间的规律，可以发现往往是临近每周上课日的前后时间段会产生峰值，并且其中对难点问题的讨论会一直持续。

3 结语

当前信息时代，数字化教与学给整个教育带来的影响是巨大的，通过教育数据挖掘技术，可以真正做到挖掘数据的价值，用数据支持教与学。通过深入剖析当前信息技术环境下的混合式学习环境的特点，以及其中的学习行为数据，构建了SPOC 环境下学习评价体系模型并把模型运用在程序设计课程的实践中，量化并追踪学生的网络学习行为，以应用于学习评价与管理决策。由于大部分高校都有网络课程平台并开展了基于SPOC的教学，因此该研究具有广泛的可实践性。立足于大学教学之根本，尤其是在当前网络技术和移动技术冲击的校园，对学生的学习评价需要改进；并且，面对海量的学习行为数据，挖掘其背后的价值，能够使教学的管理决策更加科学和有效。