基于大数据的在线学习过程性评价设计研究*

上超望 韩 梦 杨 梅



基于大数据的在线学习过程性评价设计研究*

上超望 韩 梦 杨 梅

（华中师范大学 教育信息技术学院，湖北武汉 430079）

大数据能够为教育决策提供支持和服务，基于大数据分析的在线学习过程性评价是发挥大数据优势、提高在线学习质量的有效途径。文章从大数据的视角探讨了在线学习评价的变革，对过程性评价的特征进行了分析，设计了基于大数据的在线学习过程性评价框架，包括评价内容设计、评价环境设计、评价流程设计三个方面。基于大数据的在线学习过程性评价设计为分析和优化在线学习提供了更全面客观的依据，也为在线学习的评价提供了新的视角和参考。

大数据；在线学习；过程性评价；设计

引言

过程性评价（Process Evaluation）是新课程教学改革的重点，关注学生求知、探索和努力的学习过程。传统的评价方式过分重视静态的、可量化和浅层次的学习成果，评价内容片面、评价方式单一，不利于学习者的全面发展。过程性评价重视动态的、难以量化和高层次的学习过程和学习效果，通过在学习进程中对学习者进行实时评价，将评价过程与学习过程融合在一起，为学习者提供及时的反馈、引导、激励和调节等方面的学习支持。

在2018年政府工作报告中，李克强总理明确指出“实施大数据发展行动，运用新技术、新业态、新模式，大力改造提升传统教育产业”[1]。大数据与教育的创新融合，为设计全面分析学习者当前或未来学习过程的评价方法提供了支持和服务，成为提高在线学习质量的关键。本研究从在线学习评价内容、评价环境和评价流程三个方面，设计基于大数据的在线学习过程性评价框架，为在线学习评价提供新的视角和参考。

一 大数据支持下的在线学习评价变革

大数据能从各种类型的数据中迅速获得有价值的信息，具有数据规模大、种类多、处理速度快、易变性、真实性和价值密度低等六大特征[2]，已经成为信息技术研究的重要领域。在线学习借助网络学习平台开展教学，满足学习者多样化、个性化、碎片化的学习需求，并产生了复杂的教育大数据。利用大数据进行在线学习评价，对学习过程做全面分析，能够挖掘隐藏在数据间的相互关系，引导在线学习评价从经验主义走向数据主义，从宏观群体评价走向微观个体评价，从单一评价走向综合评价[3]，进而实现数据驱动的“因材施教”，推动在线学习评价成本变革、质量变革和效率变革。

首先，大数据技术能够对在线学习行为数据进行全程记录和分析。全面、真实的学习数据更好地解决了在线学习评价活动中评价信息不对称的难题，评价主体可有针对性地对学习者进行评价，大大降低了在线学习评价的成本。

其次，在虚拟的在线学习环境中，学习者有时会刻意表现出非本真状态的行为假象或行为反常。通过大数据跟踪记录和逻辑分析学习者的学习行为，可以为评价在线学习提供客观的依据，及时准确地发现学习问题，提供个性化学习干预，改善在线学习评价的质量。

最后，在线学习数据具有时效性，而网络学习师生分离的特性，使得教学人员无法对在线学习情况进行实时监控与管理，自我管理能力欠缺的学习者容易停滞不前。通过大数据技术实时采集、批量处理和及时反馈，为评价者提供实时的评价依据，能够提高在线学习评价的效率。

二 大数据支持下的学习过程性评价分析

过程性评价是在学习过程中完成的、建构学习者学习活动价值的过程[4]，重视学习持续发展和变化的过程。在大数据支持下，在线学习过程性评价主要包括四个特征，如图1所示。

图1 大数据支持的在线学习过程性评价特征

1 强调在线学习过程性与目标性并重

在线学习过程性评价采用“过程”与“目标”并重的价值取向[5]，关注学习者在线学习的连续性和阶段性，能够对在线学习的发展过程进行全面动态的评价。在大数据采集、分析和展示等技术的支持下，实施在线学习过程性评价，既重视学习目标的实现，又重视学习过程对评估和调整学习目标的重要作用。

2 倡导内外结合和多元的在线学习评价方法

在线学习过程性评价既注重教学者、学习同伴等对学习者的评价，也注重培养和发展学习者对自我学习行为、态度和价值观等的内省与自我评价。利用采集的学习数据，分析学习者在线学习过程中外显的学习效果和内隐的学习动机，将分析结果及时反馈给各评价主体，支持教学者点评、学习者自评和同伴互评等多元化的评价方式[6]。这种内外结合的、多元的评价方式，使在线学习过程得到协调，在线学习评价功能得以彰显。

3 重视对在线学习动机、过程和效果三位一体的评价

过程性评价以学习者的发展为根本出发点，将学习价值从学习过程中凝结并累加，综合考虑学习者的在线学习动机、学习过程和学习效果三个维度，激励和指引学习者的在线学习行为。

通过大数据精准分析学习者的态度、情感、价值观等学习动机，针对其学习进度、记录、活动等学习过程，发现学习中的困难与成就，实时关注学习者的学习发展动态，促进评价过程与在线学习过程交互融合，以激发学习者的学习动机、优化学习进程、提高学习质量。

4 主张在线学习评价主体和客体的共同参与

在线学习过程性评价强调评价主体与客体的交互作用和共同参与，使学习者从评价的被动接受者转为积极参与者。大数据能够收集到作业测试、学习反思和主题讨论等各种数据，并将数据分析结果反馈给各评价主体，不仅有利于教学者对学习者的评价、学习者对自己的评价，而且促进了评价者和评价对象共同参与评价活动，商定学习发展目标。

综上所述，学习大数据采集、学习数据分析和过程性评价数据结果展示等技术，能够充分发挥过程性评价的优势，促进学习者在线学习质量的提升。

三 基于大数据的在线学习过程性评价内容设计

在线学习过程性评价内容与评价目的紧密相关，强调知识与能力并重、结果与过程兼顾、质与量相结合。相较于其它评价，过程性评价更加关注以下三个方面的内容：

1 在线学习学习方式评价

学习方式是学习动机和学习策略的整合，决定着在线学习的效果。在线学习是螺旋式上升的过程，学习者在学习认知上的发展变化会表现出不同的学习动机和学习策略，成就不同的学习方式。通过关注学习者对学习内容价值的认知、对学习任务的兴趣程度、对自我学习能力的主观推测和对在线学习结果的成就归因等动机内容[7]，促使学习者不断调整学习策略和学习方法，找到适合自己的学习方式，激发在线深度学习。

2 在线学习过程性学习结果评价

在线学习的过程性结果是面向过程并考核在线学习效果的重要指标，影响着学习者对于知识与技能、过程与方法、情感态度与价值观的建构。

不同于在期末考试中对学习考察的总结性评价，过程性评价更加关注反映学习者在学习过程中素质发展的过程性学习结果[8]。通过考察与学科学习密切相关的独立思考能力、团队协作能力、创新创造能力等智能因素，促使学习者不断完善学习策略和方法，达到更高层次学习目标。

3 在线学习非智力因素评价

学习者的在线学习过程和效果受多种因素影响，其中与在线学习密切相关的非智力因素占据着重要的地位。过程性评价将学习者的学习习惯、学习过程的情感态度以及对待学习任务的积极性等非智力因素列入评价的范畴，及时将相关信息反馈给学习者，促进学习者的反思和总结，及时发现自身存在的问题，并采取有效的解决措施，提高在线学习效率和质量。

四 基于大数据的在线学习过程性评价环境设计

大数据作为新的数据处理和分析工具，能有效促进过程性评价的实施，帮助教学者与学习者获得及时准确的在线学习反馈信息。基于大数据的在线学习过程性评价环境设计如图2所示。

图2 基于大数据的在线学习过程性评价环境设计

1 在线学习数据采集

在线学习数据是过程性评价的基础，既包括静态的学习风格、学习偏好和学习习惯等，也包括动态的学习行为数据，如在线讨论、资源交互、协作学习、浏览日志和学习评价等。

当学习者利用计算机、iPad、手机等各种终端进行在线学习时，数据采集通过网络爬虫或网站公开API等方式，按照一定的规则，自动获取学习者在学习平台上浏览的文字、图片、音频、视频、文件等结构化或非结构化数据信息，将其存储为统一的本地数据文件并建立索引，以便后续查询和检索。同时，利用Hadoop的Chuwa、Cloudera的Flume等收集学习者在线学习平台上的日志信息、搜索记录、学习内容和交流讨论等学习行为数据，满足每秒数百MB的数据采集和传输需求，解决了海量数据采集的问题。

2 学习数据处理

原始数据既包含大量有研究价值的信息，也包含与研究无关的数据。学习数据处理是过程性评价系统的后端功能，通过数据清理、集成、转换、归约和存储对原始数据进行预处理，以模式识别、数据挖掘和学习分析作为数据分析的核心，在专业人员的技术支持下，将动态的在线学习过程展示出来，为评价者提供更多智能的、有价值的在线学习过程性评价信息。

数据清理是指对数据重新审查和校验，清除异常数据、纠正错误数据和统一数据格式，实现数据的一致性。数据集成能把多个数据源中的学习数据整合起来，统一存储到数据仓库中，减少数据冗余。数据转换利用聚集、平滑、概念化等手段规范数据，将其变换成适用于数据挖掘的形式。数据归约将得到数据的归约表示，降低信息内容损失。数据存储方式大多采用分布式架构[9]，实现一个分布式文件系统（Hadoop Distributed File System，HDFS）。HDFS架构基于一组特定的节点构建，存储在HDFS中的文件被分成块，并复制到多个计算机中，由HDFS内部提供元数据服务进行文件更新操作，具有高容错性、高可靠性和高吞吐量的特点。

模式识别通过综合运用数理统计、人工智能和图像处理等方法，对学习者的图像、语音和文字等进行识别和分析，以实现在线学习过程数据的智能化处理。数据挖掘采用神经网络、决策树、遗传算法和机器学习等技术，发现在线学习数据集中所隐藏的相关关系网，以揭示影响学习者在线学习效果的深层次原因。学习分析借助内容分析、社会网络分析、关系挖掘与数据建模等方法的优势，对在线学习平台中积累的大量数据进行测量、分析和表示，以进一步发现学习的规律，预测学习者的未来表现，为学习者量身定制更有效的教育。

3 数据可视化表征

在数据处理的基础上，评价系统后端的可视化技术能够将过程性评价过程和结果的数据信息以图形、图表等形式，直观地反馈给各个评价主体[10]。可视化工具与图形图像处理、计算机视觉、用户界面设计等内容密切相关，如Gephi、Weka、R语言等。这些工具可以将隐藏于在线学习数据集中各种交叉的数据关系、趋势、信息和规律，以可视化图表的方式准确呈现，如用知识结构图表征知识点之间的关系和学习者的知识掌握程度；用折线图呈现学习者在一段时间内的在线学习趋势与变化情况；用堆积条形图可视化展示多项错因的频率和比例关系等。

4 过程性评价与组织反馈

依据数据分析和处理结果，通过对在线学习的学习方式、过程性学习结果评价和非智力因素评价这三方面内容的权重比例，以及各评价信息点的分值转换进行设定，以帮助多方评价主体对学习者参与的在线学习活动质量进行全面分析和评价。

通过结构化组织与系统化呈现，将复杂的数据处理信息和过程性评价结果反馈给各评价主体，支持他们准确把握反馈中的关键信息，以便有效评价学习者的在线学习过程。在过程性评价反馈报告中呈现评价信息，将个性化分析报告推送至学习系统的学生端，便于学习者查看个人学习评价与分析报告。同时，教师端可以查看整体或个体学习者的分析报告，直观地了解学习者的在线学习过程情况，并利用评价信息干预学习者的在线学习进程，优化学习路径，促进学、教、评的有机结合。

五 基于大数据的在线学习过程性评价流程设计

过程性评价与在线学习过程密不可分，在大数据技术的支持下，在线学习过程性评价系统能够对在线学习者的学习过程和结果进行统计分析，发现学习者在学习过程中存在的问题，为有效学习的开展提供科学依据。具体的实施流程如图3所示，具体为：①学习者在学习平台上注册信息，平台与教务系统对接，将学习者信息保存在学习者特征信息库中。②根据学习需求，学习者选择在线学习系统进行学习，平台启动智能导学引擎，帮助学习者快速掌握相关知识技能。③利用数据追踪技术，将学习者在学习过程中产生的交互数据存储于数据库中。④在线学习大数据分析系统对学习者特征信息库与在线学习数据库中的信息进行分析，将结果反馈给自适应引擎、学习者、学习同伴、教学者等。⑤自适应引擎根据分析结果，调整学习者的在线学习进度；学习者、教学者和学习同伴利用数据结果，对学习者的在线学习过程进行评价；教学者修正智能导学引擎，调整教学内容，完善学习资源。⑥学习者根据自适应引擎反馈的在线学习进度、知识技能完成情况与在线学习过程性评价等信息，结合自身学习实际，进行自我调节；教学者根据反馈信息，及时掌握学习者的学习情况，针对学习者的特点和学习状况，制定个性化学习的指导方案，实现精准学习指导。

图3 基于大数据的在线学习过程性评价流程设计

六 总结与展望

大数据为分析学习者在线学习过程提供了客观的数据支持和服务，过程性评价不过分追求学习目标的标准化和学习方法的规范化，为在线学习提供了新的评价视角。本研究提出了基于大数据的在线学习过程性评价框架，该框架从评价内容、评价环境和评价流程三方面定义了在线学习过程性评价的方法。后续研究将基于该框架开展在线学习过程性评价的系统实现与实践应用研究，以验证该方法的有效性和科学性，并结合具体的在线学习过程与用户反馈，进一步完善框架的设计与应用，从而为学习者提供更优质的在线学习评价服务。

[1]国务院.2018年政府工作报告[OL].

[2]祝智庭,沈德梅.基于大数据的教育技术研究新范式[J].电化教育研究,2013,(10):5-13.

[3]杨现民,唐斯斯,李冀红.教育大数据的技术体系框架与发展趋势——“教育大数据研究与实践专栏”之整体框架篇[J].现代教育技术,2016,(1):5-12.

[4]谢同祥,李艺.过程性评价:关于学习过程价值的建构过程[J].电化教育研究,2009,(6):17-20.

[5]高凌飚.过程性评价的理念和功能[J].华南师范大学学报(社会科学版),2004,(6):102-106.

[6]王冬青.基于e-Portfolio的过程性评价系统设计与实现[J].现代教育技术,2008,(8):97-100,96.

[7](德)法尔克·莱因贝格著.王晚蕾译.动机心理学[M].上海:上海社会科学院出版社,2012:122-124.

[8]蒋立兵,陈佑清.翻转课堂教学质量评价体系的构建[J].现代教育技术,2016,(11):60-66.

[9]李振,周东岱,刘娜,等.教育大数据的平台构建与关键实现技术[J].现代教育技术,2018,(1):100-106.

[10]Boncea R, Petre I. A maturity analysis of big data technologies[J]. Informatica Economica, 2017,(1):60-71.

Research on the Design of Online Learning Process Evaluation based on Big Data

SHANG Chao-wang HAN Meng YANG Mei

Big data could provide support and service for educational decision making, and the online learning process evaluation based on big data is an effective way to maximize the advantages of big data and improve the quality of online learning. The article discussed the changes of online learning evaluation from the perspective of big data, and analyzed the characteristics of process evaluation. Meanwhile, the framework of online learning process evaluation was constructed, which included three dimensions of evaluation content design, evaluation environment design and evaluation process design. The design of the process evaluation of online learning based on big data could provide more comprehensive and objective basis for analyzing and optimizing online learning, as well as new perspective and reference for online learning evaluation.

big data; online learning; process evaluation;design

G40-057

A

1009—8097（2018）10—0094—06

10.3969/j.issn.1009-8097.2018.10.014

本文为华中师范大学中央高校基本科研基金“大数据环境下教育信息的隐私保护与安全评估机制研究”（项目编号：CCNU16GD025）、“‘Web程序设计与应用实验’中访问控制技术的成果转化实验教学内容研究”（项目编号：CCNU18KYZHSY21）、湖北省技术创新重大专项“互联网+精准教育关键技术研究与示范”（项目编号：2017ACA105）的阶段性研究成果。

上超望，副教授，博士，研究方向为远程教育原理、智能知识服务，邮箱为scw@mail.ccnu.edu.cn。

2018年4月8日

编辑：小西