基于大数据分析的学习评价

黄慧+刘正涛+朱鹏宇

摘要：针对目前高校课程评价手段单一，不能满足学生个性化学习的要求，本文提出了一种具有个性化和发展性特征的学习评价模型。该模型基于学生课堂教学、课外自学和部分日常生活构成的大数据，通过数据挖掘技术，给出课程学习过程中对每个学生的评价。学习评价关注学习的每个阶段，给出的建议符合学生个性化要求，并可帮助教师因材施教。教学实践结果显示，这种学习评价有助于改善学生的学习。

关键词：大数据；个性化学习评价；发展性学习评价；教育信息化

中图分类号：G717 文献标识码：A 文章编号：1672-5727（2017）08-0034-05

一、大数据为学习评价带来的契机

学习评价是教学活动中的一个重要环节，评价内容以及如何评价在一定程度上影响着教学过程[1]。传统的评价方式通常是考试，这种评价方式一般在课程结束后进行，不能贯穿于课程学习的全过程，而且单一笼统，无法突出学生个体的特点。其结果是教师不能因材施教，学生也不能根据自己的要求来选择性地学习。显然，这种评价方式已经不适应当前学生个性化学习的需要，也不利于个性化人才的培养。我国《教育信息化十年发展规划（2011—2020年）》提出学校教育教学方式的变革要在学生多样性、个性化学习方面的改变上取得突破，并提出了“鼓励发展性评价”[2]。探索建立针对每个学生的个性化、发展性的学习评价问题已经成为当前迫切需要解决的问题之一。

建立这种评价方式最大的难点是信息不对称。教师无法获知学生的学习状态，简单的课堂交流只能作一个较为肤浅的判断，对于每个学生的兴趣爱好、学习习惯等都无从掌握，无法进行有针对性的引导，也不能开展个性化评价。但随着大数据时代的来临，高校中每时每刻都产生着海量的数据，这些数据以非结构化、半结构化、结构化多种样式存在，而以往的研究工作并未基于大数据这样一个特点进行研究，如将这些孤立的数据进行有效的融合及充分的利用，就能为实现学生学习的个性化评价提供技术上的可能性。

大数据能关注每一个学生个体的微观表现，它可以分析微观、个体的学生生活与课堂情况，凸显信息的真实性，找到真正影响个体教育的重要因素[3-4]。基于大数据建立的学习评价，能够为学习者提供个性化学习内容、资源和建议，为教师提供调整改进教学行为的依据，促进建立个性化培养体系，满足社会多样化、个性化人才的需要[5-6]。

近两年，国外研究者开始对高校利用大数据信息化平台对大学生学习评价进行研究。2013年，美国教育部在《Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics》一文中提出应利用大数据技术对教与学过程中产生的数据进行数据挖掘来获取有价值的信息[7]。美国的一些大学也针对此方面展开了一些研究，目前正在研究的有课程信号系统、Moodog和预测分析报告系统。普渡大学的“课程信号系统”可以根据学生的学业表现来警示学生的学习状况（课业良好、中度危机、严重危急等）；美国加州大学使用的“Moodog”和美国西部洲际高等教育委员会教育技术合作部的“预测分析报告系统”能够分析学生退学的影响因素，这些系统目前均处于研究测试阶段，以期为大学生个性化学习评价的建立提供有效的解决方案。

国内对个性化学习评价处于理论研究阶段，大多普通高校尚未使用实践手段以获取个性化信息。从国内学者发表的多篇有关学习评价的文献中可以发现，个性化学习评价的实践与个性化人才培养的要求存在差距，也滞后于信息化技术的发展[8-12]。

二、 基于大数据分析的具有个性化、发展性学习评价模型的构建

本文基于大数据平台，构建具有个性化、发展性特征的学习评价模型。该模型由信息采集与数据清洗和整合、数据挖掘与分析、信息反馈三个主要模块组成，如图1所示。

（一）信息采集与数据清洗和整合模块

传统学生学习评价主要依靠考试成绩、课堂表现、作业情况等，该模块中除了使用传统的数据，还将考虑学生课后网上学习、学习规划报告、兴趣度调查、心理调查报告、借书情况甚至校园刷卡消费记录等数据，这些数据都或多或少地和学习结果相联系。如果能将个中影响因素都结合起来进行挖掘，则可更加客观、准确、如实地反映学生学习情况。以上信息基本都以非结构化、半结构化和结构化多种样式存在[13-14]，需要在大数据平台Hadoop下进行清洗和整合，为数据分析和挖掘做准备。

（二）数据挖掘与分析模块

数据挖掘和分析模块采用Hadoop平台，该平台提供的数据挖掘算法具有并行处理数据的特点，能够快速、有效地处理大规模数据。在Hadoop平台下将需要的数据进行清洗和整合后，利用Hadoop平台提供的数据挖掘的关联规则、决策树等相关算法对数据进行分析，可识别出每个学生的学习情况、影响学习的主要因素、警告等信息。我们将经过分析挖掘产生的结果分为两方面：

1.个性化评价内容的研究

影响个体学生学习的因素；这些因素的强弱联系度；个体学生可能在某一门课程中落后的时间点；学生不能完成一门课程的风险预警等。

2.发展性评价内容的研究

这是一个反复迭代的过程。即通过对数据的采集、清洗、合并及挖掘后，产生对学生干预性、指导性意見，学生经过改善学习后，又产生新一阶段的评价数据并再次进行采集、清洗、合并及挖掘。通过这一过程，学生不断获得改善措施，从而形成适合自身发展性的学习评价。

（三）信息反馈模块

将分析得到的数据形成学习评价和建议，提供给教师和学生。学生获得及时预警以及改进措施，帮助自身纠正不良学习习惯；教师获得学生评价并给出相应的建议，对学生的学习活动进行干预。最后通过横向与纵向对比分析进一步完善评价体系。

三、模型的实现

依据基于大数据分析的具有个性化、发展性学习评价模型，构建了大数据平台，运用个性化、发展性学习评价方法（Personalized and Developmental Learning Evaluation Based on Big Data，简称PDBD方法）对每个学生个体进行持续性的学习评价，给出风险预警和改进意见，同时也提示教师给予学生必要的辅导和督促，避免学习状况下滑。

本研究以南京市三江学院计算机科学与工程学院共1 200名学生为样本，每两周采集一次数据，采集了学生的课堂表现、作业、测试、视频点播、网上交流、学习兴趣度、图书馆借书记录（和课程相关）、心理健康和校园消费等情况。采集的数据如表1所示。

将以上数据划分为三类：课内数据、课外数据和生活数据。课内数据包括课堂表现、作业和测试；课外数据包括视频点播、网上交流、学习兴趣度和图书馆借书记录（和课程相关）；生活数据包括心理健康和校园消费。

以上数据都可以从任课教师、学生辅导员和学校相关单位数据库中采集。课堂表现是教师根据上课过程中学生回答问题情况、听课专心度和合作学习情况评定得到，每周布置一次作业和测试，可获取作业和测试成绩。视频点播和网上交流数据则来自三江学院的“爱课程”网站，学生通过观看视频，在线交流，网站自动记录学生在“爱课程”上的学习轨迹，给出评价等级。学习兴趣度由各门课教师以问卷调查的方式获得。图书馆借阅以学生当前两周实际借阅与课程相关图书的本数作为统计数据。心理健康则是由辅导员在入学时通过问卷调查的方式获得，如有心理问题，可以在数据库中提示。后勤部门的数据库中则记录了学生每天的校园卡消费记录情况。

与图书馆借阅、校园消费、视频点播、作业和测试等数据不同，课堂表现、学习兴趣度和心理健康的结果存在一定的主观性。不同的教师对学生的课堂表现评价有着一定的差异；而学习兴趣度和心理健康是以调查问卷的方式进行，调查问卷是否客观可靠都是需要考量的问题。

因此，需要对教师的课堂表现打分、问卷调查数据进行信度和效度分析，它是衡量数据是否可靠的重要手段[15]。本文采用了克朗巴哈a系数测试信度水平，清洗出信度水平在0.85以下的数据，同时采用相关性分析的方式测试效度水平，清洗出相关系数低于0.6的数据。最后共计得到包含C#程序设计、数据库原理、.NET桌面开发技术和ASP.NET课程等大约120万条记录，在多个班级进行了实证性研究。

以上数据每两周采集一次，一门课程授课时长一般为16周，因此，每位学生的每门课程一般会采集8次左右的数据，将这些数据导入Hadoop大数据平台。将上述数据中的课内数据和课外数据中的视频点播、网上交流作为分析数据，按不同的权值（课内数据权值为0.8，课外数据为0.2）进行加权处理，得到每位学生每2周学习情况的成绩评定颜色进度条，良好以上成绩用深灰色表示，及格用浅灰色表示，不及格用黑色表示。如图2所示。

针对图2，采用加权指标波动算法，根据学业情况同时向学生和教师提供建议及警告等。其中，加权指标波动算法思想是通过对学生每周的9项指标做加权，并合并形成标准化的综合指标，监测两周的综合指标，分析综合指标的波动情况，根据设置的阈值，提取波动系数超过阈值的学生，进行提醒。当阈值取0.2时，2014级51班级连续两次综合指标的波动系数监测如下页表2所示。

以上三条记录的波动系数超过0.2，需要引起学生与教师的注意。综合图2与表2，采用关联规则算法中较为经典的Apriori算法[16]，产生警告并提出建议。Apriori算法用于产生一个事件和其他因素之间依赖或关联的知识，本文中利用Apriori算法获取诸如成绩差与学习兴趣度或课堂表现之间的关系等，该算法目前是数据挖掘中较为成熟的算法。通过对几周的数据进行分析，系统将给出学生的评定等级，如果评定等级低，将给出预警信号和预警原因，并对学生改进学习方法提出建议。评价是针对每一个学生个体的，并且采集的数据不仅限于课内学习，可以给出多方面的原因和改进建议。同时系统的评价是随着课程进度变化的，可以清晰地展示学生的发展情况，如果长时间没有改进，也将给予预警，避免学习成绩滑落。系统经过分析后给学生提供的评定及改进措施如表3所示，给教师提供的评价及建议如表4所示。

四、实验结果与分析

本文结合三江学院计算机科学与工程学院课程情况，构建了一个简单的大数据平台，对该院共1 200名学生的C#程序设计、数据库原理、.NET桌面开发技术和ASP.NET课程的终结性评价成绩，按照同一班级不同课程（纵向比较）、不同班级同一课程（横向比较）进行了对比测试。

（一）同一班级不同课程比较

在同一个班级分别对两门课程难度相当的“数据库原理”和“.NET桌面开发技术”进行了分析研究，如图3所示。其中，A课程表示“数据库原理”，采用了PDBD方法，B课程表示“.NET桌面开发技术”，未采用PDBD方法，课程结束后，该班学生A课程的不及格率和中等率大幅度降低，而良好率从31%提升至60%，同时，优秀率也略有提高。

（二）同一课程不同班级比较

将C#课程在不同班级进行分析研究，如图4所示。其中班级A采用了PDBD方法，而班级B未采用PDBD方法。分析后发现，A班级的不及格率与中等率大幅下降，同时，良好率由30%上升至66%，优秀率基本相当。

（三）同一课程不同班级均分比较

将四门课程分别在4个班级进行测试，如图5所示。A课程表示未采用PDBD方法，B课程表示采用PDBD方法。期末成绩表明，采用了PDBD方法進行教学的班级均分明显高于未采用PDBD方法的班级。

（四）个体学生成绩走势图

随机选取了三名初期成绩较差的学生进行测试，如下页图6所示。ASP.NET课程开始前两周，A学生成绩较差，课堂表现评分为40分左右，经过16周的不断督促和警告，A学生最后学业成绩为及格；B和C学生在课程开始时表现为及格，学期结束时，B学生达到了良好，C学生达到了优秀。可见，PDBD方法大幅度提升了较差和中等学生的成绩。

教学实践和纵横向比较结果显示，运用PDBD方法的班级和课程，学生获得了教师有针对性的督促和指导，一定程度上改进了自己的学习，取得了明显的进步。

参考文献：

[1]Fotis Lazarinis，Steve Green，Elaine Pearson.Creating personalized assessments based on learner knowledge and objectives in a hypermedia Web testing applications[J].Computer & Education，2010，55（4）：1732-1743.

[2]教育部.教育信息化十年發展规划（2011—2020年）[EB/OL].[2012-03-13].http：//www.more.gov.cn/publicfiles/ business/htmlfiles/more/s3342/201203/xxgk_133322.html.

[3]武法提，牟智佳.电子书包中基于大数据的学生个性化分析模型构建与实现路径[J].中国电化教育，2014（3）：63-69.

[4]祝智庭，沈德海.基于大数据的教育技术研究新范式[J].电化教育研究，2013（10）：5-13.

[5]朱建平，李秋雅.大数据对大学教学的影响[J].中国大学教学，2014（9）：41-44.

[6]徐鹏，王以宁.大数据视角分析学习变革[J].远程教育杂志，2013（6）：11-17.

[7]Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics[EB/OL].[2012-12-01].http：//www.ed.gov/technology.

[8]李广，姜英杰.个性化学习的理论建构与特征分析[J].东北师范大学学报（哲学社会科学版），2005（3）：152-156.

[9]杨南昌.基于多元智能（MI）的个性化学习研究[D].南昌：江西师范大学，2003.

[10]王艳芳.支持个性化学习的E-learning系统研究[J].中国电化教育，2008（3）：102-107.

[11]费龙，马元丽.发展个性化学习，促进教育公平——英国个性化学习基本理论及实践经验探讨[J].全球教育展望，2010（8）：42-46.

[12]魏雪峰，宋灵青.学习分析：更好地理解学生个性化学习过程——访谈学习分析研究专家George Siemens教授[J].中国电化教育，2013（9）：1-4.

[13]张韫.大数据改变教育：写在大数据元年来临之际[J].上海教育，2013（4）：8-11.

[14]赵刚.大数据[M].北京：电子工业出版社，2013.

[15]马秀麟，衷克定，刘立超.从大数据挖掘的视角分析学生评教的有效性[J].中国电化教育，2014（10）：78-83.

（责任编辑：王璐）