MOOC环境下适应性评价的研究

张璐

（陕西师范大学 教育学院，陕西 西安 710062）

MOOC环境下适应性评价的研究

张璐

（陕西师范大学 教育学院，陕西 西安 710062）

近年来，随着网络和远程教育的发展，越来越多的学习者采用MOOC的方式进行学习，MOOC也成为专家学者研究的热点之一。但是MOOC的学习究竟是否比传统的学习方式更有优势、能否达到良好的学习效果，仍需要有效的评价手段来进行验证。作者通过阅读大量外文文献，发现国外对适应性评价在包括MOOC在内的在线学习评价中的研究有很多，研究表明，适应性评价能够更好地满足学习者个性化的学习需求。文章通过借鉴国内外包括MOOC在内的在线评价的相关研究，总结出适应性评价的特点，并提出MOOC环境下适应性评价的设计原则、存在的问题及解决的办法，以期为后续MOOC课程评价的设计和研究提供可借鉴的依据。

MOOC；在线学习评价；适应性评价

一、引言

自2012年MOOC元年以来，社会各界就对MOOC褒贬不一。然而在众多的MOOC的调查和研究中，MOOC课程的评价一直是一个复杂的问题，如何采取有效的评价方式对MOOC课程的学习进行评价，既是MOOC支持者关注的问题，又是MOOC反对者致力于研究的问题。我国对MOOC评价的研究主要集中在对现有评价方式（如：同伴互评）的调查研究和改进方面；而国外则在研究在线评价的基础上提出了一种新型的评价方式——适应性评价，关注学习者的个性化需求，为MOOC的评价研究开启了新世界的大门。适应性评价对国内的研究者来说也许比较陌生，但适应性学习却是我国各领域专家学者一直关注的问题。2016年地平线报告中指出，将适应性学习作为未来一年内技术发展的短期目标。这恰恰体现了国家对于学生个性化学习的重视。北师大的余胜泉教授曾说过，传统的远程教育模式已经不能满足学生的个性化需求和终身学习的需要，远程教育系统要转变为在教学目标的指导下,适应学生学习需求的适应性学习系统[1]。这就为远程教育的研究指明了方向——个性化的适应性学习。从这一点出发，文章提出了MOOC学习环境下一种个性化的评价方式——适应性评价。

二、国内外MOOC课程评价的研究现状

截至目前，国内外对MOOC课程评价的研究相对比较缺乏。我国对MOOC评价的研究主要集中在评价方式的调查研究、现存评价方式的优缺点研究和改进措施的研究。陕西师范大学郑志高、张立国等人在系统调查了Coursera、edx和Udacity三大MOOC平台的评价方式后指出，xMOOC的学习评价方式主要有以下几类：嵌入式问题、家庭作业、单元测试、周测试、期中考试、期末考试、论坛参与情况和课程浏览情况。其中，考试测验类的评价方式是众多课程的首选[2]。可以看出，在我国三大主要的MOOC学习平台中，对学生学习的评价方式上虽然有所创新（如：采用嵌入式问题检验学生的课程参与度），但主要还是采用传统的评价方式检验学生的学习成果，仍是面向结果的评价。北京大学范逸洲等人采用问卷调查的方式对北京大学7门MOOC课程的学习者进行了调查研究，总结了学习者对于MOOC学习与评价的建议，主要有以下方面：一是希望关注他们已有的经验背景、时间和学习兴趣方面，根据学生特点调整学习内容；二是希望平台的设计在简单易操作条件下又能有效记录学习者的学习行为；三是希望关注他们的自主学习能力和独立思考、评价等能力[3]。从学习者对MOOC课程的建议中不难发现，为了使MOOC学习更受欢迎、更有效地为学习者服务，必须考虑每个学习者的不同特点，做到因材施教。因此，为了满足在线学习中学习者的个性化需求，就需要从学习者个人的角度出发，探索“定制”的学习评价。

国外专家学者则致力于从学习行为的角度对在线学习评价进行研究。笔者试图从这些研究中得到MOOC学习评价的相关启示。比如，有研究显示，学生是否会停止一个项目的学习受测试难度和评分方式的影响。难度较大的测试题会促使学生学习行为的多次重复；如果每道测试题的分数不一致，根据难度划分不同的分数等级，学生为了得到更高的分数，则倾向于重复学习的行为[4]。这项研究说明，评价（测试）的设计在很大程度上决定了学生的学习行为和学习效果。指出了在线学习评价的重要性。还有学者针对具体的学科对适应性评价进行研究，在一项以适应性评价检验英语词汇量的研究中显示，计算机支持下的适应性评价具有更加有效、准确地测量学习者词汇量的潜力[5]。同样，也有研究显示，适应性测验的项目选择也会影响学习者的学习效率[6]。通过对上述研究结果的分析不难发现，适应性评价（测验）因其自身的优势，在在线学习评价上存在着巨大的潜能。如何将这些潜能发掘出来并应用在MOOC课程的学习评价中去，正是文章的核心所在。

三、MOOC中的适应性评价

1.我国MOOC 评价现状

笔者自学了中国大学MOOC中包括《现代教育技术》、《翻转课堂教学法》等20多门课程并通过浏览该平台上的热门课程，总结出中国大学MOOC平台上课程的评价方式如下：

（1）视频播放过程中的测试题。为了监督学生的学习和即时检验学生的学习效果，在讲课视频的播放过程中会穿插一两道选择题，学习者答题正确后才可以继续接下来的学习。但这种评价方式也存在弊端，如：题目过于简单失去检验的意义；选择题的选项有限，学习者可以“猜”到答案，可能并没有掌握这一知识点。

（2）周测。在中国大学MOOC平台上，大多数课程的学习周期为一周，课程管理者每周定时发布课程内容和相关测验，学习者在规定时间内完成测试，即可获得相应的成绩。周测的评价方式因为有时间的限制，会导致许多学生在时间紧迫的情况下没有完成相关课程的学习就进行测验。这就无法达到检验学生学习效果的目的。

（3）期末测试或大作业。总结性评价一般是以期末考试或提交大作业的形式进行。这种评价方式虽然比较公平，但是由于MOOC学习者存在学习背景等各方面的差异，这种统一的评价方式不利于个性化的学习评价。

（4）案例分析。笔者在学习南京大学陈昌凯教授讲授的《手把手教你心理学：谈话的艺术》课程中发现，该课程突破了传统课程的评价方式，在每一专题课程讲解之后给出一个心理咨询案例，让学习者根据专业知识对案例进行分析并给出解决的方案。这就做到了课程内容和真实情境的紧密结合。

（5）同伴互评。上述案例分析评价中学习者的成绩由专业教师（或助教团队）和学习该课程的其它学习者共同决定。同伴互评机制既减少了课程团队的任务量，同时也锻炼了学生的个人能力。但是很多学习者仅仅是为了完成任务而做出评价，评价的质量不高。

综上所述，现存的MOOC课程评价方式具备超越传统评价方式的优势，但是仍存在着诸如无法满足学生个性化需求的弊端。而适应性评价恰恰具备个性化评价的潜力。

2.适应性评价概述

（1）概念

适应性评价又称为适应性测验，在这种评价方式中，随着学习者对测试项目的回答，之后的测试项目就会根据学习者的答复而改变，以反映之前学习的效度[7]。适应性评价不同于传统的评价方式，没有一套固定的评价标准。无论是在测验、自我评价还是同伴互评的过程中，评估的内容和难度都可以随着学习者的行为而发生变化。一般来讲，评估的结果不是为了判断学习者获得了多少知识，而是检验学习者的能力水平。

（2）特点

①评估学生多方面能力，促进其发展[8]

在适应性评价过程中，无论是何种类型的评价（测试题、自我评价等），都是根据学习者自身的特点“定制”的评价内容，摆脱了单一的以成绩为主的评价价值观后，就可以从多方位考察学习者的学习，比如：协作能力、创新思维能力等等。

②实时的适应性测验

学习者回答了测试项目后，系统会马上根据学生的反馈调整接下来的测试项目，以反映之前的测试效度。在这种情况下，学习者的成绩一般不是所回答正确问题的成绩之和，而是回答对的问题中难度最高的项目水平，这就类似于运动会中的“跳高”比赛，可以将学习者划分为不同的层次以便制定接下来的学习计划和进一步的评价设计。

③个性化的总结性评价

通过上述实时的适应性评价将学习者划分为不同水平层次后，学习者就能选择适合自己水平的学习内容，并且为总结性评价提供参考，使测试项目对于某个个体来说不至于太难或太简单，这恰恰体现了个性化的评价方式。

④测验时间的灵活性

基于个性化评价的原则，在过程性评价的设计上，倾向于让学生自己安排时间进行测验。这不但给了学习者足够的时间进行课程的学习，也在很大程度上减少了测试的压力，增强了学习者的自信心。

⑤启用自我评价和同伴互评机制

个性化学习最理想的状态就是“一对一”的学习，如果传统的班级教学能够使教师与学生的数量达到1∶1的比例，那么就真正地实现了个性化的学习。但在实际的操作过程中，这显然是不现实的。然而，自我评价和同伴互评就在一定程度上实现了这种“一对一”的评价方式。在同伴互评机制下，学习者之间互相指导和学习，极大地满足了个性化评价的需要。

3.MOOC环境下适应性评价的设计

有研究显示，适应性评价主要关注三个方面：一是评价与课程内容的贴合度；二是学习者对测试的反馈；三是前后测试的相互影响[9]。围绕这三个方面，笔者提出了适应性评价设计的三个原则：

（1）根据课程结构和学习内容设计评价

这是评价设计的基本原则。有研究比较了使用适应性学习评价和传统在线评价下学习者的学习结果。研究人员设计实验调查了六所院校的学生，每所院校分为实验组（使用适应性评价系统）和对照组（使用传统的测验方法），结果显示，只有两所院校的学生在使用了适应性评价系统后成绩明显提升，原因是这两所院校的教师在评价内容的设计上紧扣课本和考试方向[10]。这项研究表明，适应性评价固然有其独特的优势，但还是要基于原有课程结构和内容进行设计才能取得最好的效果。另外，评价的方式也要受课程性质的制约。如：《C语言程序设计》课程应向学习者提供编程的环境进行实践操作，以评判其对课程的掌握程度。

（2）基于项目反应理论选择测试题

项目反应理论是一种现代心理测量理论，一般用来指导试题的编制。这种理论假设被试有一种潜在的特质，使用测验的方式来估算这种特质的水平，基于被试个体间表现的差异来设计适合被试的测试项目[11]。因此，使用项目反应理论编制的测试项目能够很好地反映学习者个体间的差异。

（3）根据先前回答的问题安排后续测试

在学习课程之前，可以让学习者以填写问卷或做测试题的方式进行前测，教辅人员根据前测的结果为学生安排相应的学习内容和后续的评价项目；学习的过程中也可以用类似的方式确定试题的难度、过滤学习者已经掌握的题目。

4.适应性评价存在的问题

（1）时间的灵活性导致作弊现象的发生

由于适应性评价没有固定的测试时间，可能会导致题目泄露从而引发作弊现象。针对这一问题，课程设计者可以调整每次测验的题目使其稍有不同。另外，在学习者确认完成测验之后关闭该项测验，等到总结性评价前一两周再开放权限让学习者浏览已经测试过的题目进行复习。

（2）自我评价带有主观色彩

在自我评价的过程中，学习者为了让自己获得好的成绩一般倾向于“高估”自己的能力。因此，自我评价的结果在总成绩中的权重不宜过多，能达到学生自我评价和反思的目的即可。

（3）同伴互评增加了不确定因素

MOOC课程的学习者存在性别、年龄、学历等多方面的差异，而且很多学习者仅仅是为了完成任务对其它学习者做出评价。这些不确定因素导致同伴互评的结果有失公正。因此，教辅人员可以加强对同伴互评环节的监督工作以减少不合理的评价结果。

四、总结

适应性评价在在线评价中的潜能不可忽视，也将会成为未来MOOC课程评价的发展方向。但是适应性评价本身也存在不足，在具体的课程评价设计和开发的过程中，专业人员需要尽量避免适应性评价的不良影响，充分发挥其优势，从而促进学生有效的、个性化的学习。

[1]余胜泉.适应性学习——远程教育发展的趋势[J].开放教育研究,2000,(25):12-15.

[2]郑志高，张立国，张春荣.xMOOC的学习评价方法调查研究[J].中国电化教育,2014,(334):44-49.

[3]范逸洲,王宇,冯菲.MOOCs课程学习与评价调查[J].开放教育研究,2014,20(3):27-35.

[4]Anna Helga Jonsdottir,Audbjorg Jakobsdottir,Gunnar Stefansson.Development and Use of An Adaptive Learning Environment to Research Online Study Behaviour[J].Educational Technology&Society,2015,18(1),132–144.

[5]Wen-Ta Tseng.Measuring English Vocabulary Size via Computerized AdaptiveTesting[J].Computers&Education,2016,(97):69-85.

[6][9]Michal Barla,Mária Bieliková,Anna Bou Ezzeddinne.On the Impact of Adaptive Test Question Selection for Learning Efficiency[J].2010,(55):846-857.

[7][8]Di Challis.Committing to Quality Learning through Adaptive Online Assessment[J].Assessment&Evaluation in Higher Education,2005:519-527.

[10]Edwin R.Griff,Stephen F.Matter.Evaluation of An Adaptive Online Learning System.British Journal of Educational Technology,2012:170-176.

[11]http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey =4bb87415-44dc-4088-9ed9-e8515326a061#anchorI.

（编辑：郭桂真）

G434

A

1673-8454（2017）18-0044-03