李锋 王吉庆
摘要:在线课程改变了学习者的学习模式,丰富学习内容。但是由于与之相配套课程评价与管理机制的缺失,也出现了“高流失率”“虚假学习”“网络题海”等问题。为加强在线课程管理,提高在线学习质量,该文针通过案例分析方式,比较国内外知名教育网站在线课程学习评价的方法,梳理出在线课程实施中采用的“结果认证”“过程监控”“知识自适应”等在线评价模式;阐释在线学习评价从“面向结果评价”向“促进学习评价”、从“基于技术工具评价”向“基于学习分析评价”、从“知识技能评价”向“综合能力评价”等方面的转向;从评价特征、评价内容和评价结果等方面分析伴随式评价的理念与实施路径。
关键词:伴随式评价特征;伴随式评价内容设计;伴随式评价结果呈现
近十年来,信息技术快速发展创生出“现实空间與虚拟空间”相互交织的信息化学习环境,大规模开放在线课程(MOOC)的建设与实施进一步推动了网络学习的开展。但是,与在线课程的高注册率相比,在线学习也存在着高流失率和低结业率的问题,2013年科勒(S.Kolowich)等人的研究显示MOOC辍学率超过90%,课程完成率通常只有5%。如何加强在线学习的管理,怎样通过评价方式及时发现学生在线学习问题,并能针对问题进行实时指导与干预,这仍是在线教育实施中的挑战。
美国课程论专家托尔夫·泰勒(Ralph W.Tyler)在课程研究中指出“评价作为判断教育目标实现程度的过程,需要评价者确定与教育目标相一致的行为证据,采用与之相适应的程序实现具体过程”。通过学习评价,教育工作者可以有针对性地收集与分析学习者的学习信息,判断学习者的学习状况,做出教育决策。在线评价作为一种特殊环境下的学习评价,与课堂学习评价相比,尽管它不能面对面的收集评价信息,但也具有“学习过程实时记录、个性化学习分析、评价结果及时反馈”等优势。调研国内外主流教育网站所实施的在线评价,大体可归纳为“结果认证”“过程监控”和“知识自适应”三种基本模式。
(一)面向“结果认证”的在线评价
面向“结果认证”的在线评价是依据课程目标确定学习评价标准,通过“网络评价系统”对学生学习成效做出价值判断的一种结果性评价。这种在线评价特征主要表现为:其一,强调学习结果的判断,评价是在课程学习结束后,按照课程目标对学习者进行内容测试或项目考核,判断学生针对课程目标的达成度,给出评价结果。这种评价模式将评价作为在线课程学习的最后一个环节,学习者完成学习后进行实施,给出相应的评价结果。其二,从评价实施来看,在线课程的学习系统和评价系统分离,学习系统关注的是学习者对学习内容的学习,评价系统更强调测量学习后学习者认知行为的变化,其目的是获取相关“证据”,以决定是否给予学习者相应的认证。例如,Coursera课程通过在线测试的方式确定学生对课程内容的掌握程度,给予相应的认证级别。面向“结果认证”的在线学习评价利用了网络系统的远程控制与自动评价功能,较便捷地实现大规模的对学生学习结果进行评价。但是,从评价实效来看,这也只是将“传统的结果评价”改为了“线上的结果评价”,在技术层面提高了评价的实效性。同时,由于过于强调评价结果,缺少对学习过程监管与干预,这种评价方式也会造成“网络课程学习还没结束,已经有大量学生流失”的问题。
(二)面向“过程监控”的在线评价
面向“过程监控”的在线评价是借助在线平台和外部设备,自动采集、存储、分析和呈现学习者在线行为数据,以此判断学习者学习状况的一种过程性评价。其特征主要表现在:其一,关注技术工具的应用。这种评价以“技术工具取向”为出发点,注重的是“在设计和实施评价时如何最大限度应用这些工具的功能”,即这些评价工具有怎样的功能、有怎样采集与分析数据的方式,就依此来开展相应的评价。其二,从评价实施来看,可通过“平台日志”获取学习者在线行为数据(例如,一些教育培训机构记录学习者的登录次数、在线时长、在线时段、发帖数量等数据),也可借助外部设备采集学习者的学习过程的行为数据(例如:在线平台的虚拟现实场景,通过“可穿戴设备”收集学生体育运动中的心跳、步幅、热量消耗等常规运动数据),通过分析这些实时、客观的数据判断学习者的在线学习状况,给出相应的评价。面向“过程监控”的在线评价发挥了技术工具的优势,提高了数据在评价中的指导作用,当所采用的技术工具切合在线学习评价理念时,就能较好地推动真实评价和深度评价的开展。但是,如果评价过程中忽视教育评价理论和方法,过于强调技术工具的功能特征,完全按照技术工具的功能决定采集在线行为数据的类型与内容,也容易造成评价目标和评价内容脱节的问题。尤其是当脱离了具体的学习内容和情境,“孤立”分析行为数据,一味强调行为数据的控制作用,这也就很容易导致“网络假学习”现象。
(三)面向“知识自适应”的在线评价
面向“知识自适应”的在线评价是依据知识技能目标设计评价模型,将评价模型嵌入到学习活动之中,通过在线学习与在线评价的交互进行,判断每一阶段学习者对学习目标达成度,提供学习支持的一种自适应性评价。其特征主要表现为:其一,突出“小步骤”评价。在线评价按照课程目标细化知识技能点、建立知识技能链,针对每个知识点设计学习内容和测试内容、确定评价模型,学生每学习一个知识技能点,即进行“小步骤”的知识技能目标达成度测试,针对“小步骤”学习结果为学生提供个性化指导,直到学习者达成知识技能的学习目标。例如:在某学习网站中,“分数性质”在线课程分解为5个知识点,学习者每完成一个知识点的微视频学习后,即进入针对该知识点的测试环节,依据测试结果推荐个性化学习内容,直到学习者对知识点完全掌握。其二,在评价实施上,按照课程目标,通过学习领域的核心概念、知识类别以及它们的相互关系,建立关系与数据模型,依据此类模型的评价系统对阶段性学习结果进行评价,将评价结果及时反馈,指导学习者自我调节学习。面向“知识自适应”的在线评价将“学习过程”和“评价过程”交替进行,这有助于及时了解学习者的学习现状,并能针对知识技能学习,提供精准指导。但是,在线学习不应只是知识技能学习,同样还需有解决问题能力、学习态度等方面的发展,此外还涉及到学习环境的多样性特点,如果将在线评价模型简化为对知识技能要点的评价,那么这种评价方式也只是将“纸质题海”转化为“网络题海”,这不仅没有实现真正意义上的个性化学习,还会因过渡的试题推送而增加学习者的学习负担。
强调综合能力的在线评价并非弱化知识技能的评价,事实上,能力的发展也正是基于知识技能的应用,当然知识技能的评价并不是停留在记忆层面,而是要理解知识的内涵以及知识的相互关系,这些内容的评价也正是把知识、技能和态度统一起来,避免将传统的“纸笔题海测试”变为“网络题海测试”。
早期伴随式评价(Accompanying Assessment)更多地是应用于智能制造业与现代医疗救护等领域。例如,利用电子传感设备实时监测发动机运行指标、通过仪器对患者的心跳、血压进行持续记录等,这样可为设备的维修和患者的救治提供精准证据。近五年来,学习科学和信息技术的发展,一些教育网站也开始尝试在学习分析的基础下,利用技术工具刻画学习者的在线学习状态,伴随学习者在线学习过程,综合评价他们的学习情况。
(一)在线伴随式评价的基本特征
在线伴随式学习评价(Online AccompanyingAssessment)是指在网络学习环境中,将评价内容嵌入到学习过程中,依据课程目标,伴随每位学习者的学习历程,有针对性、适时进行反馈与干预的一种评价方式。希望通过伴随式评价促进学习者个性化学习(Personalized Learning)和自适应学习(AdaptiveLearning)。主要表现为过程嵌入、在线工具和基于数据等特征。
其一,伴随式评价是嵌入学习过程的评价。它将评价嵌入学习过程中,通过学习与评价交互进行,一方面为教师提供学生学习过程的证据,帮助教师在教学中从“是否教完了学习内容”向“是否帮助学习者学会了学习内容”的思维转向,落实“评价促进学习”的理念(Assessment for Leaning);另一方面也实时为学习者提供个人学习证据,加强学习者的自我控制与调节能力,使学生意识到自己是学习的主体,促使学习者在学习过程中从“学完了没有”到“是否学会了”的思维转向,落实“评价作为学习过程中一部分(Assessment asLeaning)”的理念。
其二,伴随式评价是数据导向的评价。它依据学习科学理论设计学习者学习状况的评价指标体系,通过对相关学习指标数据的收集,判断学习者学习状况,以此进行相应的在线学习指导与支持。在学习科学理论、数据支持下的伴随式评价,可以描述出每一位学习者的在线学习现状,发现他们在学习过程中的问题;分析学习因素的相互关系,确定导致学习者在线学习现状的关键因素;通过在线学习过程跟踪或大样本方式描述学习者学习历程,判断学习者学习的发展趋势,做出相应干预决策。
其三,伴随式评价是技术支持的评价。网络通信、移动终端和大数据等新技术为在线学习伴随式评价提供了支持,也使伴随式评价的实现成为了可能。一方面,技术工具使得评价获取学生学习数据的形式更加多样,可通过在线选择题、填空题、判断题以单项反应的方式获取学习,也可通过软件工具开展情境模拟进行表现性评价,甚至还可通过脑电波测试技术对学生网络学习专注度、学习信息反应度进行测评。另一方面,数据处理技术使得在线评价信息的处理更加便捷和精准,可视化呈现方式能清晰反映学习者在线学习的状况,并能将评价结果能及时反映给师生,嵌入学习过程的评价与学习的伴随更加协调。
(二)在线伴随式评价的内容设计
在线伴随式评价是否起到促进学生学习的效果,关键是要看能否帮助学生达成预期学习目标。从上述综合能力分析来看,评价内容可从知识掌握、问题解决能力、态度发展等方面进行设计。
基于知识掌握的伴随评价。按照信息加工理论,知识包括了陈述性知识和程序性知识。陈述性知识是关于“是什么”的知识,以命题及其命题网络来表征;陈述性知识是关于“怎么做”的知识,是一套办事的操作步骤,以产生式表征。陈述性和程序性知识的学习都可以进行逐步分解,斯金纳(Burrhus Frederic Skinner)在程序教学理论中就通过积极反应、小步子、即时反馈和自定步调的原则来加强学习者对低层次知识内容的学习。对于学生对这类知识掌握程度的判断,在线伴随式评价中,可依据评价目标,将评价任务细分为多个小任务,其中每个小任务中渗透了相应的知识点,对每个小任务完成情况进行评价后,按照评价做出反馈,分析学习者对知识点的掌握程度,引导学习者更好地达成基本知识学习的目标。基于知识掌握的伴随式评价内容设计如下页图2所示。
基于问题解决的伴随式评价。20世纪,安德森(J.R.Anderson)等心理学家就将问题解决看作是有目的指向性的一系列认知操作过程。“问题”是指在现实情境的目标状态和初始状态之间的障碍。问题解决就是运用一系列的认知操作扫除障碍,将初始状态转化为目标状态的过程。从问题解决过程来看,布兰斯福特(J.Bransofrd)等人将其划分为五个阶段,即:发现问题和机会;界定目标和表征问题;探索可能的问题解决策略;预期结果并实施策略;回顾与学习,并将此称为IDEAL问题解决模型。吉克(M.L.Gick)采用了闭环方式将问题解决划分为建构问题表征、搜索解决方法、尝试解决方法、评价四个阶段,并通过前期图式经验和新方法探究的方式来解决问题。综合分析问题解决的相关模型,按照在线问题解决的特征,对学生问题解决能力的在线评价可包括:情境中的问题分析、填补空隙过程和问题解决后的反思等方面,将这三个方面细划分表征问题、条件分析、知识运用、实施流程、目标达成、反思描述六个判断点,以此发现学生问题解决时的“困境”,进而提供相应的在线指导。问题解决的伴随评价内容设计如图3所示。
基于态度发展的伴随评价。从行为特征来看,态度表现为趋向与回避、喜爱与厌恶、接受与排斥等反应,是在特殊情境下以特定方式反应的内部准备状态。态度作为一种内部的状态或倾向,评价其发展时可以通过对个体行为的观察来进行推论。例如,在个体不知情的情况下观察、在不同情境中进行观察以及在相对稳定情境中持续的观察等方式进行。也可以通过问卷方式,形成个体的自我报告。例如:通过先描述出某种态度表现的情境,然后要求个体自己报告选择哪种行为。在线学习环境中,在线工具为记录学生学习行为,获取学生真实表现信息创造了条件。因此,在线伴随式评价时,可通过记录学习者网上行为特征,判断学习者的在线学习态度。例如:在一定的在线学习情境下,通过“登录次数”“在线时长”“在线提问次数”“回复他人问题次数”等方面作为分析学生在线学习态度的数据。此外,也可应用在线问卷方式获取学习者学习态度的相关数据。通过对学习者网络行为跟踪和调研问卷数据分析,判断学习者的学习态度。学习态度的伴随式评价内容如图4所示。
(三)在线伴随式评价的结果呈现
为清晰描述学习者在线学习现状,判断学习问题,给教师和学习者提供在线学习指导,在线伴随式评价结果不再局限于“分值”或“等级”的评定上,还针对“学习现状”“问题分析”“调整建议”等方面对学习者的学习情况进行描述、判断和说明,以报告单的方式反馈学习信息。伴随式评价报告单的内容通常包括三个方面:其一,学习者在线学习现状的描述,例如:学习者个人的学习进展,每个主题目标的达成度,以及可视化的学习行为数据呈现等;其二,学习者学习过程中的问题分析。通过对评价过程中获取各项数据分析,界定学生在线学习中的问题,判断问题出现的可能原因,并对问题和原因进行说明;其三,在线学习建议与支持。针对学生在线学习中的问题,在原由分析的基础上给出相应的学习建议,推荐适各学生的个性化学习资源。近年来,在线技术的发展为评价结果的自动化生成创造了条件,这也有助于将评价结果即时反馈给师生。
在线伴随式评价是在网络学习环境中,针对在线学习者流失率高、虚假学习等问题设计和开展的一种学习评价方式。它在理念上期望实现从“检测学习结果”向“促进学习者学习”的转向,以提升在线学习质量为根本目标;内容上按照学习目标从知识掌握、问题解决能力和态度等方面进行综合评价,避免将在线评价作为“网络题海”的应试形式。方法上通过信息技術工具将评价嵌入学习过程中,伴随着学生学习过程进行评价数据的收集、分析与反馈,实时指导学生学习。随着网络学习环境的日趋成熟,实时采集学习者在线学习数据越来越准确,在线学习者学习状态刻画的就会越来越详细,在线伴随式评价也就越能精准支持学习者的个性化学习。