【摘要】学习者仪表盘是处理并向学生呈现有关其学习行为数据(比如出勤率、上图书馆次数、成绩等)的一种图表界面。这项研究收集了来自英国一所大学24位毕业班学生的数据,旨在探讨本科生对使用学习者仪表盘的反应。这是一个尚未得到充分研究的领域。研究表明,与反馈素养一样,学习者仪表盘的使用也涉及一种素养,这种素养包含知晓、身份建构和行动三个成分。这些概念有助于我们理解学生对学习者仪表盘的态度。本文还简要阐述了本研究的发现对教育机构进一步有效使用学习者仪表盘这些工具的启示。
【关键词】 仪表盘;学习分析技术;反馈;巩固率;动力
【中图分类号】 G420 【文献标识码】 B 【文章编号】 1009-458x(2019)1-0067-12
导读:当今的教育领域,“大数据”“学习分析”“人工智能”“自适应学习”“智慧教育”“数字化”“区块链”“物联网”和“机器学习”等最前沿、最高精尖的技术可谓“齐聚一堂”,此起彼伏,相互呼应,抱团烘托教育发展的“技术”氛围。气氛如此热烈,“语不惊人誓不休”的预言或臆断不绝于耳,广大一线教师深切感受到一场新的教育革命即将来临的排山倒海之势,既有准备热烈拥抱之的“乐观主义者”,也有诚惶诚恐生怕被“大浪淘沙”的“悲观主义者”。相比之下,学生对技术的态度以及技术对学生的影响(包括智力和非智力方面的影响,尤其是非智力影响;积极和消极的影响,尤其是消极影响)在某种程度上被想当然了,来自学生的声音非常微弱,诚如英国爱丁堡大学诺克斯博士(Knox, 2017)在讨论教育大数据与学习分析技术时所指出的,学生经常被定格在被动接受者这个模板上①。或许这正是技术至今依然难以真正融合于教育之中、“言辞”与“现实”的差距仍旧赫然可见的主要原因之一。
本文是一项研究课题的成果。文章开头的文献回顾言简意赅、切中时弊。比如,学习分析技术从可测量的角度衡量学习进步情况。这一点也体现在自适应学习系统中,在自适应学习系统看来“知识是以描述性和程序性两种方式存在”,好像不存在隐性知识②。再如,本文提到有研究者把虚拟学习环境比喻为福柯的“圆形监狱”③,指出诸如此类技术的目的是方便监控,培养“循规蹈矩”的学生,然而这却与当今高等教育人才培养目标背道而驰。本文正是从上述批判性视角研究学生对学习者仪表盘的态度。
有研究表明,学习者仪表盘能在某些方面一定程度上促进学生学习。然而,纵观这个领域的研究,“重点主要在如何收集和分析数据的技术性问题上”,而对于学生是以什么态度对待学习者仪表盘提供给他们的数据,以及是否和在多大程度上采取相应措施改进学习方法、提高学习效果等“终极”目标却少有人问津。因此,作者针对这个方面的问题开展初步研究,以“了解本科生在看到自己学习进步的反馈时有何反应,以及不同的数据呈现方式(比如质性的、量化的、对标式的、提示下一步行动、辅导教师的干预等)对学生学习上的反应有何影响”,并讨论研究结果对教育机构的启示。
本研究发现,虽然一般说来学生喜欢简单、清晰的数据呈现方式,不喜欢复杂、理解上比较费劲的方式,但也不尽然,他们对这个问题的态度并不是高度一致。总体看,“学生希望相关工具既可以个性化和按需定制,又允许他们在某种程度上保持匿名状态”。
在“分析与讨论”一节,作者采用萨顿(Sutton, 2012)的反馈素养(feedback literacy)作为理论框架,从知晓(knowing)、身份建构(being)和行动(acting)三个维度阐释研究发现。
“知晓”维度涉及的面最广、内容最丰富,指的是“教师对学生提交用以证明他们掌握相关知识的证据从质量和数量上进行点评,以及指导学生进一步改进学习表现”。在本研究中,“知晓”具体涉及三个方面的反馈:①自比性反馈——检查学习者仪表盘数据的准确性(特别是出勤率)、了解自己的分数,以及这个分数对达成个人目标的意义;②常模参照表现——“了解自己的表现在全班(体)同学中的排名”;③标准参照表现——了解自己相对于教育机构设定的标准的表现。研究表明,学生对上述三方面反馈的反应有很强的个人色彩,往往因人而异,与他们个人的性格、自信和目标等有关,而不是“整齐划一”,按照机构或教师设想的那样对待这些反馈。另一方面,“不管是什么性质的数据(自比性数据、常模参照数据和标准参照数据)还是以何种格式呈现的数据(图片、叙述性文字和图表),显然学生在理解自己的学习者仪表盘方面都需要帮助”。
“身份建构”维度指的是“反馈如何能够塑造一个学生的身份”,包括学生对自己价值的感知,因此,可能提高他们的自信心,也有可能给他们带来消极影响。用萨顿的话,“接受反馈是一个自我发展的过程”“一个富有挑战性和令人焦躁不安的过程”。比如,本研究发现,有些学生觉得学习者仪表盘所呈现的成绩不能如实显示自己的情况而有受挫感,学生(包括成绩优秀和较差的学生)对于标准参照数据的反应也褒贬不一。
“行动”维度指的是“阅读反馈、思考反饋和根据反馈采取行动”。具体说,“学生必须阅读和理解他们自己学习者仪表盘上的数据并据此采取一系列措施”。本课题有关这方面的研究发现表明,学生的“行动”有可喜的一面(比如反思自己的学习、激发学习热情、提高学习动力等),也有“可能事与愿违”的一面(比如纠缠出勤数据的准确性、学习焦虑更明显等)。
综上所述,作为一种学术素养,学生使用学习者仪表盘的行为不仅仅涉及认知层面或技术性技能的问题,还关乎他们在教育环境下的身份建构,而且更为重要的是如何根据反馈采取必要措施的能力。然而,学习者仪表盘素养“高度个性化”,换言之,学生不会总是按照我们预定的“套路”去使用学习者仪表盘、理解相关数据并采取相应行动。因此,必须对学习者仪表盘及其用途进行精心设计,把学习者仪表盘的使用有机融合到相关学习过程中,尽可能赋予学生应有的能动性,避免一味地把我们所想当然的“价值观”强加到他们身上,“确保这种工具能够把学生培养和发展成为他们自己学习的积极执行者”。一言以蔽之,学习者仪表盘的首要目的是有利于学生的全面发展,而不是提高管理效率。
作者根据本研究的结果,在文末给高等教育机构提出五点建议,包括突出学生个人学习轨迹,使学生感受到学有所获;允许学生个性化使用学习者仪表盘,尤其是涉及常模参照数据方面的自主决定权;给学生提供学习者仪表盘使用的支持,包括个性化支持;注意干预措施的适切性,尤其要避免产生消极情绪;要从有利于互信和激发学生能动性的角度出发把握好对标(标准参照)内容。
2016年,现代远程教育开拓者之一贝茨教授在本刊“国际论坛”发表了“自动化还是赋权:在线学习路在何方?”一文①,提出在在线学习领域必须对技术的作用有正确的定位。我认为,贝茨教授的观点适用于一切形式的技术促进学习。事实上,近年来,不少学者(尤其是西方学者)开始用批判的目光剖析技术与教育的关系,这股“非主流”力量在“技术主导教育”的主流中显得有些另类,但是他们所泼出的“冷水”在我看来更像是“及时雨”。如果把充满人性的教育①②简化为“硅谷技术解决方案主义”(Silicon Valley solutionism),这无疑是教育的悲哀。任何去人性化的企图都与人类学习的本质和规律相悖,会導致人类的“傻瓜化”——这绝非危言耸听。诚如西班牙穆尔西亚大学的琳达·卡斯塔涅达(Linda Casta?eda)和澳大利亚莫纳什大学的尼尔·赛尔温(Neil Selwyn)教授在最近一篇文章中所指出的,高等教育数字化不能回避“学习”和“教学法”的问题,不能不承认教育是一个富有情感和人性的过程,不能没有建设性批评③。衷心期盼技术促进学习领域牢记教育的宗旨,少一些“技术浪漫主义”和“想当然”,多一些质疑和科学的实证研究,使教育领域的利益相关各方都成为技术的实实在在受益者。
最后,衷心感谢本文作者丽姿·贝内特博士对本刊的支持!(肖俊洪)
研究背景和理据
学习者仪表盘是处理并向学生呈现有关他们的学习行为数据(比如出勤率、上图书馆次数、借阅哪些书籍、学习成绩等)的一种图表界面。虽然目前仅有少数几所英国高等教育机构为学生研发了学习者仪表盘,但是其他大多数英国高校都有意向推动学习者仪表盘的使用(Sclater, 2014)。
学习分析技术把学生的行为当作(衡量学习情况的)“学习指标”,并从可测量的角度简化学习和对学习进行编码。有研究者对诸如此类的自上而下技术在其他方面的应用进行了批判。比如,兰德和贝恩(Land & Bayne, 2002)应用福柯(Foucault, 1977)圆形监狱比喻分析虚拟学习环境,这种监狱的设计目的是方便监控,使犯人即使在没有人监视的情况下依然“循规蹈矩”。再比如,麦克法兰(MacFarlane, 2017, p.47)批判英国高等教育的审核文化(audit culture),因为这种文化以学生的可测量表现作为衡量他们的发展(认知)的指标。古雷(Gourlay, 2017)对人们如何理解复杂且经常是无形的学生(学习)投入(student engagement)这个概念提出质疑,指出特罗勒尔(Trowler, 2010)和科茨(Coates, 2007, 转引自Trowler, 2010)对学生投入的定义忽视了其中那些无形的、难以言状的东西,以及学习的过程性(交流)。她认为强调完成任务所需的时间这种做法本身是有问题的,导致出现“参与的专制”(tyranny of participation)(Gourlay, 2015, p.405)。上述研究对采取自上而下的方法界定和测量学生的学习提出批判,给我们提供了理解学习者仪表盘局限的批判性视角。
学习者仪表盘的研究目前刚刚起步,有一些证据表明它们对学生(学习)投入产生积极影响,有助于提高学生学习动力、巩固率、满意度和成绩(Duval, Verbert, Klerkx, Govaerts, & Santos, 2013;HEA, 2014; Sclater, 2014; UCISA, 2015)。然而,这方面的研究重点主要在如何收集和分析数据的技术性问题上(Papamitsiou & Economides, 2014; Jivet, Scheffel, Drachsler, & Specht, 2017),而对于学生看到以这种形式向他们呈现数据时有何反应却几乎一无所知(Duval, et al., 2013)。有一项特别有意义的研究(Jivet, et al., 2017)回顾了26篇相关文献,在此基础上分析了学习者仪表盘的设计和使用的教育理论基础。该文指出,绝大多数文献涉及自我调节学习,但是却仅限于自我调节学习的元认知过程,因此,作者们认为在应用自我调节原则的时候必须考虑其他方面的变化,比如通过帮助学生制定学习目标而导致他们在认知、情感和行为等方面的变化。
这项概括研究(scoping study)旨在了解学生对学习者仪表盘的反应,因为这是一个尚未得到充分研究的领域(Jivet, et al., 2017; Lester, Klein, Rangwala, & Johri, 2017)。本研究的目的是了解本科生在看到自己学习进步的反馈时有何反应,以及不同的数据呈现方式(比如,质性的、量化的、对标式的、提示下一步行动、辅导教师的干预等)对学生学习上的反应有何影响。
研究问题
1. 学习进步反馈的某些设计(比如语言的使用和向学生提示干预措施的方法)是否能够有助于学生积极投入到学习中?
2. 学生对于学习者仪表盘所提供的进步情况有何反应?
3. 本研究的发现对教育机构如何使用学生数据有何新启示?
研究方法
这是一项小规模的研究,采用两种数据收集方法:焦点小组讨论和半结构性访谈。
1. 焦点小组讨论
开始阶段我们组织两次焦点小组讨论,了解呈现哪种数据有助于学生在学习上的积极投入(针对第二个研究问题)。在焦点小组讨论过程中,我们要求学生对10种学习者仪表盘成分进行评价。这些成分是从对英国以及其他国家高校使用仪表盘的研究文献中归纳出来的。我们把这些印在纸上发给学生,学生结对分析,讨论对它们的看法并逐一记录下来。
2. 半结构性访谈
焦点小组讨论之后,我们对24名学生进行个别访谈。每个学生都拿到一个有自己数据的学习者仪表盘。这个仪表盘是根据焦点小组讨论中对仪表盘成分的评价设计的。一个学生的学习者仪表盘例子。
访谈是围绕以下开放性问题进行的半结构性访谈:
· 你看到学习者仪表盘上个人数据时有何反应?
· 看到个人数据之后你会采取什么行动?
· 你认为根据学习者仪表盘显示的个人学习情况采取必要行动是谁的责任?
3. 样本
本研究的对象是来自一所英国高等教育机构教育学院本科毕业班学生。10名学生自荐参加焦点小组讨论和第一轮访谈,参加第二轮访谈的14名学生来自一个有16名学生的班级。
这些学生的学习情况有很大不同。焦点小组和第一轮访谈的10名学生在全体178名学生中的排名落在第1到第168位之间(见表1),而第二轮访谈的14名学生在全班16名学生中的排名则包括第1位和第16位(见表2)。他們达成目标(预期获得何种等级学位)的进度分别从51%到74%(参加焦点小组讨论和第一轮访谈的学生)和58%到76%(参加第二轮访谈的学生)。学习者仪表盘还呈现了每个学生最近一次作业的表现,其中12人本次作业成绩提高了(高于他们的平均作业成绩),17人成绩下降,5人成绩不变。因此,本研究有可能揭示对学习者仪表盘作业数据在情绪上的各种不同反应:有的人可能高兴,有的人则可能失望。参加第二轮访谈的学生在学习成绩上很有代表性,因为全班16人中有14人参加访谈。
4. 道德规范
本研究的主要关注点是学生的学习表现,因此本质上很敏感。提供学生学习进步的数据可能对他们的身心健康带来负面影响,因此,从道德上讲,这是我们必须处理好的关切问题。这些学生都是毕业班学生,此时他们即将完成决定其学位等级的论文,因此倍感焦虑,压力更大。
本研究遵循英国教育研究协会(The British Educational Research Association)提出的原则(BERA, 2011)。学生自愿参加,他们也知晓参加本研究能得到什么好处。对于学生而言,他们会获得收集数据的第一手经验,这可能有助于他们把这种经验应用到自己的研究上。此外,研究发现(见下文),向学生提供他们学习进步的数据有助于他们积极投入到学习中,提高巩固率。在设计本研究时,作为研究者,我们深知有责任帮助学生对自己学习进步的数据持积极的态度,因此,我们精心准备,确保提供给学生的所有数据都是有效的,同时采取有益于产生积极结果的方式,帮助学生理解自己的数据。比如,我们向他们解释迈向目标的进度是如何计算的,以及随着新成绩的输入,这个进度会如何变化。我们还详细解释在计算学位最终等级的时候会剔除最低分以及可以从哪些方面提高目前的目标进度。学生显得非常喜欢这种讨论,认为能提高他们的学习动力。本研究引用学生数据时均采用化名。
研究发现
表3显示了焦点小组讨论对图1的10种学习者仪表盘成分的评价(每一项最高分为20分)。
得到最高评价的都是数据呈现方式简单、清晰的成分,比如,呈现学生出勤率的饼形图。显示预期学位等级的简单滑动条也受到学生青睐:“它的确以相当简洁的形式呈现(迈向目标的)进度。”(India)“它使迈向目标的进度更加容易理解。”(Asmath)
这种简单的呈现方式有助于学生理解他们的预期学位等级,这一点与莱斯特等(Lester, et al., 2017, p.72)的研究结论相反。莱斯特等发现,学生更喜欢自己评估目前的表现,而不是这种预测性的仪表盘数据。两项研究得出不同的结论,这可能是学位等级算法的复杂性(学生好像不了解这个算法)和学生对学位等级的重视所导致的。
得到较低评价的是理解上比较复杂的那些成分,比如曲线图和柱形图。这可能跟学生的专业背景有关(他们都是教育学专业的学生),但这一点与邓曼斯等(Demmans, Epp, & Bull, 2015)的结论一致,他们发现可视化必须最大程度减少不确定性,才能提高其影响。因此,在各种图表呈现方式中,很多学生更喜欢那些带有叙述性描述的方式。
“刚看到这些数据的时候,你想到只是4%,可是当你看整个图表,数据变得更加真实了,因为你把自己跟其他同学进行比较。”(Nadia,在全班16人中排名第13位)
当然也有一些学生更喜欢图表呈现方式,因为他们觉得这种方式能使他们更清楚自己的位置,因此更有可能激发他们采取措施:
“我认为曲线图更容易理解,因为如果是文本的话,你得阅读之后才知道,可是有了曲线图,我的情况用橙黄色表示,我的目光就会自动转向那里。”(Hamza,在全班16人中排名第7位)
从上面学生的不同反应可以看出,他们重视能够定制自己觉得最有帮助的数据呈现格式(包括叙述性文字或图表)。在这一点上,本研究佐证了莱斯特等(Lester, et al., 2017, p.71)的结论,即学生希望相关工具既可以个性化和按需定制,又允许他们在某种程度上保持匿名状态。
分析与讨论
本文以萨顿(Sutton, 2012)的反馈素养(feedback literacy)为阐释研究发现的理论框架。萨顿在学术素养理论的基础上提出反馈素养的概念。李和斯特里特(Lea & Street, 1998)在研究学生的学术实践时提出学术素养(Academic Literacies)的概念,用于指植根于学科价值观和规范之中的实践,可从认识论上找到其根源。他们认为学术素养不只是学生必须掌握的一套互不相关的技术性和工具性技能,而是与“身份和围绕并融进学生大学期间写作实践的机构权力和权威关系紧密相连”(Lea & Street, 1998, p.157)。
萨顿(Sutton, 2012)在学术素养的基础上提出包含三个相互关联成分的反馈素养模型:知晓(knowing)、身份建构(being)和行动(acting),并认为学生对大学教师身份的看法影响反馈素养的培养。
本节拟以萨顿的反馈素养三维度为框架,以本研究的发现和例子诠释反馈素养,并进一步提出一种有助于理解学习者仪表盘使用的特殊素养。
1. 知晓
萨顿(Sutton, 2012)的反馈素养“知晓”维度是反馈的认识论维度,即教师对学生提交用以证明他们掌握相关知识的证据从质量和数量上进行点评,以及指导学生进一步改进学习表现。就学习者仪表盘而言,其反馈“知晓”维度有几个特点,包括检查准确性(特别是出勤率)、了解个人分数以及这个分数对达成个人目标的意义(这些均是自比性反馈)。“知晓”维度还包括了解自己的表现在全班(体)的排名(即常模参照表现)和了解自己相对于目标标准的表现(即标准参照表现)。
下面摘录涉及自比性维度的例子,从中可以看出,学生是如何理解学习者仪表盘和仪表盘呈现数据的方式的:
“只看大家的平均分没有意义,因为别人的成绩如何并不重要,重要的是你自己的成绩。”(Ingrid,全部178人中排名第168位)
“我仍然达到二等一级的等级,但只有当与其他同学比较时才发现这个成绩看上去更糟糕。”(Sazia,在全班16人中排名第13位)
学习者仪表盘更有挑战性的方面之一是看到自己的成绩与他人成绩的比较(常模参照数据)。学生对这种数据的反应在很大程度上因人而异,取决于他们各自的性格。有些学生喜欢了解这方面的信息,因为这有助于他们更清楚自己在全体同学中的排名。甚至成绩处于中下层的学生也重视了解这方面的情况——这有点儿出乎意料。
访谈主持人:“你的成绩是63%,但是全班平均成绩是64.5%。你排在第9位,略低于平均分。”
Asmath:“老实说,我早就认为这一次作业不是很好。因此,看到这个排名,我反而觉得心情好一点。”(在全班16人中排名第9位)
相比之下,有些高分学生不喜欢跟别人比较:
“我对这个分数(75%)感到满意,但我想我不必知道我的排名。因为我知道我比绝大多数同学好,这就够了……这(排名数据)反而有点使我觉得我本来还可以做得更好。”(Justine,全部178人中排名第15位)
有些学生对于自己的分数跟其他同学比较的态度模棱两可:
“我的意思是说我希望成绩能再高一些,因为我知道这不是我最好的一次。我的确喜欢这种比较,因为多少可以了解自己的位置,但又似乎使我觉得还有82名同学成绩比我好。”(Jasmin,全部178人中排名第83位)
“不是真的很在乎,因为如果你已经知道自己的成绩,知道自己不是做得很好,你多少已经猜到自己不可能排名第一。”(Ingrid,全部178人中排名第168位)
“反正我从来不敢奢望排名第一……我不喜欢觉得自己差劲。”(Sareena,在全班16人中排名第13位)
有些成绩垫底的学生看到自己的排名似乎很吃驚:
“你看看那个排名,全班16人我排名第13位,真是有点糟糕。”(Nadia,全班16人中排名第13位)
显然,学生对学习者仪表盘数据的理解高度个性化,似乎跟他们的自信有关。萨顿(Sutton, 2012, p. 34)谈到分数的多义性,因为同一个分数对不同学生有不同的意义。学习者仪表盘的情况也一样,学生的反应千差万别,高度个人化,有强烈的本体论倾向。我们不能认为学生按照“统一的”方法理解学习者仪表盘。学生的性格各异(Barnett, 2012),认识到这一点有助于我们理解学生对学习者仪表盘的反应,避免对学习者仪表盘如何影响学生学习做出简单化的过度概括,以为学生是一个同质的群体。的确,学生的反应富有个人独特的色彩,了解这一点非常重要,因为教育机构在大规模应用学生数据上不能忽视作为个体的学生。
最后,“知晓”学习者仪表盘反馈还涉及学生对以标准参照形式呈现的数据的态度。学生能在学习者仪表盘上看到自己的成绩与我们所制定的标准之间的距离,我们用红色(red)、橙黄色(amber)和绿色(green)表示。我们把它称为RAG评价。
“我喜欢这些小旗帜,这又是一种视觉辅助工具。如果我看到绿旗,我就感觉很好。”(Rebecca,全部178人中排名第1位)
“如果你是一年级学生,你并不真的知道该如何学习。现在好了,如果你看到(红旗),显示‘需要约见老师,你很可能就会去预约,因为你知道自己做得还不是很好。”(Ingrid,全部178人中排名第168位)
RAG评价是一种对标的技术。它显示某个学生的表现是否可以接受(绿色)、有风险(橙黄色)和未达到期望状态(红色),换言之,这是一种参照标准做出的判断。我们把成绩达到一等和二等一级(即60%以上)标为绿色,而二等二级(即50%-59%)标为橙黄色,低于这个分数(即50%以下)的则标为红色。这种做法会引起争议,因为它把一套价值观强加在学生身上,剥夺了他们确定自己个人目标的能动性。很多学生希望能够改变RAG评价方法,以更好地反映他们的个人愿望(见下面Jasmin的话),而其他学生则对此做法感到满意(见下面Marcia的话):
“说到绿旗,有些人可能只希望能获得二等二级的学位,实际上绿旗对他们来说意味着他们的成绩很了不起了。至于我本人,我显然想要得到一等学位,因此只要我下大力气学习,是有可能实现愿望的。”(Jasmin,全部178人中排名第83位)
“我喜欢用不同颜色旗子显示我的学习情况,因为我想这能激励我学习更用功,如果自己设置目标,我的要求会太低了。”(Marcia,全部178人中排名第53位)
不管是什么性质的数据(自比性、常模参照数据和标准参照数据)还是以何种格式呈现的数据(图片、叙述性文字和图表),显然学生在理解自己的学习者仪表盘方面都需要帮助,访谈主持人在帮助学生理解上也应该发挥重要作用:
访谈主持人:“你的成绩略低于平均水平,但是或许你知道这种情况?感觉有点吃惊吗?”
Sazia:“对,我算是知道吧。”
访谈主持人:“不过这只是整个模块的一次成绩而已。”
Sazia:“这只是整个模块的一次成绩而已。”(全班16人中排名第13位)
2. 身份建构
萨顿(Sutton, 2012)的反馈素养的第二项内容是身份建构,指的是学生在学习过程中建构自己的身份。萨顿解释反馈如何能够塑造一个学生的身份,这种身份包括学生感知到自己的价值。比如,学生感觉自己有能力获得预期学位。反馈有助于培养他们的自信心也有可能对他们产生消极影响。萨顿(Sutton, 2012)认为学生必须认识到接受反馈是一个自我发展的过程,对于一些学生而言,发展自己在教育中的身份是一个富有挑战性和令人焦躁不安的过程。
在分析研究发现的时候,我们清楚地看到学生在理解学习者仪表盘数据方面有一些共性。Marcia说看到自己处于二等二级水平时对学习者仪表盘似乎没有如实显示她的成绩感到担心:
“哎呀,我真的会以二等二级成绩毕业吗?……因为我总是希望能拿到二等一级或一等学位。”(Marcia,全部178人中排名第53位)
标准参照数据对很多学生(包括名列前茅和垫底的学生)来说是在情绪上一个极大的挑战。Jasmin正在向一等学位迈进,但是这一次作业的成绩处于全体学生的中等水平,所以她表达了失望的情绪。她必须处理好这种情绪才能理解这一次作业成绩的意义。此时,把自己的成绩跟其他同学比较会有助于克服消极情绪:
“因为我原来真的对这个成绩感到失望,但是随后看到处于平均水平,并不像我想象的那样糟糕。”(Jasmin,全部178人中排名第83位)
Justine看到与全体同学相比,自己的成绩是75%,她说这给她带来消极影响:
“还有14个人比我好……我原来真的以为自己是第一。我这一次得了最高分。看到这个排名有点影响我的成就感。”(Justine,全部178人中排名第15位)
有些学生却说看到学习者仪表盘的数据似乎增强了他们作为学习者的自信心:
“所以这有点儿增强自信,对吧?它告诉你你的学习有多棒。”(Rebecca,全部178人中排名第1位)
“看到自己正在使用它(虚拟学习环境)感觉不错,但我确实用得比其他同学多,这一点似乎在我的成绩中体现出来了……随着时间的推移我做得更好了,这个成绩真的说明我在提高学术写作技巧方面的进步得到学校很大的帮助。”(Rebecca,全部178人中排名第1位)
3. 行动
针对反馈采取行动是反馈素养的最后一项内容,包括阅读反馈、思考反馈和根据反馈采取行动(Sutton, 2012)。同样的,在使用学习者仪表盘提供的反馈时,学生必须阅读和理解他们自己学习者仪表盘上的数据并据此采取一系列措施。下面摘录一些学生的话,從中可以看出他们如何根据反馈采取行动,也证明很多学生感到学习动力更大,有决心做得更好,把学习放在首位:
“我想我一看到这些数据就决定请假一个月做好学位论文。”(Marcia,全部178人中排名第53位)
“我会更加努力使最后这个模块能达到一等水平,希望如此吧。”(Sarah,全部178人中排名第65位)
“我想这有点儿提高我更加努力学习的动力。”(India,全班16人中排名第16位)
Nadia:“我想把平均分提高一点,因为我真的不喜欢现在的名次。”
访谈主持人:“那么,你想怎么做呢?”
Nadia:“不能再临时抱佛脚了。”(Nadia,全班16人中排名第13位)
学习者仪表盘的数据虽然有助于提高学习动力,但也有一些证据表明这些数据可能使人焦急不安:
“最令人伤心的是课程概况,回头看看你已经获得的那些分数,现在是无法改变了,真的无计可施。”(Ingrid,全部178人中排名第168位)
“我肯定会多读书,比现在更用功一些。这有点儿像是在你屁股上踢一脚。但另一方面,同时又使人失去动力。”(Esme,全班16人中排名第9位)
由此可见,除了“行动”以外,对于大多数学生而言,学习者仪表盘素养似乎还有助于他们反思自己的学习和激发他们的学习动力。有关学习者仪表盘的多数研究文献聚焦学习者仪表盘支持自我调节学习行为的潜力(Jivet, et al., 2017),本研究的发现支持这一点,但是也显示学生通过多种方法利用学习者仪表盘数据,换言之,涉及学生的学习者身份这些更深层次的问题(见上文“身份建构”一节的讨论)。
虽然本研究发现学习者仪表盘数据有助于学生养成积极的学习行为,但是也有一些证据表明学习者仪表盘的使用诱发一些值得质疑的行为。很多学生过于关注出勤数据的准确性,并希望能够纠正出勤记录的错误。与其在这方面花时间,不如把时间花在与学习有关、更有意义的事情上。学习者仪表盘的使用似乎也会增加焦虑感。Sannah谈到显示出勤情况的饼形图时一开始和最后都提到这个记录不准确:
“里面记录的缺勤是因为我把考勤卡丢了。我没有真正缺过一次课……这个记录只能说明我总是丢东西。我必须找他们消除缺勤记录。”(Sannah,全班16人中排名第1位)
再者,这也印证了麦克法兰(MacFarlane, 2017)所提出的“学生假性出勤”(student presenteeism)问题,即学生之所以感到必须去上课,原因是他们正受到监视,而不是因为他们相信上课是一个宝贵的学习机会。本研究的发现说明,教育机构的政策和实践会影响学生的行为,可能导致他们不能最有效地利用自己的时间和精力。
结论与建议
这项概括研究运用萨顿(Sutton, 2012)的素养反馈三维度(知晓、身份建构和行动)分析了学生个体如何理解学习者仪表盘,从中可以看出,这是一个比较复杂的问题。本研究显示可以运用这三个维度概念分析学生对学习者仪表盘的理解,同时还提出“仪表盘素养”(dashboard literacy)这个术语,用于解释学生如何理解学习者仪表盘呈现的数据。本文认为学生使用仪表盘的行为是一种素养,涉及学生身份的发展,植根于他们的身份建构实践之中。这是因为身份发展是一种个人体验和建构行为,不只是一种技术性技能或只涉及认知理解。因此,我们建议,教育机构在学生中推广学习者仪表盘的使用过程,应该制定能确保学生达成知晓、身份建构和行动这三个目标的机制。
本研究的证据表明绝大多数学生,甚至成绩差的学生,在看到学习者仪表盘呈现自己的学习数据时似乎都更有学习动力。这可能会促使他们的行为发生变化,从而很可能提高学习结果,取得更大进步。本研究还发现学生使用学习者仪表盘的方法高度个性化,取决于他们各自的性格和对学习的取向,因此,我们认为重要的一点是,在数据呈现方式(格式)上给学生提供选择的机会,同时用适当方式帮助学生认识学习者仪表盘,指导他们准确理解学习者仪表盘数据。
学习者仪表盘的使用有可能促进积极学习行为的出现(比如设置目标)和使学生感觉到自己的能动性。但是,我们必须精心设计学习者仪表盘的使用方法才能取得这些效果,比如学生能够个性化定制自己的学习者仪表盘。诚如诺克斯(Knox, 2017)所指出的,学生往往被定格为分析过程的被动接受者。因此,我们要注意体现和践行诸如信任和学生能动性这些价值观,虽然发展学习者仪表盘的驱动因素经常是受到新自由主义压力的影响,比如“提高巩固率和毕业率”(Newland & Trueman, 2017; Sclater, 2017, p.28),学生也要承受其他表演性压力,但这些压力却有损学生与教育机构之间的互信(Macfalane, 2017, p.43)。
上面已经指出教育机构必须妥善处理好学习者仪表盘的使用问题,因为它们有权力从它们所认为的重要性、合法性和值得考核或承认等方面出发,規定学生行为和应该达到的成绩。这一点在采用标准参照形式呈现数据上尤为明显。诸如RAG评价技术体现的是教育机构的目标,因此可能会把机构的价值观强加在学生身上,从而影响学生的能动性。教育机构必须认真考虑为什么要使用学习者仪表盘,确保这种工具能够把学生培养和发展成为他们自己学习的积极执行者。
教育机构必须明白学习者仪表盘不仅仅是技术工具,而是要把它们看作是需要通过其他机制融入学习过程才能保证其潜力得到发挥的工具,比如个人学习辅导或个人发展规划等机制。如前所述,学习者仪表盘在促进学生的自我调节行为(比如学习动力和投入)方面有很大潜力,但除此之外,随着它们使用程度的提高,很可能会影响到教育机构内部的各种角色和实践。
使用学习者仪表盘的学生可能会变得更加温顺和听话。我们必须警惕这种危险。他们似乎在不该关注的事情上花太多时间(比如出勤率),印证了麦克法兰(MacFarlane, 2017)所指出的“学生表演性和假性出勤”(student performativity and presenteeism)现象。《迪尔林报告》(The Dearing report, 1997, p.8)指出,高等教育最迫切的任务之一是“培养一种要求自觉思考、鼓励好奇心、挑战现有思想和孕育新思想的文化。”因此,学习者仪表盘的设计和使用必须有明确的意图,既要培养学生批判性的自主行为,也要能够支持教育机构的目标。
学习者仪表盘经常跟一些教学干预联系在一起,比如向某些学生(通常是成绩差的学生)提供额外学习支持(Sclater & Mullan, 2017, p.5)。本研究发现,通过学习者仪表盘呈现干预措施,对于一些学生而言可能会引起他们情绪的波动,有可能对他们的心理健康造成消极影响,进一步增强他们的消极性和“差异性”(otherness)情绪(Thomas, 2017)。最新的高等教育政策报告显示(Brown, 2017),目前学生的心理健康问题越来越突出,因此教育机构有义务恰当使用学习者仪表盘,以免在这方面给学生造成伤害。
最后,目前人们越来越期盼有关学生学习行为和成绩的数据应该通过学习者仪表盘与学生分享,高等教育机构在这方面也正在付出很大努力(Sclater, 2014; Newland & Trueman, 2017)。本研究显示了学生对学习者仪表盘的反应,而随着这种工具的使用越来越广泛,我们的研究结果可能会给高等教育领域带来有益启示,包括:
· 强调学生个人学习轨迹(自比性数据),关注他们过去和现在的分数,体现学习所获。
· 允许学生个性化自己的学习者仪表盘,尤其是要允许他们控制与其他同学比较的方式。
· 把学习者仪表盘的使用融入个人发展规划或个人学习辅导之中,确保每一个学生在理解自己的数据和根据数据采取行动上得到个性化支持和集体式支持。
· 提供干预措施时要特别注意仪表盘反馈的情感成分。
· 仔细检查教育机构采用学习者仪表盘所要体现的价值观,尤其要强调如何激发学生的信任感和能动性,以及形成旨在推动学习者仪表盘使用的原则。
研究局限和今后研究方向
本研究的对象仅来自一所92后大学①一个学院的毕业班学生,因此,研究结果在多大程度上适用于其他学生有待进一步研究。文献显示,大学一年级学生的辍学率最高,因为走出中学迈进高等教育机构是一个明显的转变过程(Turner & Tobbell, 2017),这会影响学生对学习者仪表盘的态度。今后需要进一步研究一年级学生对使用学习者仪表盘的反应,尤其是在高等教育环境下如何借助这些工具发展学生的身份。
本研究的數据来自一对一访谈,因此访谈主持人能够帮助学生理解学习者仪表盘。有研究显示,学生由于误读数据导致出现错误判断(Lester, et al., 2017, p.68)。今后需要进一步研究在没有帮助的情况下学生对学习者仪表盘数据的理解和所采取的行动是否受到影响。
教育机构所崇尚的价值观体现在学习者仪表盘的设计和用途上。今后需要进一步研究,学习者仪表盘的使用是如何体现教育机构的价值观,以及这些价值观如何影响学生的反应和学习者仪表盘如何影响机构其他方面工作的。有关机构的学习和考核文化的研究(James, 2014)或许能派上用场。
【鸣谢】作者感谢高等教育研究会(Society for Research into Higher Education)和哈德斯菲尔德大学(University of Huddersfield)对本研究的支持。另外,如果没有得到该校教育和专业发展学院(School of Education and Professional Development)学习2016-2017和2017-2018学年课程的本科毕业班学生的参与,本研究是无法开展的。最后,作者还要感谢以下人士:Sue Folley博士对这个课题的形成和开展特别是研究设计和数据收集与分析方面的帮助,Martin Oliver教授对数据分析所提出的明智建议,以及Lyn Tett教授对撰写结题报告的指导。
[参考文献]
Barnett, R. (2012). Learning for an unknown future. Higher Education Research & Development, 31(1), 65-77.
British Educational Research Association. (2011). Ethical Guidelines for Educational Research. Nottingham: Bera.
Brown, P. (2017). The invisible problem? Improving students mental health. Retrieved from http://www.hepi.ac.uk/wpcontent/uploads/2016/09/STRICTLY-EMBARGOED-UNTIL-22-SEPT-Hepi-Report- 88-FINAL.pdf
Coates, H. (2007). A model of online and general campus-based student engagement. Assessment & Evaluation in Higher Education, 32(2), 121-141.
Demmans Epp, C., & Bull, S. (2015). Uncertainty Representation in Visualizations of Learning Analytics for Learners: Current Approaches and Opportunities. IEEE Transactions on Learning Technologies, 8(3), 242-260.
Duval, E. E., Verbert, K. K., Klerkx, J. J., Govaerts, S. S., & Santos, J. L. J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 57(10), 1500-1509.
Foucault, M. (1977). Discipline and Punish, Panopticism. In A. Sheridan (Ed.), Discipline & Punish: The Birth of the Prison (pp. 195-228). New York: Vintage Books.
Gourlay, L. (2015). ‘Student engagement and the tyranny of participation. Teaching in Higher Education, 20(4), 402-411.
Gourlay, L. (2017). Student Engagement, ‘Learnification and the Sociomaterial: Critical Perspectives on Higher Education Policy. Higher Education Policy, 30(1), 23-34.
HEA. (2014). design4learning: from blended learning to learning analytics in HE. Retrieved fromhttps://www.heacademy.ac.uk/events-conferences/event9900
James, D. (2014). Investigating the curriculum through assessment practice in higher education: the value of a ‘learning cultures approach. Higher Education, 67(2), 155-169.
Jivet, I., Scheffel, M., Drachsler, H., & Specht, M. (2017). Awareness is not enough. Pitfalls of learning analytics dashboards in the educational practice. In E. Lavoué, H. Drachsler, K. Verbert, J. Broisin, & M. Pérez-Sanagustín(Eds.), Data Driven Approaches in Digital Education. EC-TEL 2017. Lecture Notes in Computer Science (Vol.0474). Cham: Springer. Retrieved from http://dspace.ou.nl/bitstream/1820/7985/1/115_ECTEL_preprint.pdf
Knox, J. (2017). Data power in education: Exploring critical awareness with the ‘Learning Analytics Report Card (LARC). Television and New Media, 18(8), 734-752.
Land, R., & Bayne, S. (2002). Screen or Monitor? Surveillance and disciplinary power in online learning environments. In C. Rust (Ed.), Improving Student Learning using Learning Technology (pp. 123-138). Oxford: OCSLD.
Lea, M., & Street, V. B. (1998). Student Writing in Higher Education: An Academic Literacies Approach. Studies in Higher Education, 23(2), 157–172.
Lester, J., Klein, C., Rangwala, H., & Johri, A. (2017). Learning Analytics in Higher Education. ASHE Higher EducationReport, 43(5), 9-133.
MacFarlane, B. (2017). Freedom to Learn. London: Routledge.
National Committee of Inquiry into Higher Education (NCIHE). (1997). Higher Education in the Learning Society (The Dearing Report).
Newland, B., & Trueman, P. (2017). Learning Analytics in UK HE 2017: A HeLF Survey Report. Retrieved fromhttps://helfuk.blogspot.co.uk/p/research.html
Open University. (2014). Policy on Ethical Use of Student Data for Learning Analytics. Retrieved fromhttp://www. open. ac. uk/students/charter/sites/www.open.ac.uk.students.charter/files/files/ecms/webcontent/ethical-use-of-student-data-policy.pdf
Papamitsiou, Z., & Economides, A. A. (2014). Learning analytics and educational data mining in practice: A systemic literature review of empirical evidence. Educational Technology and Society, 17(4), 49-64.
Sclater, N. (2014). Learning analytics: The current state of play in UK higher and further education. Retrieved fromhttps://www.jisc.ac.uk/rd/projects/effective-learning-analytics
Sutton, P. (2012). Conceptualizing feedback literacy: knowing, being, and acting. Innovations in Education and Teaching International, 49(1), 31-40.
Trowler, V. (2010). Student Engagement Literature Review. Retrieved fromhttps://www.heacademy.ac.uk/system/files/studentengagementliteraturereview_1.pdf
UCISA. (2015). 2014 Digital Capabilities Survey Report. Retrieved from UCISA:http://www.ucisa.ac.uk/~/media/Files/publications/surveys/Digital_Capabilities_survey_report_2014.ashx
收稿日期:2018-06-04
定稿日期:2018-06-21
作者簡介:丽姿·贝内特(Liz Bennett)博士,英国哈德斯菲尔德大学(University of Huddersfield)教育和专业发展学院教与学总监,英国高等教育学院(Higher Education Academy)高级会士,高等教育研究会会员。主要研究兴趣:技术在高等教育教与学中的应用和学习者仪表盘在高等教育的应用。
译者简介:肖俊洪,汕头广播电视大学教授,Distance Education (Taylor & Francis)期刊副主编,System: An International Journal of Educational Technology and Applied Linguistics (Elsevier)期刊编委。<C:\Users\w\Desktop\201901\2019年第1期翁4改-核红\Image\yxccfl2.tif> https://orcid.org/0000- 0002- 5316-2957
责任编辑 郝 丹 韩世梅