许世红 刘军民 王时舟 曾 海
课堂教学评价是借助观察、记录和信息化等工具手段采集证据,依据评价标准,对课堂教学活动的价值进行判断、挖掘和提升的过程,它在规范课堂教学行为、保证课堂教学质量、引导课堂教学发展等方面一直发挥着重要作用。
近年来,随着云计算、大数据、人工智能等新一代信息技术的发展与成熟,课堂教学评价具备了常态化、规模化的技术条件,评价者逐渐学会使用视频、音频、教育软件和教育设备等方式采集半结构化和非结构化数据,观察和评价课堂教学的工具、模型、理论和实践都得到不断发展和丰富。[1][2][3][4]这种采用了人工智能、大数据等技术,由机器自动完成的课堂教学评价就是课堂教学智慧评价。
当下,学校教育质量不断提升,国家新课程改革对未来人才核心素养的培养提出了新的要求,基于这些新要求,教师须从关注课堂知识传授转为培养学生的批判思维、创新思维以及交流、合作能力等核心素养上。然而,这个转变并不容易,只有摒除传统课堂教学评价的弊端,教师才能转变评价方式。
传统的课堂教学评价以主观课堂现场观察、学生问卷调查或教师自陈式问卷调查等方式为主[5],存在经验主义较为严重、适切理论缺失、舶来理论难消化等倾向[6],容易陷入追求全面性缺少针对性、侧重宏观质性缺少客观定量、注重结论与结果难以反映过程与动态、重现状与功利轻改进与提升等困境[7]。
为了克服当前传统课堂教学评价的弊端,本研究建立了一种基于人工智能和大数据技术的,常态化、规模化评价课堂教学的指标体系,以期跨地域、跨学段、跨学科地对不同教师的课堂教学进行客观、具体的量化评价。
(1)主导—主体教学结构理论
扎根于中国本土的“主导主体说”形成于20 世纪80 年代,王策三先生是其代表学者[8],他较早把主导与主体两个概念联系起来进行辩证思考,认为学生是身心发展的主体,处于教学活动的主体地位,教师则在教学过程中发挥主导作用[9]。
信息时代的到来更加验证了,课堂教学中教师的智慧感染、情感交流、人格影响都是机器所不能替代的,教师引领未成熟、未独立的学生完成认识实践的主导作用也难以改变。
何克抗先生在多年从事中小学教学改革试验研究的基础上,于2007 年把“主导主体说”发展成为“主导—主体教学结构”。这种教学结构以教师、学生、教学内容、教学媒体作为结构要素,强调教师的主导作用表现为多种角色,即教师既是主动施教者,也是教学活动组织者、指导者与监控者,还是学生学习的帮助者、促进者和良好情操的培育者;同时强调学生既是信息加工的主体、知识意义的主动建构者,又是情感体验与培育的主体。[10]
本研究认为课堂上的教与学是一种交往的活动,教师的主导作用在活动中体现,学生的主体地位在活动中形成,因此,本研究的课堂教学智慧评价的底层分析框架以教师主导—学生主体的教学结构理论为基础。
(2)第三代活动理论
活动理论以“活动”为逻辑起点和中心范畴,是研究和解释不同形式人类活动的哲学框架。[11]经过维果茨基(Lev Vygosky)、列昂节夫(Alexei Leontyev)、鲁里亚(Alexander Luria)等心理学家的不断完善,活动理论逐渐成熟。第三代活动理论的代表人物是芬兰学者恩格斯托姆(Yrjo Engestrom),他提出活动是一个系统,包含主体、客体、共同体、工具、规则、分工等6 个要素,以及要素之间相互作用形成的生产、分配、消耗、交流等4 个子系统。[12]
20 世纪90 年代末以来,教育学者开始利用第三代活动理论作为教育技术学、课程设计、学习环境设计、小组学习等的理论框架[13],分析教与学中的主体(学生)、客体(学习目标与内容)、共同体(教师与同伴)、工具(教学媒体)、规则(教学管理)等要素与其子系统的教学活动情况,以促进有意义学习的发生。
本研究认为,活动是课堂教学的基本单元,教师设计学习活动时需结合学习者的身心发展水平和问题情境,引导学生运用已有知识与经验,多动脑、勤交流,在活动中再发现新知。因此,第三代活动理论是本研究分析课堂教学的又一基础理论。但因活动理论中的客体要素(学习目标与内容)涉及学科知识逻辑评价,其复杂性超出目前机器可处理的能力,故现阶段该要素模块不列入本研究的评价框架。
(1)课堂教学的结构—活动评价框架
剔除学科知识逻辑部分,根据第三代活动理论中主体、共同体、工具、规则、分工等要素间的关联,把课堂教学活动分解成组织调控、认知思维、情感交融、目标达成4 个维度;结合主导—主体教学结构理论,每个维度都从教师发挥主导作用、学生处于主体地位这两个方面进行构建,给出课堂教学评价的9 个评分领域,形成课堂教学的结构—活动评价矩阵(详见表1)。
表1 课堂教学的结构—活动评价矩阵
(2)课堂教学智慧评价的模块与指标建构
基于主导—主体教学结构理论、第三代活动理论,本研究构建了课堂教学的结构—活动评价矩阵,在此基础上,将9 个评分领域具体化为9个理想状态的评价模块,又结合大数据分析算法的可实现性,从每个评价模块中析出若干量化指标,如表2 所示。结合大数据分析算法的课堂教学智慧评价理论,课堂教学的量化精准评价有望实现规模化、常态化,有助于人们清晰、深刻地理解课堂教学评价。
表2 课堂教学智慧评价的评分领域、模块和指标
本研究中,课堂教学智慧评价9 个评分领域涉及的师生教学活动可以用人工智能技术做分解与考查,具体可分解为思维过程分析、交流互动过程分析、知识点关联分析、其他支撑细项分析4 类,因此遴选技术工具与模型时主要从这4 个方面切入。
本研究批判地借鉴了4MAT(4 model application techniques)教学分析模型[14]和科尔伯(Kolb)学习风格[15][16]理论,基于中国优秀传统文化中的知行理论和大脑认知活动的自由能原理,构建了学习发生的知行模型(详见图1),用来分析课堂上师生教与学的思维过程[17]。
图1 学习发生的知行模型
图1 中的最外细线圈展示了学习发生过程的4 种不同方式:①为从场景到内化建构;②为从概念到内化建构;③为从概念到思想练习;④为从场景到思想练习。在课堂教学中,教师的主导作用体现在:课堂教与学的活动若按照学习发生过程的4 种不同方式依序组织成
①→②→③→④,完成一个周期再从①开始一个新的周期,学生的认识水平遵循螺旋式循环上升规律发展。
根据学习方式的分布情况,研究者可以分析教师的教学思维倾向。结合大脑思维习惯偏向,学生的学习风格主要划为感悟型、哲理型、现实型、能动型4 种,如果4 种风格的学生在课堂上均能得到有效关注,则认为学生的主体地位得到良好体现。
关于师生交流互动过程分析的工具与模型较多,本研究选用了弗兰德斯互动分析系统(Flanders interaction analysis system,简称FIAS)、“问、答、评”结构模式(initiation response evaluation,简称IRE)、生师互动模型(student-teacher model,简称S-T)。
FIAS 主要用于观察分析师生在课堂上的言语互动过程[18][19],由教师言语(7 类)、学生言语(2 类)、安静/混乱(1 类)3 个部分组成,形成10 类互动行为编码,在此基础上根据算法,笔者由人工智能自动生成教学话题、教师发问、启发性、教师话题互动稳定性、学生话题稳定性、学生发问、教学与管控比等指标数值。(详见图2,粗线七边形表示常模,目前本研究采用的是我国台湾地区的常模)
图2 FIAS 的指标举例与参照常模
IRE 主要用于观察分析师生在课堂上的提问、回答、反馈情况[20][21],典型的“问、答、评”模式主要分为4 类:简单型IRE、学生讨论思考再答型IDRE、追问型IRIRE、其他组合型。
为了更精确地反映教师提问的特征,笔者创造性地把IRE和“四何”结合起来,根据所提问题,把教师发问分为5 种:若何(what if)、如何(how)、为何(why)这3 种多为开放性问题;是何(what)、其他(other)这2 种多为封闭性问题。根据点评情况,教师评价分为3 种:否定(-)、肯定(+)、引述(~)。由人工智能算出的IRE 各项指标能够全面反映课堂提问的深度、广度和活跃度。
S-T 模型记录的是课堂师生对话顺序和时长,由此生成2 个指标Rt(教师行为占比)、Ch(师生行为转换次数占比),据此可将课堂分为讲授型、练习型、对话型和混合型4 种类型,主要反映课堂教学活动的主要倾向。
本研究采用知识图谱的方式,用人工智能自动生成分时主题知识图谱和整堂课主题知识图谱,并用关键词方式呈现课堂教学活动的主题路径。
通过分析教师授课主题与课程标准中知识点的关联、教师授课主题之间关系与知识图谱的差异、教师授课主题与学生发言主题的相关度,可以反映课堂教学任务目标、课堂知识辐射程度、师生发言的相关程度和学生响应知识点的情况。
课堂是复杂的,除了以上关键模型所涵盖的特征,还需要其他重要的能起到课堂支撑作用的细项的刻画,包括想象力、信息量、情感、语速、语言凝练度等。这些细项,每一个都需要单独定义并建立分析方法或模型。
基于评价模块和量化指标的判断标准,遴选出成熟的评价技术工具,运用人工智能自动生成各个量化指标数值,形成基于结构多模型联合的课堂教学智慧评价系统(classroom structurebased multimodal-supported scoring system, 简称CSMS,如图3)。
图3 CSMS 结构示意图
用大数据分析算法进行计分的方案,是对评分领域和量化指标进行赋值设计。虽然从技术实现的角度来看,这部分最容易实现,但事实上却最复杂,因为它涉及课堂教学活动质量的价值判断。教学活动分析模型只是观察或洞察相关领域的教学活动特征,至于什么是优秀课堂特征,需要由教学理论研究和数据实证研究来确定。
因为互联网的普及,21 世纪的学生能够便捷地获得信息与学习资源,教师不再是知识的唯一提供者。教师与学生共同享有资源丰富的知识,将传授知识作为核心教学目标的时代一去不复返。21 世纪的教学目标不可避免地转向学生知识的建构以及核心素养的培养。[22][23][24][25]这种变化呼唤着新的课堂文化。本研究依据这些教育思想和共识,设计了一套计分方法,旨在鼓励课堂互动、课堂民主、多种思维平衡,从实质上推动批判性思维和创新思维的养成,发展学生个性。
本研究中,课堂教学智慧评价通过输入课堂教学信息,由人工智能自动输出评价结果。课堂教学信息分两大类:一是主要信息,包括与教学过程直接相关的语音、视频、教学资源和软件数据等,是课堂教学评价的决定性因素;二是次要信息,包括与教学过程间接相关的数据(比如环境、出勤、心率等)。主要信息的采集是本研究关注的焦点。
(1)不同模型之间技术的可融合性
对学习发生知行模型、FIAS、IRE、S-T、知识图谱等教学活动分析模型和系统进行对比研究发现,这些模型关注的领域和输出结果虽然差异巨大,但对输入数据的结构要求却有很强的一致性。这个一致的数据结构可以概括为“时间线(time-line)、角色(role)、内容”3 个维度,对应着“在何时、师/生说或做、什么内容”。把内容进一步分为文本信息和行为描述,则不同模型输入的数据结构可统一表达为:TR—文本、TR—行为,数据结构化处理(TR)可用于纠错、融合数据预处理的结果。这样一来,多个教学分析模型共用一致的结构化数据,输入TR结构化数据时,不同模型就可以输出各自定义的各类指标值。
目前,结合人工智能思想,通过建立积累一定数量的语料库,结合各个模型的规则,选择适当的深度神经网络,建立和训练教学分析系统算法,在原理上已可实现。
(2)依赖基础信息完成课堂教学评价的自动输出
语言信息是教学信息最重要的部分。从获得信息的便利性和经济性来看,主要信息中的语音信息是最经济便利的(只需录音即可),视频信息次之(需要录播环境和教师的熟练操作),教学软件数据又次之(需要复杂的软件系统和师生对系统的熟练掌握)。因此,语音信息成为本研究的基础信息。从评价模块派生的量化指标只涉及基于规则的简单数学计算,在技术上容易实现。
现阶段,根据图3 的量化指标路径与对应的大数据分析算法,CSMS 单纯依赖基础信息(语音数据)就可以完成课堂教学评价的自动输出。
(3)开放可持续完善的技术架构
CSMS 是将语音、视频、教学软件数据置于统一的评价分析模型,它通过人工智能进行TR数据结构化处理以整合容纳不同信息源的数据,形成整体评价结果。新的信息源加入并不需要改变教学分析模型,这是CSMS 不同于其他课堂教学评价系统最重要的技术特征。
CSMS 技术框架见图4,实线表示必然发生的数据流向,虚线表示可能的数据流向。可以看到,起源于课堂语音的数据,覆盖所有的分析模块,只有课堂语音也可以完成课堂评价。其中,支撑细项包括想象力、情感、语速、语言凝练度等课堂支撑类指标。
图4 CSMS 技术框架图
在CSMS 技术框架图中,数据处理的流水线(pipeline)涉及数据预处理、数据结构化处理、教学分析多模型处理、量化指标和评分领域生成,虽然数据预处理面临不小挑战,但人工智能技术已基本胜任数据的预处理。[26][27]后续笔者将把视频数据、教学软件数据和一些次要信息作为补充,设计量化指标并有机纳入CSMS,进一步提升CSMS 的评价精准度,丰富评价广度。
人工智能助力课堂教学智慧评价已成为发展趋势。本研究从课堂教学智慧评价的理论建构、模型支撑、技术实现等方面,构建基于人工智能的课堂教学智慧评价分析系统,首次把课堂育人的核心要素“兴趣激发、知识获得、思维培养、活动交往”全部纳入机器自动化分析(如图5),并成功实现跨学科、跨学段地自动输出评价结果,用以辅助教研员、一线教师开展课堂教学活动的分析与诊断。
图5 CSMS 纳入课堂育人核心要素的自动化分析
实践表明,用于量化分析课堂教学结构的CSMS 与教师基于学科知识逻辑的课堂教学质性评价,两者可互补。课堂教学结构外显为课堂形式,学科知识逻辑则相当于课堂内涵;良好的形式促进内涵的有效呈现,而精良的内涵有助于生成好的形式,课堂教学结构与学科知识逻辑之间是形式和内涵的辩证关系。在深度剖析课堂教学、开展课堂教学专项研究时,将CSMS 与学科教研相结合,会产生更好的效果。
课堂教学的质性评价需要教育专家或教师同伴以个体方式逐一开展,不仅费时而且昂贵,不可能实现规模化运用。而采用CSMS 可实现大面积的规模化分析,再根据研究目标开展有针对性的课堂教学质性评价,点面结合,将有效推动课堂教学评价方式的转变,从而更快引导课堂教学从知识技能传授转向核心素养的培养。
当然,将人工智能技术运用于课堂教学智慧评价时,目前还需解决如下困难:一是缺少指标常模,例如学习发生知行模型、FIAS、IRE、S-T中的分析指标、参考阈值,缺少符合当今时代的统一评价标准,急需更新;二是缺少公开、已标注的教学数据集,导致课堂教学自动化分析的探索囿于大量的数据分类与统计;三是课堂教学分析技术大大领先于分析结果解读,急需技术界和教育界做更多的沟通与合作,提高技术赋能课堂教学研究的水平。后续研究将进一步提高课前、课堂、课后教学数据采集的全面性和精准度,期待为人工智能支持教学分析与评价提供更多的新思路和新方法。