基于人工智能的国际中文课堂教学行为识别与分析*

宋 飞

(北京第二外国语学院 汉语学院,北京 100052)

一、引 言

人工智能与教育的融合发展是近年来受人瞩目的研究领域。2017年国务院印发了《国家教育事业发展“十三五”规划》,提出要“鼓励学校利用大数据技术开展对教育教学活动和学生行为数据的收集、分析和反馈,为推动个性化学习和针对性教学提供支持”。2019年中共中央办公厅、国务院办公厅相继印发了《中国教育现代化2035》、《加快推进教育现代化实施方案(2018～2022年)》,并提出“加快形成现代化的教育管理与监测体系,推进管理精准化和决策科学化”,“开展大数据支撑下的教育治理能力优化行动”,“实施人工智能助推教师队伍建设行动”。2019年教育部印发了《教育部办公厅关于“智慧教育示范区”建设项目推荐遴选工作的通知》等文件,提出要“推动人工智能技术在教学中的深度应用,增强和改善教育教学的有效性,提高学习者的学习体验”,要“充分灵活地利用大数据采集技术,全方位多层次伴随性采集学生学习过程数据,实现规模化和精准化测评,改善教学服务供给与学习需求的匹配度,优化教学服务质量和效率”。上述文件均明确指出了将人工智能和大数据技术应用于我国当前及未来教育的目标。

基于人工智能的课堂教学行为识别与分析作为人工智能和教育学领域的一个结合点,具有重要的学术及应用价值,其价值体现在教学测评、师资培养、学生个性化辅导等多个方面。梁宇等提出,应“以信息化为抓手推进治理能力现代化”。(1)梁宇,刘晶晶,李诺恩,等.内涵式发展之“内涵”:国际中文教育教学资源建设的维度[J].天津师范大学学报(社会科学版),2023,(1).针对国际中文课堂教学行为编码体系制定、话语标记在课堂话语互动分析中的应用、基于多模态数据的课堂教学行为识别、课堂教学行为常模构建等方面开展研究,有助于推进教育治理能力现代化,研究中采集到的教育大数据也可为课堂教学相关研究提供数据支持。马箭飞等认为,标准是中文教学资源高质量发展的重要保障,应围绕标准组织教学。(2)马箭飞,梁宇,吴应辉,等.国际中文教育教学资源建设70年:成就与展望[J].天津师范大学学报(社会科学版),2021,(6).常模体系是组织教学的重要参考标准。从长远来看,通过该系统对国际中文课堂教学进行大规模分析,建立健全国际中文课堂话语互动常模体系,建立对国际中文教师教学水平的量化评价模式,将对提高国际中文课堂教学效果产生推动作用。此外,实现课堂教学行为大数据的自动化的采集和分析,记录真实的课堂教学情况,并据此作为评教和自评的客观依据,可以提升教师的教学能力,并对其成长状况进行长期监测。

在此背景下,本研究利用人工智能技术、大数据技术、音视频技术、互联网技术,构建了自动化、智能化的课堂教学行为识别与分析系统,通过该系统对国际中文教师课堂教学行为和学生学习行为的互动数据进行采集、识别、分析、诊断。

二、相关研究进展

在学术研究方面,当前涉及课堂教学行为识别的研究主要集中在“人体行为识别”方面,这也是计算机视觉领域当前的热门研究方向之一。中国知网的检索结果显示,从2005年到2023年,年产出相关研究论文数量从1篇上升到128篇,这些研究分别从使用的硬件(Kinect、惯性传感器等)、算法(卷积神经网络、支持向量机等)、数据(三维骨骼节点、姿态时空特征等)、场景(特定场景、可变背景等)等维度对人体行为识别方法进行了研究。但已有的人体行为识别研究直接服务于课堂教学行为识别的极少,而且绝大部分只涉及肢体动作的识别。为数不多的面向课堂教学行为识别的研究中,有的利用Open Pose算法,对学生正坐、侧身、低头和举手四种进行识别;(3)王泽杰,沈超敏,赵春,等.融合人体姿态估计和目标检测的学生课堂行为识别[J].华东师范大学学报(自然科学版),2022,(2).有的基于图像识别技术,在实验室环境下对学生玩手机、睡觉两种行为进行识别,但建立的模型鲁棒性有待检验;(4)廖鹏,刘宸铭,苏航,等.基于深度学习的学生课堂异常行为检测与分析系统[J].电子世界,2018,(8).有的单纯基于语音识别技术,在实验室环境下使用音频转文本的方式进行教学行为识别。(5)宋志海. 基于深度学习的课堂教学行为识别系统的研究与实现[D].北京邮电大学硕士学位论文,2018.前人研究存在以下问题:第一,绝大部分研究集中于人体行为识别(肢体动作),忽视了课堂教学行为互动的核心是言语互动,难以实现较好的识别效果;第二,单独使用图像识别或语音识别技术,能识别的行为种类都很有限,不能满足复杂的课堂教学行为识别要求;第三,教学环境比实验室环境更加复杂,特别是教学环境中的语音识别面临远场识别准确率低的巨大挑战,难以转换为有效文本。

在工程产品方面,目前人工智能在教育领域的应用主要涉及人脸识别打卡、智能组卷阅卷、智能语言评测、学习内容智能推荐等方面。和教学行为识别相关度较高的有两个产品,一是某公司开发的“魔镜系统”,该系统使用了表情识别技术,可识别学生情绪,但不具备自动识别教学行为的功能;一是某公司开发的单纯基于图像识别的课堂教学行为识别系统,前期研究对该系统进行了详细测试,数据显示,教学行为判断准确率不足30%。目前国内尚没有比较成熟的,基于“图像+音频”多模态课堂教学场景识别课堂教学行为,并进行大数据采集、分析的人工智能产品。

三、国际中文课堂教学行为识别与分析系统的构建

(一)建设目标

鉴于相关研究进展,本研究中系统建设的目标是,开发适用于国际中文课堂的人工智能课堂教学行为识别与分析系统,可针对国际中文课堂教学视频,自动识别课堂教学行为,实现课堂教学行为大数据的自动采集,并基于数据分析课堂教学的基本情况,生成课堂教学分析报告,从量化和质性两个角度对中文课堂教学进行分析评估。

(二)理论基础

本研究中课堂话语互动分析的理论基础为弗兰德斯互动分析法,该分析法的目标是建立一个针对课堂话语互动行为的统计学模型。具体做法是将课堂按照3秒间隔切分成片段,并对不同的课堂语言行为进行编码,以编码记录下每个片段中的课堂言语行为。通过对课堂教学行为大数据进行统计处理,可以记录和分析教师在教学情境中的教学行为,呈现出课堂教学的结构、行为模式和风格,为教师提供教学调整的反馈信息。弗兰德斯互动分析法的优点在于以量化的方式对课堂教学中师生言语交互行为进行统计、分析处理,用量化的数据对教师的教学进行分析和反思,结合课堂观察所得到的有关教学的质性描述,可对课堂教学进行全面的认识和分析。

对弗兰德斯互动分析系统编码内涵外延的界定,学界存在略有不同的观点。本文前期研究发现,这些观点之间的区别并不足以改变弗兰德斯互动分析系统所蕴含的统计学意义。结合国际中文教育课堂的实际,系统采用的编码系统(见表1):

(三)研究思路

课堂教学行为体现为师生、生生互动的行为,师生在互动中达成教学目标。互动的形式又是多种多样的,包括了言语互动、肢体互动、眼神互动等,其中言语互动是核心,表情、肢体动作等互动是辅助。把握住了这个关键,才能准确、高效地实现课堂教学行为大数据的采集和分析。要开发一个适用于国际中文课堂的人工智能课堂教学行为识别与分析系统,有必要把握住课堂教学行为互动的核心是言语互动这一事实,以音频为主,图像为辅,从“图像+音频”的多模态数据中训练得到适用的预测模型。

因此,本研究的目标是找到以课堂言语互动行为的识别(语音识别)为核心,以表情、动作识别(图像识别)为辅助的课堂教学行为自动识别及分析方法。

(四)训练数据采集

本研究前期采集了8600分9秒的真实国际中文课例数据,编写计算机程序,以3秒钟间隔提取分析片段,并将分析片段的数据拆分为音频和图像两类,由人工加以标注。其中,音频通过调用第三方语音识别的API,返回包含话语起止时间(最小单位为毫秒)、课堂话语文本、说话人角色编码的识别数据,由人工针对文本数据进行课堂行为标注;图像数据则通过人工标注说话人为教师或学生,对文本识别数据加以补充。通过这种人工标注的方式,前期共标注了172003条课堂行为数据。基于这些数据,以深度学习的方式训练得到用于课堂教学行为识别的预测模型。再基于该模型对课堂教学行为的识别结果,以弗兰德斯互动分析法进行课例的自动化分析。

(五)预测模型构建

基于深度学习技术,使用TensorFlow框架做深度学习的系统性训练、算法选择及参数调整,利用同时包括视频、音频的多模态训练数据训练得出课堂教学行为识别模型。之后对模型产出的数据进行了3轮大规模人工复核及修正,用于模型的参数调整,使模型识别的正确率得到显著提升。然后,利用模型对课堂教学行为自动识别和数据化,给出神经网络识别结果,并使用集成优化算法进行集成,实现课堂教学行为数据的采集。通过大量课例的数据采集,计算得到课堂教学行为及互动常模体系,为数据分析提供参照标准,并构建系统自动生成发展性评价与诊断性评价报告、图表的功能,实现课堂教学行为数据的分析。

四、国际中文课堂教学行为识别与分析的内容

为更好地服务课堂教学的分析与评估,研究将国际中文课堂教学行为识别与分析系统分析结果的呈现形式设定为两种,分别是课堂会话原始数据和课堂分析报告。其中原始数据适用于研究者开展个性化研究,而课堂分析报告适用于教师自我分析和教学部门对学情的整体性把握。

(一)课堂会话原始数据

课堂会话原始数据具体包括以说话人切分的话语片段、各话语片段的开始时间、各话语片段的结束时间、说话人角色识别结果、各话语片段对应的互动行为识别结果。研究者可以对照视频方便地追溯特定时刻的教学行为,并对课堂言语互动的语料进行分析。

图1 课堂会话原始数据示意图

(二)课堂分析报告

课堂分析报告具体包括迁移矩阵、课堂结构数据、教师倾向数据、课堂情感气氛数据、课堂话语互动模式数据、课堂语言比率图表、课堂重要特征数据六个部分。教师和教学部分可以基于课堂分析报告,有针对性地查看相关部分的数据。

图2 课堂分析报告内容结构图

1. 迁移矩阵分析

图3 迁移矩阵示意图

迁移矩阵形式主要用于对中文课堂教学进行刻画。矩阵中包括稳态格、积极整合格、缺陷格等。

蓝底单元格中的数字反映出“问与答”模式情况,黄底单元格中的数字反映出“创造性询答”模式情况。中间“十字”背景区域反映出“内容十字区”情况。“十字”背景区域左上角反映出课堂“积极整合”情况,右下角反映出课堂“缺陷”情况。

2. 课堂结构分析

从课堂结构的角度对中文课堂教学行为进行分析,具体包括教师话语比率分析、学生话语比率分析、无效语言比率分析、教师提问度分析、教师鼓励度分析、教师采纳意见度分析、教师讲授分析、教师批评分析、教师指令分析、学生回答分析、领读/跟读分析、教师话语——学生驱动比率分析、学生话语——学生主动比率分析。

3. 课堂教师倾向分析

从教师倾向的角度对课堂教学行为进行分析,具体包括间接影响与直接影响比率、积极影响与消极影响比率。

4. 课堂情感气氛分析

从课堂情感气氛的角度对课堂教学行为进行分析,具体包括积极整合格分析、缺陷格分析、内容十字区分析、积极反馈度分析、递进正向情绪分析、消极反馈度分析、递进消极情绪分析。

5. 课堂话语互动模式分析

从课堂话语互动模式的角度对课堂教学行为进行分析,并提出相应建议。具体包括“问与答”模式(训练型提问)、“创造性询答”模式(创新型提问)。

6. 课堂话语图表分析

以动态特征曲线的形式对课堂教学进行刻画,从教师、学生语言所占比例的角度对您的课堂教学行为进行分析,并提出相应建议。

图4 课堂分析报告示意图

五、课堂分析实例

分析对象为《走路去医院要几分钟》,授课对象水平均为初级。该科例选自国家汉办/孔子学院总部举办的“我的一堂课”首届国际中文教师志愿者海外教学大赛,并获得特等奖。

统计显示,孔子学院教师志愿者们面对的授课对象水平多为初级,(6)2010年全球孔子学院参加初级、中级、高级和大学中文专业课程学习的学生总数达61019人,其中学习初级中文的学生有48434人,占学生总数的79.38%[EB/OL].http://tpi.muc.edu.cn.而课程类型也以综合课居多,(7)2010年全球孔子学院共开设了3156门次课程,其中综合课的开设次门次达到2230次[EB/OL].http://tpi.muc.edu.cn.因此该课例更具有代表性。此外,该课例是从493个参赛作品中脱颖而出,获得评价最高的课例,因此对该课例进行分析的方法和所得出的结论具有一定的参照性和启示性。

(一)课堂话语互动分析过程

1. 迁移矩阵

本研究基于系统得到的迁移矩阵如下表所示:

图5 《走路去医院要几分钟》的迁移矩阵

矩阵中纵横坐标0～9分别代表了“弗兰德斯互动分析分类表”中相应的10种课堂互动行为。纵横坐标交叉处每个单元格中的数字代表了本课例中,先出现横坐标数字所代表行为,再出现纵坐标数字所代表行为的次数。如(4,8)单元格中的数字“39”代表了在课例中,教师先进行提问,之后学生立刻给予回答的互动出现了39次。

2. 课堂结构研究

系统通过对表2中的数据进行统计,得到下表中的课堂结构数据:

表2 《走路去医院要几分钟》的课堂结构数据

(1)教师话语比率

如表3所示,该课堂的教师话语比率为55.17%,常模(亓华、李雯,2009)约为68%,(8)亓华,李雯.中美联办普北班中、高年级课堂话语互动模式研究[J].北京师范大学学报(社会科学版),2009,(6).比率低于常模。美国教育学者贝莱克通过研究大量课堂教学师生言语行为互动,得出如下研究结果:“教师支配着班级的言语活动。根据录音带的记录,师生活动的比率大约为3:1。因此,暂且不论分析单位是什么,教师在言语活动中的数量,要远远比学生活跃”。(9)高巍.课堂教学师生言语行为互动研究[J].教育研究与实验,2009,(5).那么,本文所选取的课例中,教师言语行为与学生言语行为的比率约为2:1,其中教师言语比率远远低于贝莱克的研究结果,说明在该课堂中,教师很好地控制了自身的话语比例,给学生提供了更多的参与机会。

表3 《走路去医院要几分钟》的教师倾向数据

(2)学生话语比率

该课堂的学生话语比率为32%,常模为20%,(10)亓华,李雯.中美联办普北班中、高年级课堂话语互动模式研究[J].北京师范大学学报(社会科学版),2009,(6).比率高于常模,说明在教师很好地控制了自身话语比率的前提下,学生获得了更多进行语言训练的机会。

(3)无效话语比率

该课堂的无效话语比率为12.89%,常模为12%,(11)亓华,李雯.中美联办普北班中、高年级课堂话语互动模式研究[J].北京师范大学学报(社会科学版),2009,(6).该课堂的比率略高于常模比率,这反映出在课堂过程中出现“空场”的时间相对较多。通过录像回顾发现,这很大程度上是受初级中文学习者表述不够连贯的影响,只要上升幅度不太大,在此情况下无效语言比率有一定的上升是正常的。但教师应对此提高重视程度,从充分备课、合理有效安排课堂教学环节出发,尽量降低课堂上的无效语言比率,提高课堂的利用效率。

(4)教师提问比率

该数据愈高,表示上课时教师愈常用问题引导讨论。该课堂的教师提问比率为24.61%,常模为26%,(12)亓华,李雯.中美联办普北班中、高年级课堂话语互动模式研究[J].北京师范大学学报(社会科学版),2009,(6).该课堂的比率略低于常模比率。这反映出在该课堂中,教师较少运用问题来引导讨论,与中高级中文课堂相比,这是中文初级课堂的显著特征之一,也是教师们应加重视、重点提高的地方。让学生们带着问题去交流讨论、自主探究,既有利于学生思维活跃性和自主探究能力的培养,也有助于学生今后学习和研究能力的培养

3. 教师倾向研究

系统通过对表2进行统计,得到教师倾向数据,如下表所示:

(1)间接影响与直接影响比率

从表4中可以看到,在该课例中,间接影响与直接影响比率为25.27%。尽管暂时尚无常模作参照,但我们仍可以据此判断,教师采用接纳学生意见,表达自身感情、鼓励表扬学生以及使用问题引导的方式来影响学生的时间远远少于其采用讲解、给予指令和纠正学生发言错误的时间。因此其更倾向于对教学活动和学生做直接的控制。

表4 《走路去医院要几分钟》的课堂情感气氛数据

(2)积极影响与消极影响比率

在该课例中,积极影响与消极影响比率为19.22%,说明此次教学活动中, 教师以消极强化为主。但这里的消极强化主要是教师对学生回答的纠错行为,而非批评行为。对初级中文学习者而言,回答中出现的错误会更多,一个负责任的国际中文教师应当对此给予及时的纠正。而为了给学生更多开口练习的时间,教师在对学生给予肯定的时候,用语也较为简单,之后便忙于提出下一个问题,这也使得该比率较低。但这样的课堂过程如果在持续较长时间以后容易让学生产生疲劳和畏难情绪,因此教师如何调节课堂氛围,缓解这种情绪就变得很重要。

4. 课堂情感气氛研究

系统通过对表2进行统计,得到课堂情感气氛数据,如下表所示:

(1)积极整合格比率

积极整合格是由1～3行和1～3列交叉形成的9格区域,因此该区域在包含100个单元格的互动分析矩阵中应占据9%的比例。从上表可见,本课例中积极整合格比率仅为0.40%,这说明在课堂上教师并没有强化和鼓励学生主动发言。如上文所示,教师倾向于对课堂进行控制。

(2)缺陷格比率

缺陷格是由6～7行和6～7列交叉形成的4格区域,因此该区域在互动分析矩阵中应占据4%的比例。从上表可知,本课例中缺陷格比率为11.68%,高于其平均值。通常情况下,这一数据表明,教师在很大程度上控制了课堂,并有批评学生的现象,并且课堂上有纪律问题存在。但实际上在本课例中,缺陷格中的数据集中落在(6,6)格中,这反映了教师通过连续给予指令开展操练的教学行为,而非不断维持课堂纪律或批评学生造成缺陷格比率过高。在经过系统操练课训练的中文教师的课堂中,这种情况应当普遍存在。

(3)内容十字区比率

内容十字区包括4～5行和4～5列形成的十字区域,该区域在互动分析矩阵中应占据36%的比例。若内容十字区上面数据高度集中,即说明在课堂上教师主要是依赖提问和讲授来进行教学。一般而言,现在大多数教师的教学均是如此。但少数灵活性较高的教师则不相同,反映在矩阵中,即是在内容十字形之外的区域,还会发现有较大比例的数据。在本课例中,内容十字区比率为32.72%,在十字区外有较大比例的数据,这反映出该课堂上教师方法运用相对灵活。

5. 课堂话语互动模式研究

弗兰德斯课堂话语互动模式包括“问与答”模式和“创造性询答”模式两种。其中“问与答模式”需探讨(4,4)、(4,8)、(8,4)、(8,8)四个单元格(表2中深蓝色单元格)内的数据的意义,而“创造性询答模式”则需探讨(9,9)、(9,3)、(3,3)、(3,9)及(8,3)、(4,9)、(8,9)、(4,3)八个单元格(表2中浅蓝色单元格)内的数据的意义。

(1)“问与答”模式

此次教学活动中,序对(4,4)、(4,8)、(8,4)、(8,8)出现的频次分别是10、39、25、206。(8,8)出现的频次最高,说明此教学活动中课堂话语互动“问与答”模式为(8,8)模式,即学生连续回答教师提出的问题的模式。这一模式的频次远远超过其他模式,说明教师提出的问题相对简短并得到了学生较长的回答,而非“是”、“否”这种是非问的回答,很好地利用了课堂上的练习时间,学生被给予了充分的机会参加口语练习及表述自己的观点,但教师针对学生回答的追问并不常见。

(2)“创造性询答”模式

序对(9,9)、(4,9)、(8,3)、(4,3)的频次分别为8、1、7、3,说明此次教学活动中,既有学生连续主动的言语行为,也有在教师提问之后,学生并未马上针对教师的提问进行回答,而是主动“自由表达想法”的行为;教师也既有在学生回答完教师提问之后,马上对学生的回答予以接受、澄清或深化的行为,也有提出问题之后,没有再请其他学生回答,而是引用学生的观点进行解释的行为。但总体而言,“创造性询答”模式使用有限,且其他序对(9,3)、(3,3)、(3,9)、(8,9)出现的频次均为0,而这些模式对于学生创造力和质疑精神的培养具有重大意义,这也是以后改进教学活动的重点。

6. 动态特征曲线

以1分钟为单位对弗兰德斯互动分析中的主要参数分别作分析计算,绘制各主要参数的动态性曲线图,可以更加系统、直观地观察到各种主要参数在课堂教学中的动态变化:

图6 《走路去医院要几分钟》的动态特征曲线图

深色曲线和浅色曲线分别是教师话语比率和学生话语比率的动态特征曲线图。从图示曲线中我们可以清晰、直观地看到课堂上教师和学生语言的起伏波动和节奏。

7. 该课例对国际中文教师教学评价的启示

课例分析所得的数据对国际中文教师教学评价的启示有以下几点:

第一,从课堂结构来看,优秀的中文教师应通过对课堂教学良好的掌控能力适当提高学生的开口度,降低教师话语比率,同时避免无效话语。在把握学生中文水平的基础上,适当加强以问题引导讨论。但如果教师提问比率和无效话语比率同时显著升高,则要检查提问质量。

第二,从教师倾向来看,在中文教师对课堂进行合理控制的条件下,其操练行为和对学生的纠错仍会使间接影响与直接影响比率、积极影响与消极影响比率相对降低。但如果这两个比率过低则要引起注意,这说明教师可能对课堂的掌控过于严格,没有很好地发挥学生的主动性。

第三,从课堂情感气氛来看,积极整合格比率不宜过高,同时操练行为和对学生的纠错也会引起缺陷格比率相对的升高,要营造一个相对紧张但又活跃的课堂氛围,应把握好这两个比率的关系。

第四,从课堂话语互动模式来看,中文教师应避免陷入(4,4)的“问与答”模式,这反映出教师的提问不够凝练或表述不够清楚,而(8,8)的“问与答”模式通常反映出学生被给予了充分的机会参加口语练习。

第五,从动态特征曲线来看,曲线振幅不宜过大,振动频率不宜过低。曲线振幅过大,振动频率过低,通常显示出师生之间话语互动不足,课堂不够活跃。

六、结 语

基于人工智能的国际中文课堂教学行为识别与分析研究为针对国际中文教师教学水平的研究提供了一个新的、量化的视角,可被广泛地用于国际中文教师的教学评价。

首先,本研究使得针对国际中文教师的教学评价变得客观、科学、可操作。通过将课堂观察的重点放在师生的言语行为上,使用“编码”客观记录课堂内的实际情况,充分反映了教师课堂教学行为以及学生对此反馈的原貌。在处理方法上和结果使用上,它使复杂的课堂教学直观化,克服了传统课堂教学评价的主观性和随意性,大大提高了评价的客观性和科学性可被广泛用于针对国际中文教师总体教学状况及水平的统计。

其次,本研究提供了一种自我教学反思的方法。教师们可以使用录像或录音设备将自己的教学过程记录下来,避免了第三者介入课堂使得课堂情境发生改变。此外,教师在课堂上,通常无暇立即反思自己的教学行为,而下课后,即使对课堂教学过程进行了录音、录像,也可能由于自身教学评价知识有限和个人感情的影响不能对自己客观评价。本研究给教师提供了一个获得客观数据的工具,来帮助其反思自己的教学实践,分析自己的课堂教学语言,了解自己的教学方式,从而改进自己的语言风格,把握课堂教学的节奏,及时反馈教学中存在的问题,最终达成教师专业发展。

最后,应当建立国际中文教育特有的课堂话语互动常模体系。由于课型不同,前人统计基础上的常模未必适用于国际中文教育课堂,因此有必要通过该模式对国际中文教师的课例进行广泛研究,最终建立符合国际中文教育课堂特点的常模体系。该体系的建立将进一步促进本研究模式在国际中文教育课堂中的应用。