TESTII框架：人工智能支持课堂教学分析的发展走向

孙众 吕恺悦 施智平 骆力明

[摘   要] 规则化与可计算是人工智能技术支持课堂教学分析的前提。以S-T行为及FIAS言语交互为代表的分析方法，用时间取样的研究思路量化课堂教学，虽然对规则化、客观分析作出了显著贡献，但一直受困于费时低效、未能有效建立数量结构与意义理解的联系，以及不能较好地促进教师专业成长等问题。建立以教学事件为基本分析维度，综合双主教学结构等教育理论，以及计算机视觉和自然语言理解等技术，从教学事件识别与教学阶段划分、教学法结构序列、时间取样的行为和言语交互分析、基于证据的教学解读和人机协同的教学改进等阶段，构建课堂教学分析TESTII（Teaching Events， SPS， Time Coding， Interpretation， Improvement）框架，成为人工智能支持课堂教学质量提升和变革课堂教学结构的解决方案和发展走向。

[关键词] 教学结构; 教学事件; 课堂教学分析; 人工智能; 人机协同

[中图分类号] G434            [文献标志码] A

[作者简介] 孙众（1973—），女，辽宁凤城人。教授，博士，主要从事技术支持的教师专业发展研究。E-mail：sunzhong@cnu.edu.cn。骆力明为通讯作者，E-mail：1354@cnu.edu.cn。

一、引   言

课堂是集中体现教师专业水准和职业价值的、复杂的、多要素相互交织的真实情境。应用不同技术手段和研究方法，分析教师在真实课堂情境中的教学表现，已经成为课堂教学分析的重要议题。在课堂教学分析发展进程中，离不开评价理念、方法和技术的不断创新。

近年来，我国先后发布《新一代人工智能发展规划》[1]等系列政策文件，积极布局人工智能在不同行业的创新应用。教育作为人工智能的重要应用领域之一，也在向“人工智能+教育”的新阶段迈进。《中共中央国务院关于全面深化新时代教师队伍建设改革的意见》明确提出，教师应主动适应信息化、AI等新技术变革，积极有效开展教育教学[2]。课堂作为教学改革的主阵地和教师专业成长的大本营，如何利用人工智能技术，优化课堂教学分析的方法和技术，成为人工智能促进教师队伍建设的突破点之一。随着指向深度学习的评价导向，以及大数据和人工智能在教育领域的逐步推进，教育研究范式正处于转型期。人工智能技术支持的课堂教学分析同样面临着理念与方法上的改进与转型[3]。

二、时间取样法在课堂教学量化分析中的应用

根据研究目的、理论基础以及分析技术的差异，课堂教学分析可分为量化取径、质性取径和专业成长取径[4]。其中，量化取径分析技术的演化进程，与技术发展最为相关，先后产生了以录像带分析为基础的S-T师生行为分析法、弗兰德斯言语交互分析法FIAS、大规模国际化的课堂视频研究项目TIMSS（The Third International Mathematics and Science Study）等代表性研究[5]。当前量化取径课堂分析的共性之一是时间取样。时间取样法通常按照固定的时间间隔对教师的言语和行为进行记录，判断课堂的交互情况和教学风格等。

不可否认，时间取样法对于课堂教学分析的标准化和可计算起到了重要的推进作用。后续有大量研究者沿用时间取样的思路，不断地改进或提出新的课堂教学量化分析方法和技术。但是采用时间取样法的课堂教学分析存在三个主要问题：（1）手工分析时效低，大量编码均需专业人员手工完成;（2）依赖有经验的研究人员;（3）缺少数据结构与意义理解的关系，仅作时间上的机械分割，忽略了每个言语交互和行为交互背后的情境信息。

三、教学活動是否能成为分析维度

课堂是时空结构组成的系统，其中，空间维度是指课堂中的活动。课堂里的活动可以根据实施主体的不同，分为以教师为主开展的教的活动、以学生为主开展的学的活动，以下统称为教学活动。那么可以用活动作为课堂教学分析的维度吗？

教学活动是教师根据课堂实际情况，动态调整教学进程的基本单位。国内外很多学者都用教学活动作为课堂教学分析的维度。我国学者穆肃分析了国内外课堂教学行为分析方法， 结合对课堂教学活动理论的认识，设计了基于教学活动的课堂教学行为分析系统TBAS（Teaching Behavior Analysis System），该系统将信息化课堂中的活动分为教师活动、学生活动和无意义教学活动[6]。英国学者Rowntree将学习活动分为五种类型，包括报告自己的观察或体验、复述事实或原理等、从例子中区分不同概念和原理、列举出自己的例子、应用新的概念和原理等[7]。印度学者 Mishra 和 Gaba 将课堂中用于自我评估的学习活动分为问题型和反思行动型，其中，问题型分为立即反馈型、最后提出标准答案型、不提供答案仅有提示型;反思行动型分为具体行为和体验[8]。美国学者威廉·霍顿（W. K. Horton）提出学习活动分类理论，将学习活动分为吸收型活动、做的活动和联结型活动[9]。

由此可知，以教学活动作为分析维度的研究并不鲜见，且兼顾量化取径和教师专业成长取径两个方面。但是将教学活动作为课堂分析的主要维度存在两个问题：（1）教学活动本身不会导致学习的发生。教学活动是教学意图的载体，当教学活动背后有了明确的教学目的，且能有效地支持学习者心理认知过程时，教学活动才有真实的教学意义，学习方能发生与发展。（2）教学活动的表现形式千变万化，类型划分各有道理。由于缺少通用性、稳定性和内在逻辑性，教学活动可以成为分析课堂外在表现的抓手，却很难形成可复制、标准化、可计算的判断规则。如果课堂教学分析过于强调教学活动的类型和形式，停留在对教学活动本身的设计、实施、归类与统计中，会走向重形式、轻本质的误区[10]。那么，对于课堂教学来说，什么维度是比教学时间和教学活动更适合的分析维度呢？

四、教学事件作为分析维度的可行性

罗伯特·加涅（R. M. Gagne）作为教学设计学科的开拓者之一，认为教学应该以学习为核心，要根据人类认知加工机制，设计出旨在影响学习者内部心理过程的外部刺激[11]。因此，教学过程要建立在对学习过程的深刻认识上，要与学习者的内部心理过程相吻合。教师如果能够积极而灵活地编排教学活动，就能起到促进学习的作用。反之，则无益于学习，甚至会起到干扰作用。

由此可见，教学活动不等同于教学事件。只有当教学活动具备明确的教学意图，反映促进学生学习的目的，并且指向学习者内部心理加工时，才能被称之为教学事件。除了对教学活动和教学事件这两个概念进行辨析以外，教学事件与教学阶段（或教学环节）、教学过程等概念也需做说明。三者虽有内在联系，但分属不同层次。教学过程是面向真实课堂中整个一节课或一单元或更长时间的过程安排，它包括了多个教学阶段，每个教学阶段的外在表现形式是教学活动，指向学习者心理认知的教学活动可以同时被称之为教学事件。以上概念间的关系如图1所示。

作为认知学派的代表人物，加涅把影响学习者心理认知的外部刺激称为九大教学事件[12]，每一个教学事件都与学习者内部认知过程相对应，组成合理的教学过程，见表 1。教学事件的提出推动了教学设计领域的发展，尤其在探索如何将内部学习过程与外部教学事件匹配方面，加涅的研究作出了开拓性和引领性的贡献。尽管九大教学事件也遭到一些批评，但它仍是迄今为止教学设计领域广泛接受的教学理论之一[13]。

多国学者以教学事件为基础，开展教育理论研究、指导课堂教学实践。例如：教学设计领域专家史密斯（Patricia. L. Smith）和拉甘（Tillman. J. Ragan）将加涅九大教學事件扩展为15个事件，并将其概括为四个阶段：（1）导入阶段，包括引起注意、唤起兴趣和动机、提出教学目标、新课概览;（2）主体阶段，即新知学习阶段，包括回忆旧知、处理信息、聚焦注意力、采用学习策略、练习和评价反馈等;（3）结束阶段，包括小结与复习、知识迁移、再次激励和结束;（4）评价阶段，包括评估表现、反馈与补救等[14]。众多学者在网站设计[15]、医学教学[16]、初中物理[17]、大学信息技术[18]、中职平面设计[19]、小学语文[20]等不同学段、不同学科的线下课程设计或大规模在线开放课程的评价[21]中，均采用九大教学事件作为理论基础。张涛等提出的课堂切片研究法[22-24]，实质上还是以教学事件为维度分析课堂教学。

除此以外，教学事件还作为主要分析维度应用于大规模教师能力评价项目。美国加州针对职前教师的表现性评价系统（Performance Assessment for California Teachers， 简称PACT），包含教学事件（Teaching Event）评价和嵌入式标志评价（Embedded Signature Assessment，ESAs）两部分[25]。教学事件是申请者记录的教学片段，每个教学事件由五个子任务构成：学习情境、教学设计、教学实施、评价、反思。PACT是以教学事件分析为主，基于标准、基于证据的综合评价。PACT在加州实际运行多年后，进一步发展为教师资格认证评价体系edTPA，并已在全美40多个州实际运行。

综上所述，教学事件是为促进学习而设计的外部刺激，指向学习者心理认知加工过程。与时间取样法和以教学活动作为分析维度相比，把教学事件作为课堂教学分析维度，不仅具有数量少、类型集中、标准相对明确等优点，而且更聚焦于课堂教学的意义，对应于学习者认知心理过程，将外部表现与内部心理加工相联系，同时指向量化取径、质性取径与教师专业成长取径，因此，可以考虑将其作为课堂教学分析的主要维度。

五、TESTII：以教学事件为主的人工智能支持课堂教学分析框架

教学事件作为教学分析维度，在课堂通用性、数量有限性、规则明确性和判断稳定性等方面具有一定的优势。然而，要想利用人工智能技术以实现标准化、可计算、规模化、高效处理的课堂教学分析，还需要设计出人工智能技术支持课堂教学分析的新框架。因此，以诊断课堂教学结构为目的，以教学事件为取样单位，将事件分析和时间取样的研究优势相结合，本团队提出TESTII框架，包括以下分析阶段和关键技术，如图2所示。

（一）阶段1：识别九大教学事件，归类为不同教学阶段（Teaching Events Identify and  Classify）

如前所述，教学事件作为破解时间取样法分析困境的解决方案，具有提高课堂教学分析效率、有效建立数量结构与意义理解的联系、助力教师从促进学习者心理认知角度设计教学活动等优势。因此，以教学事件分析作为TESTII框架的起点阶段。

教学事件可从文本格式的教学设计方案、视频格式的课堂教学视频、文本格式的课堂教学实录里提取并识别。因此，利用自然语言理解技术和计算机视觉技术进行文本和视频分析，可以识别教学事件，成为本阶段的关键技术。

教学设计方案是规范性与创造性兼具的教学文本集合，以有特定语法结构的句子为主要表述形式，例如：用行为动词来编写三维目标、用短文本说明教学策略、用相对稳定的句法结构描述师生活动等。因此，先由人工对多个训练集的教学事件进行标签划分和文本标注，形成教学事件判断规则集，再采用深度学习模型Word2vec生成基于 GRU 循环神经网络的事件分类器，以训练集与测试集的正确率判断模型是否成功，实现由自然语言理解技术识别特定教学事件，并生成一节课的教学事件时间分布图，如图3所示。

为了更简明清晰地呈现课堂整体结构，可以进一步将九大教学事件归为相应的教学阶段。加涅将九大教学事件归类为三个教学阶段，分别是教学准备阶段，包括引起注意、告知学习目标、刺激回忆旧知;知识获得和作业表现阶段，包括呈现刺激材料、提供学习指导、引出行为和提供反馈;保持与迁移阶段，包括评价行为和促进保持与迁移[26]。如前所述，史密斯和拉甘将15个教学事件划分为四个教学阶段，而且在教学设计方案中，以教学阶段为段落，描述教师活动、学生活动和设计意图等，也是我国教师较为熟悉的表述方式，更易理解与接受。绝大多数的教学设计方案里，会明确地将整节课划分为三四个到六七个数量不等的教学阶段或教学环节，并且用“激趣导入、新知学习、合作探究、迁移拓展”等词汇对各教学阶段加以概括[27]。

因此，TESTII框架所采用的研究思路是教学事件和教学阶段双重分析法。识别出课堂中的教学事件后，将教学事件降维，归类到不同的教学阶段里（见表1）。双重分析法的作用是：（1）提醒教师从促进学生心理认知过程的角度设计教学事件;（2）帮助教师理解并非每节课必须要有全部的教学事件。只要从促进学习、符合认知规律的角度，灵活设计教学事件，把握好主要教学阶段，就能更好地发挥教学创意，体现教学智慧。

在技术实现上，先参考教师撰写教学设计时的教学阶段划分，然后到课堂视频里对应节点的前后时间段寻找关键场景和师生动作变化，明确起止时间点，再将教学视频里的声音提取出来，将语音转换成文本，形成教学实录，在实录文本里用“想一想”“请回忆同学们曾经学过的”等标志性词汇作为划分教学阶段的线索词汇，形成归类教学阶段的关联分析规则，给出教学事件和教学阶段的划分结果。样例见表2。

（二）阶段2：生成不同教学阶段里的教学法结构序列（Sequencing of Pedagogical Structure）

教学结构是指在一定的教育思想、教学理论和学习理论指导下的，在某种环境中展开的教学活动进程的稳定结构形式，是教学系统四个组成要素（教师、学生、教学内容和教学媒体）相互联系、相互作用的具体体现[28]。信息技术与课堂教学深度融合的关键是要引发学校教育系统结构性变革和课堂教学结构变革。而课堂教学结构变革的关键在于不再延续以教师为中心的传统教学结构，也不照搬西方以学生为中心的教学结构，而应转变为教师主导、学生主体相结合的教学结构。双主教学结构抓住了教育教学的本质属性，又充分体现了中国特色的学术思想，自提出后便得到了廣泛认同，成为指导一线课堂的重要理论。

教学结构具有系统属性，不仅包括教学系统四要素，还包括要素之间的相互作用关系。Jacobson提出了教学法结构序列（Sequencing of Pedagogical Structure，SPS）[29]。SPS将以教师为中心的直接讲授式教学法和以学生为中心的建构主义教学法为两极，根据教师指导所占比重，将教学法分为高结构化H（如教师讲授）和低结构化L（如发现学习）。国内学者进一步完善了SPS，新增地位特征（表现为该教学方法持续时间所占的比例）和时序特征（同时或者顺序）用于课堂教学分析[30]。

SPS相关成果最初在国内发表时，译为“教学结构序列”[31]。然而分析“Pedagogical”一词可知，SPS里的教学结构更偏向于教学法内部的结构，与何克抗教授提出的由教师、学生、教学内容和教学媒体四要素组成的教学结构并非同一层次上的概念。因此，本团队将SPS译为“教学法结构序列”。与单纯地分析教学事件时长相比，SPS分析能够更为细致地揭示出双主教学结构指导的课堂里教学法结构的序列。

在技术实现上，采用自然语言理解技术建立教学法结构序列分类器。分类器的输入属于文本型数据。由于文本数据含有上下文信息，为更好地理解输入数据中某个句子或词语的含义，引入注意力机制（Attention Mechanism），其优势是能够直观地解释文本内容，表明不同句子和词对分类类别的重要性，并给出量化的表示方式。在文本分类中，可以利用注意力机制来确定句子核心词和事件核心句。通过对文本数据中的句子和篇章分别进行建模，给出教学法结构序列。样例见表2。

（三）阶段3：时间取样对不同教学阶段里的言语和行为交互编码（Time Coding）

TESTII框架不再用时间进程将整节课打通后取样统计，而是在由教学事件组成的教学阶段内部时间取样，分析该阶段内的师生交互，为解读课例里的教学法结构序列提供证据。因此，借鉴已有的量化取径课堂教学分析法，利用人工智能技术实现教学阶段内部的行为交互、言语交互分析等成为研究重点。

对于课堂中的言语交互分析，先由人工对每一个教学事件内部的关键词语划分标签和标注文本，再采用自然语言理解的深度学习模型Word2vec，参考ITIAS等编码体系中的规则，对数据进行训练和验证，完成教学阶段内部的言语交互自动分类与分析统计。

对于视频里的行为交互，先根据静态帧对场景进行初步分类，然后通过目标检测方法辅助检测视频中的关键互动设备，再基于深度卷积神经网络识别师生动作行为。例如：计算机视觉可以先判断教学视频中师生站立、举手、行走、黑板写字、操作平板电脑时所产生的明显的骨架变化，根据统计视频画面中的师生互动、人机互动以及生生互动情况等，实时计算分析数据，自动生成S-T分析图或基于其他课堂教学行为编码法的分析结果。

（四）阶段4：结合已有教育教学理论，基于证据解读分析结果（Interpretation）

可解释是未来人工智能发展的核心诉求，是人机互信的前提。教师并非专业的数据分析师，通俗易懂且符合教育教学规律的解释能有效帮助教师理解机器到底收集了哪些数据、分析逻辑是什么、当前的分析结果说明课堂教学中存在哪些显性问题。当数据分析报告的可读性、有效性和说服力等得到教师的认可时，会提高教师决定接受数据分析结果的可能性，帮助教师发现教学改进的必要性，同时也会提高教学改进方案的可信度，使数据驱动的教学分析转换为知识驱动的教学决策。对于教师而言，借助可视化、可解释的结果，有助于提升课堂教学设计、实施和反思等能力;对于教学研究人员而言，查看不同教师之间分析结果的横向对比和同一教师不同阶段分析结果的纵向对比，能帮助教师调整教学干预和指导策略;对于教育管理者而言，借助分析报告能更科学地制定教师继续教育机制等。

TESTII框架提供的课堂教学解读报告内容包括一节课里教学事件的数量和时间分布图、与教学事件对应的教学阶段划分结果、按照教学阶段生成的教学法结构序列、教学阶段内部的行为交互和言语交互结果等。根据以上数据，TESTII从教师主导作用的发挥、学生主体作用的体现、教学事件合理性、教学阶段完整性与递进性等方面，形成有固定模板的解读报告。随着案例库的扩大及分析结果的不断增多，下阶段可由自然语言理解技术实现评语的自动生成。

（五）階段5：结合解读结果，人机协同优化课堂教学改进机制（Improvement）

根据建构主义观点，个体主动的意义建构离不开与同伴的协商和对话，他人知识的显性化可以促进个体的认知。课堂教学改进是在获得基于证据的教学分析解读报告以及来自同行和专家的反馈意见后，将教学隐性知识转变为显性知识的主要举措。隐性知识显性化过程中，如果能提取到足够的标签信息，则能够依靠深度学习获得可靠的显性知识。在商业领域，以亚马逊、淘宝等为代表的商业网站采用众包技术对商品和服务给出评价[32]，在教育领域，也有学者采用基于众包的语义标注系统，研究人文学科中的隐性知识标注与知识发现[33]、对学术论文审稿人的评语给出自动评价的人工智能分析系统等[34]。

教育情境的特殊性使得在商业领域较为成熟的众包技术很难直接应用于课堂教学分析中。第一，能提供高质量课堂教学改进意见的专业群体少，不易在短时间内收集大量高质量、有针对性、切实可行的改进策略。第二，课堂教学改进缺少相对规范的知识表达结构。长期以来，在提供教学改进策略时，专家和同行多是根据个人经验和教学智慧，运用自己的话语体系和表达逻辑，缺少一定的表达规范。第三，致力于收集课堂教学改进的信息化平台和工具较为匮乏，导致人类专家给出的教学改进建议和策略并未得到较好的收集和保存。人工智能支持的课堂教学分析与改进，挑战与机遇并存。本研究提出人工生成、机器生成、人机协同生成三步法，逐步实现教学事件的改进。

第一步：人工生成。本团队已经建立的数据集里，有638个小学四年级数学课堂教学案例。来自全国的56位专家已经针对每个案例给出了评分和评语，里面有多条课堂教学改进建议和策略。本团队组织了小规模的学科专家组，对课堂教学事件特征与教学改进策略进行一致性分析，如果判断该策略有效，则以文本格式存入系统，代表后续可以使用;如果判断该策略的效果不佳，则由专家团队或从已有的策略库中挑选，或自行编写出更为合适的改进策略，仍以文本格式存入系统，实现策略改进。

第二步：机器生成。由于系统中已存储了不同的课堂交互特征，以及人类专家给出的教学改进策略，因此，要用更大样本量的课堂教学案例数据训练机器自动生成改进教学的策略。由于已有策略库是文本格式，因此，在机器推荐阶段，可采用适用于短文本的知识库填充技术、ProjE及改进算法，实现课堂教学改进策略的结构化抽取。之后以RDF格式存储，再以结构化策略为标签，将课堂交互特征分析的结果作为输入值，建立监督学习模型，通过历史数据训练教学改进策略智能分类器，新的分析结果可自动预测有效的课堂教学改进策略。

第三步：人机协同生成。后续当系统收集的课堂教学案例数量足够多，所积累的数据达到较大量级时，有可能会产生之前未被提及的教学改进策略。采用众包（Crowd-sourcing）技术对系统积累的教学改进策略众包数据集进行“真相发现”（Truth Discovery），使改进策略的效用最大化，初步提炼出由机器自动识别出的、产生于且适应于不同课堂交互特征的改进策略，再基于系统积累的大量“教学事件特征—教学改进策略匹配”文本对，采用基于深度神经网络的端到端学习算法，自动生成文本形式的教学改进策略方案，并请人类专家进行抽样验证及修订后，机器再次学习修订原则，经过多轮迭代最大限度地替代人工参与，生成人机协同的教学事件改进策略。

六、结   语

本文以规则化与可计算作为人工智能辅助课堂教学分析的切入点，建立TESTII分析框架，以教学事件为基本分析维度，形成事件阶段划分、教学法结构序列、教学交互分析、解读与改进五大分析阶段。后续本团队将以真实课堂案例为样本，结合案例中的教学视频、教学设计方案、教学反思等多种数据，持续开展人工智能支持课堂教学分析与改进的理论与实践研究。期望将人工智能融入教育主要业务流程，形成人工智能与常态课堂教学的深度融合，以达成人工智能促进课堂教学质量提升及教师队伍建设的目标。

[参考文献]

[1] 国务院.新一代人工智能发展规划[EB/OL].[2017-08-24].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] 中共中央国务院关于全面深化新时代教师队伍建设改革的意见[N].光明日报，2018-02-01（01）.

[3] 吕恺悦，施智平，孙众.人工智能时代下的教师教育发展——“2019人工智能+教师教育国际研讨会”在北京举行[J].现代教育技术，2019，29（7）：1.

[4] 夏雪梅.以学习为中心的课堂观察[M].北京：教育科学出版社，2017.

[5] 孙众，马玉慧.视频案例多元分析法促进新手教师专业发展研究[J].电化教育研究，2013，34（8）：104-109.

[6] 穆肃，左萍萍.信息化教学环境下课堂教学行为分析方法的研究[J].电化教育研究，2015，36（9）：62-69.

[7] ROWNTREE D. Teaching through self-instruction： how to develop open learning materials[M]. London： Kogan Page，1990.

[8] MISHRA S， GABA A. How do distance learners use activities in self-instructional materials[J]. Indian journal of distance education，2001，10（1）：40-51.

[9] HORTON W K. E-learning by design[M]. San Francisco： Pfeiffer，2012：3-7.

[10] 孫众，余胜泉，徐凤军.中小学信息技术学习环境下常见误区分析[J].中国远程教育，2002（3）：63-65.

[11] GAGNE R. The conditions of learning[M]. 4th ed. New York： Holt，Rinehart & Winston，1985.

[12] R.M.加涅.学习的条件和教学论[M].皮连生，王映学，郑葳，译.上海：华东师范大学出版社，1999.

[13] 盛群力.教学事件的扩展与八种学习类型的教学策略[J].浙江教育学院学报，2006（2）：31-38.

[14] SMITH P L， RAGAN T J. Instructional design[M]. Hoboken，NJ： John Wiley & Sons，Inc，2005.

[15] ZHU P， AMANT K S . An application of robert Gagné's nine events of instruction to the teaching of website localization[J]. Journal of technical writing and communication，2010，40（3）：337-362.

[16] GOODE P. Using the ASSURE model and Gagne's 9 events of instruction as a teaching strategy[J]. Nurse educator，2018，43（4）：205.

[17] 黄网官.初中物理：九大“教学事件”——基于加涅教学论的思考之二[J].教育研究与评论（中学教育教学），2015（6）：5-11.

[18] 景疆.“九大教学事件”在信息技术课程中的设计与实践[J].计算机教育，2012（24）：91-94.

[19] 张鹤.加涅九大教学事件在中职平面设计课程教学中的应用[J].中国教育技术装备，2019（24）：79-81.

[20] 靳彤.以教学事件为核心设计教学[J].语文建设，2015（31）：20-23.

[21] 冷静，吴小芳，顾小清.面向深度学习的在线课程活动设计研究——基于英国开放大学的案例剖析[J].远程教育杂志，2017，35（2）：56-65.

[22] 张涛.教学切片分析：一种新的课堂诊断范式[J].教育发展研究，2016，36（24）：55-60.

[23] 魏宏聚.教学切片分析：课堂诊断的新视角[J].教育科学研究，2019（2）：63-67.

[24] 黄宝权.走向专业的深度课堂观察——基于课堂教学切片诊断的校本教研新尝试[J].现代中小学教育，2017，33（9）：88-90.

[25] 卓锋.美国加州教师表现性评价系统（PACT）探析[J].教育测量与评价（理论版），2013（12）：46-50，34.

[26] 朱叶，喻晓玲.加涅“九大教学事件”在西方经济学教学中的应用[J].文教资料，2019（11）：187-189.

[27] 李美凤，何飞.智慧课堂中的“练习—反馈”环节教学行为分析——基于19节省级一等奖数学课例的视频分析[J].现代教育技术，2019，29（6）：62-68.

[28] 何克抗.教学结构理论与教学深化改革（上）[J].电化教育研究，2007（7）：5-10.

[29] JACOBSON M J， KIM B， PATHAK S， et al. To guide or not to guide： issues in the sequencing of pedagogical structure in computational model-based learning[J]. Interactive learning environments，2015，23（6）：715-730.

[30] 王冬青，刘欢，邱美玲.智慧课堂教师行为数据的分析方法与应用验证[J].中国电化教育，2020（5）：120-127.

[31] 胡立如，张宝辉.混合学习：走向技术强化的教学结构设计[J].现代远程教育研究，2016（4）：21-31，41.

[32] 欧阳智，魏琴，肖旭.人工智能环境下的知识管理：变革发展与系统框架[J].图书与情报，2017（6）：104-111，132.

[33] 丁国柱，余胜泉，潘升.学习资源的语义众包标注系统设计[J].中国电化教育，2016（9）：91-95，127.

[34] RAMACHANDRAN L， GEHRINGER E F， YADAV R K. Automated assessment of the quality of peer reviews using natural language processing techniques[J]. International journal of artificial intelligence in education，2017（25）：534-581.