张学波 林书兵 王宏媛
基于数据的教学诊断:数据表征、问题指向与教学处方*
张学波1,2林书兵3[通讯作者]王宏媛4
(1.华南师范大学 教育信息技术学院,广东广州 510631;2.华南师范大学 脑认知与教育科学教育部重点实验室,广东广州 510631;3.北京师范大学 人文和社会科学高等研究院,广东珠海 519087;4.汕尾市教师发展中心,广东汕尾 516600)
教学诊断是教师对教学活动中的各种现象进行检查、分析、反馈、调节,以使其不断优化的过程。传统教学诊断活动容易陷入形式化、套路化的境地,难以切中教学问题的本质。虽然数据为教学诊断提供了确凿凭证,但具体如何通过数据分析来确诊教学问题,却鲜少有研究提及,相应的实践也缺乏深入总结。对此,文章首先根据数据表征,梳理教学问题的诊断入口;然后根据问题指向,提出精准导向的诊断程序;最后总结教学处方,提出数据驱动的教学干预原则。文章试图构建数据呈现与诊断结果之间的行动路径,以期为基于数据的教学诊断实践提供操作指引。
教学诊断;数据驱动;诊断程序
教学诊断是指教师对教学活动中各种现象进行检查、分析、反馈和调节使其不断优化的过程[1],其为教学问题的发现和解决提供了专门途径。但由于人们认识的局限性和技术发展的限制,传统教学诊断主要采取同伴听课、评课或课堂观察等形式,以看、听和问等主观方式进行,这导致人们对教学问题的理解也多来自思辨、经验以及部分碎片化的感性认识,缺少针对现实问题的深入思考、理论追问和依据构建[2]。近年来,随着教育大数据和人工智能技术的飞速发展,数据作为贯通教学全过程的关键要素,逐渐成为教学诊断活动的主要依据。当前,教学诊断实践活动正处于蓬勃兴起的阶段,但该领域一直缺乏成熟的教学诊断理论指导,对于具体如何由数据推导出结论,以及如何开具有针对性的教学处方等问题,诊断主体在实践中往往缺少明确的理论依据,也尚未对已有的实践经验进行系统总结。因此,如何通过数据表征发现教学问题诊断的突破口,构建精准导向的教学诊断程序,提炼数据驱动的教学干预原则,明确从数据到问题再到对策的教学诊断路线,实现教学诊断的有理有据是这一领域面临的主要问题。为此,本研究对一过程的相关规律和方法进行总结,试图构建数据呈现与诊断结果之间的行动路径,以期为基于数据的教学诊断实践提供操作指引。
当前,随着各类教育大数据平台的推出,传统的教学数据采集变得更加方便精准,同时也使数据获取的方式和种类更加多样,数据的体量和类型由此发生巨大的变化,进而促进了教学诊断多模态数据的形成,教学诊断任务演变成如何从多维的数据中寻找问题、在零散的数据中发现问题、在琐碎的数据中描述问题以及借助系统的数据来解释问题。基于此,本研究以当前一线教学实践中常见的学业数据分析为例,对其常见数据指标和分析视角进行梳理,以归纳数据呈现特征与诊断分析维度之间的关系,总结教学质量问题发现的基本方法。
目前,课堂教学诊断已经形成了师生行为转化率、师生语言互动比、师生行为互动分析和教学模式分析等常见诊断指标,据此可对教学过程中的探究深度、合作效度、生成高度和自主程度等进行深入分析,让课堂教学观察和教学环节分析结论更具说服力,转变了仅凭听课、观课的传统诊断模式。与此同时,在当前各类智能教学平台的支撑下,针对学生学业的诊断活动,教师可以在多个渠道采集相关数据,建立包括学生认知、行为、生理、态度、活动、奖励、能力、作业和测试等在内的多维观测指标,从而真正实现基于多模态学业数据的综合诊断。
教学是一个复杂的系统,单纯的数据收集并不会对教学问题的探究有实质性帮助。面对大量堆积的数据,有必要掌握一些典型的数据分析维度,以厘清其主要作用关系和关键矛盾。以学校使用频率最高的学业测试数据为例,它一般可以从常模和标准两个维度进行解释:前者是从统计学角度对考生个体或特定考生群体的所处位次、位次变化情况进行统计,后者主要对统计信息与考试相关学科的内容、考生能力和未来学习或工作岗位的需求进行综合评价后作出判断[3]。而在实际的教学活动中,往往需要两者的结合,即通过对照标准检查教学目标的达成程度,同时分析得失分所代表的不同知识内容和能力水平及其背后的原因,如有的学生是因为计算失误,而有的是因为基本概念模糊,这反映了学生掌握知识和技能的差异,同时也暴露了教师在教学中的薄弱环节。但一次考试分数往往不能完全说明问题,只有在多次、多维和多方比较中分数才有意义,这时就需引入常模的比较。因此,从数据涉及的类别、差异、层次和群体等方面特征出发,数据分析可以演化出不同的比较分析视角,在这些视角下进一步甄别数据的薄弱之处,就可以定位教学工作的不足,从而有针对性地提出教学改进举措。
(1)三角验证视角
三角验证视角是指从联系与辨别的角度对多维数据进行整体分析,形成对教学问题的综合判断。常规的考试数据分析主要关注学生学习的一些基本指标,如信度、效度、覆盖度和难度等,但影响学习发生的因素是多维的,基于学生群体的综合分析并不能有效透视学生个体层面的具体学业问题。同样,仅仅侧重学生某一知识点达成度的单点分析,而忽视学生学习行为与影响要素之间的作用关系,即便相关数据量大,往往也很难据此提出切实有效的举措。例如,作业数据由于存在刷题和无效练习属性,因此该数据虽然数量庞大但实际评价功能不强,数据价值密度低,很难全面、真实地反映个体的学习过程。相较而言,虽然场景较为严肃的考试数据可以准确地记录学生学习的关键节点,但仅有考试数据也是不够的,要全面评价学生的学习质量,还需要来自多维和多渠道的数据进行相互佐证、协同评价,这其中包括学生上课时回答问题、作业情况和在校期间的综合表现等。总之,针对学生的学业质量分析应采取三角验证的视角,注重各类别数据、不同要素之间的联系与验证关系。
(2)差异比较视角
差异比较视角是通过不同角度的对比对数据进行分析。如表1所示,通过从教学数据的不同比较视角对学业数据进行对比分析,可以反映数据的基本面貌及其背后的基本问题。其中,以答题情况对比为例,通过答题得分情况对比,可以很容易地诊断不同学生对问题和知识的理解程度,有助于教师对学情的准确判断;通过对比不同题项的得分情况,可以定位试题讲解需求,判断试题讲解的价值;通过对比不同答题方法,可以诊断学生的思维水平,探索不同解法和最佳解法的可能性;通过对比不同答题情况,可以诊断学生的意志品质,估计学生的学科潜力,预判学生的学习能力。
此外,在这些比较视角中,针对不同水平和起点的学校而言,以增值比较的方式开展教学质量评价,可以真实地反映其工作绩效,让其得到公正的对待,从而促进学校间更加公平、更为规范地竞争与合作,也有利于推动不同学校追求特色化发展模式和道路[4]。对学科教学而言,增值比较可以直观地呈现学生每学期的学科发展状况和进步幅度,教师据此可以及时调整教学策略,从而使这个变量最大限度地转变为增量。对学生个体而言,增值比较是一种能够体现公平和绩效的比较视角,能够将学生的发展起点和终点同时纳入评价活动之中,以起点预测终点,以终点来计量超出预期的程度,从更为长期、全面且符合教育规律的视角来评判教育活动的成效与意义。
表1 教学数据的不同比较视角
表2 不同层级数据关注点及利用价值
(3)层级划分视角
层级划分视角是从不同数据利益相关方视角对数据进行分析。不同层级的教育主体,往往只关注对应层面的数据指标,如地区教育主管部门主要关注整体教学质量,校级教学处和年级主任主要关注年级、学科、班级的教学质量,班主任主要关注本班的基本情况,学科教师主要关注本学科的教学质量状况及各班级教学优势和不足,而学生则主要关注自身的学习状况。为了满足不同主体的利益需求,学校也可以制定相应的教学诊断层级指标,重点分析与自身利益切身相关的数据来分别制定应对措施,具体如表2所示。
(4)个性特色视角
个性特色视角是从数据呈现的单独性和奇异性对其进行精细分析。不同学校、班级和性别的学生在不同的学科模块、能力和题型上表现不一样,对应的教学、复习、练习的时间分配、容量、难度等需求也就不一样。教师可通过重点关注不同类别学生的数据情况,精准定位优秀学生、待提高学生和学科短板学生,还可以通过数据识别不同性别、临界状态学生的基本状况,发现其优势和不足,并根据“培优、扶中、补弱”的原则,有针对性地开展后续的分层教学和个性化指导。例如,教师可以关注优等生的“易错点”,提升其细节处理能力;重视中等生的最近发展区,挖掘其潜力;重视后进生的“易得点”,进一步夯实其学习基础,从而使全体学生都能在原有基础上不断进步和提高。此外,通过进一步对群体进行精细划分和个性数据挖掘,教师还可识别定位一些特殊人群,如班主任可协同任课教师进行个体分析,通过总分入围、单科入围、单科小题得失分、单科小题得失分等横向比较数据来了解每位学生的优势与短板学科。此外,教师还可在常规数据分析的基础上,尽量挖掘一些个性特色的数据点,如“掌握较好的”“计算题错率高的”和“重复出现问题的”题目,以及班级总分入围、年段分解目标的正负差情况、各学科贡献度等特色统计项目。通过对这些个性化数据的统计分析,可以深入挖掘教学的薄弱点,并充分吸收既往的教学成功经验,从而实现精准诊断与补救。
图1 精准导向的教学问题诊断程序
依据上述数据观测指标和视角,针对发现的数据突变点,诊断工作可以指出教学问题的大致方位,从教学的角度对其变化特征提出科学合理的解释,并给出具体的诊断原因,这直接决定着后续的教学改进方向和举措。之前,由于缺乏科学合理的诊断理论指导,一线学校在教学诊断的问题指向环节主要采取一种经验沿袭式的做法,如采用试卷分析、卷面分析、错误原因分析和命题分析的形式,召开学业质量分析会和总结会,依据学业分析报告展开成绩分析、经验分享和下一步教学举措研讨。这种问题诊断过程更多呈现的是一种固化的教学常规,缺少严谨规范的诊断程序,导致在实践中,往往因为问题分析过程过于随意和空泛,而使结论抽象且复杂,进而使教学调整和改进工作很难具体落地。另外,如果诊断过程缺乏科学的理论指导,即使数据收集非常全面,也可能导致分析结果因为诊断主体经验的局限性和片面性,而无法呈现数据背后的深层重要信息,从而使教学诊断落入形式审查的巢穴,陷入数字辨别的认识误区。这就需要教学诊断者构建精准导向的问题诊断程序,从感性归因过渡到以理性推理为主导的方式,通过规范的解释性程序,厘清关键问题和主要因素,找准切实合理的教学改进着力点来解决相应问题。为此,本研究在参考一般教学诊断包含的数据分析、问题分析和对策制定等基本流程的基础上,提出如图1所示的精准导向的教学问题诊断程序,并重点就中间诊断的三个环节(虚框部分)予以详细说明。
标准参照主要指依据相应教学标准进行问题识别的过程。教学诊断过程对数据的解读主要采取常模比较和标准比对两种方式,常模的建立往往取决于样本量和代表性,一般依赖于现实中教学数据库的完善程度,因此在现有的教学条件下,一般采用标准比对形式。其中,作为教学实施纲领性文件的新课标,是当前教学实践中最为重要的标准,也是教学诊断的基本依据。基于数据的教学诊断,应在学业考试的基础上,将学生的实际表现、具体测试的内容目标与课程标准规定的要求进行比较,重点关注学生预期的学科核心素养水平,依据课标辨别学生不理解问题的主要原因,参考相关考试说明探索相关问题的解决策略。另外,一线教师往往还会利用课标来制作相应的诊断工具,如双向细目表,通过运用教育统计分析理论与方法,融合学科教师的教学经验和对教学实际的把握能力,对教学质量、学生水平和命题质量进行分析和价值判断,从而为学校教学提供参考依据。再者,针对具体的教学问题诊断还需建立专门的分析标准,如当前各类教学过程中广泛使用的各类观察量表、记录表和评价表,这些特定的教学诊断工具也是后续基于数据进行问题查找的主要依据。
依托标准参照,诊断工作可以进一步对搜集的数据做相应的分类处理。其中,针对一些非量化问题的分类,教师应透视问题背后隐含的学生认知操作过程,尽量保证分类框架完整无遗漏。例如,在数学课程中进行教学问题诊断时,教师如果只是简单地按照卷面结果进行统计,则只能将其分为计算正确和不正确两个类别。但在数学问题求解过程中,试题往往不仅考查学生的运算思维,还涉及问题分类以及方法识别能力。因此,相应的错题原因剖析就可主要归为会分类、计算正确,会分类、计算不正确,不会分类、计算正确和不会分类、计算不正确四个类别。对于相应问题的类别设定,教师需要与教学团队进行深入研讨。与此同时,教师也要引导学生生细心观察,发现自身思维的隐蔽性错误,并挖掘错误背后的深层问题,如表层问题背后存在的深层知识漏洞,进而完善相应的教学问题诊断分类框架。
问题分类之后,就需要进行性质编码,也就是分析影响教学问题的根本性原因,并从程度或层级方面对其进行精细描述,从而达到教学精准施策的目的。影响教学运行规律的因素种类多样、错综复杂,包括资源环境、教学管理,以及学生自身认知和行为状态等。要想在众多的因素及其交互作用关系当中,精准识别和定位影响教学成效的关键因素,既需要深入的归因分析,也需要借助相关认知理论的指导。首先,归因理论认为,教师会调用一个或多个心理模型进行数据感知,每种心理模型都涉及轨迹、稳定性和可控性等维度,并概括了对学生数据呈现问题背后原因的解释。其中,轨迹是指从内部(自我)到外部(某人或某物)的原因探寻学生;稳定性是指个体对原因是持久的还是暂时的认知;而可控性是个体对自我控制结果能力的信念。教师主要使用这些模型来快速理解数据,并为教学决策提供信息[5]。从归因过程来看,教师应同学生一起开展教学反思,强调主观归因,即从自身角度进行积极归因。唯有如此,师生才能找到协同改进教学的动力。另外,认知诊断理论也可以提供一种纵向深入的分析视角,它从认知心理学的角度分析学生在问题解决过程中所采用的知识与技能,并深入探究其内在心理加工过程,充分肯定学生取得的学习成就,揭示存在的学习问题,进而使诊断主体能够就如何改进和优化学习思想、策略、方法及措施等问题达成共识,从而对学生的学习状况做出比较深入的测评和诊断[6]。
教学诊断的终极目标是提出诊改措施并将其付诸实践。但是,由于不同参与主体所站视角和评价理念不同,以经验和直觉作为主要支撑的教学诊断活动在应该改进什么、采取什么改进策略、如何评估改进以及谁负责改进等问题上,一直存在很大的分歧,以至于出现了“诊出多门”“各自为诊”和“一诊百了”的局面,往往不能带来教学的实质性改进。当前,数据虽为教学诊断提供了改进路径,但也并非一用即灵,屡试不爽。为此,在建立精准导向诊断程序的基础上,还需进一步明确教学诊断处方执行的基本原则,即从目的上强调改进、从过程上强调优化、从手段上强调聚集、从策略上强调协同,以确保这一改进机制能够持续有效。
应当明确教学诊断的首要目的是改进,而不是成绩问责和结果比拼,更不是分数。对于教学诊断结果的公布,教学改进措施的落实、教学诊断效果的追踪都需要学校提供配套的策略和方法,营造积极正向的诊断氛围和文化。为达到教学改进的目的,学校既要尊重诊断教师的主体性,促进教师个人理性的发展,同时也要认真听取被诊断师生的观点和意见,营造平等、真实的教学诊断氛围,促使每一次教学诊断活动都成为教师之间思维碰撞、观点交锋以及理念生成的思想盛宴,每一次教学诊断过程都成为诊断教师和被诊断教师共同学习和成长的心路历程,让教师形成积极乐观的诊断理念。
由于诊断数据来源和人们认识的局限性,教学诊断通常无法涵盖教学的全貌。因此,任何诊断结果都有进一步优化的空间,教学诊断流程不应只是单次的线性过程,而是伴随着整个教学过程从阶段性测试到每一个模块教学的多次迭代循环。与此同时,教学诊断应建立诊断跟踪机制,强调连续性,注重教学过程不同阶段的发展和变化情况,突出前后多次诊断效果的对比分析,及时掌握教学过程的运行情况并加以调整。按照这一优化原则,教学诊断应更多地提倡教学的“回环”操作,如对讲评课反馈问题的个别学生再补救、命题改编之后的试卷难度再改进、疑难教学问题的再度寻因等。在教学设计环节,教研团队可以通过“个体初备—集体研讨—个性修改—课后反思”等流程实现教学方案的多重调整。总之,学校通过建立“教学—检测—分析—改进”的教学诊断循环机制,可以进一步帮助教师形成数据驱动的教学优化意识。
数据既是教学诊断的依据,也是实现诊断功能的基础,发挥区校多层级协同共建共享模式,构建各类数据库,通过数据的不断累积形成聚集效应,可以不断凸显数据的反哺功能。例如,对数据库进行深度分析,通过因素关联分析挖掘数据价值,开展教学预测,可以提高教学反思的科学性;利用各类题库分析,形成测试“知识图谱”、总结有效认知规律,可以指导学生学习进展,避免其盲目、机械和重复性学习;依托高质量题库完成知识点组卷(基于教学进度推送该章节下的特定练习题目,确保内容不超纲、不超教学进度)和学情组卷(基于班级、学生学情布置适合不同班级、学生的分层和个性化练习)等多种组卷方式,可以更好地发挥作业的效用;此外,可以构建增值比较数据库以实现快速分析,通过对个体学生成绩的多维比较,全面和科学评价学生的学业进步情况。
除了数据的聚集,还需要多方人员协同,从家、校、社会以及学生自身出发,建立教学问题改进联盟,形成合力诊断模式。为此,学校应建立良好的教学诊断制度和文化,以数据分享和分析作为纽带,以学生为中心,通过全体诊断人员集体会诊、共读报告和专家门诊(借助专家名师的力量)等方式,将数据诊断结果反馈给各个相关主体,通过教学改进的多方联动机制,实现多管齐下和内外同步。例如,浙江地区部分学校通过整合人员队伍,采取诊、研、改三方协同的数据调研和反馈方式,教研团队负责教学调研,评价团队负责学科数据收集,教研员进班听课反馈调研,评价组成员核对数据解读报告,教研员与评价组协同会诊,调研报告和学科数据报告结合反馈,三方力量共研改进措施。这种协同教学诊断方式不仅实现了团队意见的集中协同,凸显了各方人员所长,而且通过机制创新实现了多方数据的相互佐证,不失为一条学校教学诊断变革的切实举措。
基于数据的教学诊断实践,为教学问题的发现由经验化向精准化转变提供了一条切实可行的路线。本研究提出抓住教学质量发展的数据表征,采用精准导向的诊断程序和遵循数据驱动的干预原则的具体行动方案。一线学校可据此构筑以数据观教学、以教学导数据,依数据促改变和凭数据做评估的教学诊断价值生态圈。而随着各类数据在教学领域的不断浸润,如何进一步明晰各类数据驱动的教学变革实际路线,有待学术界与一线教师共同深耕和及时总结。
[1]代天真,李如密.课堂教学诊断:价值、内容及策略[J].全球教育展望,2010,(4):41-43、66.
[2]岳欣云,董宏建.教师教学诊断能力:内涵、价值及提升策略[J].教育理论与实践,2015,(26):3-5.
[3]王焕霞.发展性学生评价:内涵、范式与参照标准[J].山东师范大学学报(人文社会科学版),2017,(1):105-110.
[4]边玉芳,林志红.增值评价:一种绿色升学率理念下的学校评价模式[J].北京师范大学学报(社会科学版),2007,(6):11-18.
[5]Bertrand M, Marsh J A. Teachers’ sensemaking of data and implications for equity[J]. American Educational Research Journal, 2015,(5):861-893.
[6]刘声涛,戴海崎,周骏.新一代测验理论—认知诊断理论的源起与特征[J].心理学探新,2006,(4):73-77.
Data Based Teaching Diagnosis: Data Representation, Problem Orientation and Teaching Prescription
ZHANG Xue-bo1,2LIN Shu-bing3[Corresponding Author]WANG Hong-yuan4
Teaching diagnosis is a process in which teachers check, analyze, feedback and adjust various phenomena in teaching activities to continuously optimize them. Traditional teaching diagnosis activities are easy to fall into the situation of formalization and routinization, and it is difficult to get to the essence of teaching problems. Data provides solid evidence for teaching diagnosis, but there is little research on how to diagnose teaching problems through data analysis, and the corresponding practice lacks in-depth summary. In this regard, the article first combs the diagnosis entrance of teaching problems according to the data representation. Then, according to the problem orientation, we propose a precision oriented diagnostic procedure, and finally summarize the teaching prescription, propose the data driven teaching intervention principle, and try to build an action path between the data presentation and the diagnosis results, in order to provide operational guidance for the data based teaching diagnosis practice.
teaching diagnosis; data driven; diagnostic procedure
G40-057
A
1009—8097(2022)12—0041—08
10.3969/j.issn.1009-8097.2022.12.005
本文为全国教育科学规划一般课题“数据驱动下中小学教师智能教育素养提升路径与机制研究”(项目编号:BCA220207)、2022年华南师范大学哲学社会科学重大培育项目“数据驱动的教学决策理论与实践研究”(项目编号:ZDPY2207)、广东省教育厅重点科研平台“智能教育重点实验室”(项目编号:2020WSYS002)的阶段性研究成果。
张学波,教授,博士,研究方向为数据驱动的教学决策,邮箱为zhangxb@126.com。
2022年7月19日
编辑:小时