朱 哲 何 瑞 楼一丹 付增民 李 伟
当前教育十分关注问题意识的培养,希望提高学习者检索和提取信息、理解数据和信息含义的能力,而不仅仅是记忆知识的能力。 但传统教学更强调对知识的重复记忆, 常通过 “题海战术”,要求学生盲目地重复练习,浪费时间且效率不高。 与此同时,教师受限于时间和精力等因素,无法对每个学生进行个性化的分析与指导,对学习过程缺乏科学的、 理性的分析和有效的反馈,未形成个性化的学生评价报告。 仅靠分数不能反映出学生在解答题目时究竟使用了哪些认知成分或技能, 也很难诊断出学生答错的深层次原因。
目前针对学习诊断的研究,多集中于理论研究[1][2]、开发认知诊断模型[3][4][5][6][7][8][9]和诊断性测试[10][11]等方面,实践性和应用性研究较少,构建完整的智能诊断系统并检测其效果的实验研究则更少。 与此同时,基于认知诊断视角的数学补救教学研究主要关注小学阶段[12][13],对高中阶段的数学[14]诊断补救研究相对较少。
本研究以学习诊断理论为基础,绘制完成科学的专家知识结构图[15],编制与每个知识结点对应的试题, 开发以高中数学知识结构为基础的“智能化教学诊断系统”(adaptive diagnosis and learning system,简称ADLS 系统)。
基于高中数学知识结构建立科学、系统的诊断系统, 对高中学生数学学习进行诊断和评价,可以实现全过程性的教育质量监测。 借助ADLS系统,测评者首先可以通过学生上机答题操作情况的反馈,借助数据的客观性对学生错误原因进行准确判断, 从而分析学习者知识结构的状态;其次,将学习者的知识结构与专家知识结构图进行比较分析,确定学生的知识点有何错漏及其错误原因,判断学生的知识结构,为学生数学学习提供个性化的补救方案,达到“因材施测”“因错施救”“因材施教”的目的。
ADLS 系统建构以概念图理论、 知识空间理论和认知诊断理论等为指导,将传统的“因材施教”内涵扩充出“因材施测”和“因错施救”,以这“三因”原则为系统构建目标,建立科学、系统、完整的诊断系统,对高中学生数学学习进行适性诊断和评价。
学习者在进行系统操作时的具体步骤为“学习—检测—诊断分析(发现问题)—干预(补救教学)—目标达成—效果评价”。 当目标评估未达标时,会进入二次“检测—诊断分析—干预”,这一循环可以一直进行,直至测验结果达到目标(如图1 所示)。 因此,学习者在完整的学习过程中,能够收到更及时和针对性更强的学习反馈,并得到个性化的学习指导。
图1 系统流程图
图2 系统模块设计图
ADLS 系统主要由课前准备模块、 测验模块和学习诊断模块构成(如图2 所示)。 课前准备模块涵盖相关学习资源的准备,包括专家结构图的绘制、编制试题形成题库;测验模块主要实现抽题组卷和试题的推送与测试;学习诊断模块主要是对学习者的学习数据进行分析诊断,并给出相应的补救教学方案。
(1)准备模块
①确立知识点,明确知识点关系,绘制知识结构图
ADLS 系统根据 《普通高中数学课程标准(2017 年版)》、 浙江省普通高中学科教学指导意见、浙江数学高考考试说明及浙江省普通高中数学教科书,来绘制各个章节的知识结构图,并对高中数学结构体系逐年更新。 结构图划分保证科学规范、 符合实际, 确保知识结构尽量完整、清晰、准确。ADLS 系统建立了完整的高中数学结构体系,包括96 个专家知识结构图和960 个节点。
在确定知识节点时,笔者主要应用了概念图理论。 概念图以节点表示概念,以附加说明的联结线段指出概念间的关系,两个概念之间以适当的联结词标识,形成有意义的命题。[16]在构建概念图的过程中,研究者需要明确这些概念之间的关联。 概念图可以反映出学生的知识结构,概念图中完整且详细的部分说明学生在这方面的知识掌握情况是比较好的,残缺且粗略的部分则是补救教学需要关注的重点。 借助概念图中的知识节点, 教师可以了解学习者学习过程中的得失情况, 从而有效地帮助学习者发展和完善知识结构。 以“集合”内容为例,笔者梳理了这一单元(节)的知识点,形成了图3 所示的完整的知识结构图,后续的诊断环节就是要寻找学生在这一知识结构中残缺与粗略的部分。
②编制试题,形成试题库
ADLS 系统根据知识点和知识结构图编制试题, 试题尽可能地表达简洁、规范和准确,对准知识点。 每个知识点对应若干道试题, 同时每道试题也会对应若干个知识点, 每个试题的错误选项均对应错误原因。 研究者在设计ADLS 系统时对同一单元 (知识结构)中的错误原因进行充分的归类、编码,这是为了将高中数学试题错误类型划分得尽量清晰、全面。 仍以“集合”为例,试卷10 道题中知识点、 试题及错误原因之间的关系可用图4 来示意。
ADLS 系统中的高中数学知识结构试题库包括12,000 道试题。 测试卷包括标准卷、质优卷和拓展卷,共22 章、96 个单元。 与此同时,ADLS 系统还建立了数学习题解答错误类型的常模表,包括概念、思维和运算等,共计142 种错误类型。
需要说明的是,ADLS 系统测试卷以选择题的形式呈现。 选择题是标准化考试的重要题型,区分程度与主观题相当,设置高质量的选择题也能测试学生高层次的数学技巧与能力。 填空题、简答题、证明题均可转换为选择题,只要找到关键的步骤和思路,一道大题也可拆分为几道选择题。 作为诊断性测试,设置选择题便于机器阅卷、评分,也可以直接检测学生学习的达成度和错误点。
(2)测验模块
ADLS 系统在测验模块设计中主要运用了知识空间理论。[17]知识空间理论是一种描述学习者知识状态、测试学习者知识水平、了解学习者知识空间的心理学理论。 该理论的基本思想是通过学习者对知识领域内问题的应答,来反映其对该领域相应知识的掌握情况。 知识空间理论通过分析学生在一系列有关概念问题上的解答情况,来确定学生学习不同概念时的瓶颈。 ADLS 系统通过一定的算法和程序, 向学生推送最少的个性化、自适性的试题,以高效、精准诊断出存在的问题。
图3 “ 集合”知识结构图
图4 知识点、测试题、错误原因的对应
测验模块分为初次测验和再次测验。初次测验从试题库抽题、组卷,对学生施测。 由机器自动生成,呈现给学生。 初次测验卷试题尽可能覆盖本单元所有或大部分知识点, 如果题量较少,应做到知识点不重复不遗漏。 也就是说,系统并非完全随机命题,而是根据算法选用尽可能少的试题对学生进行测试,找到学生存在的问题,以避免学生盲目做题,破除“题海战术”。
在学习者通过一次学习或者多次学习后,ADLS 系统积累了一定的相关学习数据。 在数据分析的基础上,系统可根据学习者知识结构的诊断结果,基于学习者存在的问题,对他们提供再次测试乃至多次测试。
(3)诊断模块
ADLS 系统主要运用认知诊断理论来设计诊断模块。 认知诊断测验由认知心理学和心理测量学专家事先界定完成测验任务所需的认知属性,以及它们之间的层级结构,然后根据矩阵理论编制测验。[18]认知诊断的目标是精确找到学习者的知识漏洞。 传统测验以测验分数来衡量学习者知识掌握的百分比, 评定学习水平, 但显然分数相同的两位学习者, 其知识结构可能是完全不同的。 要了解学习者认知结构和认知加工过程方面的情况, 需要借助认知诊断测验技术。ADLS 系统试题库的建设在课程标准的基础上,引入诊断性测试, 以期能够触及学生学习过程中的内在知识结构。ADLS 系统的诊断模块主要包括两大内容。
①对学生答题情况进行分析、诊断,形成诊断报告
ADLS 系统对学生提交的答案进行评判,并自动生成诊断报告。 除了学生个体诊断报告,依据需要,系统还可生成班级、学校乃至所在地区的诊断报告。 诊断报告包括以下内容:
——基本情况。完成测试的时间和得分等信息。
——知识点达成度雷达图。 由图5 可知:该生完全掌握了知识点7 和10;但知识点8 和9 是缺失的,存在非常大的问题,且知识点9 的问题由知识点8 引起。 对照图3 完整的知识结构图,不难发现,知识点8 的缺失,主要是由于知识点6的不扎实引起的;知识点1 的不扎实则会引起知识点3 的缺失,最终引发知识点6、8 和9 的学习困难。 由此可知,知识点1、3 和6 正是该生在知识结构图中有待掌握与加强的知识点。 这个推理过程ADLS 系统会自动完成, 诊断报告会呈现具体的、需要后期补救的知识点。
图5 某生的知识点达成度雷达图
图6 某生的错误原因雷达图
——错误原因雷达图。 由图6 可知,学生所犯错误主要集中于错误类型3 和16,也涉及错误类型15 和17。在后期补救教学时,需向学生指出错误及其原因,避免再次出现。 当针对个体和群体的两个雷达图重叠在一起,更能看出个体学习情况与班级平均情况的对比。
——学习建议。 根据以上信息,列出若干条补救建议。
——列出补救视频。 既可以数字、字母编码形式出现,学生去学习网站查找视频;也可呈现二维码,学生用手机扫描后观看。
——出示若干书面例题,供学生看完视频后自学。
——出示若干练习题(附有参考答案),供学生学习完视频和书面例题后自我练习和测试。
——提醒下一次测试本单元(主题)的时间。
②补救教学
针对未达成的知识点和错误原因,对学生进行有针对性的补救教学。 可一对一现场辅导,也可事先录制有针对性的微视频,供学生远程学习或网上学习。 完成补救教学后,返回测试模块,分析学习者学习情况, 判断其是否已达到学习目标。 如果目标达成,本学习任务完成;如果目标还未达成,则对学生再次进行补救教学,重新返回测试模块,循环直至达成目标。
图7 全班学生知识点通过率雷达图
2016 年,上海市、浙江省9 所实验学校的20名教师使用了ADLS 系统;2017 年扩大到20 所实验学校,均取得了较好的效果;至今,超过100所实验学校使用了该系统。
下文以浙江省永康市第一中学高一 (10)班为例来说明ADLS 系统应用情况及效果。
作为实验班的高一(10)班在多次考试中成绩均处于中等水平,并且在之前的周测、月考中也没有明显进步。
教师针对实验班学生学习成绩偏低、自觉性不高、学习能力太弱等情况,对学生进行一周一次的诊断检测。 检测内容为已学过的单元知识。每周进行检测不仅可以帮助学生长期养成良好的学习习惯, 也可以培养学生的学习力和自觉力。
ADLS 诊断系统以曲线图、 雷达图和文字等形式形成可视化、个性化评价诊断报告反馈给教师。 教师可以参考班级诊断报告进行集体补救教学。 以“集合的概念”单元为例,本单元设有18 个知识点,共36 道题,总分为100 分。 实验班共有47 人,参与该单元测试的有44 人。测试结果是平均80.87 分,平均答对题数29.11 题,平均作答时长为10 分56 秒。 检测报告提供了本班学生单元成绩分布图、 知识节点分析以及知识点通过率(如图7), 教师可了解到本班学生整体的学习状况以及薄弱知识点。
根据图7 的雷达图,教师可以清楚地看到学生每个知识点的掌握程度,从而对全班未掌握的知识点和相应测试题做进一步讲解,实施全体辅导、精准教学。 例如:“掌握有限集合的子集系”和“理解集合的含义” 这两个知识点学生通过率大约为25%,这是重点需要补救的知识点;而“理解空集及其符号含义”“能理解新定义的集合”和“正确解决两个不等式集合间的包含关系 (包括空集)问题”这3 个知识点,学生通过率均低于70%,也需要教师再做讲解。
除了了解学生知识点的掌握程度,教师还可根据图8 了解全班学生的错误类型,从而有针对性地训练学生各个方面的数学能力。 本单元“集合的概念”所涉及的错误类型主要有审题、记忆、运算、思维这四方面的问题。 特别值得注意的是,学生在“思维—不会学习新知识”这部分内容错误率较高,达到了30%。 系统所给的补习路径为:能理解新定义的集合、理解集合的定义。 具体教学时,教师可对学生进行知识回顾,强化学生对知识的记忆;注重一题多解的讲解,培养学生数学思维能力和发散思维;要求学生审题时注意勾画重点词,提高学习的专注度。
图8 全班错误类型雷达图
集体辅导之外,教师还可根据学生个人诊断报告进行因材施教,进行一对一辅导。 在个别辅导时, 教师应对不同水平的学生提出不同的要求。 对测试得分超过85 分的学生,先夯实基础知识,再攻克疑难问题;对未达85 分的学生,先理解教材例题,再加强基础训练。
运用ADLS 系统诊断和指导实验班学生教学后,高一平行班全体学生进行了期末考试。 笔者运用SPSS 统计软件, 将实验班与对照班学生期中考试和期末考试成绩进一步进行数据处理、分析,考查实验班学生的成绩是否有显著提高。
以11 月份期中考试作为前测,之后两个月,该班进行了12 次智能诊断测试, 并根据诊断报告有针对性地补救教学;再以1 月份期末考试作为后测。 结果显示,前测时班级平均分109.5 分,10 个平行班平均分为109.8 分,该班排名第6;后测时班级平均分100.7 分,10 个平行班平均分为93.2 分,该班排名第1。
由于全年级学生的期中和期末考试成绩均呈正态分布,因而,笔者将全年级学生的期中和期末考试成绩标准化,然后比较每个班学生在年级这个群体中的标准分均值和标准差,从而分析出各班级学生的进步(退步)幅度。
图9 是各班级学生标准分数分布的箱型图(纵坐标是标准分数),每个班级都有期中(左边/小黑点)和期末(右边/空白)两个箱子,箱子中间的黑线代表班级学生成绩的整体水平 (第50 位百分数/平均分), 箱子的长度代表班级学生成绩的离散程度, 箱子下方的小圆圈表示单个个体值,星号代表这个值偏离本群体水平太远了。 从图9 可以看出:10 班的期中考试成绩在年级处于中等水平(班级平均标准分=-0.0105),但期末考试成绩(班级平均标准分=0.4141)遥遥领先于其他班级, 从期中到期末,10 班学生的成绩有了大幅度的提升; 从分数的离散程度来说,10 班学生在期末时的波动范围也较小,分数极低学生的个数也最少(只有1 个)。 相比较而言,成绩同样取得进步的有2 班、4 班, 但其进步幅度都小于10班, 而其他班级在某种程度上都存在退步现象,尤其是8 班,退步幅度最大,应引起重视。 这说明ADLS 系统在学生复习过程中起到了关键作用,能有效提高学生学习数学的效果。
图9 各班级学生标准分数的箱型图
基于科学的理论、成熟的技术,以及在具体教学中的实践应用经验,ADLS 系统呈现出以下三点优势。
(1)及时形成反馈,能提高学生的学习自由度
使用ADLS 系统,学习者可以在测试结束后更快速地得到反馈。 传统课堂里教师很难通过考试成绩对每一个学生的知识结构进行细致的诊断,也较难给出差异化、帮助性的意见。 基于及时的反馈,每个学生能够在测试完成后快速了解自己的学习情况,并且得到相应的补救措施。 这样的有针对性的辅助学习,使得学生不必局限在学校中,通过平台上教师预备的学习资源包, 也可以随时随地,按照自己的意愿,更自由地学习。
(2)对学生学习进行有效干预,可提高学生学习效率
测试完成后,学生能够及时得到有针对性的补救措施。 在进行补救学习后,学生可再次通过测试检测自己的学习情况,并且同样能得到及时的反馈。 这个循环过程,不同于传统的“题海战术”, 学生每一次的学习并不只是上一次的单纯重复,而是有意义地对个人知识结构的修补和完善。 ADLS 系统能够对学生的学习展开有效干预,通过更为精准的学习过程,提高学生学习效率。
(3)通过智能诊断系统辅助教学,能提高教师教学效率
除了为学生诊断和反馈,ADLS 系统生成的诊断报告同样可以给教师教学提供帮助。 诊断报告大幅度地节省了教师人工分析学生测试情况的时间。 通过生成的知识点达成情况和错误原因分析雷达图,教师可以清晰了解某一学生学习的具体问题。 对大多数学生都存在的问题,教师可根据知识结构分析相关知识点关联,在备课过程中确定教学内容的重点和难点知识。 对少数学生的错误则可以通过诊断系统或者课后辅导的方式进行修补,通过平台辅助教学帮助教师提高教学效率。
笔者在实践中发现,ADLS 系统同时存在一些未能解决的问题,需要在后续研究中进一步探索。
(1)本研究的设想是理想化的,也在尽力模拟人类的学习过程,但是许多问题在认知心理学领域尚未得到解决,比如数学解题中的顿悟和灵感(人类思考数学的心理机制)。 人类大脑的复杂程度使得学习过程的完美认识还未能实现,因此,要从认知过程的角度深入探讨学生建构知识网络的过程,并且帮助学生建构起正确的数学知识结构和网络,还存在一定的难度。
(2)本研究试题库中只有选择题。 从系统设计和数据分析的角度来看,选择题在施测与分析中更为明确和便利,但也存在一定的问题。 例如,在完成选择题时经常使用的“特殊值法”可能与测评的目的、初衷不一致,因为“特殊值法”仅是对学生运算能力的检测,不强调学生的逻辑结构和知识能力,并不能够反映学生的知识建构水平和知识结构完整度。 这种情况下,如何诊断学习者的知识状态呢? 再者,选择题包含正确答案的若干选项,学生可以随机猜测做出选择,并有可能回答正确。 本系统还需要进一步建立防猜机制,并探索实践多选题、填空题,甚至证明题、解答题的智能分析功能。
(3)无边界的学习环境固然能够使学习更加便利, 但基于网络的在线学习相对缺乏文化氛围,缺少了人与人之间的情感交流。 学生在完成检测、诊断时,也需要有安全的心理环境。 因此,ADLS 系统开发的下一个目标就是实现更为人性化的人机互动,如使用温和的语言,适时鼓励、表扬和激励学生等。
(4)ADLS 系统要保持动态的生长,就需要根据课标、教科书的更新对题库进行更新,以更好地发挥测试的诊断效果。 学生的学习是从“懂”到“会”的转化过程。 因此,对学生进行诊断时可用新题,在进行补救教学时可用旧题。 新题和旧题,所含知识点相同,这就涉及知识的“迁移”,教师应对学生的融会贯通等知识应用能力加强考查。
(5)最后,找到教师经验和测量技术之间合理的结合点也是一大难题。 测量技术的客观性与教师的经验性不应该是相互独立甚至对立的两个方面, 测量技术应该为辅助教师教学任务服务。 但在经验支持下,对于学生的错误,教师一眼可看出,这种情况下测评系统需要实现怎么样的辅助功能呢? 有的资深教师信息技术素养方面可能有待完善, 对测评诊断新知识接受度不高,这在一定程度上会影响测评系统功能性的发挥。 由此可见,如何加强教师培训,实现人机的智慧交互,应该成为教师职业发展重要的培训内容。