基于人工智能技术的课堂教学质量评价研究

2024-07-01 01:15:40张小恒龚猷龙
科技资讯 2024年8期
关键词:教学质量评价机器学习深度学习

张小恒 龚猷龙

摘要:在评估教学效果及提升教学质量方面,对课堂教学质量进行科学有效评价具有极其重要的意义。传统评价方法存在问卷打分评价主观性强,评教自然语言信息难以充分利用,客观查课数据指标难以充分挖掘三方面问题。本文提出了基于深度学习和机器学习的人工智能技术对课堂教学质量进行有效评价,一方面,深度学习可以将大量难以处理的自然语言评教信息进行有效识别并转化成量化指标;另一方面,机器学习技术可以对大量客观数据建立人工智能模型,从而解决量化评价问题。最后该方法在教学评价实践应用中得到验证,结果表明其具有可行性及有效性。

关键词:教学质量评价  人工智能  深度学习  机器学习

中图分类号:G420 文献标识码:A 文章编号:

Research on Classroom Teaching Quality Evaluation Based on Artificial Intelligence Technology

ZHANG Xiaoheng*  GONG Youlong

(Chongqing Technology and Business Institute, Chongqing, 400052 China)

Abstract: The scientific and effective evaluation of classroom teaching quality is of great significance for assessing teaching outcomes and improving teaching quality. Traditional evaluation methods face three problems: the strong subjectivity of questionnaire scoring evaluation, difficulties in fully leveraging the natural language information of teaching assessment, and difficulties in full mining the objective data indicators of course inspection. This paper proposes artificial intelligence technology based on deep learning and machine learning to effectively evaluate classroom teaching quality. On one hand, deep learning can effectively identify a large amount of the hard natural language information of teaching assessment and transform it into quantifiable indicators. On the other hand, machine learning technology can establish the artificial intelligence model of a large amount of objective data, so as as address the problem of quantitative evaluation. Finally, the method is validated in the practical application of educational evaluation, and results demonstrate its feasibility and effectiveness.

Key Words: Teaching quality evaluation; Artificial intelligence; Deep learning; Machine learning

教学质量是反映教学过程及其效果是否符合规定要求的所有特性和特征。课堂教学是教师传授知识、引导学习、解答疑惑的重要渠道,也是学生获取知识、信息和解决问题的主要途径,是教学工作的核心环节。因此,对教师在课堂教学中的组织与控制、教学内容、方法、手段以及教学目标的科学有效评估,都是评价课堂教学质量的重要指标。

对课堂教学质量进行科学有效的评价可通过了解教师教学状态、教学效果及学生学习效果,对教与学的活动和效果进行价值上的判断实现。一方面教师能够通过课堂教学质量评价更好地分析教学过程中出现的问题,总结课堂教学经验,达成对课堂教学规律的共识,从而改进教学,提升课堂教学质量;另一方面,教学管理部门能够通过评价了解教学活动的现状和水准,针对相关问题及时采取措施,正确调整教学活动运行方向。因此,课堂教学质量评价研究对提升教学质量、促进教师专业成长、支持学生学习效果、辅助教学管理决策,以及促进教育研究与改革都具有十分重要的意义。

1课堂教学质量评价研究的现状

第一个公开出版的用于收集学生评估教学信息的等级量表是柏杜教学等级评定量表(Purdue Rating Scale of Instruction, 1926)。课堂教学质量评价一般采用学生、专家、领导、同事及教师自身等多元评估主体。国内外相关研究成果包含评价方式及系统、评价内容及方法、评价涉及的人工智能技术3个方面。

1.1 评价方式及系统

美国与英国课堂教学质量评价的发展经历了3个阶段:初步形成阶段、惩罚性评价阶段以及发展性评价阶段[1]。到了20世纪70年代,评价内容主要包含教学态度、教学手段等多个方面。我国在20世纪70年代才开始高等院校课堂教学质量评价的研究[2]。但绝大多数高校还停留在惩罚性评价阶段。随着以学生为中心的教育理念的提出,发展性评价日益引起研究者重视。

就评教系统而言,国内大致经历如下过程:最初采用人工统计方式,但耗时耗力;初步采用评教软件系统对评教数据进行管理,但数据库相对较小[3];然后是基于客户/服务器及浏览器/服务器结构开发的评教系统。目前随着大数据等技术的兴起,对课堂学习状况、存在的问题及学生取得的成果进行过程性分析评价成为新的研究热点[4]。

1.2 评价内容及方法

美国是从教师教学表现、学生课堂感受、学生知识理解程度等角度出发完成指标体系的构建[5]。目前,国内高校的课堂教学质量评价指标基本包含教学内容、教学方法、教学态度和教学效果等一级指标和若干细化的二级指标[6]。具体指标一般由高校管理者自行确定。

目前课堂教学质量评价方法主要采用指标赋权法。该方法分为主观赋权法和客观赋权法[7],评教领域较多采用专家调查法和层次分析法[8-9],为平衡主客观因素权重差异,近年来有学者提出基于模糊算法、人工神经网络、灰色关联分析的主客观结合赋权算法[10-13],以及为增强评价方法适用性提出的组合评价方法[14]。

1.3 深度学习和机器学习技术

基于深度学习技术的自然语言处理技术(Natural Language Processing, NLP)在新闻分类、情感分析、自动翻译、主题发现以及知识图谱多个领域已有广泛应用[15]。由于评教者的评教语言文字信息中含有其主观感受充分信息,适合于情感分析,使用基于深度学习的NLP技术处理该类信息完全可行。

机器学习能通过计算机系统学习和自动化推理,模拟实现人类学习行为获取新知识新技能,实现模式识别、预测和决策[16]。用于处理分析课堂教学质量评价数据完全可行。

2现有研究存在的问题

2.1 问卷打分法主观性强

现有课堂教学质量评价普遍采用问卷收集形式,对教师给出评价等级或分数,虽然能够以扩大问卷规模和剔除个别极端问卷的方式使最终评价尽可能公平真实,但评价者主观因素强烈。评价者个性偏好、敷衍及评价尺度不一致导致的评价失实情况始终存在,如同事评价一般偏向于忽视明显问题,学生评价随意性强,不清楚具体标准等。

2.2 评教文字信息难以利用

高校评教问卷中除打分部分,还包含评教者的语言文字叙述评价,这部分评教主体以学生为主,全部采用人工阅读文字内容提取关键信息实施困难,评教文字信息仅作为参考而无法作为实际评价依据。

2.3 客观查课数据指标难以挖掘

查课数据指标只能间接反映课堂教学质量。如何从众多查课指标中挖掘出体现课堂质量的内在因素,如何建立指标与课堂教学质量的准确关联映像依靠传统经验很难办到。机器学习/深度学习相关技术具有从数据中发现规律,建立隐含关联的能力,使查课数据指标充分挖掘成为可能。

3基于人工智能技术的课堂教学质量评价

3.1 研究思路

(1)评教文字信息要进行语言情感色彩的识别才能转化为可利用的评教依据,基于NLP深度学习的情感分析技术应用已经较为成熟,能够自动化识别文本中的情感倾向或情绪表达。情感色彩可以分为积极、消极和中性3种基本类别,可对应到教师评价的正面、负面和中性。因此通过建立自然语言深度学习评价模型可以实现3种评价类别的正确分类识别。

(2)查课数据一般为到课率,上课睡觉、打游戏,看电视剧、玩手机的人数等客观指标,以往经验能够得到这些指标与课堂质量的定性关联,但定量评价几乎无法获得。机器学习技术通过构建模型可以学习到查课数据指标与教学质量的内在量化映射关系,从而实现客观准确评价。

3.2 课堂教学质量评价具体方法

基于人工智能技术的课堂教学质量评价具体方法如图1所示。

如图1所示,本项目实施路径分两步,第一步训练评价模型,第二步导入训练好的评价模型参数并进行测试。

3.2.1评价模型训练

(1)调研收集传统课堂教学评价多类型指标。

(2)筛选主观指标和客观指标。主观指标包括问卷打分和评教文字信息,客观指标包括查课数据如到课率,睡觉、打游戏、看电视剧、玩手机人数等。

(3)基于深度学习技术和机器学习技术分别构建主观评价模型和客观评价模型。

(4)将主观评价模型和客观评价模型进行融合构建综合评价模型。

3.2.2测试过程

(1)收集问卷打分和评教文字信息等主观指标数据以及客观查课数据。

(2)将主观指标及客观指标分别输入对应的评价模型得到输出进行打分融合。

(3)将主客观指标共同输入综合评价模型得到输出打分。

在训练测试过程中通过相关可视化技术增强,模型数据可懂度。

3.2.3主观指标模型训练过程

主观指标模型训练步骤如图2所示。

(1)对课堂教学质量主观评价指标进行数据清洗、标准化、规范化、打标签等操作并作为数据输入。

(2)基于NLP深度学习技术构建模型,首先采用jieba和word2vec工具进行预处理,完成分词和词向量转换,然后构建长短期记忆网络(LSTM)模型。

(3)不断迭代训练直至训练误差达到要求。

3.2.4客观指标模型训练过程

客观指标模型训练步骤如图3所示。

(1)筛选课堂教学质量客观评价指标数据。

(2)进行数据清洗、标准化、规范化并打上标签。

(3)基于机器学习(KNN、SVM及RF)构建模型。

(4)不断迭代训练直至训练误差达到要求。

4实践数据分析

4.1评教信息NLP分析预测

举行学生代表座谈会,相关教师讲解学院召开座谈会的目的与意义并鼓励各位小代表积极发言,按序依次发言,要求携带发言稿,言语简洁,表达准确清晰,如课程问题请指出教师、课程具体信息,每人3~5min,安排对实训任务单的问卷的发放与填写、回收工作。如表1所示,部分班级学生代表发言内容片段如下,其中教师姓名由特殊编号取代。将评价输入图4自然语言处理模型中,得到的情感分析结果与人工分析结果相同,说明NLP情感分析数据挖掘模型具备很高的准确性,能够完成对学生评价的自动情感分析。

如图4所示,学生访谈数据情感分析模型训练测试流程图。搭建jupyter notebook环境,通过导入NLP相关模型库,设置模型参数,加载数据,分词,word2vec模型训练,设定Keras嵌入层,训练LSTM模型,并基于该模型预测完成情感分析。

如图5所示,将学生评价“XX老师上C语言程序设计B,上课方式有趣,每堂课都考勤,我们做到了全勤”输入模型进行测试,得到jupyter交互输出测试结果“---正面评价”,说明NLP评价能够将语言信息转化为可靠的标签信息。

4.2查课数据机器学习预测

如表2所示某专业班级查课数据片段,首先需要对查课数据标签向量化,转化之后具体表示如下。课程1:a1=[1.0,0.05,0,0,0];课程2:a2=[1.0,0,0,0,0];课程3:a3=[0.968,0,0.1,0,0];课程4:a4=[1.0,0.03,0,0,0];课程5:a5=[1.0,0,0,0,0.17]。评教等级需要上课教师和班级学生代表对其进行主观打分,表2已经给出了主观感受等级。

选用支撑向量机(SVR)作为机器学习拟合器,将a1、a2、a3、a5作为训练数据,a4作为测试数据。在matlab平台调用支撑向量机libsvm库做实验,svmtain函数训练,svmpredict函数预测得到a4=3.0023,通过取整函数处理后为3,可见预测结果与课程4的主观评教等级是一致的,说明基于机器学习算法进行教学质量评估是可行的。

5 结语

长期以来如何客观精准对课堂教学进行有效评估是教学评价中亟待解决的问题。传统的学生评价,同行评价等打分评价方式存在很大主观性及参考标准不统一的问题,大量的学生评教留言信息只作为辅助的参考信息而无法被充分利用,对学生学习状态的监控信息虽是客观的,但这些数据难以找到与教师教学质量的有效合理关联性,为了解决上述弊端,本文提出基于“NLP+机器学习”的课堂教学评价方法,通过自然语言处理技术解决学生评教留言信息难以充分利用的问题,通过机器学习建立学生学习状态监控信息与教学质量的关联性,最终实践证明上述方法是有效可行的。目前由于数据有限模型评价精准性、可靠性还有待提高,下一步工作需要收集大量的课堂数据及评教信息,从而训练更加稳定、泛化性更强的模型。

参考文献

[1]冼晓丹.新一轮审核评估背景下地方院校教学质量评价体系的探索与实践[J].现代职业教育,2023(27):69-72.

[2]刘志军,徐彬.我国课堂教学评价研究40年:回顾与展望[J].课程.教材.教法,2018,38(7):12-20.

[3]蔡敏,刘丽丽.美国特拉华州教师评价系统及启示[J].教育测量与评价,2018(10):34-39

[4]马星,王楠.基于大数据的高校教学质量评价体系构建[J].清华大学教育研究,2018,39(2):38-43

[5]王玉.20世纪80年代以来英美高等教育教学改革研究[J].中国高等教育评估,2016,27(2):73-78.

[6]燕姣云,安俊丽,孙国红.课堂教学质量评价指标体系重构[J].中国大学教学,2023(12):74-78,91.

[7] WU Z B, ZHONG L. Weight determination for MAGDM with linguistic information based on IT2 fuzzy sets[C]//2016 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE), Vancouver, BC, Canada, 2016: 880-887.

[8]周艳,朱广.高职院校差异化教学评价指标的构建研究[J].现代商贸工业,2023,45(2):106-109.

[9]梁洁.论模糊层次分析法在中职教学质量评价中的应用[J].科技风,2023(13):95-97.

[10]吕昳苗.混合式教学评价指标体系的构建与应用[J].创新创业理论研究与实践,2023,6(9):64-67.

[11]秦曼,董海军.高校体育教师效能评价指标体系研究[J].首都体育学院学报,2018,30(5):432-439.

[12]卢宇,陈锦莹,谢静,等.基于LMBP算法的在线学习评价模式研究[J].中国远程教育,2016(3):28-32,80.

[13] Kuang S Q, Yang D X, Tao J Y, et al.evaluation of experimental teaching quality based on multi-level grey relational analysis[C]//2013 Third International Conference on Intelligent System Design and Engineering Applications, Hong Kong, China, 2013: 720-723.

[14]高峰,刘滨.地方高校生产实习教学效果灰色关联-层次法综合评价[J].实验室研究与探索,2016,35(8):224-227+295.

[15] SAFARI F, CHALECHALE AssssEmotion and personality analysis and detection using natural language processing, advances, challenges and future scope[J].Artificial Intelligence Review, 2023, 56: 3273-3297.

[16] WERNICK M, YANG  Y, BRANKOV  J, et al.. Machine Learning in Medical Imaging[J]. IEEE Signal Processing Magazine, 2010,27(4):25–38.

猜你喜欢
教学质量评价机器学习深度学习
基于数据挖掘的高职教学质量监控研究
青年时代(2016年21期)2017-01-04 17:11:17
MOOC与翻转课堂融合的深度学习场域建构
基于机器学习的图像特征提取技术在图像版权保护中的应用
大数据技术在反恐怖主义中的应用展望
基于网络搜索数据的平遥旅游客流量预测分析
时代金融(2016年27期)2016-11-25 17:51:36
前缀字母为特征在维吾尔语文本情感分类中的研究
科教导刊(2016年26期)2016-11-15 20:19:33
深度学习算法应用于岩石图像处理的可行性研究
软件导刊(2016年9期)2016-11-07 22:20:49
基于深度卷积网络的人脸年龄分析算法与实现
软件工程(2016年8期)2016-10-25 15:47:34
双语教学质量评价与管理研究
基于支持向量机的金融数据分析研究