“数据挖掘在高职教学质量评价体系构建中的研究与应用”成果报告

近年来大多数职业院校基本建立了教学质量评价体系，但缺乏系统性统计分析，更缺乏对数据库中的大量信息进行挖掘和深层次的利用。该课题通过实地调查走访国内部分高职院校，了解其教育教学情况和质量管理现状，走访与其合作的相关企业，建立数据库，运用多算法数据挖掘技术，进行多层次、多角度的分析，探索出一套有利用价值的高职教学质量标准，并设计开发一套符合学院实际需求的实现系统维护、用户管理、基础信息管理、评价管理等功能的管理系统。

由山西药科职业学院贾文雅主持完成的全国教育科学“十三五”规划教育部青年课题“数据挖掘在高职教学质量评价体系构建中的研究与应用”(课题批准号:ЕСА160412)，日前通过了全国教育科学规划领导小组办公室的结题鉴定，现将成果报告如下。

一、内容与方法

（一）研究内容

通过文献检索和实地调研，课题组发现近年来大多数职业院校基本建立了教学质量评价体系，且具备了检索查询等初级功能，但缺乏系统性统计分析，更缺乏对数据库中的大量信息进行挖掘和深层次的利用。如何科学地从大量数据中挖掘有利于教学质量评价的信息？如何对数据进行关联分析？如何将分析结果反馈于教学，促进教学质量的提高？都是值得思考的问题。因此，课题组多次实地调查走访国内部分高职院校，了解其教育教学情况和质量管理现状，走访与其合作的相关企业，调研过程中采集了大量的数据（主要包括专业质量、理论实践教学质量、班级整体教学过程质量、学校整体教学质量的评价、企业对实习生的考核评价、毕业生对学院的评价）。将所采集到的数据建立数据库，运用多算法数据挖掘技术，进行多层次、多角度的分析，探索出一套有利用价值的高职教学质量标准，并设计开发一套符合学院实际需求的管理系统，该系统将实现系统维护、用户管理、基础信息管理、评价管理等功能。

1.将数据挖掘技术顺利迁移、运用到教学质量评价体系的构建中

采用调查问卷的方式，一是从培养目标、生源质量、“双师型”师资队伍、课程体系、教学模式、教学方法、实践教学、教学管理等共性的影响因子展开高职院校教学质量现状的调查研究；二是针对目前高职校企合作过程中存在的学校和企业一头热一头冷的现象，以医药类企业为例，对企业参与职业教育的现状进行调查。找出影响高职教学质量发展瓶颈的主要原因，为教学质量评价体系的构建奠定基础。主要做法如下。

第一，数据准备。实地调查走访国内部分高职院校，了解其教育教学情况和质量管理现状，走访与其合作的相关企业，获得大量数据，建立对专业设置评价、理论及实践教学质量评价、班级整体教学过程质量评价、学校整体教学质量的评价、企业对实习生的考核评价等，然后从相应的源数据中提取相关数据，并对数据进行集成，将多个数据源中提取的数据存放在统一的数据仓库中。

第二，数据选择。数据挖掘中的有些数据对挖掘任务是没有意义的，而且多余的数据还可能给数据挖掘有负面影响。针对该课题，数据挖掘人员在教育领域专家的悉心指导下，从经过数据集成的数据仓库中选择出与教学质量评价体系相关的数据集合，排除无关数据，选择有用的数据信息。比如对专业质量的数据评价主要选择专业设置和专业培养目标、课程体系和课程结构、科目课程、教学环节、职业关键能力与素质培养、教学环境、产学研合作、师资队伍、学生素质、毕业生就业等十个方面选择数据。

第三，数据预处理。数据预处理是数据挖掘过程中一个很重要的步骤。主要是对前一步骤进行的数据进行再加工，消除噪声、消除重复记录、转换数据类型、检查数据的完整性和数据的一致性等，提高数据挖掘对象的质量。该课题将针对数据选择的情况进行数据与处理，为下一个步骤的顺利进行做好铺垫。

第四，数据挖掘算法设计。数据挖掘是整个数据挖掘工作的核心步骤。数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。为了创建模型，算法首先根据提供的数据，查找特定类型的模式和趋势。在这个阶段，需要选择适当的数据挖掘方法，选择合适的数据挖掘算法来完成数据挖掘工作。数据挖掘的方法有统计方法、机器学习方法、聚类分析方法、神经网络方法、粗糙集或模糊集方法等。如何对数据进行挖掘和分析最主要的是选择什么样的算法来实现它，针对该课题的实际情况，主要采用的方法为神经网络、层次分析法和关联规则的经典算法--Apfiori 算法等。

第五，算法评估与应用数据挖掘过程中发现的模式需要经过评估，去除冗余的或者与挖掘目标无关的模式，或将某个有用的模式转换成用户能够了解的形式。如果发现的模式不能满足本次挖掘的要求，为得到更有用的知识，还需要返回前面的各个阶段，反复进行。该课题主要对专业质量、教师考核评价、理论实践教学质量、班级整体教学过程质量、企业对实习生的考核评价、学生成绩评价等信息进行挖掘，提取出隐藏在数据中的有用信息，并对产生的信息进行分析，为全面了解教学运行状态的途径及改进教学管理工作提供重要依据。

2.通过数据挖掘，建立多元化的教学质量评价平台

借助平台，实现专业质量评价、理论实践教学质量评价、班级整体质量评价、学校整体教学质量评价、企业对实习生的考核评价等功能。

对照评价标准，研发了管理、分析一体的基于智能算法的高职教学质量评价系统，该系统采用B/S 三层结构模式，以Visual Studio.NET 作为开发工具，以Microsoft SQL SERVER 2005 作为系统的后台数据库开发完成，借助平台，实现了系统维护、用户管理、基础信息管理、在线评价等功能。完成专业质量评价、理论实践教学质量评价、班级整体质量评价、学校整体教学质量评价、企业对实习生的考核评价等，并申请了软件著作权。（软件著作权编号：2019SR1022414）

成果实现了用户登录模块、题库编辑模块和管理员模块及在线评分模块等的设计。实践证明，与传统手工评分相比，本系统较大的提高了工作效率，节省了人力、财力、物力，使用效果良好。

3.运用数据挖掘技术对采集的教学评价数据进行充分深入的挖掘

该课题将数据挖掘的目标确定为，利用数据挖掘技术从大量数据中获取有利于教学质量评价的隐含的有用信息，找到数据之间的关联。通过对教学质量评价数据及其相关数据进行数据挖掘，从中找到影响教学质量评价结果的因素，从而针对这些影响因素分析并提出提高教学质量的方法。。

主要调研山西药科职业学院和天津生物工程职业技术学院及其他几个高职院校，得到大量的数据，数据库总体评价记录累计28 万余条，教学过程中分项详细评价记录累计3 万余条，考试结束后分项详细评价记录累计17 万余条，师生留言数据记录近1万条。大量的评价数据为数据挖掘工作的实施奠定了良好的基础。

比如对教师个人因素对评价结果的影响进行分析，可选用学生评价数据作为分析对象，分析教师性别、教师学历、教师年龄、职称等综合因素与教学质量评价分数的关系；再比如教师授课课堂相关属性对评价结果的影响分析，可从课堂学生人数、课程学时、课程属性以及课堂相关属性综合因素与教学质量评价分数的关系进行分析。在分析教师评价数据和学生每个学期的成绩变化时，使用的是数据挖掘中的关联规则；在找到学生计算机基础课程成绩的影响因素时，使用的是决策树分析等。

（二）研究方法

1.调查研究法。通过采用现场问卷、网络答题、会议研讨等方式进行调研，了解国内高职教育教学情况和质量管理现状，走访与其合作的相关企业，获取大量的与教学质量评价相关的信息。

2.文献研究法。查阅国内外专家、学者对数据挖掘在教学质量评价方面的研究，学习并分析研究的结论和成果，让其借鉴和指导我们的研究，开阔研究思路。

3.归纳对比分析法。对数据、专家学者的研究、院校实际进行科学的定性和定量分析，归纳总结，运用到我们的研究中。

4.实验法。采用有效的数据挖掘方法对获得的海量数据进行信息挖掘，并对产生的信息进行分析；将实验结果和目前存在的数据相结合，完成一个既能对用户基本信息进行管理，又能行之有效地对教学质量进行评价的管理系统。

5.实证研究法。应用调查结论，拟定改进措施，并组织实施。

6.经验总结法。根据实际经验，进行理论提升和实践创新。

二、结论与对策

该课题围绕数据挖掘技术如何在高职教学质量评价体系中进行构建及应用，如何提高教学质量，让师生受益，进行了研究与实践。

（一）改变传统评价标准模糊的问题

该课题率先构建了采用神经网络模型而确立的具有医药特色的教学质量评价体系，解决了评价标准体系不健全的问题。传统教学质量评价模糊化，方法单一化，不能及时发现教学工作中哪部分欠缺或不到位，不能形成一个全面的、全员参与的评价体系。教学督导只停留于常规方法,学生在每学期末给教师评分，教师只看到分数而看不到问题的存在，处于恶性循环的打分现状。

此次改革从专业质量考核的权重入手，多角度分析教学的全过程，将用人单位的意见以及社会考评的结果进行综合考虑，为教学质量监控提供了一套完善的方法与标准体系。将教学质量监控内容的每一部分确立明确的质量监控点，并赋予每个监控点不同层次的评价与评价标准。在具体量化的过程中，采用神经网络方法，利用数据拟合函数关系，梯度下降对参数进行迭代，从而找到优化的方向，利用特征选择方法，去掉冗余的考核指标，最终合理确定各项考核权重，使得每个标准及等级有依有据。

以实践教学考核评价为例，采用数据挖掘技术中神经网络方法，建立了一个基于人工神经网络的仿真模型，将方案准备、操作训练、总结报告、考核鉴定作为输入层，实践教学质量作为输出层，建立人工神经网络模型，利用构建的模型对数据进行预测，将预测的结果转换为教学经验，运用到实际的教学过程中。不断地更新数据库，利用新的数据进行检验，测试其成功的几率。

结果表明，使用神经网络方法评价高职实践教学工作的质量精度高,收敛快,计算过程简单,通过网络自主学习实现大量的参数设定，避免了人为主观因素的影响,评估结果客观有效。克服了传统评价方法的缺点，可以快速、准确地得到评价结果。

（二）改变传统教学质量评价系统针对性不强的问题

该课题设计研发了管理、分析与挖掘一体的高职教学质量评价系统。目前，有关教学质量评价系统的软件有多种，但市场上出售的这些评价系统，价格昂贵且均为通用评价系统，对于特定的学校，很多通用功能利用率甚低，而需求使用功能尚不存在。

对照教学质量评价标准，结合医药行业特色，研发了基于В/S 模式的高职教学质量评价系统，形成涵盖专业质量、理论教学质量、实践教学质量、理实一体化教学质量、学校整体教学质量等的评价体系，实现了系统维护、用户管理、基础信息管理、评价项目管理、在线评价等功能。通过信息化手段，将过程评价与结果评价相结合，注重每堂课教师教的质量和学生学的质量，提升教学管理的有效性，实现有效督，快速导，实现从课堂到课外、从学校到企业、从教师到学生的全程监控、跟踪,达到有效的教学诊断，有效地调动各部门工作者的积极性。

（三）改变了传统教学数据未深入挖掘的问题

该课题充分运用了数据挖掘技术，并将其迁移到教学质量评价体系的构建中。教务信息是高职院校丰富的资源。面对这些大量的数据,大多数院校并未对教务数据中的隐含信息进行挖掘和分析。该课题引入了数据挖掘技术，将开发的评价系统和原有的教务管理系统集成到一起，自动提取相关信息，对采集的信息（如课堂教学评价信息、学生的学籍信息、学生的在校课程成绩、教师信息）利用数据挖掘提取其中隐含的信息,运用数据挖掘技术的分类、聚类等方法，进行多层次、多角度的分析，提取出隐藏在数据中的有用信息，除了对数据进行横向的比较分析,还对历年来的数据进行纵向的分析挖掘。发现和诊断问题，更好地指导教学，更好地为教学工作提供公正性和客观性的评定依据。