大数据下高校教学评价方法研究与设计

陶槊，魏东东，徐光明

（合肥科技职业学院经济管理系，安徽合肥 231201）

教学是高校的中心工作，如何用客观有效的方法衡量高校教学水平、发现问题、提高质量，可以通过教学评价方法指标体系建设来实现. 2018 年《中国教育现代化2035》提出了构建中国特色具有国际影响的教育评估体系；“十四五”规划把推动教育评估体系作为加速高质量教育体系发展的重要手段[1].

美国高等教育教学评价方法有用于学科评估的“学位项目”和“能力评测”的2 个认证体系[2]，从2013 年起又建立COPUS（The Classroom Observation Protocol for Undergraduate）课堂教学评价标准和STEM（Science, Technology,Engineering, Mathematics）教学量化指标体系[3].欧盟有“教育质量指标”，以及由经合组织(OECD)发起，包括65 个国家和地区参加的“PISA 国际学生质量评价项目体系”（The Program for International Student Assessment）[4].世界各国都在有组织地量化与标准化教学质量监控与评价体系.

自2004 年以来，我国教育部多次更新《学位授予和人才培养学科目录》和《普通高等学校本科教学工作水平评估方案(试行)》[5]，对高等学校学科、专业、课程等水平和质量评估内容做了详细规定.同时在教学评价方法研究上也取得了多项成果，如针对实践教学诊断和过程评价的CIPP 模式[6]和教学能力评估的PMPI 体系[7]，特点是集中于教学决策导向、分类描述等方面，不足之处在于缺少教学量化分析，难以反映高校教育质量的整体情况与内在关联.在算法设计上，主要有成分分析[8]、模糊层次、神经网络、机器学习等[9]，可以反映教学层次水平，但数据获取手段繁琐，计算复杂.根据以上情况，本研究：（1）以当前广泛开展的智慧高校建设为背景，依托高校智能化教学平台，建立高校教学评价模型，设计综合教学评价体系；（2）利用高校各信息系统生成的海量数据，转换为评价数据.研究高效算法，获得复合权重，计算教学评价综合成绩；（3）用指标评分衡量教学成果与教育质量，客观反映教学水平，并为高校教学建设提供指导.

1 教学评价体系构建

1.1 评估模型

传统的教学评价模式主要是指标单一量化叠加，难以反映指标间层次化与系统性的特征.为了全面综合地评估高校教学水平与教育成果，帮助院系与教师提高教学水平、发现问题，首先需要根据评估流程与工作要求，建立体系化的教学评价模型（见图1）.

图1 教学评估处理流程图

1.2 评价指标体系

依据教育部2018 年颁发的《普通高等学校本科教学工作合格评估指标体系（修订版）》（教督局函[2018]1 号）和2020 年3 月《高等学校数字校园建设规范（试行）》（教科信函[2020]14号）及2019 年安徽省教育厅印发的《安徽省技能型高水平大学建设标准》（皖教高[2019]1 号）要求，编制针对智慧高校的7 维度3 级的教学指标体系（见表1，限于篇幅3级指标明细略）.以此为蓝本，制作调查项目.

2 数据的获取与处理

2.1 数据的获取

从高校存储大数据获得评价数据，必须先理清教学业务流程及相互间的关联，即先研究一般高校的基本教育、教学活动与构成要素关系，再根据教学评价目的，参照指标要求选取数据项、类型与格式.按照表1 指标体系要求获取评价数据，可以从4 个方面采集（见表2）.

表1 教学评估指标说明

表2 评价数据的获取

2.2 评价数据的整合

部署第三方大数据管理平台如Spark/Hadoop，利用工具集收集与处理各种数据，实现平台生成评价数据与指标体系要求内容对应（见图2）.

图2 评价数据收集处理架构图

以智慧课堂为例，用教室监控（基础实施）捕捉到的所有人脸（OpenCV-人脸识别开发组件[10]）累计时长/学生签到（教学系统）总时长，获得课堂质量的1 个分量值，配合提问、作答、评价等一系列数据作为学生听课、教师授课评分，计入“教学管理I4-课程情况I4-1-课堂质量I4-1-7”指标得分项.以此类推，完成教学水平各项评价的分值统计工作.对无法直接用评分表达的指标项目，如办学路线（领导力、培养模式、方案构建）等，在业务系统、教学平台上，用意见反馈、学术调研、调查问卷、积分表的形式获得评价统计，然后分别进行等级层次划分、链式分析、逻辑回归映射（logistic regression mapping）实现指标评分的量化[11]，过程见图3.其他的评价数据按照教育部《指标体系》要求打分.

图3 Spark 框架大数据评价数据计算模型

2.3 数据预处理

3 评价算法

由于评价大数据来自各信息平台经转换的主观评估与客观教务评分，之间存在各种潜在关联或随机性，尤其是从相同平台根据不同规则获取的不同评价数据相互影响更为明显.对某些指标来说也不是单纯的线性关系，因此为表达综合评价结果，本文采用复合算法来强化关键指标，并用优化的权值比例来制约指标间的相互影响.

3.1 变异CRITIC 赋权法

CRITIC 赋权法[12]能客观表达指标Ii的m个评价的差异性或关联性，它的物理意义是标准差S越大则该指标作用越大；用相关系数反映指标间的冲突性，相关性越高表示指标冲突性越低.为加速大数据运算，用等价Pearson系数[13](pearson correlation)计算关联强度：

3.2 改进熵权法[14]

熵值(Entropy)可以反映指标承载的信息量，它越大表示相关指标间的变化性越高，也显示某个指标在整个评价体系内比重越大，作用也越大.于是Ii项权重计算过程：

计算熵值ei(0 ≤ei≤1)：

如果pij=0,则pijlnpij=0，接着计算差异度：

获得熵权重：

但大众的主观不确定性造成的打分随意性，会对熵值造成偏差.因此需要引入专家赋权0.125,0.135,0.145})[15]，用以改善总体熵权重：

3.3 复合权重

为了能在评价中综合客观反映教学水平与当事人的主观评判，利用最小二乘法计算最接近的组合权重wi.已知Z+，计算到w’i,w”i,之间的最短距离，则存在：

当f(wi)函数连续可微，为简化大数据权重计算，直接求wi的导数f’(wi)=0，得到最优组合权重：

4 实验与分析

4.1 可信度测试

从某校数据中心平台采集到的1041 份样本中，先做可信度分析，引入Cronbash's 因子[16]以检验收集到的1 级教学评价可信度：

其中样本数n=1041，Si2为第i份样本的得分方差，S2为总分方差，得到表3.一般α在0.1～0.6 表示不可信，0.7～0.9 表示可信，大于0.9 则表示非常可信.从表3 可以看出样本数据计算结果可以满足指标精度要求，这样大数据采样有了可信度保证.同时，表3 的权值分布情况与上级教育部《指标体系》要求没有明显偏差，也证明了本文算法的可信度.

表3 高校教学评分指标权值与可信度计算表

4.2 算法比较

根据高校数字校园建设规范体系要求，重点建设顺序为办学路线＞师资队伍＞教学条件＞专业与课程建设＞教学管理＞学风建设＞素质培养，分别选取主流的权值评估算法进行比较，著名的有FAHP+TOPSIS 组合评估[17]、优序图法[18]、遗传算法赋权[19]等，用统一样本与指标系数，计算各个指标权重，根据计算结果得到图4.

从图4 可知，单一的优序图权值计算准确性不足，算法FAHP+TOPSIS 和遗传算法具有很好的评估精度，但是经典的FAHP+TOPSIS算法需要做大量的比较运算，且算法复杂度高，随着指标数量增加耗时巨大，不适用于做大数据评估.而遗传算法首先需要提供训练样本，对操作者要求高，并且随着高校评估条件的变化，还需要重新训练，时效性不足.本文算法是立足大数据环境要求，根据算法特点改进公

图4 各种权重算法对比图

式简便计算；并使用变异参数来控制误差.实验证明与FAHP+TOPSIS 和遗传算法相比，仅有较小误差，因此可以认为是一套有效的评估算法.

4.3 综合测评

根据表2 的信息收集模式，从某校数据中心运行的业务平台收集处理4 年来累计的信息数据，通过复合算法，获得教学评价项目的各项成绩（见图5）.结合某校历年的教学评建工作已知结论，其计算结果基本符合评价要求.并且从各项成绩分布变化可以看出：（1）办学路线、教学管理因受公众的限制，变化不大，说明教学模式的调整需要整个院校的参与改进，才能获得明显变化；（2）专业课程建设因与教务申报系统后台数据变化呈同步趋势，说明对相关系统数据的关注有助于及时掌握课程专业情况；（3）从智慧课堂、各业务系统采集的师资、教学管理等数据，对评价结果有直接影响；（4）以问卷形式获得的学风与素质培养评价数据，从权值变化趋势反映出学工工作的不断进步.

图5 2017—2020 年某校教学综合评估图

为了进一步验证该评价模式的可靠性与实效性，按教育部《指标体系》和《安徽省技能型高水平大学建设标准》的量化指标规范，统计某校4 年来的考核评分（见表4），对比权重算法成绩，从中可以看出，其分值分布与变化趋势与考核成绩基本匹配，证明了该算法的有效性.总之，该评价模式与方法证明是能满足现代高校新教学评价体系要求，特别是利用智慧校园信息处理技术，提高了教学评估效率，并能帮助指导教学工作.

表4 教学评价直接指标评分与大数据权值计算得分统计表

5 结语

在我国智慧高校建设快速推进的背景下，原有的教学评价模式亟需改进.本文的工作就是利用大数据技术建立一套有用的教学评价模型；通过梳理高校教育教学业务流程，参照教育部门权威文件制定3 级评价指标体系；然后借助智慧高校建设成果，从各种业务平台采集整理生成评价大数据；进一步通过研究与设计组合优化权值算法来求取教学评价综合成绩，以便全面客观地反映高校实际教学水平.最后通过一系列实验验证该系统与算法的准确性与功效，测试表明该系统具备了良好的便捷性与实用性.