基于层次分析法的高职院校评学研究

吴章光，陈宝健，吴为民

（福建船政交通职业学院，福建福州）

关健词：层次分析法；评学；惩罚因子

课堂是学生学习的场所，学校育人的主渠道。通过教师的智慧和创造力的指引，让校园成为学生生命成长的原野。但是，在一些大学里，却出现上课睡觉、玩手机、逃课等现象，一些教育教学管理部门知其事却不知该事相关的具体同学具体班级具体时间，究其根源，是学生学习监控的不到位。因此，通过评学大数据的应用与数据分析挖掘，能助教育教学管理部门一臂之力，提高其管理水平。本研究着眼于学生学习的评价研究，拟从评学要素的选择、评学要素数据收集、评学模型的选取及应用、评学结果分析等方面展开。

1 评学要素的选择

评学要素的设定要充分关注学生的动态发展过程，在关注传统课堂学习过程和考试成绩的同时，重视网络教学资源平台中的学生过程性学习数据的抓取，同时考虑课外实践活动情况。多个时间点、多评价主体的大数据的搜集储存有利于评学的高效持续运转。本研究拟从以下三个方面确定评学的三个子目标：

（1）课内综合：课堂表现、出勤情况、考试情况（2）课外综合：技能竞赛、创新创业、其它成就（3）网络学习：网上学习时长、网上学习质量

在考核子目标的同时，通过各要素分类分析，还可得到学生的学生的学习态度、努力程度等衍生分析结果。

2 评学数据采集与整合

2.1 评学数据采集

评学数据的全方位的抓取与收集，可形成校级网络化、全覆盖的评学大数据运用。多终端多渠道即时性数据采集与共享对提高评学质量有极其重要的作用。本研究拟从福建船政交通职业学院已经开通并正在使用的教学资源平台、教务管理系统、考勤系统等自动抓集网络教学空间与学习空间数据，并附之以其它评学要素数据的收集（如：手工录入收集）。拟收集的评学要素有：评学次数、评学有效率、评学分值、评学未申诉率、评学申诉无效率、上传资源量、平均下载量、平均浏览量、出题量、组卷量、作业完成率、考试成绩、考试次数、到勤率、考勤次数、各级别竞赛、各级别创新创业、其它成就、课堂互动等。

2.2 评学数据整合

通过数据萃取整合工具，制定整合规则，对获取的数据进行整合、转化开发，形成评学大数据。拟建简易性评学系统，分析处理评学数据。

3 基于惩罚因子的层次分析评学方法

3.1 层次分析法

层次分析法（Analytic Hierarchy Process，简称AHP）是将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。该方法是美国运筹学家匹茨堡大学教授萨蒂于20世纪70年代初，在为美国国防部研究“根据各个工业部门对国家福利的贡献大小而进行电力分配”课题时，应用网络系统理论和多目标综合评价方法，提出的一种层次权重决策分析方法。

基于上文的分析，本研究拟从目标层、目标子层、准则层以及方案层四个层次结构进行评学。目标层即评学总目标。目标子层含教师评学（对应准则层内容为评学频率、评学分值、评学质量）、网络教学平台（对应准则层内容为数据资源量、使用频率、作业质量）、课堂与考试（对应准则层内容为课堂质量和考试情况）及课外表现（对应准则层内容为技能竞赛、创新创业及其它成果。方案层内容为准则层考核目标的细化。

结合福建船政交通职业学院教育教学管理的实际情况，拟对上图准则层各指标分解成相应的要素项，维度层有评学频度（含评学次数、评学有效率要素）、评学分值（含评学分值要素）、评学质量（含评学未申诉率、评学申诉无效率要素）、数据资源量（含上传量、平均下载量、平均浏览量要素）、作业质量（含出题量、组卷量、作业完成率、试卷平均分要素）、课堂质量（含到勤率、考勤次数、课堂互动要素）、考试情况（含考试成绩、考试次数要素）。

本研究拟从以下六个步骤着手基于层次分析法的评学研究：（1）确定研究目标。

（2）建立本研究的评学层次结构。

（3）判定各评价要素的权重，构造判断矩阵。

（4）计算上述判断矩阵的最大特征值和几何平均值，求出各要素的权值。

（5）根据最大特征值和一致性检验标准进行一致性检验。

（6）通过一致性检验后，将要素权值与其量值进行计算，得到评学结果。

3.2 确定惩罚因子

惩罚因子（penalty term）的作用是把受限优化问题转化为非受限优化问题。

本研究拟从以下三步确定所需的惩罚因子：

（1）找到数据集的异常点，将该数据集的算术平均值往异常点反方向调整。

（2）计算该数据集的整体偏移量

（3）惩罚因子=数据集的整体偏移量*惩罚方向

3.3 基于惩罚因子的层次分析法在本研究的运用

本研究评学步骤如下：

（1）依据本研究层次结构图，对所得数据进行建模训练与计算，得到四个子目标训练集的计算结果。

（2）根据评学指标计算分值的一致性来判断评学结果可信度。可信度好则通过检验；可信度差时，要利用惩罚因子对偏离数值进行调整计算，使偏离程度收敛至合理水平。

4 评学实验与分析

4.1 评学大数据的应用

评学大数据可展示学生学习基本状态数据及图表，各级教育教学管理部门可根据需要逐层钻取评学明细信息，既可达到综观全局的作用，也能做到细节数据的一目了然。在此基础上，教育教学管理部门可设置不同级别的预警值，当某项评学要素超过预警值时，相关部门能及时得到直观性数据。

把评学要素原始值进行横向比较，可得到各同学间、各课程间、各班级间、各系部间的学习比较情况。把评学要素原始值进行横向比较，可得到具体学生、班级、系部学习情况的变化趋势，从该趋势走向可推断学院所推行改进措施的成效。按照“网络教学平台”、“课堂与考试”及“课外表现”子目标分类，把准则层的各维度按权重取和，把所得数值进行横向与纵向比较，可获得学生间、各班级、各系部的网络教学平台的使用情况、课堂教学情况、竞赛成绩情况。按特定目标（如“学习态度”、“努力程度”等）选择特定要素进行分析，可得到特定目标的分析效果。

教育教学管理部门通过评学大数据，可以随时了解学生对课程学习的参与程度，以数据分析为基础，周期性对学习情况进行诊断并发现问题并采取措施，对各教学部门、各教师及时地提出反馈意见及建议，形成对学生学习情况的常态性监控及评价管理机制，建立校级数字化评学数据的精细化管理机制，促进学生学习质量的螺旋式上升。

4.2 对基于惩罚因子的层次分析法的评学结果分析

由于不同系部、不同专业、不同课程、不同班级的巨大差异，基于层次分析法的评学应用不适用于所有对象的对比分析。

对于相近课程相近情况的评学对比，通过数据分析结果深挖隐藏在数据背后的真相，并采取适当的措施，对提高教育教学成效是很有帮助的。