基于改进AHP的教学质量评估方法

王 燕，于美菊，贾 如

（内蒙古大学 计算机学院，内蒙古 呼和浩特 010021）

0 引 言

教学质量评价已成为目前教育测量科学的一个基本项目。学生作为教育的受众和受益者，从他们的角度获得对教学质量的评价，能够帮助教学管理部门了解任课教师的授课情况、学生对所学课程的意见以及任课教师的教学效果等直观信息。设计合理有效的教学评估系统，既有助于任课教师了解学生需求和自身不足，改善教学方法和革新教学内容，也有助于教学管理部门宏观掌控课程设置和教师授课的总体情况，达到优化配置教学资源和提升教育质量的目标。但是，目前为止尚未有一个完全统一的标准衡量某学科的教学水平。一方面，学生在教学评价时往往带有较多主观色彩，教学评估势必引入许多主观因素，而这些主观因素难以量化；另一方面，教学评估与其他因素关联性较高，难以一概而论，譬如课程在各个环节的契合程度、不同学生的学习能力及态度等。目前高校的教学模式普遍采用学分制，导致其教学评价不能像中小学教育一样依赖长期持续的教学过程获得比较客观公正的有效评价。因此，设置合理的教学评价指标并设计有效的教学评价方法对于建立高校公正公平的教学评价体系具有重要意义。

1 相关背景与工作

目前已有文献从评价内容、评价主体、评价过程管理、评价模型等多个角度讨论了教学评价体系的关键问题及解决思路。

文献[1]认为评价内容是实施教学评价的关键环节，评价内容的设置应该体现系统性、向生性、针对性和可测性。文献[2]专门研究课堂语言对教学效果的影响，将语言作为课堂教学的重要载体,以弗兰德斯互动分析系统为基础，构建一个课堂教学语言量化综合分析框架。文献[3]针对教学评价实质缺失以及教学评价权受限的状况（在这种状况下学生只被“当做”主体来评价，而不是“作为”主体来评价），提出了一种从自主性、主动性及创造性出发，让学生成为教学评价主体的实践路径，并尝试从实践主体的职责、课程内容的增进及评价制度的完善等方面来达成这一转变。文献[4]从教学评价的管理角度，提出采取奖惩性与发展性评价有机融合的评价模式、约束与激励并行、加强评价过程监控、注重过程管理与服务等多种途径构建科学合理的教师教学评价制度。

评价模型的研究工作目前最常用的方法是通过层次分析法建立教学质量评价体系，并分层综合评价各个体系的指标，将多个定性的评估指标转化为定量评价[5-6]。该类评估方法的关键是确定评估指标中各子目标的权重。

2 评价方法的实施过程

教学质量评价实质上是一个综合评估问题，涉及多种评价目标，如教师教学水平、学生学习效果等。每个评价目标又包含多个评价项目，如评价教学水平涉及的因素，包括教师教授知识是否条理清晰、是否精确把握内容的重点和难点等。此外，不同的评价主体对各种评价指标重要性的看法也不尽相同。

AHP方法是一种定性与定量相结合的多目标决策分析方法，适用于解决涉及多准则、多要素以及多层次的复杂决策问题。将AHP方法应用于教学质量评价有助于克服教学评价的主观性，使原本定性的教学评价更加明朗和精细，能有效解决教学评估中难以定量描述的问题，提高教学评估方法的可操作性和科学性。这里以内蒙古大学为例说明基于改进AHP的教学质量评估方法的具体实施过程。

2.1 评价指标的设置

内蒙古大学的在线教学质量评价系统由选项和主观评价构成，学生从教师的职业道德、教学能力、教学方法、教学安排、教学效果5个方面共20个选项为教师打分，最后通过评价算法计算出教师的综合得分。具体的评价选项见表1。

2.2 教学质量评估的层次结构模型

在实际调查中发现，学生对教学质量评价的考虑因素习惯从教师的职业道德、教学水平和教学效果3个方面考量。对于教学水平中的教学能力、教学方法和教学安排这3个方面设置的目标往往不能清晰地区分。鉴于此，这里将评价子目标合并为3条准则，根据教学评估系统的实际情况，确定一个4层教学质量评估指标体系的实例，见图1。 在图1中，目标层为教学质量综合评估成绩，准则层包括职业道德、教学水平和教学效果3个方面，方案层包含各个评价准则的具体子项，最底层为评价学生，每个学生均会对评价选项进行打分。

表1 教学质量评价系统的评价选项

图1 教学质量评估体系的层次结构模型

2.3 教学质量评估算法

2.3.1 评估算法中的基本定义

定义1 评价指标集：依据教学质量评估指标体系的准则层将评价选项分组，用矩阵B=[B1,B2,B3]表示，其中Bi={bi1,bi2, …,bim}，这里的bij表示第i组中的第j个选项，m为第i组中的评价指标数目。

定义2 评价集：代表评价选项的评分集，表示为U=[U1,U2, …,Um]，Ui就是对某一选项的评价选择。以现在的评估系统为例，U∈[1,5]。

定义3 准则权重分配集：代表定义1中对应准则的评价权重，表示为A=（A1,A2,A3），且满足条件0＜Ai≤1，3。

定义4 指标权重分配集：代表定义1中各评价选项bij对准则Bi的影响，表示为W=（Wi1….Wim）（i=1,2,3）。

定义5 指标合成权重分配集：代表定义1中各评价选项bij对综合评价的影响，表示为SW=（SWi1….SWim）（i=1,2,3）。

2.3.2 评估算法的具体实现

1）确定评价指标权重关系。

评估算法要求分析每个评价项目的重要性，然后得出它们的权重，这样才能在最终的结果中反映出不同要素重要程度的区别，从而更加客观地反映教师的教学质量。根据图1中教学质量评估体系的层次结构模型，评估算法中使用两级指标权重，即准则级权重和指标级权重。

首先比较评价准则，这里设定B1代表职业道德，B2代表教学水平，B3代表教学效果。由于教学是教师最主要的工作，所以笔者认为教学水平是最重要的评价准则，然后再比较职业道德和教学效果。由于学生对教师的印象评分较为主观，差异较大，难以准确反映教师的实际情况，所以将其权重设为最低。对于每项准则中具体的每个选项，笔者又通过收集专家（学院教授委员会）、教师和学生三部分的意见形成了它们的基本权重排序。评价准则中各子项之间的相对重要程度通过判断矩阵确定。本文采用1—9标度法对不同要素两两比较，构造教学评价系统中的判断矩阵。根据上述步骤，经过分析和计算，教师教学质量评估准则的判断矩阵见表2。接下来，笔者还需对各个准则中的子项分别构造判断矩阵，由于篇幅所限，这里仅给出教学效果的判断矩阵，见表3。

表2 教学质量评估A判断矩阵表

表3 教学效果B3中子项的判断矩阵表

为防止各要素的相对重要程度出现矛盾，保证计算出的最大特征根能真实地代表各子项的相对重要程度，使用平均随机一致性指标检验上述判断矩阵的一致性。计算公式如下：

检验一致性时，主要通过一致性比率CR来判断，当CR的值大于0.1时，说明上述矩阵反映的权重关系没有冲突，即具有一致性，反之，则说明该矩阵的一致性不可接受，需要重新调整和纠正各子项的相对重要性关系。

2）计算综合权重。

上述步骤计算出的二级选项权重从属于各一级选项。为了获得各选项对于整体的权重，还要进行权重的合成。这里仍以教学效果准则为例，给出其对应子项的合成权重分配表，见表4。

3）筛选有效问卷。

鉴于部分学生对教学质量评估重视程度不足，应付了事，以至于乱填乱评，他们的评估结果无法采信，则需要一定的筛选过程，在一定程度上保证问卷的可用性。

这里通过设置相似选项方法确定学生评分的一致性。该方法的主要依据为：如果某个学生的评分较为一致，则认为他大概率是认真填写的；若相似选项的评分差别很大，则认为他是胡乱填写的。从问卷中选出几个选项，对每个选项分别设置一个参照选项，它有如下特点：①不参与评分的生成，仅作为判断问卷有效性的参照；②与其对照选项意思相近，但表述不同；③选取的选项和其对照选项有一定因果关系或相关性。例如，选取的选项为教师的讲课是认真准备过的，参照选项可设置为教师的备课工作比较充分、讲课脉络清晰。

这些参照选项在最后的综合评价中并不占权重，但可以作为判断学生评价问卷有效性的一个标准。这里设置一个完全由参照选项评分构成的对照集C={C1,C2,C3,C4,C5}，比较各对应选项在评价集中的绝对差值，设置评价差集V={V1,V2,V3,V4,V5}。使用Mean函数计算其均值m，若m≤2,则认为此份问卷是有效的，反之则无效。

4）确定综合评价。

经过筛选后的学生评价问卷分别计算每个学生对某教师的综合评价得分，具体分为3个步骤：

（1）计算每个准则的综合评价结果，计算公式为

其中，Psi=（Psi1,Psi2,…Psim）为第s个学生对第i个准则的评价向量，ZPsi为第s个学生对第i个准则的综合评价。

（2）计算基于所有准则的综合评价结果，计算公式为

其中，ZPs为第s个学生对教师的综合评价。

（3）计算所有参评学生对教师的综合评价，这里要事先剔除无效的学生评价，计算公式为

其中，n为有效的学生评价问卷数，则此时ZP为授课学生对教师的最终评价。

3 评估方法的应用实例

以学校计算机学院某班学生的教评为例，采集该班53名学生对任课的3名教师的各项指标评价，评价问卷表中共设置有效评估项目20项（参见表1），参照评价项目5项，在职业道德、教学能力、教学方法、教学安排、教学效果5个方面各设置1项，确保无效问卷筛选的全面性。

表5给出其中两个学生对第1位教师的各项评价指标的具体评分。表6给出了表5中学生评价问卷经过相似选项筛选后的结果。从表6可以看出，学生1对教师3的评价可信度低，将该生对教师3的评分问卷剔除掉。经过对全部53名学生的总体筛选，最终剔除3名教师的16份无效问卷，其余数据经过合成权重的计算，得出的综合评价成绩及排名如表7。

表4 教学效果评价指标权重分配表

表5 2名学生提供的对教师1的评价问卷得分（后5项为参照评价项）

表6 相似选项筛选过程的m值

4 结 语

通过一种改进的AHP评价法对教师的教学进行评估，能在学生层面较为客观地反映不同学生对教师的教学质量的认可程度，主要的贡献体现在：①教学评估作为高校一项重要的工作并未得到相当一部分学生的重视，这种方法通过设置问卷筛选机制，在一定程度上减少乱填乱选对教评结果的不利影响；②构建了教评体系的层级结构模型，结合学校实际，对教评指标进行分类分层，通过多方调查确定评价指标的绝对和相对权重，能相对客观地反映各选项之间的重要程度的区别，进而相对客观地得出教师最终的综合得分。

表7 教师综合评价

[1]蔡敏. 美国著名大学教学评价的内容特征[J]. 外国教育研究, 2006(6): 25-28.

[2]武小鹏, 张怡, 彭乃霞. 基于FIAS与PPE理论的课堂教学评价研究[J]. 电化教育研究, 2016(11): 93-99.

[3]彭亮. 学生成为教学评价主体的探究[J]. 湖南师范大学教育科学学报, 2015(6): 41-45.

[4]罗玉萍, 刘丽娜, 潘庆先.基于过程管理的高校内部教师教学评价探索[J]. 高校教育管理, 2015, 9(6): 99-104.

[5]邱文教, 赵光, 雷威. 基于层次分析法的高校探究式课堂教学评价指标体系构建[J]. 高等工程教育研究, 2016(6):138-143.

[6]史健婷, 侯九阳, 关凤岩. 基于AHP—FUZZY的教学评价系统的设计与应用[J]. 计算机技术与发展, 2013(5): 188-191.