院校教学质量评价模型的构建

陈虹丽 夏晓靖 龚洛

摘    要：要使课堂教学质量评价结果具备较高的认可度，评价过程必须要有科学依据，其中信度是衡量评价过程的一个重要指标。文章依据模糊教学理论构建了院校课堂教学质量综合评价模型，并以实例分析其信度。

关键词：教学质量;综合评价;信度

中图分类号：G640          文献标识码：A          文章编号：1002-4107（2016）03-0046-03

随着《国家中长期教育改革与发展规划纲要（2010—2020年）》的实施，教学质量的评价成为科学化管理高校的重要内容之一。实际上，高校里有着比较明确的专业分工，想要建立一个通用的高校教学质量评价体系是不切实际的。可行的方法是雇用不同专业领域的专家学者参与并制定仅仅针对该专业的授课评价体系。具体的实现方法可以通过建立一些专门化的评价数学模型，通过模型来统计专家学者的评价意见并量化表示，用于指导完善实际的评价体系[1]。

常用的课堂教学质量评价方法有层次分析法、人工神经网络法[2]、模糊综合评价法、专家打分法等。层次分析法不够细致，存在决策精细度不高、权重计算复杂的问题;人工神经网络法存在局部极小和收敛速度慢的问题;模糊综合评价法依据模糊数学的隶属理论[3]，较好地解决了评价过程中模糊的和难以量化的问题等。评价对象往往都含有多种属性，每个属性都从不同方面反映出评价对象的自有特征，这些特征往往是非线性的和不确定的。因此采用模糊综合评价方法不仅能客观地反映评价对象的本质特征，也使得整个课堂质量评价系统趋于完善。

概化理论相比经典测量理论有以下优势：1.经典测量理论中的“严格平行测验”假设所需的条件比较严苛，相比之下概化理论运用“随机平行测验”弱假设，问题的分析条件更易满足。2.可以分辨出多种评价误差来源。概化理论分别对协方差、方差进行误差分解，从分量中具体体现测验变异对结果的影响状况。3.能够提供可靠性系数，既考虑专家评审偏差，又考虑评价的随机误差，可用于绝对决策，也可以用于相对决策。4.可以提供最优评价方案供决策人使用[4]。基于以上特点，概化理论非常适用于解决那些影响因素多、评价主观性强、测评情景复杂的工作，其在行为与心理评测领域的成功应用就是一个很好的例证。

本文利用模糊数学理论对层次分析方法进行改进，用改进后的方法来确定每个评价指标的权重值，设计出了一个较为合理实用的基于模糊综合评价的高校教学质量评价模型。在实际应用时结合专家打分制度，对于最后的评价结果，运用多元概化理论分析其信度。

一、院校教学质量综合评价模型的构建

（一）建立因素集

因素集是评价对象各个因素所组成的集合，评价指标体系是由被评对象的各个因素所组成的，包括授课的方法、教学的准备、授课的内容、教师的素养、授课的效果5个一级指标，每一指标又包括有限个子指标，这些子指标组成二级指标体系。本文的质量评价指标系统结构如图1所示。

图1  评价指标结构图

（二）确定指标的权重

在模糊综合评价方法中“权重”非常重要，权重设定情况会对评价结果产生绝对影响。本文在权重设置上采用“模糊层次分析法”，该方法有利于最大限度削弱评价者的主观因素造成的权重偏差，使得权重值更趋于合理。重要性的标度值参考表1指标相对重要性等级表[5]。

表1  0.1—0.9的数量标度

以U（u1，u2，u3，u4，u5）因素集为例，请评审者参照表1，用0.1—0.9来表述其对于评价目标的模糊判断，判断结果及模糊一致判断矩阵A。

其中，ɑij表示的从属关系为：“ui比uj重要”。

权重可由公式

直接求出[6]。其中ɑ可以在范围             选取，ɑ值越小越表明决策者重视指标间差异，则权重差值越大。实际应用中一般取            ，此时决策者最为重视指标间重要程度差异。

（三）建立评价集

V={v1，v2，…，vm}{优 良 中 及格 差}。

（四）确定模糊评价矩阵

设评价对象对因素集中的第i个因素进行评价，对于评价集中第j个元素vj的隶属，将各影响因素评价集的隸属度成行组成第i个单因素的评价矩阵Ri，程度为rij。

可将权重集Ai看作一行n列的模糊矩阵，将单个因素的模糊评价矩阵与权重集合成，可以得到二级模糊综合评价集Bj：

在二级模糊评价集基础上得到一级综合模糊评价矩阵：

最后得出一级模糊评价集和：B=A·R。

（五）综合评价得分

式中：M为综合评价的量化分数，B为模糊综合评价的结果，V为评价等级的具体分数。

二、教学质量综合评价模型的应用实例

假设某校督导专家对授课教师进行随堂听课，按图1从17个方面给教师评分（共优、良、中、及格、差5个等级）。在近三年评价结果数据中，随机抽取10位专家给8位教师的评分数据。以教师甲和乙为例，他们对教学质量综合评价的结果参照表2。以教师甲的一项评价指标u11为例，其评价等级栏显示3位评审者给出“优”，6位评审者给出“良”，1位评审者给出“中”，0位评审者给出“及格”和“差”，其评价向量是R11={0.3，0.6，0.1，0，0}，得到二级模糊评价矩阵Ri。

表2  评委对授课综合评价结果

比如教师甲的教学准备的二级模糊评价矩阵：

其二级指标的综合模糊评价集：

B1（甲）=A1·R1（甲）

=（0.4100  0.4300  0.1867  0  0）。

依此类推，得到教学效果B5（甲），授课内容B3（甲），基本素养B2（甲），方法手段B4（甲）。

在二级评价的模糊评价集基础上可以计算出一级模糊综合评价矩阵。

教师甲的一级综合模糊评价集计算公式为：

B（甲）=A·R（甲）

=（0.3905  0.4729  0.1190  0.0144  0）

将评价集V={优，良，中，及，差}赋值为V={95，80，

70，60，50}，则计算出教师甲的综合评价结果：

M（甲）=B（甲）·VT

=（0.3905  0.4729  0.1190  0.0144  0）·[95  80  70  60  50]T=84.1

教师乙类似，综合评价结果为82。

三、教学质量综合评价的信度分析

若用17个评价维度对8个教师（p）进行教学评价，评分者侧面专家（r），这时需要完成的是17个维度的单侧面完全交叉设计（p×r）。

首先由式（1）至 式（3）计算出教师和专家均值：

式中：Xpr是10位评审者给8名教师从17个教学方面进行打分的结果。

由式（4）至式（6）得到各种方差分量的估计值，其结果见表3和表4。

教员：σ2（p）=[MS（p）-MS（pr）]/nr           （4）

专家：σ2（r）=[MS（r）-MS（pr）]/np            （5）

交互效应：σ2（pr）=MS（pr）                      （6）

式中：

MS（p）=SS（p）/（np-1）

MS（r）=SS（r）/（nr-1）

概化系数是Cronbach（1951）为概化理论构建的一个信度系数，用G表示，按如下公式计算：

式中：σ2（δ）=σ2（pr）/n|r为相对误差方差。

布伦南和凯恩（Kane）（1972）同样构建了一个与信度类似的可靠性系数，用φ表示，计算公式如下：

表3、表4给出了计算后的可靠性系数和概化系数。式中σ2（△）=σ2（r）/n|r+σ2（pr）/n|r：是绝对误差方差。

合并17个指标的分值，即可得出合成的分数。

表3  协方差、方差估计值及信度系数指标（n|r=nr=10，np=8）

表4  协方差、方差估计值及信度系数指标（n|r=nr=10，np=8）

四、結论

本文评价指标体系及其权重已在评价实践工作中运行多年，数据是在近三年评价实践结果数据中，随机抽取的。分析具体数据有以下结论。

第一，指标u11、 u32、u42 的方差较大，说明它们对授课质量高低的判别比较明显。评选结果既注重创新，也符合高校对于教学质量评选的具体标准。

第二，表4所示是总分各项指标在评审体系规定的两极指标上的权重系数值。改变指数权重，相应的合成可靠性指数结果会随之改变。本文的可靠性指数值高达0.96，证明设计的评价方案权重分配恰当。

第三，可以组成专家、领导、同行、学生、教师自评五个评价小组，则某教师的最终评价得分为他们的加权和，对他们的权重按照获得最大的合成可靠性系数求取。

第四，要减低评分误差、提高评分信度，可以增加评教专家人数。系数G和φ会随着评教专家人数的增加而变大。当增加1—3个专家数时，G和φ的增大较为明显。其具体的关系可参见图2。当增加数超过3后再继续增加评教专家人数，G和φ的增长趋势趋于平缓。因此，在实际评教工作中，每门课的评教专家人数在3到5之间是最为合适的。当专家人数确定不变后，可以通过明确具体的评分细则，使评教群体相对固定等方法进一步提高评教信度。

图2  系数G、φ与专家人数的关系图（专家数多于3时）

参考文献：

[1]陈小丽，马建辉.基于AHP方法的教师教学质量评价与

系统实现[J].黑龙江教育：高教研究与评估，2012，（11）.

[2]蔡锦锦.基于BP神经网络的高校课堂教学质量评价系

统的研究与实现[D].杭州：浙江工业大学，2009.

[3]陈美华.基于Fuzzy综合评判法的实验教学质量评价方

法[J].实验室科学，2011，（6）.

[4]顾海根.应用心理测量学[M].北京：北京大学出版社，

2010：247-261.

[5]蔡红梅，许晓东.高校课堂教学质量评价指标体系的构建[J].高等工程教育研究，2014，（3）.

[6]杜淼.两类层次分析法的转换及在应用中的比较[J].计算机工程与应用，2012，（9）.