王春珊,康震群
(安徽工商职业学院 ,安徽 淮南 232001)
教师课程教学质量评价是学校内部教育教学质量保证和监控体系的重要组成部分,也是学校教学行政管理部门进行教学质量管理最主要和最经常的方式。高职院校在经历了一个数量上的大规模扩展时期以后,为了保证教学质量和人才培养质量能够适应经济社会发展的需要,在保持规模的同时越来越重视通过教学和课程检查与评估促进教学质量的改进与提高。由于教学活动的极端复杂性和高职教育的特点,在开展高职教师课程教学质量评价(下文教学质量评价、质量评价、评价等都特指教师课程教学质量评价)并取得一定成绩的同时仍存在不少问题。本文试图从综合评价的角度,通过对评价指标集、评价方法等的分析,得出可供高职院校进一步完善教学质量评价方案的启示和经验。
从综合评价的角度,教师课程教学质量评价是以教师及其教学活动为评价客体(评价对象),以学生、同行、教学行政管理人员为评价主体(评价者)的综合评价。由于教学活动的复杂性,教学质量评价必然是一个多指标评价系统。对教师的教学质量评价总是与具体的课程相关联,高职教育的培养目标决定了其课程设置、教学目标、教学内容和教学方法有明显的特点。建立评价指标集,应该考虑课程特点。
1.课程类型多,课程之间的差异明显。高职院校对课程类型的划分至今没有统一的方法,有按传统方式划分为文化基础、专业基础和专业课程的;有划分为职业基础、职业技术、职业技能的;也有划分为基础课程、核心课程和拓展课程的等等。但无论怎样分类,有两点是基本相同的:
(1)按课程的性质及在课程体系中的地位与作用划分为3到4种类型;
(2)不同的分类方法之间存在对应关系,同一专业被划分到一个类型的课程,不会在另一种分类方式之下分属不同类型。
这说明不同类型的课程在课程性质、教学目标、教学方式等方面存在明显的区别。
实际上即使是学科意义上的同一门课程,也会因专业培养目标的不同而产生课程教学目标和内容上的差异。“高等数学”对财经类和工程类专业都重要,但具体的教学内容有不小的差异。“C语言程序设计”对计算机类专业而言是一门基础课程,作为一种教学语言是为了理解程序设计的基本思想和方法、掌握一些常用的算法;但对于电子工程类专业的学生来说,C语言将来很可能是他们从事岗位工作使用的基本工作语言。
高职院校设立的专业有明确的职业指向性,与职业岗位群联系紧密。任何职业素质的内涵都包含特定的职业技能,因此职业教育也是技术教育。职业教育不是岗前培训,也不仅仅是技能培训,课程设置要立足当前面向未来。立足当前,要考虑学生就业和适应岗位工作的需要,掌握必备的技能;面向未来,要考虑学生的职业发展潜力,养成学习习惯、培养学习能力。在这一点上,高职教育与其它类型的学历教育是相似的。因此,课程性质的多样性是高职教育兼具职业、技术、学历教育的反映,课程教学特点的差异是客观存在的。
建立指标体系要考虑到不同类型课程的教学特点,在底层指标内涵和权重上有一定的差异。
2.专业课程的更新速度快。高职课程教学内容必须反映当前专业领域(或行业)技术水平状态并与学习阶段相适应。但社会经济技术发展是无止境的,教学时间总是有限的,这里就有一个对教学内容的选择问题,需要经常性地调整课程设置、更新教学内容。一个专业有必要开设新课程时,整个课程体系必然要进行调整;没有开设新课程,原有课程也存在优化、整合、内容更新的问题,导致专业授课计划安排表每年都有所改变。课程设置和内容的改变使得教材的更新速度很快,一种教材的使用年限一般为1~3年,即3年内至少更换一遍教材。
开设新课程和课程内容的重大变化,常常需要教师在课程建设上付出更多的努力以完成教学任务实现教学目标,有可能使教师在专业建设、课程建设上采取较为保守的态度。这有悖于教学质量评价的目的。
指标体系应涵盖对教师在专业和课程建设方面的内容,实现教学质量评价在教学改革上的导向作用。
3.高职课程非常强调应用性和实践性。高职教育强调以能力为本位,教学常采用案例分析、项目任务导向、实际操作等实训方式,强调在真实(或仿真)的工作环境中,依据实际的工作规范、工作流程和工作标准来完成学习任务,尽量缩小与实际工作环境、要求之间的差距。
课程的应用性、实践性使得教学质量易受专业建设和课程建设水平、可供使用的教学资源情况等教学环境因素的影响。其中实验/实训条件对于高职课程教学质量影响很大,教师只能在已有的实验/实训条件下完成教学任务,有些环境因素,如教学设施条件不是教师能够把握的,虽然对教学质量有着不可忽视的影响,也应排除出指标体系。但实验/实训设备能否真正起到作用,取决于教师的专业水平、技术经验、实训方案设计和组织实施能力等,而这些因素应该体现为质量评价指标。
课程教学质量是客观存在,因此可以用指标集对影响教学质量的因素进行描述。指标集应该涵盖为达到评价目的所需的基本内容。由于影响教学质量的因素很多,指标集应该具有层次结构:目标层、分支层和测度层。教学活动有其一般特点和规律,指标集在目标层和分支层应该是基本一致的。评价指标受到课程性质与特点的制约,课程的性质的多样性决定了教学方式方法的多样性,例如,有些课程主要在教室里进行,有的主要在实验/实训基地完成。以实际训练为主要教学方式,也存在综合性的能力训练和单纯的操作训练的差异。同一门课程的不同学习阶段,教学方式方法也可能不同,用同一个模式和标准去衡量的结果,只能限制教师的创新积极性,对教学质量的提高产生负面影响。因此,应该为不同类型的课程设计在测度层上不尽相同的指标集。
高职课程的复杂性、多样性使得评价系统的复杂性增加,对教学质量作出精确而有意义的描述的困难程度随之增大,极大地制约了评价结果的可靠性和准确性。
指标集不仅受评价对象与评价目的的高度制约,也受到评价主体的价值观念、认知水平、掌握的信息量等因素的影响。
学生是评价主体最基本的组成部分,全部教学活动都是以学生为中心展开和实施,是教学质量的直接感受者,参与课程教学整个过程,了解的教学质量信息多于其它评价主体;学生人数远多于其它评价者,这意味着对于同一指标能够采集到较多的数据,这在综合评价系统中具有非常重要的意义。但是学生的评价存在一定的局限性,对课程的价值判断可能影响到对课程的评价。课程是不可能完全依据学生的喜好来设置的,它应该是综合考虑专业的内在发展规律和逻辑、社会对本专业人才的发展需求,以及学生全面发展的需要来进行设置的,课程之间难免在系统性、抽象性和概括性,以及学习和理解的难度上存在差异。指标集的设计应该尽可能避免对课程设置的某种价值判断影响评价。
评价主体中的同行,实际上主要指同专业的教师(包括兼职教师)。教师不仅是接受评价的客体,也因其具备完成评价需要的专业知识、实践经验和教学经验,在评价中起主要作用。评价最终能否在提高教学质量上起作用取决于教师对评价结果的认可程度,没有教师积极参与的教学质量评价是没有任何实际意义的。
教学行政管理部门(人员)包括各教学系部、教务处和教学督导委员会,也是评价的主体之一。作为评价者,教学行政管理部门的评价是相对意义上的“外部”评价,比较容易作出全局性、概括性的比较和判断,但受到人员数量和专业的限制,不可能对所有教师和所有课程作较为细致的分析和判断。
不同的评价主体价值观念、认知水平和掌握的信息量等方面的差异,是从不同侧面评价同一对象的原因,为获得比较全面、客观的评价结果,应该分别为不同的评价主体设计不尽相同的指标。例如对于一级指标,教学行政管理部门的评价指标包括:教学目标、教学条件、教学组织实施、教学效果等;对于学生则为:教学内容、教学方法、教学态度、教学效果等。
教学质量评价的目标首先是提高教学质量,对评价对象某个(或某些)指标取值的分析和比较,例如指标的最大值、最小值、均值、方差等,比单纯看综合排序结果更有意义。
教学质量测度层的指标一般只能用主观评分的方法实现测度,即采用等级评分法。一般认为分级数在4~7级为宜,分级过少达不到测度目的;分级过多则超越了一般人的分析判断能力,增加了工作量而没有提高测评数据的精确程度。
评价者对一个对象某指标的等级评分,是该指标赋值的原始数据。为了分析原始数据对指标赋值精度的影响,我们考虑一个简单的模型:假定某个对象的评价者数量(评价主体容量)为n;采用等级评分法,相邻两等级之间的分值差为k;评价者之间无区别,各自根据指标内涵给出指标评分,因此用评分的算术平均值给指标赋值,即
其中,yi为第i个指标赋值;xij为第j个评价者对第i个指标的评分。那么,指标值的最小改变量(分辨度)为
指标值的最小改变量反映了指标对不同对象的分辨能力,即各个评价对象之间,同一指标的差值大于k/n时才有比较意义。据此,可以确定单个指标赋值应保留的小数位数。
当我们为了减小指标值的最小改变量而减小k,显然不同对象之间的指标值之差会相应减小,不会对指标的分辨能力有帮助。为了消除等级分差k的影响,定义指标分辨率为指标值最小改变量与评分数据最小改变量之比,并记为R,则有
这表明指标的分辨率取决于评价主体容量而与分成多少个评价等级和等级分值无关。
对于某个指标,不同对象的评价者数量不同时,n应取其中的最小者。
下层指标经标准化处理后与权重系数运算形成与之关联的上层指标赋值,最后经一系列的数学运算得到教学质量的数值描述(目标函数值),即上层指标和评价结果都是底层指标的数学运算结果。因此,计算结果应保留与单个指标取值相同的有效数字位数。为了达到排序的目的而任意增加数字的位数是没有意义的。
1.实现评价功能对综合评价方法的要求
教学质量评价一般认为可以实现多方面的功能:反馈指导功能、管理功能、强化学习功能、导向功能和科学研究功能。实现这些功能对评价方法的要求并不完全相同,现仅就实现前两项功能对评价方法的要求进行简单的分析。
评价最基本和主要的功能是反馈指导功能,通过教学评价的反馈信息,指导与调节教师与学生的教和学的活动,从而增加教学活动的有效性。教师利用评价的结果可以了解学生的实际情况,发现教学存在的问题,反思和改善自己的教学计划与教学方法。实现指导功能要求评价方法能够描述评价对象各指标的取值情况及对目标函数取值(教学质量综合评价结果)的影响程度。
由于教学评价反映教师教学的质量和水平,具有监督管理功能,一方面监督着教师的教学劳动,另一方面也在一定程度上为绩效考核、人事决策提供依据。实现管理功能要求对评价对象能够依据综合评价结果排序。
我们不可能为实现不同功能分别设计或选择评价方法,以提高教学质量为目标,应以实现反馈指导功能为主,兼顾监督管理功能,设计或选择较优方案。
2.几种常用综合评价方法比较
评价方法很多,但每一种评价方法都必须:解决评价指标之间不可公度问题;构建价值函数(目标函数)用于权衡评价对象的综合效用或综合水平。前者对于教学质量评价是要求把指标赋值作标准(归一)化处理,即每一指标赋值都映射到区间[0,1];后者是各种评价方法的主要区别。
(1)简易评价方法
简易评价方法包括综合指数法、功效评分法、TOPSIS法等。
综合指数法以均值为基准,求每项指标的折算指数后再汇总成综合指数的评价方法。
功效评分法以指标的最优值和最差值之差为基准,每项指标折算成功效系数后再汇总成综合指数。
TOPSIS法首先将指标值进行归一化处理后,取每个指标中的最大值组成一个最大值向量;取每个指标中的最小值组成最小值向量。然后,按每一个评价对象指标向量与最小值向量、最大值向量的相对接近程度权衡评价对象。
构建目标函数需要确定各个指标的重要程度即权重。确定权重的方法有均权法(各指标权重相等)、离差权法(以指标的标准差为权数)、优先权法(按指标方差达到最大值为准则来确定权数)等。
简易评价方法的机理简单,计算量小,评价函数都是每一个指标的加权线性函数。
(2)层次分析法
在构建指标体系层次结构模型后,层次分析法首先要求从第二层开始,针对上一层的某一个指标,下一层与之相关的所有的指标,进行两两对比,并按其重要程度评定等级,构造判断矩阵。判断矩阵一般由若干分析人员(专家群体)分层列写。每层判断矩阵群中矩阵的数量是上层指标数与专家人数的乘积;每个判断矩阵都是方阵,方阵的阶等于与该指标相关的下一层指标数量。
其次,对每个判断矩阵计算权重向量,并进行一致性检验决定其取舍。
再次,计算同一层次判断矩阵群的权重向量。专家人数大于1的情况下,这是一个多人同指标下权重算法。
最后,计算合成权重向量,即最下层诸指标对最上层(评价目标)的权重向量。合成权重向量的每一分量即相应底层指标在目标中所占比重。
层次分析法的优点是把研究对象作为一个系统;定性与定量方法结合;计算简便,方法和结果简单明确。
层次分析法的缺点也很明显:它的比较、判断直到结果都是粗糙的;判断矩阵是专家对指标间相对重要程度的主观判断,受到专家价值取向和判断技巧的影响;另外,重要程度的等级赋值不是一个等比数列,使得判断矩阵不可能完全满足一致性条件 (同一专家列出的判断矩阵元素之间多少存在“自相矛盾”的情况)。
(3)主成分分析法
主成分分析法的机理简述如下:
p个指标的指标体系视为p维向量,n个评价对象看作容量为n的样本,构成p×n样本矩阵。样本矩阵的元素进行标准(归一)化变换得标准矩阵;通过一个正交变换将其分量相关的原向量转换成其分量不相关的新向量。这个变换的几何意义是原p维坐标系转换成新的正交坐标系,使之指向样本点散布最开的p个正交方向;
对p维向量系统进行降维处理,得到一个m(m〈p)维向量系统,且保存了大部分样本信息(例如,m项指标的累计方差贡献率85%以上),这m项指标即为指标体系的主成分;
构造适当的价值函数,进一步把低维系统转换为一维系统。
主成分分析法的优点在于其理论的简洁性和赋权的客观性;各指标对目标函数的影响程度比较直观。但在指标和评价对象数量大时,矩阵阶数高,计算量大。
(4)模糊综合评价法
模糊综合评价是运用模糊数学工具对某事物作出综合评价。
在模糊综合评价中每项指标的权重,可以是单项指标,对重要性等级(例如:很重要,较重要,一般,不重要,很不重要5个等级)的隶属度,构成模糊权重向量,所有指标的模糊权重向量组成模糊权重矩阵。
每项评价指标分别构造出对评语集 (例如:{优,良,一般,差})的隶属函数;某评价对象的指标数据代入隶属函数,得到该对象所有指标的隶属度向量组成的隶属度综合评价矩阵。
对权重矩阵和综合评价矩阵进行模糊运算,得到某对象的模糊综合评价结果,这个结果一般表现为该对象对各评语等级的隶属度。
模糊综合评价法的关键是建立能够反映客观规律的隶属函数,优点是考虑到了客观事物内部关系的错综复杂性和价值系统的模糊性。
指标体系和评价方法是构成教师课程教学质量评价系统的两个要素。指标体系是对教学质量的数值描述;评价方法是将多指标系统转换为单指标系统,实现对评价对象进行对比的方法。
教学质量评价与其它领域的评价(例如,经济领域的“综合效益评价”)的明显区别,一是指标赋值源于评价主体的等级评分,主观性很强;二是综合评价结果(对评价对象的排序)一般不作为某项决策的依据,功利性较弱。因此,相对于评价方法,指标体系显得更为重要。指标体系应尽可能消除主观赋值造成的“系统误差”,根据指标体系评价的结果与教学质量实际情况尽可能吻合。
借助于计算机技术,特别是数据库技术和数值计算软件、统计分析软件的发展,各种综合评价方法越来越多地被应用于教学质量评价。但是,评价结果的准确程度并不总是与评价方法的复杂程度成正比,教师课程教学质量评价是一项经常性的基础工作,选择评价方法除了理论上的考虑之外,也要考虑它的实用性,即经济性、便利性和可解释性。评价方案的设计必须依靠教师、学生的积极参与。教学行政管理部门作用是在集中各方面的意见、建议、方案的基础上,详加利弊权衡,最终作出抉择,并在实践中不断改进。
[1]秦寿康.综合评价原理与应用[M].北京:电子工业出版社,2003
[2]黄秋明.高职课程质量保证体系研究[M].上海:上海交通大学出版社,2010
[3]朱德全,宋乃庆.教育统计与测评技术[M].重庆:西南师范大学出版社,2007
[4]刘坚,邱保健.多元统计分析在综合素质评价中的应用 [J].山东师范大学学报 (自然科学版),2005,(2)
[5]章迪平,李明,张少林等.多元统计分析在评估教师教学质量中的应用 [J].浙江科技学院学报,2002,(3)
[6]张芳,苏永福.教师课堂教学质量的多元统计分析[J].数学的实践与认识,2007,(17)