网上评教和教师评学效果的实证研究

2014-07-03 01:15董梅生杨德才
关键词:评教效度信度

董梅生,杨德才

(1.安徽工业大学 商学院,安徽 马鞍山243002;2.南京大学 商学院,江苏 南京210093)

《国家中长期教育改革和发展规划纲要(2010~2020年)》把“提高质量作为教育改革发展的核心任务”。为提高教育质量,构建具有长效机制的教学质量监评体系,全国高校都建立了各项评估制度,包括各种评学及评教制度。其初衷是通过教学双方的互评,从根本上提高教学效果,加强教学互动,提升教学质量。目前高校课堂评价手段较多,有督导制度、听课制度、学生评教制度等。随着信息技术的发展,网上评教成为高校管理教学质量的主要方式。网上评教的理念是“以学生为主体”,它确实能够弥补“专家评教”和“同行评教”的不足,使得整个评价体系更加真实、可靠,对教师的教学工作起到一定的监督作用。但是,教育是个互动的过程,因此高校也开展了老师对学生的评价活动。教师评学是涵盖考试成绩、学习动机、学习品德、课堂参与、自主学习、能力培养等综合性、开放性的综合评价体系,以创新精神和实践能力培养为根本价值取向。实际上,“网上评教”和“教师评学”是教学质量监控的两个重要手段,教师和学生分别作为两个评价过程中的评价主体和被评价主体,在教学质量的形成过程中既相互依赖,又在教学监控中相互督促其行为,是一个有机的二元组合。[1]在这二元互相评价里,学生与教师对两种评价的认识程度,对待的态度以及评价制度的设计不仅影响着评价结果的有效性,也对教学质量产生影响。

而在实践中,网上评教与教师评学是否对等地发挥了监控和保障教学质量的作用?教师和学生从各自角度出发,对两种评价的看法及态度是否一致?评价实践中存在的具体问题,又是如何影响评价的实施效果?这些问题,还未引起学者注意。笔者基于这些问题的思考,通过对M大学的实证分析,找出现行评价中的深层问题并探讨其原因,从而为进一步改进评价、优化教学质量保障机制提供决策参考。

一、文献综述

(一)网上评教的文献综述

目前学者对网上评教研究颇多,大致可以归为以下几类:第一,网上评教系统的构建与完善。孙朝云、张羽基于B/S结构设计了网上评教系统。[2]刘丽员、杨昔阳设计了变权的网上评价系统。[3]万荣泽、莫洪武、覃卫东基于UML和ASP.NET技术,设计了网上评教系统。[4]还有其他学者对网上评教系统的构建从不同方位进行了探讨。[5-6]第二,网上评教的有效性分析。韩磊磊、周耀旭、黄晓兵基于广州大学学生网上评教数据,对高校评价体系的效度和信度进行了分析。[7]涂平荣和甘丽、王会刚、梁庭贵对网上评教的可行性和实效性进行了考察。[8-9]第三,网上评教的影响因素分析。秦娟、唐振军对影响高校网上评教效度的主要因素进行了分析。[10]刘克忠、罗侠运用问卷调查法,对影响新建本科院校学生网上评教活动的评教态度、评教心理等因素进行了调查。[11]王凤、易松芝探讨了影响网上评教有效性的因素。[12]闫志明、张光旭、张立新利用鲁东大学2005~2006学年第二学期网上评教数据,对影响高校学生网上评教的因素进行了研究。[13]

(二)教师评学的文献综述

文献检索发现,教师评学还未引起学者足够重视,研究这方面的文献还不多。杨晓忠、周恒忠采用整群抽样的方法,对某高等职业院校某学期教师对学生学习的评价结果进行了分析。[14]梁蓓蓓等采用随机抽样的方法对某医学院2004、2005、2006三个年级的本科和本硕学生理论课及实验课学习情况进行了评价和结果分析。[15]这几篇文章也仅是局限于对教师评学数据的现状分析,并没有进行深入挖掘。所以目前学者对网上评教关注较多,对教师评学研究很少,把两者结合起来研究的文献就更少。因此,本文把这两种教学评价制度结合起来分析,具有一定的新颖性。

二、M大学“网上评教”和“教师评学”的现状分析

M大学是以工科为主,文科为辅的安徽省重点建设的综合性大学。“十二五”时期,M大学定位于建设高水平教学研究型大学,可见教学与科研处于同等重要地位。为此学校成立了专门的教学质量监控中心,对教学过程的质量监控也是常抓不懈,所以本文选取该大学考察“网上评教”与“教师评学”的效果具有一定的代表性。

(一)调查问卷设计和数据收集方法

1.网上评教。网上评教问卷来自该校的正方教务系统,有10个题目,每题10分,依次为:遵纪守时,为人师表;教书育人,对学生严格要求;教学时情绪饱满,有自信心;教学内容充实,基本观点突出、正确;对教师授课条理性、逻辑性的评价;注意引发学生兴趣,避免单调乏味;注意培养学生分析和解决问题的能力;指定参考资料和布置作业情况;鼓励学生发表看法或意见并能正确引导;课堂收获情况。教务处对学生打分进行平均得到某老师某门课的网上评教分值。再结合“专家评教”和“同行评教”获得某老师某门课的网上评教加权分值。

2.教师评学。教师评学问卷来自该校教务处自行设计的问卷调查表,设计的主要内容有:教学效果自评;出勤情况;预、复习情况;课堂纪律;上课听讲情况;课堂参与情况;课堂精神风貌;课堂效果;作业完成质量;参加答疑情况;有教材情况;与教师交流情况;学风总体评价;与上届相比;对学生管理部门服务的满意度;对教学管理部门服务的满意度。每项采用4分制,其中1指好,2指较好,3指一般,4指较差。教务处统计后,对这些评价项目进行平均获得教师评学的结果。

3.数据收集方法。数据均来自该校教务处,其中2011~2012第1、2学期网上评教记录分别为1 994条和1 761条;教师评学记录分别为608条和511条。然后采取教师姓名、工号、课程名称匹配的方法,把网上评教数据和教师评学数据整合起来,扣除数据不全的记录,最后得到2011~2012学年共787个样本。

(二)样本基本统计量描述

1.样本分布情况考察。M大学的14个学院均包括在内,因此样本包含的范围广,内容全。只是基础课学院的课程偏多(外国语103门课;数理103门课),工科学院课程偏少(冶金21门课;计算机25门课;电气26门课),这和实际情况是相一致的。

授课教师是以讲师(56%)为主,副教授(30%)其次,助教(7%)和教授(7%)所占比例较小。这与每年新引入教师较少,教授带本科课程较少,带研究生课程较多情况相符。

M大学实行学分选课制,这既可以满足学生不同的个性需求和发展愿望,激发学生的自主学习精神,还可以适应不同学生的学习进度,学习能力强的学生还可以提前毕业,既减轻了家庭经济负担,又能够早日走上工作岗位。787门课程里,课程性质以必修课为主(82%),选修课为辅(18%),这与M大学各专业教学计划设置的课程性质比例吻合。

高等教育为社会发展培养和输送各种人才,因此高校都很重视引进人才的水平。M大学以培养“求知、创新”的优秀人才为目标,因此在人才引进时非常重视学历水平。但是相对于“211”或者“985”高校而言,M大学由于地理位置偏远,授课教师的学历层次还相对较低,绝大部分是硕士(690人),本科(63人)和博士学历(34人)较少。

课程类别是以公共基础课居多,专业课较少。其中专业课(42门)、学科基础课(186门)、公共选修课(230门)、公共基础课(329门)依次增加,这与该高校课程设置的特点相符。

随着计算机技术的迅速发展和普及,多媒体教学已逐步取代了以往的传统教学模式。M大学很重视教学设施硬件建设,几乎每个教室都配备了功能齐全的多媒体,因此教师95%的授课方式是多媒体教学,其他方式仅占5%。

2.基本统计量描述。

表1 学生评教和教师评学基本统计量和信度检验

表1显示,学生对教师评分为91.89分,加权平均分是91.87分,说明学生对教师授课认可度很高。同时,教师也认为学生学习情况较好,平均分为1.74,介于好和较好之间。平均选课人数为129.61人,参评人数为98.24人,计分人数为88.47人,说明M大学是以大班授课为主,学生参评率达到了76%(=98.24/129.61×100%)。

三、信度和效度检验

因为要保证测量结果是可信且有效的,针对这批数据的各种实证分析才有意义,所以我们首先采用SAS里的proc corr alpha过程进行信度检验;在信度检验基础上,再使用KMO抽样适当性检验和Bartlett球形检验方法进行效度检验。

(一)信度检验

信度是指问卷的稳定性和可靠性,是指同一个测验对同一组人员测试两次或多次,所得结果的一致性程度。[16]主要有重复信度、内部信度和观察者之间的信度。由于文中考察的是一个学年的调查数据,所以无法做重复信度检验;而不同观察者并不能做到完全独立的对相同对象进行评价(如存在同学之间评价时互相参考,甚至替他人评价等等情况),因此我们也不考虑观察者之间的信度检验,仅考察内部信度检验,通常用Cronbach’s Alpha系数测量,结果见表1。

从表1看,标准化之后的Cronbach’s Alpha各指标值均超过了0.8,说明内部一致性极好,也表明M大学评价指标体系设置很合理。

(二)效度检验

效度是指测量的有效程度或测量的正确性,它比信度更为重要。信度是效度的必要条件,效度高的测验,信度必定高;但信度高的测验,效度则未必高。通常用KMO and Bartlett test进行检验,结果见表1。由于网上评教和教师评学的KMO值均大于0.5,Bartlett test的P值均小于0.05,说明该问卷的结构效度很好。因此信度检验和效度检验表明,M大学的这批数据测量结果是可信且有效的,做实证分析是有意义的。

四、网上评教和教师评学关系的实证分析

(一)方差分析

先采用SAS9.1.3软件里的glm过程进行方差分析,再对方差分析有均值差异的数据进行多重总体均值检验(受篇幅性质,Bonferroni T检验结果没有列出),以探索隐藏其中的规律,结果见表2。

因此,学院不同,学生对教师评分、对教师加权评分、选课人数、参评人数和计分人数存在明显差异,这是由于各个学院招生规模不同,师资力量配备不同,教学内容和课程难易程度不同,学风也不同,导致学生评教存在差异。但是教师评学不受学院影响。

职称不是影响网上评教的因素。但是,职称不同的教师对评学不同,其中助教(1.80)、讲师(1.79)、副教授(1.65)、教授(1.65)评价依次上升,这可能是由于职称高的老师教学经验丰富,调动学生的积极性和活跃课堂气氛较好,所以教师评学打分较高,而年轻教师课堂掌控能力相对较弱,从而主观感受学生课堂状况较差所致。

课程性质是影响学生评教的因素,其中必修课的学生对教师评分、对教师加权评分、选课人数、参评人数和计分人数均显著高于选修课,可能是学生认为必修课更重要,所以学生网上评教也带有一定的功利性。相反,教师评学不受课程性质影响,这也说明无论课程性质咋样,教师为“站好三尺讲台”付出的汗水是相同的,因而感受相似。

与高校重视人才引进时的学历层次不同,学历既不影响网上评教,也不影响教师评学。这表明真正走上讲台之后,学生并不关注教师的学历水平,只注重教师的教学水平,并不存在学历高教学水平就高的现象;教师也并不依据自身学历层次的差异,而对学生学习要求区别对待。

课程类别不影响网上评教,也不影响教师评学,这可能是学生和教师均不了解课程分类所致。

多媒体既影响网上评教,也影响教师评学。其中其他授课方式的学生对教师评分、对教师加权评分均高于多媒体教学方式,选课人数、参评人数、计分人数均小于采用多媒体教学。这既表明学生更喜欢其他的教学方式,也说明学生更喜欢小班授课。有意思的是,与网上评教不同,教师更喜欢多媒体教学方式,这是因为多媒体美观、生动、信息量大,同时教师板书耗费精力少,因而教师成就感很好,所以评学打分较高。

综合以上分析,网上评教和教师评学除了在学历、课程类别上评价没有差异外,其他地方均存在错位现象。因而网上评教与教师评学对监控和保障教学质量并没有发挥对等的作用,教师和学生从各自角度出发对两种评价的看法及态度并不一致。甚至可以说,网上评教和教师评学均存在失效的情况。这对教学质量监控部门如何管控教学质量提出了挑战,我们必须对其原因进行剖析,以解决其中的矛盾。

(二)网上评教失效原因剖析

M大学的评教系统与选课系统均隶属于该校的教务管理系统,据学校有关规定,所有学生必须进行网上评教,学生未完成本学期的网上评教将限制其参加后续的教学活动,如选课、考试查询、成绩查询等,所以网上评教带有强迫的成分。但是,即使是在这种强制制度下,根据表1,学生参评率也只有76%,说明学生参与评教的意愿并不高。原因一,网上评教的时间是安排在各学期的中后期,此时大部分课程即将结课或者已经结课,学生面临期末紧张复习,短期内对几门甚至十几门课程进行评价,容易出现仓促应付心理,随意滥评甚至找人代评,降低了评教结果的有效性。原因二,网上评教采取实名制,由于课程还未考试,或者考试了成绩还没有上网,学生担心教师会用成绩卡自己,从而产生顾虑,为和老师搞好关系,因此打分很高。根据表1和图1网上评教平均分为91.89分,标准差为1.09分,最大值为94分(占比0.5%),最小值为86.67分,90分以下仅占5.72%,几乎每个老师都是优秀,说明网上评教存在分数膨胀情况,网上评教失效。原因三,以评促教并未落到实处。网上评教的目的是使得教师获得大量反馈信息,及时了解自己教学中的优势和不足,调整自己的教学观、学生观,倾听学生对教学的需要和要求,不断优化教学过程,提高教学质量。但是由于网上评教的时间是学期的中后期,此时教师既不会调整自己的教学模式,也不会促使教务处更换有问题的老师,所以学生认为评教是流于形式,走过场而已,索性给老师一个好评,说不定老师试卷会出的容易点,从而考个好成绩拿个奖学金。

图1 学生评分分布图

图2 教师评学分布图

(三)教师评学失效原因剖析

M大学教师评学一般都安排在期中教学检查时进行,要求每个老师根据自己授课班级的学生表现情况进行打分,以督促和评价学生的学习状况,引导学生向着积极的方向前进。在实际操作中,表1和图2显示,教师评学的平均分为1.74,最大值为1(占比27.70%),最小值为4(占比0.25%),评分≥3的仅占1.53%,标准差为0.48,说明教师评学同样存在等级膨胀的情况,教师评学同样失效。原因一,教师评学的主动性不够。教师评学是M大学期中教学检查常规内容,是必须完成的差事。通常是各系召集所有教师发放调查表随即就收调查表,各教师没有时间充分思考匆匆填完了事,甚至有借鉴他人打分的情况,因而教师评学失效。原因二,制度导向出现偏差。一方面,学校课酬低,大多数教师并没有动力在教学上投入过多精力。另一方面,虽然学校重视教学质量,但是对教师的各种考核指标却主要是科研论文和课题。制度导向的偏差导致教师愿意搞科研而不注重教学。相反,网上评教结果直接与教师的职称晋升、年终考核、各种申报材料息息相关,教师为了和学生搞好关系,获得好的网上评教结果,就会同时出现教师评价等级膨胀和成绩膨胀的现象。原因三,教师评学结果主要用于学生先进班集体的评选,是优秀辅导员和优秀班主任评选的重要考核指标,既不直接与学生个人利益挂钩,也不直接与任课教师绩效挂钩,甚至有“为他人做嫁衣”的嫌疑,因此缺少教师评学的主观能动性,教师评学失效也是情理之中的事情。

五、主要结论和建议

(一)主要结论

在信度和效度检验通过的情况下,网上评教和教师评学在学院、职称、课程性质、多媒体属性指标上均存在错位现象。网上评教与教师评学不但没有对监控和保障教学质量发挥对等的作用,而且同时存在网上评教分数膨胀和教师评学等级膨胀的现象。因此,网上评教和教师评学均是失效的。

(二)政策建议

1.提升教师评学的主观能动性。教师评学的设计既要侧重于培养学生的自主学习能力和创新能力,也要激发教师的参评意愿,为此需要设置相应的激励机制。学校要改变偏重科研的考核制度,大幅提高教学课酬,加大对优秀教师的奖励程度,以激发教师教学的积极性,提升教师评学的主动性。

2.及时进行评价信息的反馈。网上评教和教师评学不仅是完成常规的教学质量检查工作,其最终目的是要实现“以评促教”、“以评促学”,因此评价信息的及时反馈是评价工作的最大价值所在。教务管理部门针对学生和教师提出的意见和建议,在做好保密工作的时候,也要维护参评者与被评者双方利益,及时与当事教师或主管领导进行沟通反馈,以提升和改进教学质量,还可以提高学生和教师参与互评的意愿,摈弃教师和学生认为评价是流于形式的片面认识。

[1]高杰欣.基于师生视角的“学生评教”、“教师评学”的调查分析[J].内蒙古师范大学学报 (教育科学版),2011(9):38-66.

[2]孙朝云,张羽.基于B/S结构网上评教系统设计与实现[J].计算机应用与软件,2012(3):183-186.

[3]刘丽员,杨昔阳.基于合理变权的网上评教系统的实现[J].宿州学院学报,2012(1):52-55.

[4]万荣泽,莫洪武,覃卫东.基于UML和ASP.NET技术网上评教管理系统的设计与实现[J].软件导刊,2009(7):186-189.

[5]赵硕.网上评教系统的设计与实现[J].新课程研究(职业教育),2008(20):138-139.

[6]陈胜红.基于高校网上评教系统的设计研究[J].电脑知识与技术,2011(12):2768-2775.

[7]韩磊磊,周耀旭,黄晓兵.高校学生评教指标体系的信度与效度分析——基于广州大学学生网上评教的实践研究[J].教育导刊,2012(3):57-61.

[8]涂平荣.高校学生网上评教的可行性与实效性探讨[J].北京电子科技学院学报,2010(1):83-85.

[9]甘丽,王会刚,梁庭.唐山学院网上评教可行性研究[J].赤峰学院学报(汉文哲学社会科学版),2009(2):182-183.

[10]秦娟,唐振军.高校网上评教的效度影响因素分析及对策[J].高教论坛,2011(10):93-98.

[11]刘克忠,罗侠.新建本科院校学生网上评教活动影响因素研究[J].滁州学院学报,2012(1):85-87.

[12]王凤,易松芝.影响高校学生网上评教有效性的因素及其控制[J].消费导刊,2008(3):174-175.

[13]闫志明,张光旭,张立新.影响高校学生网上评教的因素研究[J].中国电化教育,2007(3):45-47.

[14]杨晓忠,周恒忠.对某高职院校教师评学结果的调查分析[J].卫生职业教育,2006(22):118-120.

[15]梁蓓蓓,侯华新,黄超,梁磊,农兆丰.医学院校教师评学情况的分析及探讨[J].中国高等医学教育,2008(2):68-84.

[16]马文军,潘波.问卷的信度和效度以及如何用SAS软件分析[J].中国卫生统计,2000(12):263-365.

猜你喜欢
评教效度信度
地方高校教学评价指标制订与评教数据分析
《广东地区儿童中医体质辨识量表》的信度和效度研究
高校学生评教存在的问题及对策
——以川北医学院为例
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
高校学生网上评教的探索与实践
科技成果评价的信度分析及模型优化
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
外语形成性评估的效度验证框架
评教,别忘记站在教师的立场上