孟 琼,张美霞,陈 莹,和丽梅,殷建忠
(1.昆明医科大学公共卫生学院,云南 昆明 650031;2.四川大学华西公共卫生学院,四川 成都 610041)
•调查研究•
医科院校教师教学水平学生评价量表的信度效度分析
孟 琼1,2,张美霞2,陈 莹1,和丽梅1,殷建忠1
(1.昆明医科大学公共卫生学院,云南 昆明 650031;2.四川大学华西公共卫生学院,四川 成都 610041)
[目的]采用经典测量理论方法对自制的某医科院校教师教学水平评价量表进行信度和效度分析。[方法]通过3轮核心小组和议题小组讨论及专家咨询法制定量表,并应用该量表让昆明医科大学公共卫生学院的10名老师所上课班级的全体学生对授课教师的教学水平进行评价。计算分半信度系数和克朗巴赫系数以评价该量表的信度,采用相关性分析和探索性因子来评价该量表的效度。[结果]发放问卷485份,收回有效问卷477份,有效率98.35%,完成时间无人超过10 min,评价表有较好的可行性。总评价量表的分半信度为0.977,克朗巴赫系数为0.967,所有维度的克朗巴赫系数均大于0.7,该量表的信度较好。各条目与其相应维度的相关系数均在0.700~0.913(P<0.001)之间;采用因子分析方法,提取5个公因子,累计方差贡献率为75.678%。[结论]该教师教学水平评价量表具有良好的信度和效度,可作为教师教学水平评价工具。
教学水平;评价量表;信度;效度
高校教师的教学水平是指高校教师在进行教学过程中体现的教学能力和水平。学生作为教育的直接对象,全程参与教学,是教学的直接受益者。因此,学生对教师教学水平的评价能更好的反映教师教学水平[1]。我国的教学水平评价最早始于1984年北京师范大学对教师教学进行简单的质量评价,到1995年,国内大多数高校都开展了教师教学水平的评价[2]。目前尚未见到针对于医科院校教师教学水平的评价体系报道,而构建一个有医学特色、实用、合理、客观、高效的评价工具是医科类院校教师教学评价的基础。鉴于此,本文旨在对自制的某医科院校教师教学水平评价量表进行信度效度分析,以期为医科院校教师教学水平评价提供一个可信可靠的工具。
1.1 量表的研制方法
1.1.1 评价量表的制定
首先通过查阅、整理、分析大量有关教学水平评价方面的文献,结合医科院校教学特色,核心小组在讨论后给出教师水平应该包含教学组织、教学内容、教学方法、教学态度和教学效果等5个维度。然后由讲授医学课程的老师和医科院校的学生组成的议题小组按照理论框架提出每个维度下的条目,形成条目池。接着再针对条目池进行第3次核心小组和议题小组共同参与的讨论,并通过专家咨询法,最终确定出教学组织包括3个条目,教学内容7个条目,教学方法5个条目,教学态度5个条目,教学效果4个条目,整个评价量表共24个条目。
1.1.2 选项确定
选项采用等级方式,依次为:一点也不、有一点、有些、相当和非常共5个等级,分别赋予1~5分。
1.1.3 量表计分方法
对评价量表先分别计算出各个维度的初步得分(粗分)及整个量表的得分(粗分),再采用(实际得分-最小可能得分)/得分可能的极差的方法来计算各个维度及总量表的标准分。
1.2 调查对象
因为制定的评价量表是由学生来评价老师教学水平的评价量表,此次调查的对象是昆明医科大学公共卫生学院的10名教师所上课班级的全体学生。
1.3 测评方法
评价表均在学生上课的课间休息时填写,调查员作简单解释和说明后,将该评价表发给全班同学填写,等待学生填写完毕并检查确定无缺失值后当场收回。
1.4 信度效度评价方法
应用Epidata13.0软件进行数据录入,数据分析通过SPSS17.0软件进行。
信度评价:计算总评价表及各个指标的分半信度(split-half reliability)。分半信度采用奇偶分组方法,将所有条目分半,即将测验题目按照序号的奇数和偶数分成两半,然后计算两项项目分之间的相关系数[3]。同时也计算克朗巴赫系数α(Cronbach’sαcoefficient),该系数反映的是各个条目之间的相关性[4],以评价量表的内部一致性信度。
效度评价:以专家评议的方法来评价评价表的内容效度;通过计算各个条目与维度之间、各个维度与总评价量表之间的相关系数;采用探索性因子分析,初步评价该量表结构与预想理论框架是否符合,以评价量表的结构效度。
2.1 一般情况
本次问卷调查共发放485份问卷,收回的有效问卷为477份,其中无效问卷8份,有效率为98.35%。完成时间无人超过10 min,评价表有良好的可行性。被测的学生包括了2011级及2012级临床医学、医学影像、医学检验、口腔医学、公共卫生事业管理和麻醉学专业的学生。
2.2 分半信度
分别计算总量表及各维度的分半信度,得到总评价表的分半信度为0.977,5个领域的分半信度为0.829~0.939,可见该量表的分半信度较好,见表1。
2.3 克朗巴赫系数
总评价表的克朗巴赫系数α为0.967,5个领域的克朗巴赫系数α为0.757~0.926,可见量表的内部一致性较好,见表1。
表1 教师教学水平评价表的内部一致性信度分析结果
2.4 内容效度
该评价表通过参考其他高校评价量表并结合昆明医科大学教学特点而制定的,通过有关各方面的人员参与讨论,经过专家评议方法对该评价表进行评价修改而成。此外,该评价表条目简短,语言通俗易懂,填表方式简单明了,所有学生均能理解和回答问题。可认为该评价表具有良好的内容效度。
2.5 结构效度
2.5.1 条目——维度相关性分析
各条目与其所在维度得分之间的相关性最大,但是与其他维度得分的相关性较低。该评价量表的各条目与其所属维度之间的相关系数均在0.594~0.913(P<0.001),见表2。
表2 教师教学水平评价表条目—维度相关性分析
2.5.2 探索性因子分析
教师教学水平评价表的Bartlett球型检验及KMO检验结果显示:KMO统计量为0.969,Bartlett球型检验χ2=10008.092,P<0.001,说明数据适合做因子分析。经主成分提取因子,提取5个公因子,累计方差贡献率为75.678%。经方差最大旋转后可知:各个因子都包含1~2个领域,探索性因子分析结果与构想理论基本吻合,见表3。
表3 经最大方差旋转后的因子载荷矩阵
信度也称可靠信,是指测量结果的一致性或稳定性的程度[3]。在信度评价方面,目前,对于信度系数并没有统一的标准,但多数学者的观点认为信度系数在0.9以上量表的信度甚佳,在0.8以上较好,如果低于0.7就需要进行修订[3-6]。结合研究结果,该评价量表的5个维度的克朗巴赫系数均未低于0.7,总量表的克朗巴赫系数在0.9以上,可见该评价表的信度是较好的,具有一定的稳定性和可靠性。
效度也称为有效性,它是指测量工具或手段能否准确测出所需测量的事物的程度[6]。本研究选用内容效度和结构效度两种检验方法。内容效度的评价主要通过经验分析。结构效度是指研究者所构想的理论结构量表与调查而建立的量表结构之间的相关程度。通过相关性分析可得,各个条目与维度之间的相关系数均在0.594~0.913,具有较好的相关性。通过探索性因子分析,提取5个公因子,累计方差贡献率为75.678%,符合公因子的累积方差贡献率至少是40%的要求[6],且每个因子都包含了评价量表的1~2个领域,因此可认为该评价表的结构效度较好。
综上所述,该教师教学水平评价量表具有较好的信度及效度,而且该评价表由授课老师和学生一起参与提出条目,经过三轮讨论后形成了简洁明了、内容通俗易懂的条目内容,结构清晰,每个条目的选项不再是让学生具体来给一个具体分值,而是被划分为五个等级,让学生进行选择,学生容易填写,单独完成时间较短,具有较好的可行性。总之,该评价量表符合医科院校的特点,有较好的信度和效度及较好的可行性,可以用来评价医科院校教师的教学水平。
[1] 唐开勇.建立教师教学水平的评价体系[J].机械职业教育,2003,(5):14-15.
[2] 李春玲.高校教师教学水平评价在我国的实践发展和理论探讨[J].现代教育科学:高教研究,2005,(4):79-81.
[3] 亓莱滨,张亦辉,郑有增.调查问卷的信度效度分析[J].当代教育科学,2003,(2):53-54.
[4] 刘朝杰.问卷的信度与效度评价[J].中国慢性病预防与控制,1997,5(4):174-177.
[5] 孟 琼,万崇华,罗家洪,等.癌症患者生命治疗测定量表体系之胃癌量表QLICP-ST的研制[J].肿瘤,2008,27(11):1212-1216.
[6] 李 灿,辛 玲.调查问卷的信度与效度的评价方法研究[J].中国卫生统计,2008,25(5):541-544.
(本文编辑:张永光)
Reliability and validity analysis on students evaluation scale to medical university teachers’ teaching level
MENG Qiong1,2,ZHANG Mei-xia2,CHEN Ying1,HE Li-mei1,YIN Jian-zhong1
(1.PublicHealthSchoolofKunmingMedicalUniversity,Kunming,Yunnan650031,China;2.HuaxiPublicHealthSchoolofSichuanUniversity,ChengduSichuan610041,China)
Objective It analyzes reliability and validity analysis on students evaluation scale to a medical university teacher’s teaching level by classics measure theory method. Methods The scale was made through three rounds discussion by core and focus group,all students evaluated teaching level of 5 teachers whom taught them. The Split-Half reliability coefficient and Cronbach’s α coefficient were calculated to evaluate the reliability of this scale. The validity of the scale was evaluated by using correlation analysis and exploratory factor analysis. Results Provided 485 questionnaires,and took back 477,the effective rate was 98.35%. No one spent more than 10 minutes to finish this scale. The feasibility of this scale was good. The Split-Half Reliability of the total evaluation scale was 0.977,and Cronbach’s α coefficient was 0.967 and the Cronbach’s α coefficient of all domain were larger than 0.7. Therefore,the reliability of this scale was good. The correlation coefficients between each item and its corresponding domain were from 0.700 to 0.913(P<0.001). Five common factors were extracted and the cumulative contribution rate was 75.678%. Conclusions The scale for evaluating teachers’ teaching level has good reliability and validity,and can be evaluate tool to teachers’ teaching level in medical universities.
teaching level,evaluation scale,reliability,validity
2016-04-07
10.3969/j.issn.1003-2800.2016.07.012
昆明医科大学教研教改项目(2013JY-Y39)
孟 琼(1978-),女,云南昭通人,副教授,主要从事生命质量量表研制、概化理论的应用、卫生筹资公平性方面的研究。
殷建忠(1970-),男,云南永胜人,硕士,教授,主要从事卫生政策、营养与食品安全方面的研究。
R192
A
1003-2800(2016)07-0046-03