高校学生评教的多维度信度、效度分析——以合肥师范学院为例

马强强

(合肥师范学院 教学质量管理与评估处，安徽 合肥，230601)



高校学生评教的多维度信度、效度分析
——以合肥师范学院为例

马强强

(合肥师范学院 教学质量管理与评估处，安徽 合肥，230601)

[摘要]作为教师考核的重要内容和改进教学的重要手段，学生评教工作已广泛在高校开展。从高校学生评教的评价指标内容效度、整体结构效度、分项指标关联度、评价者信度等多个维度，对高校学生评教的信度、效度进行分析，发现评价指标的内容效度和结构效度较高，评价指标有待修订，不同专业学生的评分者信度存在差异。

[关键词]教学评价；信度；效度

1问题的提出

学生评教工作已广泛在高校开展，其评价结果也多运用于教师教学质量考核、教师教学工作年度考核当中，学生评教在促进教师改进教学方法、提高教学质量，促进学生参与教学、监督教学等方面具有积极作用，但也存在评教指标不合理、评价分数不符合实际、学生评价过程不规范等问题。本研究通过对合肥师范学院学生评教指标、评价分数和评分者(学生)的信度、效度进行分析，对学生评教的全过程进行多维度验证。

2学生评教整体情况

本文以合肥师范学院2013—2014学年第一学期学生评教数据为研究对象，被评教师724人，学生评教平均分为91.69分，中值分数为92.09分。通过spss19.0软件对全校教师的学生评教分数进行“频数分析”，偏度系数-0.8<0，均值在峰值的左边，成“负偏态”，说明分数较高的教师人数占大多数，分数较低的教师人数占少数；峰度系数为1<1.8，表示正态分布平坦并趋向“U”型分布。

3学生评教指标效度分析

信度即可靠性或可信度,指测量结果的一致性或稳定性,即测量工具能否稳定地测量到它要测量的事项。效度是指正确性程度,即测量工具确能测出其所要测量的特质的程度。效度越高表示测量结果越能显示出所要测量对象的真正特征。[1]

3.1评价指标内容效度检验

内容效度是指标量表的理论推理是否符合逻辑且是否有效。学生评教教学指标具体内容包含4个一级评价项目11个二级分项指标，其分别是“教学态度”包含教学工作纪律、辅导和指导态度、精神状态(1-3分项指标)；“教学内容”包含课程内容信息与重难点分析、问题解答与分析思路、内容新颖并联系实际(4-6分项指标)；“教学技能”包含教学方法创新和应用、现代教学信息技术使用、课堂互动与问题解决(7-9分项指标)；“教学效果”包括学生兴趣引导和创新启发、知识和实践能力提高(10和11分项指标)。经过10名富有教学管理经验的专家对评价指标的合理性、范围覆盖度进行分析和修改，评价指标效度能够得到保障。

3.2评价指标整体结构效度检验

采用方便取样法选取某专业3个班级共计175名学生对课堂教学质量进行评价，评价采用百分制，每位学生可以直接对11个分项进行评分，评价问卷回收有效率100%。采用克朗巴哈系数(cronbach α)信度系数(以下简称α系数)，对评价成绩的内部一致性信度进行计算。并以For-nell和Larcker(19811)[2]推荐的系数大于0.7作为信度满足要求的基本标准。α系数和量表中的评价项目关系密切，10个以上评价项目，α系数应达到0.8以上才达到可接受水平。

克朗巴哈系数计算公式为：

表1　可靠性统计量

3.3各项评价指标关联度检验

依据上述学生对课堂教学质量评价的数据，通过指标间相关性分析，结果表明(见表2)：第6项指标与其他指标关联度很小，一致性弱。通过“项总计统计量”结果分析，对学生评教指标进行改进，依次对各指标进行删除后计算α系数，通过“项已删除的 Cronbach's Alpha 值”栏数据发现，除第6项指标删除后α系数增高外，其他α系数均降低，这说明如果通过删除或修改第6项指标对学生评教指标进行改进，α系数可增加至0.978，提高指标一致性，而修改其它项指标，会降低指标一致性，说明该项指标需要进行改进。

表2　各评价指标相关性矩阵和其删除后的Cronbach's Alpha 值表

4评分者信度检验

评分者信度是指多个评分者给同一批人的答卷进行评分的一致性程度[4]。目前，有的高校对学生评价教学采用等级制评分，这样就可以使用Kappa系数法、肯德尔和谐系数法等方法进行评分者信度测算，但是对于采用百分制或其他非等级制的方式评分时，应采用cronbach α系数计算。为分析不同学科门类学生评分者的信度，分别选取理工科、文科和艺体类某专业同年级各60名学生，分为理工组、文科组、艺体组三组，其中理工和文科组为非师范专业学生，艺体组为师范专业学生。每组学生对担任其2013-2014学年第一学期教学的6名教师反映课堂教学质量的11个二级分项指标进行评价，在小组内学生所评价的课程和教师均相同。因评价分数为百分制，在实践中，α系数适用于连续变量，当被用于评分者的一致性后，评分者替代了项目，而α也就成为评分者信度的一个量度[5]。利用spss19.0软件，分别对各组6个教师反映课堂教学质量11个指标分数和总分数的α值进行测量，结果见表3：

表3　各评价指标评分者信度cronbach α系数值表

5结果分析

5.1评价指标的内容效度和结构效度较高

通过专家制定学生评教指标，能够保证学生评教指标的内容效度和结构效度。同时，通过各项评价指标关联度检验，能够分析出不合理的评价指标内容，如指标6中，“教学内容能反映或联系学科专业发展的新思想，新概念，新成果”内容，因学生对本学科专业认知程度的限制，导致此内容的评价效度有限，应予修订。

5.2理工组评分者信度整体刚达到基本要求

理工组学生评教总分值的α系数为0.73，刚达到基本要求。该组有的二级分项指标α系数过低，未达到0.7的基本要求，说明各分项的评分者评价分数的内部一致性不高。这说明以下问题：一是部分学生不是根据教师在每个分项指标中的表现打分，而是根据总体印象或评价打分，导致教师的总评价分数的评分者信度达到要求，而分项指标分数的评分者信度偏低；二是部分学生在评价教师时具有随意性，评价无区分度。以该组指标10为例，α系数为0.5，通过分数分析发现，60名学生中，分别有12名和9名学生对6名教师的评价分数全部是99分和90分，导致α值偏低。

5.3文科组评分者信度未达到基本要求

文科组学生评教总分值的α系数为0.67，未达到基本要求。11个二级分项指标分数的信度有9个未达到0.7，有的二级分项指标分数的信度仅为0.44，具体来

5.4艺体组评分者信度较高

艺体组学生评教总分值的α系数为0.91，评分者信度较高，并且11个二级分项指标分数的信度均大于0.8，均达到可接受水平。通过调查发现，作为师范生，该专业学生具有较强的责任意识，十分重视学生评教工作，并且学习过教学评价的相关课程，具备教学评价的理论知和实践经验，所以，评评分者信度较高。

5.5学生评教工作需要进一步规范和指导

一是要加强学生评教宣传，明晰学生评教的重要意义和目的，强化学生的主体和责任意识；二是强化要求，加强监督，要求学生客观、认真评价，建立监督和通报机制，杜绝代评、乱评、不评等现象；三是加强培训和指导，引导学生合理、科学评价，增强评价的区分度和客观性；四是加强数据分析和管理，分析导致评教数据失真的原因，采取按比例取舍最高、低分，有针对性的反馈和整改问题，保障评价结果公平、客观。

[参考文献]

[1]李灿,辛玲.调查问卷的信度与效度的评价方法研究[J].中国卫生统计，2008(25)：05:541-544.

[2]Fornell c,Larcker D. Ewaluating Structure Equationgs Models with Unobservable Variables and Measurement Error [J].Journal of Marketing Research ,1981(2):39-50.

[3]王孝玲.教育测量[M].上海:华东师范大学出版社,2004.

[4]黄光扬.教育测评与评价[M].华东师范大学出版社，2012.

[5]孙晓敏，张厚粲.表现性评价中评分者信度估计方法的比较研究[J].心理科学,2005(3)：646-649.

[中图分类号]G647

[文献标识码]B

[文章编号]1674-2273(2015)06-0103-02

作者简介][第一 马强强(1981-)男，讲师，安徽固镇县人，硕士，研究方向：高等教育管理。

[基金项目]2012安徽省省级教学研究重点项目：基于工作流程分析的新建本科院校职能部门服务教学工作评价指标体系研究与实践(2012jyxm419)阶段性成果

[收稿日期]2015-05-20