教学质量评价系统中识别评教偏差的应用技术研究

李礴，邓桂萍

（长沙航空职业技术学院，湖南长沙 410124）

当前，在我国高校教师教学质量的评价体系中，学生对教师授课过程及其教学效果的评价已占非常重要的地位。学生评教不仅能作为考核教师教学水平的评估依据，更能促进教师对教学活动、教学方式的持续改进。但是，由于学生对教师存在个人情感因素，很容易使得学生在评教过程中产生评教偏差。一方面由于学生的教育背景、个人能力以及对课程知悉程度等差异因数造成的评教偏差，属于感知差异评教偏差；另一方面，学生的随意消极评教、存心恶意评教以及为了取悦教师和学校的趋高评教而产生的评教偏差则属于非感知差异评教偏差。无论哪种评教偏差均能严重影响教师的教学质量评判，无法准确反映教师的真实教学水平。因此，开展对高校教师教学质量评价系统中识别、修正或剔除学生的评教偏差，提升学生评教准确性的研究，对降低学生评教偏差对教师评价效果的影响有着极其重要的研究意义。

1 核心概念的界定

本文涉及的高校主要是指各类普通本科院校及高职高专，主要涉及以下几个核心概念：

（1）高校教师教学质量评价

高校教师教学质量评价是对教师教学过程及其结果是否达到一定质量标准所做出的价值判断，是衡量教学工作全面设计、实时、分析的科学性，从而确保教学目标和教学任务的高效实现[1]。教师教学质量评价指标是教学质量评价体系或评价系统中的重要内容。评价指标通常需要包含：教学素养、教学态度、教学内容、教学方法、教学效果等几个维度，客观全面地反映教师的基本素质和教学能力[2]。针对这几个维度展开，形成具体的评价指标要素，学生才能对教师评价具有实际的可操作性。例如教师素养可制定：为人师表、语言表达、精神状态、板书规范等指标要素；教师态度可制定：教学纪律、备课辅导、师生交流、教学责任等指标要素；教学方法可制定：教学互动、教学手段、教学形式、学以致用等指标要素；教学效果可制定：课

题气氛、考试成绩、能力提升、全面发展等指标要素。（2）学生评教

学生评教是指高校在校学生根据学生评教制度和评教指标体系，通过评教系统或填写评教问卷等方式对教师的教学过程、教学质量、教学效果及学生收获等予以定量评价的过程[3]。学生评教对于教师的教学素养、教学态度、教学内容、教学方法、教学效果等几个维度的教学质量评价有着重要的参考价值。本文研究的学生评教界定为学生通过教师教学质量评价系统，根据评价指标对教师的教学过程和教学质量进行定量评价。

（3）学生评教偏差

学生评教偏差是指学生在依据评价指标对教师进行评教的过程中，因学生的主观因素或客观因素而产生的学生评教结果与教师的实际教学质量与效果发生偏离或偏差。评教偏差因素可分为感知差异评教偏差和非感知差异评教偏差两方面。学生的教育背景、个人能力以及对课程知悉程度等差异因数造成的评教偏差属于感知差异评教偏差；学生的随意消极评教、存心恶意评教以及为了取悦教师和学校的趋高评教而产生的评教偏差则属于非感知差异评教偏差[3]。本文的学生评教偏差界定为学生的感知差异评教偏差和非感知差异评教偏差两种，研究目的是如何通过技术手段来消除学生的评教偏差。

2 高校学生评价偏差因素的研究现状

当前，国内外学者针对高校学生评价偏差的因素及对策已展开了广泛的研究。美国学者Anikeef研究发现学生所处的年级会影响评教分数，高年级学生给教师打分较为宽松。Feldman和Marsh研究发现教师个性特征和性别均能对学生评教产生较大影响。国内学者对我国高校学生评教偏差的因素也进行了深入研究。2019年，北京师范大学刘冬梅等针对高校学生评教的影响因素与应对策略作了研究，其研究分别从高校教师差异和高校学生差异两个角度分析了影响学生评教的因素[4]。刘冬梅认为，教师的专业领域差异、任教班级差异、性格理念差异、才能才干差异以及责任心与学生感情差异是教师给学生产生评价偏差的因素；学生的学习态度差异、学习兴趣差异、性格爱好差异、学习方法差异以及评教态度差异是学生自身方面评价偏差的因素。中南民族大学解佳龙认为高校学生的评教偏差主要表现在认知模糊评教、随意消极评教、存心恶意评教、引致趋高评教等四个方面[5]，解佳龙在学校、学生和教师三个层面上提出了高校学生评教纠偏的指导策略和建议，但没有给出如何修正评教偏差的具体方法。中国地质大学（武汉）谭智力等针对高校学生的感知差异造成的评教偏差现象进行了研究，从学生的教育背景、个人能力、个人先前的学科兴趣和了解程度、教师的可爱度、评价时间等几个方面分析了产生感知差异的原因[6]，但其研究结果也只是提出了关于消除感知差异引起的评教偏差的应对策略，并非具体实际方法，而且对于学生的随意消极评教、存心恶意评教以及学生为取悦教师和学校而产生的趋高评教等行为造成的非感知评教偏差并未进行研究。

以上均是对我国高校学生评教偏差的产生因素及其应对策略的研究成果，为建立学生评教模型和科学的管理机制提供了理论支撑。

3 高校学生评教信息技术及管理系统的研究现状

目前我国针对学生评教技术层面的研究主要体现在学生评教系统开发、统计分析、结果处理等软件设计等方面。邹文林以证据推理方法研究了网上学生评教，认为证据推理方法是一种研究认识不确定性问题的方法，并将证据推理方法应用到学生评教中，以证据推理作为测评统计方法开发了网上评教系统[7]，该研究成果在一定程度上提高了网上评教数据的准确性，为评教数据处理提出了新的方法。杨超等研究了学生评教信息系统，对提高学生评教系统的准确度、可信度提出了建议[8]。艾文国等人提出了按“同质课程”建立比较集，设计了适合各学科、专业特点的动态指标体系，并给出了指标权重的确定方案，以标准分评教模型为基础，构建了评教修正模型[9]。张金标运用基于信息熵的理论算法构建了评教偏差识别与修正模型，在一定程度上提高了评教系统数据的可信度[10]。

以上关于我国高校学生评教系统的研究成果大致可以总结为以下三个方面：一是利用信息挖掘技术分析影响教学质量的关键因素；二是利用信息技术提高评教系统的准确度和可信度；三是以动态评教指标体系为基础，构建评教修正模型。

4 修正或剔除学生评教偏差的应用技术

影响学生评教偏差的关键因素主要分为两类，一类是学生感知差异引起的评教偏差，另一类是学生非感知差异引起的评教偏差。根据目前的研究成果，可以通过大数据分析学生评教数据，得到一般性高校教师教学质量评价体系中普遍存在的学生感知差异因素，以此为基础建立符合一般性高校教师教学质量评价体系且能够修正学生感知差异的评教模型，并在此基础上研究统计学中的各种异常值判别准则，以识别或剔除学生非感知差异产生的评教偏差，进而能够最大程度地减少因学生评教偏差对教师执教水平和执教效果的评价影响。本文认为可以具体从以下几个技术方面进行研究：

（1）使用大数据分析方法，研究高校学生评教数据样本

调研收集各类高校学生评教的大数据样本，采用茎叶图分析样本数据的分布特征，采用箱型图分析样本数据的中心特征和离散特征，重点关注可疑异常数据的位置特征，结合茎叶图统计可疑异常数据出现的频次与频率，计算出各数据段的出现频率或百分比。根据分析得到数据特征，仿真出易于数学模型实验用的样本特征数据。

（2）构建能够反映高校学生感知差异的闭环评教模型

基于一般性学生评教指标体系的特征数据样本，提炼出能够反映学生评教偏差因素的评价指标，构成评教指标体系，利用主成分分析法和加权平均法对评教指标体系中的评教指标权重进行合理配比与计算，构建评教指标的象限图分析模型，形成一套能够反映学生感知差异的学生评教模型。评教模型根据评教偏差结果与实际应用情况重新分析评教指标体系，对于不合适的评教指标则从评教指标体系中剔除，对于合适的评教指标则在评教指标体系中予以保留或新增，进而形成一个可以修正学生感知差异评教偏差的闭环评教模型。

（3）确定在闭环评教模型中识别或剔除学生非感知差异评教偏差的最佳方法

通过分析对比莱因达准则、格拉布斯准则、狄克逊准则、肖维勒准则、绝对均值法以及分位数法等六种可用于动态检测数据异常值的准则，对六种数据异常值检测准则设计相应的实验算法。通过实验，从异常值识别效果（孤立异常值、连续异常值）、是否要求样本正态分布、算法实现的难易程度以及适应范围等方面对比分析六种数据异常值判别准则。六种数据异常值判别准则的对比如表1所示。

表1 六种数据异常值判别准则的对比

学生的评教数据一般呈正态分布，其中的异常评分（包括恶意评分）通常不会连续出现。在前面分析对比的六种数据异常值判别准则中，只有狄克逊准则和格拉布斯准则的特点均符合一般评教系统的数据分布要求。经进一步研究发现，对于样本数量n，在3≤n＜25的范围内，使用狄克逊准则和格拉布斯准则来判别可疑异常数据是合适的，但在25≤n≤185的范围内，格拉布斯准则的判别效果比狄克逊准则更佳。而在一般评教系统中，单个被评项的评分总数量在10至100之间，所以格拉布斯准则比狄克逊准则更适合于评教系统的实际要求。

格拉布斯准则的基本思想如下:先将呈正态分布的等精度多次测量的样本数据按从小到大排列,统计临界系数G(a,n)的值为G0,然后分别计算出G1、Gn:G1=(X-X1)/σ，其中，Gn=(Xn-X)/σ，α是检出水平值，该值与置信概率有关。若G1≥Gn且G1＞G0，则数列中首数据X1应予以剔除;若Gn≥G1且Gn＞G0，则数列中的末数据Xn应予以剔除；然后对数列中剩下的测量值重新计算平均值和标准偏差以及G1、Gn和G0。重复上述步骤继续进行判断，当出现G1＜G0且Gn＜G0时,则说明此时的样本数列不存在“异常值”，即可停止检测。

基于格拉布斯准则结合评教系统的评教指标，采用协同过滤算法得到学生评教的预测评分，通过计算预测评分与实际评分之间的平均绝对偏差MAE来衡量预测评分的准确度。平均绝对偏差MAE满足公式1，其中：Pi是指学生对n个评教对象的第i个评教项目的预测评分，Qi是学生对该评教项的实际评分。MAE的值越接近于0，说明预测值与实际值偏差越小，预测效果越好。

在取得较好预测效果的前提下，根据评教系统设定的恶意评分识别规则，将预测评分与算法识别出的异常评分进行差异率计算，差异率v满足公式2。其中Pi为第i个项的预测评分，Ti为算法识别出的某学生对第i项的异常评分。

若计算的差异率v大于门限值55%以上，则判定异常评分Ti为恶意评分，且差异率的门限值可依据恶意评分识别规则进行灵活设置。

5 总结

基于以上研究，本文认为可以通过大数据分析等研究方法，构建出能够反映学生评教偏差因素的评教指标体系，对评教指标体系中的评教指标权重进行合理配比与计算，研究出能够反映高校学生感知差异的闭环评教模型，通过实验确定出格拉布斯准则在评教系统中识别学生恶意评分是一种较好的解决方案，进而可以为设计既能自我修正学生感知差异评教偏差，又能识别或剔除学生非感知差异评教偏差的评教系统提供了有效的解决方案，为最大程度上减少学生评教偏差对教师评价效果的影响有着重要的应用价值。