教师教学效果的电子过程评估与终结性评估差别的实证研究*

李建国，梁诗童，邓成方，曾元儿

（广州中医药大学公共卫生与管理学院，广东广州 510006）

线上教学正成为课堂教育的一种常态，这与面对面的线下教学有所不同，线下教学多采用终结性评价为主体、信息资源为辅助，而我国目前线上教学仍采用传统线下教学的学期末终结性评价，与线上教学相适应的评价体系发展较弱、运用不足。基于电子过程的评估方式为优化我国高校的教学评价提供了新途径。移动网络的覆盖、移动设备的智能化、评价系统的升级、师生信息素养的提高，这些特点为过程评估手段从人工转向电子过程奠定了基础。目前高校线上课程相互竞争与融合，倒逼高校评教利用数字化手段处理海量的评价信息，并将评估范围规模化、评估结果数据化、评估工具高效化。

本文主要分析G大学正在使用的、与电子过程评估相适应的教师教学评价指标体系，同时比较电子过程评估与形成性评价的差异，利用这套指标体系在G大学选取了40 762份样本进行回归分析，依据实证结果说明电子过程评估和职称对教师教学评价总分的影响，最后提出进一步改进的具体步骤和做法。

一、电子过程评估的内涵与特征

电子过程评估就是采用电子手段，尤其是现代信息通讯技术手段，对在线教学过程中实施的各种评估活动，充分利用在线教学的线上评价数据对教师的教学效果进行即时性分析。该评估活动注重全程无纸化、参与式评价、过程性评价、形成性评价，对教师进行即时、多次、动态、全周期的在线反馈。目的是及时发现教学设计或实施过程中的不足，尽早调整与完善教师教学态度、教学模式及方法等，以保障教师在线教学的效果。与形成性评价相比，电子过程评估迎合了线上教学趋势，更具有可操作性。电子过程评估有以下几个特点：一是可以电子化和低成本化，避免准备大量纸质调查问卷导致的高额成本，也便于查阅与传输；二是可以即时化和瞬间反馈，有效改善人工统计导致的时滞性、低效率问题；三是可以规模化和大数据化，有助于统一教学评价指标体系，并在各大高校推广使用、比较差异；四是可以动态化和经常化，电子评估易操作的特性使课后开展教学评价成为可能。

二、电子过程评估的量表分析——以G大学为例

G大学是中国知名大学，其教学评价指标系统在国内具有典型性。G大学采用的教师教学评价量表共11个条目，分为优、良、中、差四个评价等级。Q1 “运用启发式教学，注重培养学生的学习能力和科学思维” 、Q2 “思维活跃，课堂良好” ，反映了教师对学生思维能力的培养；Q3 “备课认真，治学严谨” 、Q4 “教态端庄、诚恳，为人师表” ，反映了教师的教学态度；Q5 “能有效运用各种教学媒体” 、Q6 “理论联系实际，范例恰当、生动” 、Q7 “语言清晰，表述生动、灵活” ，反映了教师的教学技能；Q8 “信息量大，能反映学科动态和新进展” 、Q9 “能掌握基本内容，对课后复习和应用有较大帮助” 、Q10 “内容适量，易于理解吸收” 、Q11 “讲课层次分明，突出重点，讲清难点” ，反映了教师的课堂内容安排和学生的理解情况。Q1-Q7合并归类为教师教学准备，Q8-Q11合并归类为学生吸收效果。

这些指标具有下列特点。

1.较多关注学生的收获与感受

G大学通过Q9询问学生是否理解所学内容，Q10询问学生在课堂中是否有收获。这个评价主要来自学生的感受，从教学态度、教学内容、教学方法、教学技能、教学效果等指标评价教师的教学，是从学生的视角反映教学质量。这些指标与大多数学生评教相似，侧重 “以学评教” 。［1］

2.注重评价学生的视野拓展、好奇心与求知欲、高阶思维

Q1考察教师运用启发式教学的能力，Q2考察教师活跃课堂思维的能力，Q8考察教师与时俱进、更新授课内容的能力。而传统的评教指标主要关注教师是否跟上了教学进度、学生是否掌握本课基础知识，缺乏导向性。［2］

3.评价指标指向明确

为避免学生因理解偏差导致评估结果不准确，G大学通过Q7评价教师的口头表述能力，通过Q11评价教师的讲课逻辑性。而传统的评教指标存在表述模糊、产生歧义等问题，缺乏可观测性。［3］

4.评价指标具有系统性

Q3用来评估教师的课前准备情况，Q9用来评估教师的课后答疑解惑情况。当前，我国高校评教指标主要聚焦教师在课堂中的表现，评估教师课前、课后教学行为的指标较少。

三、实证分析

确定评价指标体系后，进一步收集数据来研究不同职称、不同评价类型对评价总分是否有显著性影响，探讨线上电子过程评估对教师教学质量的促进作用和影响。

（一）研究设计

1.数据来源

本文的样本采用G大学某学院在新冠肺炎疫情期间为所有教师、所有课程记录的学生匿名教学评价数据（2019-2020年间），共计40 762个样本。其中2019年的教师教学质量评价采用终结性评价形式，共计19 231个样本；2020年的教师教学质量评价采用电子过程评估形式，共计21 531个样本。数据来自该校教务管理信息系统。

2.研究变量

本文选取的教师教学质量评价的变量有评价总分、职称和评价类型。①评价总分，用Y表示。主要反映学生对教师的教学态度、教学技能、课程内容、师生互动、多媒体使用等方面的综合评价，反映学生对教学实施过程、教学效果、教学质量的整体满意度评价。终结性评价与电子过程评价使用的评价量表相同，总分都为100分。②职称，主要反映教师的学科知识水平、教学经验、科研能力等。职称由三个子变量组成：职称是否为教授或研究员，是则D1=1，否则D1=0；职称是否为副教授或副研究员，是则D2=1，否则D2=0；职称是否为讲师，是则D3=1，否则D3=0。若D1、D2、D3都为0，则表示该教师职称为助教；以助教为基准组。③评价类型，用D4表示。评价类型包括终结性评价与电子过程评价两类。若评价类型是电子过程评价，则D4=1；若评价类型是终结性评价，则D4=0；以终结性评价为基准组。

3.研究模型及假设

（1）构建模型

为考察职称和评价类型对教师教学评价总分的影响，本文设定如下虚拟变量模型：

式中：Yi为课堂评和期末评的评价总分，α0为截距项，D1i、D2i、D3i、D4i分别为虚拟解释变量，α1、α2、α3、α4为回归系数，ui为随机扰动项。

（2）研究假设H1：教师职称对教师教学评价总分有显著性差异。H2：电子过程评估对教师教学评价总分有显著正向影响。

4.研究方法

本研究利用Stata16.0对变量数据进行了描述性统计分析和虚拟变量回归分析，利用最小二乘法估计回归模型参数，根据所得回归结果分析检验上述两个研究假设。

（二）研究结果

表1汇总了所选变量的统计分析结果，报告了以评价总分为应变量、以教师职称和评价类型为自变量的虚拟变量回归结果。从表1可得，评价总分的平均分较高，波动较大。在职称中，讲师的占比最大，助教的占比最小。在评价类型中，电子过程评估与终结性评价的占比分布比较平均。

回归方程表示为

回归模型的样本容量为40 762，各变量的回归系数为正，t检验显著，P值都小于0.001，具有统计学意义。F值为132.50，P值为0.0000，方程通过显著性检验。以助教为基准组，教授或研究员、副教授或副研究员、讲师的教学评价平均分分别比助教多1.9992分、2.4520分、2.2328分。以期末终结性评价为基准组，电子过程评估能够提升教师教学评价平均分0.3271分。研究假设H1和H2得以验证。与职称相关变量的回归系数大小排序是D2＞D3＞D1，说明其他条件不变的情况下，相对于助教而言，副高职称教师教学评价提升最高，正高提升最低。

表1 变量的描述统计结果及模型估计结果

（三）稳健性检验

上述研究仅挑选评价总分、教师职称、评价类型三个变量，对全学院40 762份学生匿名评价数据进行回归分析。本研究将同一授课教师、同一课程、同一评价类型的数据合并，然后取所合并数据的平均分，共得到277个样本。进一步对合并样本重复上述虚拟变量回归，进行稳健性检验，所得描述统计结果及回归结果如表2。与原样本相比，合并样本评价总分均值更高，得分更稳定；各职称占比、各评价类型占比差距不明显。

回归方程为

回归模型的样本容量为277，各变量的回归系数为正，t检验显著，P值都小于0.05，具有统计学意义。F值为4.33，P值为0.0021，方程具有统计学意义。以助教为基准组，教授或研究员、副教授或副研究员、讲师的教学评价平均分分别比助教多0.8825分、1.2039分、0.9763分。以期末终结性评价为基准组，电子过程评估能够提升教师教学评价平均分0.6819分。与职称相关变量的回归系数大小排序是D2＞D3＞D1。合并样本和原样本分析具有相同结果，原模型分析具有稳健性。

表2 合并样本的描述统计结果及模型估计结果

四、高校与教师运用电子过程评估的建议

通过计量分析发现，电子过程评估对高校线上教学的评价总分有显著正向影响，不同职称教师对评教总分的提升效果不一致。那么，面对线上教学广泛应用的趋势，高校和不同职称教师的教学评估需要进行相应的政策调整及新的设计。

1.高校完善电子过程评估的主要措施

（1）规范电子过程评估基本步骤，实现教学评价高频化

一是确定教师教学评价的指标体系和量表设计，并把指标体系和量表附在每个教师每次课的教学设计后端。二是将评价量表网络化，与学生教务系统联网，在教务系统内划分单一模块用于教学评估。三是每次课结束后，鼓励每位学生在教务系统学生端进行匿名评价，给出反馈意见。四是教务系统即时对数据进行自动统计分析，在教师端即时反馈评价结果。五是教师根据反馈结果及时改进教学效果，保障教学质量。

（2）规范电子过程评价指标，实现教学评价规范化、标准化

参照加拿大曼尼托巴大学的评教指标体系，［1］电子过程评估指标既要统一规范，又要注重各学科、各课程、各教师评教指标的差异化，实现刚性指标与弹性指标相结合，一般指标与特殊指标相结合。电子过程评估量表的一般指标是指每次课应该达到的指标，特殊指标是指该课程当次课应该达到的指标。依据教师和各课程特点动态调整，包括该次课的教学目的与课程内容的拓展、学科动态及进展、课程案例与讨论等。

（3）电子过程评价结果反馈自动化，实现教学评价反馈的即时化

现有的高校教师教学评价存在评价与反馈的时间间隔长、改进结果无人跟进、有效性不足等弱点，［4］而只有评估反馈的即时性才能保证评估的有效性。学校教务处的教学评价系统应具备自动的数据即时统计分析功能，将电子过程评价结果瞬间反馈给授课教师。反馈内容包括评价得分汇总、得分波动情况、具体条目的最低分和最高分比较、各评价等级的学生人数占比、意见和建议的关键字提取分析等。电子过程评估的即时数据分析，有效避免了反馈滞后、教师不能及时调整教学内容等问题。

（4）将电子过程评估结果纳入评奖评优，加强教学评价对教师的激励作用

我国部分高校评教存在结果不公开、不反馈等问题，［5］应该正确运用评估结果，发挥学生评教在教学质量中的诊断作用、在教师评优中的激励作用。首先要明确评优标准，把每次授课得分较高且较稳定，或者经有效教学调整后得分进步较大的教师评定为优。同时，要纠正部分教师的错误观念，如学生主观评价不可靠、成绩比评价更重要、片面关注评价结果而非其教学改进等。只有把评估结果与教师实际利益挂钩，让评估结果具备更强的激励作用，才能让教师密切关注每次课的教学效果，不断提升高校线上教学质量。

2.不同职称教师运用电子过程评估的改进策略

（1）正高级职称教师要适应线上教学的技术要求和特点

本研究推翻了正高级职称教师得分最高、教学评价得分提升最多的惯有认识，与刘旭和许晓东、［6］顾凡和马爱净［7］的研究结果不一致。正高级职称教师没有通过提升科研和教学能力来实现职称晋升的压力，他们的线上教学模式下的信息素养有待提高。但正高级职称教师专业能力强，专业能力在电子过程评估中起到更大的作用，因为学生更看重教师的专业能力，而非信息化水平。因此，正高级职称教师要多旁听、观摩、学习其他教师的线上教学，学习最新信息技术，积极参加教学比赛。要提前了解电子过程评估的特点与功能，熟悉教师教学评价指标体系，明确学生评教的具体维度与条目，积极参与线上教学培训，提高自身信息素养。

（2）副高级职称教师要强化电子过程评估要求与专业研究能力的有效结合

本研究与其他学者 “职称和评教得分呈正相关或负相关” 的研究结果不同。［6-8］副高级职称教师仍有较大压力与动力去提升自身专业素养，改进教学行为。同时其教学经验更丰富、教学技能更突出。副高级职称教师得分更高的原因可能是同时具备科研与教学的特质，既能与时俱进，主动了解学科领域新动态，又能及时关注电子过程评估的反馈，通过电子手段将新做法融入线上教学，将其研究成果与线上教学有机结合。因此，应适当分流副高级职称教师的具体方向，一部分专攻科研，另一部分专攻教学，用更多的时间和精力致力于教学质量的提升。

（3）中级职称教师要把现代信息技术与所教课程特点结合起来

现有研究表明职称与年龄有正相关性，［9］而且年龄低于45岁的教师更倾向学术研究。［10］学术论文发表才是晋升职称的高效途径，中级职称教师普遍存在 “重科研轻教学” 问题，因而评价得分低于副高级职称教师。但在中级职称教师中，年轻教师占比较多，接受新鲜事物、利用信息技术手段的能力更强。在电子过程评估中，中级职称教师需要把现代信息技术与所教课程特点结合起来，防止教育技术和专业研究出现两张皮现象。

（4）初级职称教师需要全方位加强学习，以不安排课程教学为主

本研究结果显示，初级职称教师的教学评价得分最低，而且与其他职称教师的得分差距较大。原因是初级职称教师的知识储备和教育学、心理学方面的知识尚不完备，专业广度和深度、教育教学能力还有很大的发展空间。因此，初级职称教师有待进一步探索如何利用现代信息技术有效传递知识点，如何将学生意见转变为可行的教学行为，如何利用教育学、心理学知识提高课堂满意度等。有条件的情况下，一般不安排初级职称教师参与大学课堂教学。