教师网络培训课程评价指标的设计和研究

周丹妮张怀浩

（上海市师资培训中心 上海 200233）

一、研究背景

教师作为教育改革与学校发展的第一资源，全面提高教师队伍质量、引领教师专业发展，是全面深化教育改革的必然要求。教师网络培训课程的学习是教师进行继续教育的一种专业成长路径。教育部、财政部印发《关于实施中小学幼儿园教师国家级培训计划（2021—2025年）》的通知，提出对教师培训要提质增效，助力教师队伍高质量发展，从评价和管理方面都提出了新的要求。教师培训需要从课程质量着手进行改革，建设优质的培训课程资源，需要对其进行有效的评价。

上海市有18万名教师通过在线学习的方式进行培训，网络教师培训的课程数量已经达到1500多门，且做到了中小幼学段课程资源的全覆盖。然而我们通过调研也发现，部分的课程内容不能满足教师的根本需求，教师培训获得感不强。这就需要对在库课程优胜劣汰，对课程质量进行评估。传统的教师培训课程的评价方式主要以评审专家的视角为主，以个体经验出发会带有主观色彩，且评审的过程中缺少学员的评价，这将使得课程的评价缺乏客观性和针对性。本实践研究主要通过课程评价指标的设计和评价模型的建立，对教师培训课程进行科学的评价，以此对课程资源进行优化和更新，进而更好地为教师的专业发展助力。

二、相关概念及理论

武法提指出，“网络课程是在课程论、学习论、教学论指导下通过网络实施的以异步自主学习为主的课程，是为实现某学科领域的课程目标而设计的网络学习环境中学习内容和教学活动的总和”。［1］以上强调了课程实施的网络环境，且网络课程的学习是以自主学习为主。从这个概念的界定中会发现，网络课程需要借助必要的网络环境和工具才能得以实施。本文中的教师网络培训课程是指在网络学习环境下，为了实现培训的目标，把学习目标、计划、内容、评价等要素融为一体，教师借助软件工具和学习平台通过异步自主学习的方式，在线开展互动讨论、任务协作、资源共享和知识建构等教学活动，来达成对教学理论和知识技能的掌握，进而提升教师教学素养和促进教师专业的发展。

国内外关于教师培训课程方面的研究主要聚焦于培训课程的认证标准、培训课程的用户体验、培训课程的设计与开发。关于网络课程评价，王满提出，“网络课程评价是以网络课程网站为评价对象，建立合理的指标体系，采用正确的评价方法，计算出网络课程网站的得分，判断网络课程网站是否符合学习者对该网站的预期，站内资源是否得到充分有效的应用，并对其设计、内容等方面提出改进意见或建议”。［2］刘红提出，“评价是评定价值，网络课程评价隶属于课程评价的范畴，评价的目的是为了更好地设计、开发和应用网络课程。而课程评价是运用一定的方法和手段，通过系统地收集、分析、整理信息和资料，考查课程目标的达成度或对课程研制过程、课程计划及课程效果做出的价值判断”。［3］两者从不同的角度进行概念的界定，前者侧重于学习的平台即网站的体验度，后者侧重于课程的内容、课程目标的达成度。我们综合两者的观点，对教师网络课程培训的课程评价界定为，以网络教师培训课程为评价对象，通过数据采集和分析课程的选课及评价数据，依托课程评价指标和模型体系，计算出教师网络培训课程的得分，综合判断课程是否满足教师的学习需求，且对课程的价值和培训效果做出判断。课程评价指标的建立对保障网络课程的质量有重要的意义，它以课程资源为中心，在对教师网络课程的管理中，研制标准化的课程准入、评价、淘汰管理机制，通过教师的学习数据和评价数据进行评价模型的建构，利用技术实现课程管理的自动化，借助数字技术将评价模型部署在平台中，实现评价的自动预警，推动教师培训课程质量的提升，课程资源实现良性循环，赋能教师专业发展。

三、教师网络培训课程评价指标的构建

层次分析法（Analytic Hierarchy Process，缩写AHP）是美国运筹学家赛惕（T.L.Saaty）在20世纪70年代提出的一种系统分析与决策的综合评价方法。层次分析法是通过建立不同的层次结构，将问题按照总目标—子目标—各指标进行因素的分解，然后进行若干因素两两之间的重要程度比较，再构造判断矩阵，求得各个层次指标的权重排序，最后加权求和算出最终的权重。层次分析法不仅适用于解决网络课程评价中出现的复杂问题，也能够充分融入各学科专家的集体智慧。［4］

我们通过问卷调查，收集课程评价结果的问卷数据和选课数据，利用统计工具进行分析，结合因子分析法，研究网络培训课程评价的影响因素，利用层次分析法确定各影响因素所占权重，以此构建教师网络培训课程评价指标体系，为教师培训课程的建设提供有价值的参考，同时也为改革教师培训课程的评价方式提供实践参考。

（一）问卷的设计及检验

1.问卷的设计

为了从多个角度对课程的内容进行评价，教师每学完一门教师培训课程都要完成一次问卷调查，对课程进行评价。课程评价问卷包含6个评价维度，分别为：课程体验、课程设计、组织管理、学习收获、培训者能力和学习共同体，6个一级维度下又分别有36个二级维度的评价问题，具体设计见表1。

表1 课程评价的维度的问卷设计框架

根据网络培训课程的特点，对教师的培训评价问卷从课程的内容、学习体验、平台的管理、主讲教师、学习的交流等多方面进行设计，目的是让教师对网络培训课程整体的情况有全面的评价。

2.问卷信效度检验

本研究采用因子分析方法进行信效度验证。由于问卷的数量比较多，因此选取了2017年秋季的一门课程进行检验，其中包含的问卷数量为2578份。

信度检验分析结果（见表2）是，问卷设计的量表中6个维度的克隆巴赫Alpha系数都在0.95以上，说明此问卷设计的6个指标都是有效的、可信的，问卷整体的信度满足统计分析的需要。

表2 信度分析结果

采用因子分析法进行效度检验，由表3可以看出：KMO取量适切性量数为0.992，表示此份问卷中的量表非常适合因子分析。巴特利特球形度检验结果为：近似卡方值为203724.640，数值非常大，所对应的P值为0.000＜0.05，因此巴特利特球形度检验有显著意义，表明问卷通过效度检验。

表3 信度分析结果

（二）评价指标的设计

根据每年教师在学习平台上的开课数据、选课数据和对课程培训结束后的评价数据，对同一门课程历年选课的人数和评价问卷的每项结果，利用数据拟合的方式设计了教师网络课程评价的3个二级指标和6个三级指标（见表4）。

表4 课程评价体系指标模型

当课程的某个指标大于同课程指标的80分位数时，我们认为这门课程在这个指标下表现十分优秀，给予“优秀”标签；当课程的某个指标小于同类课程指标的80分位数、大于40分位数时，我们认为这门课程在这个指标的表现情况一般，给予“良好”标签；当课程的某个指标小于同类课程指标的40分位数时，我们认为这门课程在这个指标的表现情况欠佳，给予“警告”标签。利用这样的指标模型对课程进行整体的评估。

1.培训效果

课程总体的培训效果由学员（参训教师）对所学的课程全过程的评价、课程选择人数、课程持续时长来反映。基于这三方面建立3个三级指标：课程满意度、满座率和持续率。3个指标分别采用的数据和计算方式如下：

（1）课程满意度

培训结束后，向每一位学员发放调查问卷，收集学员在课程体验、课程设计、组织管理、培训收获、培训者能力、学习共同体6个维度的评分。6个维度的加权平均分即为课程得分。

其中：

比如：课程体验我们共采集了三类数据，分别是问卷设计中的Q1：总观感、Q2：是否愿意推荐给同事、Q3：整体学习体验，故：

所以：

（2）满座率

课堂人数可以有效反映课程的优质程度，课程选课人数与期望选课人数的比值即为满座率。

第k门课程在第j开课时段的学员总人数为mnk,j，与第k门课程同一培训方式的课程在第j开课时段的期望人数为mznk,j，则第k门课程在第j开课时段的课程满座率为：则第k门课程整体课程满座率为：

其中，MEANj(·)表示对下标j求均值。

第k门课程在开课时段内学科热度的波动率为：

其中，ONk为课程开课时段数为开课时段内课程学科热度的最大值，CMZk,j为其第j次开课时的课程学科热度，故：

（3）持续率

课程持续学期长短可以有效说明课程连续情况，开课次数占应开次数的比值即为持续率。

第k门课程首开课时间为skk，应开时段为ykk，则第k门课程的课程持续率为：

指标CCXk值越大，表明课程的持续率越高，连续开课率越高，课程连续性越能得到很好的保证。

培训效果是教师网络培训结束后，对课程的整体情况进行的评价及指标的设计，从教师对一门课程的问卷评价，到这门课程近几年的开课情况是否连续，以及课程的选课人数的多少进行标准化的计算，可以多维度地对课程进行评价。

2.针对性

培训课程有通识类的课程和专业（学科）类的课程。为了评价所开设的课程是否受学科教师的欢迎、选课教师与课程类别的一致性，进而设计课程“针对性”的指标，目的是可以对课程进行分层分类的评价。针对性包括课程设置针对性和学员选课针对性，故设计两个三级指标：匹配度和青睐度。

（1）匹配度

课程分为通识课和专业课（学科类），仅专业课（学科类）有匹配度这一三级指标。在专业课中，与课程适用学科保持一致的学员占选课总人数的比例为匹配度。课程的匹配度越高，说明该课程更适用于该学科，专业性更强。

第k门课程在第j开课时段与课程适用学科保持一致的学员人数为snk,j，第k门课程在第j开课时段选课总人数为nk,j，则第k门课程在第j开课时段的课程匹配度为：

则第k门课程整体课程匹配度为：

其中，MEANj(·)表示对下标j求均值。

第k门课程在开课时段内有效辐射区的数量的波动率为：

其中，ONk为课程开课时段数为开课时段内课程匹配度的最大值，CPPk,j为其第j次开课时的课程匹配度，故：

（2）青睐度

在学员选课针对性方面，适用该学科的学员对该门课程的喜爱程度越高，同一适用学科范围内该门课程的选课的人数越多。故青睐度表示同一适用学科范围内，课程选课人数占该类学科学员总人数的比例。与第k门课程所属同一适用学科的课程在第j开课时段的学员总人数为xknk,j，第k门课程在第j开课时段选课总人数为nk,j，则第k门课程在第j开课时段的课程青睐度为：

则第k门课程整体课程青睐度为：

其中，MEANj(·)表示对下标j求均值。

第k门课程在开课时段内青睐度的波动率为：

其中，ONk为课程开课时段数为开课时段内课程青睐度的最大值，CQLk,j为其第j次开课时的课程青睐度，故：

课程的匹配度和青睐度指标的设计，是从课程的面到点的评价，具体会对每一门课程与选课教师之间的关系以及课程的热度相关联，对课程进行分类的评价，获取不同的评价数据，同时可以了解课程的开设情况与教师的学习情况，为以后的建设做参考依据。

3.覆盖面

一门课程的影响力和产生的用户黏性及吸引力，在一定程度上也能代表课程的质量，因此课程能够吸引多个区学员的选择，则代表该课程对多个区达到了有效的覆盖。在覆盖面方面，设置了辐射广度一个三级指标，即课程有效辐射到区的数量，可以有效刻画课程辐射到区的情况（传播力）。好的课程应该具有较强的传播力，在多个地区都造成影响，且这种影响应是持续的。因此，课程广度越大，课程越优质。下面以上海市为例：

考虑到上海市共有16个区，则第k门课程在第j开课时段辐射到区的有效数量CRWk,j为：

其中，I(·)为示性函数，判断第k门课程j开课时段在第i区教师人次数nk,j,i是否不低于10人次。则第k门课程整体有效辐射到区的数量为：

其中，MEANj(·)表示对下标j求均值。

第k门课程在开课时段内有效辐射区的数量的波动率为：

其中，ONk为课程开课时段数，为开课时段内有效辐射到区（在时段内辐射到区的教师人数不低于10人为有效）的数量的最大值，CRWk,j为其第j次开课时有效辐射到区的数量。

与传统的网络课程评价的方式不同，这里设置了课程的覆盖面的指标，主要是考虑到课程的影响力与学员黏性之间的关系，网络课程不同于线下的课程，不受时间和物理空间的限制，学员可以通过网络自主选课，课程的覆盖面与多种因素有关。作为一个评价指标，可以通过数据分析和计算了解课程的情况，对后续同类课程建设决策和推广有借鉴价值。

（三）评价指标权重的确定

权重表示在评价过程中，是被评价对象的不同侧面的重要程度定量分配，对各评价因子在总体评价中的作用区别对待。在课程的评价指标设计之后需要对6个二级指标进行不同权重的配比。指标权重的计算方法有很多，比如德尔菲法、专家平均法、ANP（网络分析法）、熵值法。通过研究和对比，本次采用层次分析法进行三级指标权重的分配。

1.构建层次结构模型

利用层次分析法构建层次结构模型，模型分为目标层、准则层和方案层3个层次，分别对应：师资培训课程评价；评价指标的3个维度，即为二级指标；三级指标（见图1）。

图1 层次结构模型

2.构造判断矩阵

设计专家问卷打分表，利用相对重要性等级表（见表5）评价层次结构模型中三级指标之间的重要程度。邀请10位专家填写问卷打分表，根据评价指标体系中各要素进行两两打分，构造三级指标判断矩阵。表6为某一专家的判断矩阵。

表5 相对重要性等级表

表6 某一专家的判断矩阵

3.一致性检验

下面需要根据一致性比率CR对判断矩阵进行一致性检验，当判断矩阵的一致性是在可接受的范围内，即各元素间的逻辑关系比较正确时，判断矩阵可以用来计算指标权重，否则需要对判断矩阵进行修正。

为衡量CI的大小，引入随机一致性指标RI：RI的值与判断矩阵的阶数有关，一般情况下，矩阵阶数越大，则出现一致性随机偏离的可能性也越大，其对应关系如表7：

表7 平均随机一致性指标RI标准值

一般情况下，当CR＜0.1时，则认为该判断矩阵 通过一致性检验，否则就不具有满意一致性，需要重新调整判断矩阵。

4.确定评价指标体系及权重

通过一致性检验的判断矩阵计算各指标的权重。计算判断矩阵的特征值和特征向量，将最大特征值对应的特征向量进行归一化处理即为各指标的重要性权重。通过4位专家为指标体系进行矩阵打分，最终取得指标的权重配比：课程匹配度为12.87%，课程青睐度为3.46%，课程满座率为25.17%，课程持续率为9.95%，课程辐射广度为5.74%，课程满意度为42.82%。最终课程评价得分为6个三级指标的加权求和。

四、评价指标的实证研究

（一）评价的对象和主体

1.评价对象

我们依托上海市教师教育管理平台，将在库的1500多门网络培训课程作为研究对象，收集了2016年秋至2020年秋，共计9个学期、18万条教师的选课数据及50余万条评价数据，通过数据的清洗、分析和处理，利用上述评价指标体系对课程进行综合评价。

2.评价主体

评价主体是在学习平台中对所选的课程进行评价的教师（学员），同时也包含评价体系的构建者及学科专家，本研究选取了52位不同学科的专家和4位评价体系的构建者作为评价的主体。

（二）评价的结果分析

1.评价课程筛选

平台中由于课程的时间跨度大，开课情况较为复杂，如直接利用指标体系模型进行课程的评价，难以判断课程的差异化，因此对1500多门的课程进行了条件的设置，满足以下几类条件后可利用指标模型进行评价。

（1）平均选课人数要求：同一门课程的多次选课人数进行平均，得到该课程的平均选课人数。

（2）开课次数要求：要求2016年秋至2020年秋之间，开课次数不少于2次。

（3）近期开课要求：早期课程，要求其至少需要在最近两年内有过开课记录；对于新开课程，要求其至少在最近一年半内有过开课记录。

（4）课程总得分（问卷得分总计）：基于学科类别，根据课程得分对课程进行分类筛选。要求同学科课程中，课程得分小于所有课程得分中位数。

（5）课程学习方式：课程的学习方式以网络（在线）培训课程为主。

经过课程的筛选，最后剩余236门课程。

2.分析结果

利用评价指标的体系及算法模型，对符合我们评价条件的236门课程进行评价，通过筛选后课程的表现情况相对较好（见表8），6个指标大部分都处于良好及优秀阶段，处于警告阶段的数目非常少，质量相对较好。

表8 课程评价指标分析结果

3.专家评价

使用层次分析法对课程指标进行权重的配比，需要对课程的权重配比及课程的情况和内容通过专家的现场评价进行验证，确保数据分析后的结果与专家的评价视角在一个维度上，然后对课程的整体情况进行分解。因此每门课程最终的评价由3位专家通过背靠背的方式进行评审，最终40门课程被评为优质课程。

五、研究的局限性与未来展望

评价指标的设计可以判断课程的基本情况，但是仍存在一些局限性。在评价过程中，因为原有课程信息不完整，需要对课程的学科设置进行判断和标签划分，会存在主观性。还有一些课程存在数据缺损的现象，如未提供最少人数学期所在的时间阶段，无法判断是处于前期还是后期，对课程的分析会产生一定程度的影响。同时评价的指标需要经过实践积累不断地验证，教师网络培训课程的评价是一个比较复杂的工程，涉及大量的数据和指标，同时需要与一线教师、课程设计者、平台管理者、教育技术专家、学科专家等进行多方咨询和论证才能形成有效评价。

教师网络培训课程评价的基本出发点是更好地促进教师的专业发展，而评价所能起到的作用是明确教师的培训目标、反思课程的结构、调整课程的比重和结构、将数据技术应用于教师培训课程的评价，通过获得更多原始基础数据，挖掘更多的相关信息，印证和揭示更有价值的在线教师培训课程。未来可建立一套供上海市、区、校三级联动的课程管理机制，实现课程管理的体系化和规范科学性，建立课程的准入、准出、评优标准，联动三级管理机构进行模块化的管理。