高校在线课程质量评价指标体系构建研究

顾云锋，陆 慧，吴钟鸣，管兆昶

(1.金陵科技学院教务处 江苏 南京 211169；2.金陵科技学院人力资源处 江苏 南京 211169)

课程是高校人才培养的核心要素。随着“互联网+教育”的发展，近几年，我国积极探索在线课程建设，目前我国的在线课程数量和应用规模已居世界第一，已逐渐成为世界慕课建设和应用的领导者。在线课程因其资源多样性、学习个性化、评价多元化广受学习者欢迎，正变革传统教与学的形态。然而，并非所有在线课程的质量都是令人满意的，很多课程建设和应用效果堪忧。学习者作为在线课程的主要参与者和最大受益者，其评价是课程质量最为直观的反馈，具有重要的探索和研究价值。那么，何种在线课程能吸引并满足学习者的学习需求？对学习者而言，在线课程的哪些环节相对更重要？教师应采取何种措施提高在线课程的教学质量？基于上述问题，本研究试图从学习者学习体验出发，基于因子分析法去构建符合“互联网+教育”时代要求的在线课程质量评价指标体系，旨在为课程建设和质量提升提供依据。

1 文献综述

通过文献分析发现，国内外关于在线课程质量评价的相关研究不少。目前在已有的国内外研究成果中有很多值得借鉴参考，如美国QM标准[1]、复旦大学研发的中国版FD-QM 课程质量标准[2]、教育部“国家精品在线开放课程”的评价指标体系[3]、国家标准化管理委员会发布的《信息技术―学习、教育和培训―在线课程》标准[4]，等等。

总体来看，近年来关于在线课程质量标准的研究是业内关注的热点问题之一，其中不仅有宏观层面的定性探讨，也有实证角度的定量分析，但还是存在不少不足：第一，现有研究更侧重于“教”。第二，现有研究更多从应用效果与影响去评价课程质量，而忽视或者不够重视学习者的直接学习体验。第三，现有评价指标体系存在指标重复性较高、覆盖不全面等问题。第四，实证研究不够充分，很多研究形成的评价指标体系未能就其信度和效度进行检验，缺乏实证数据支持。

2 研究内容

2.1 主要研究设计和研究方法

评价指标遴选与体系构建是一个较为复杂、严谨且不断完善的过程。本研究首先通过文献调研、多轮专家访谈等方式，初步确定在线课程质量评价初选指标，并进行问卷调查；然后对初选指标进行修正，确定从学习者体验出发的在线课程质量评价问卷；通过问卷调查对高校在校生和社会学习者进行数据收集；运用SPSS、AMOS 软件，采用因子分析法和结构方程模型[5]对问卷调查结果和评价指标进行实证分析。

在实证分析过程中，笔者首先对问卷调查数据进行信度和效度分析，保证问卷调查质量。在此基础上进行探索性因子分析和验证性因子分析，再运用结构方程模型对各项指标及模型拟合度、适配度、区分效度进行验证。

2.2 初始问卷设计和数据收集

初步构建在线课程质量影响因素。通过对已有研究进行文献梳理，并面向业内专家收集意见，整理归纳出具有代表性的、覆盖学习者学习全过程的51 个测量问题项。然后在一所大学本科生中开展小范围预调查，每个测量问题项都让受访者从自身学习体验出发，针对问题项的重要程度作答，回答项采用李克特五级量表计分法。初步调查采用问卷星开展，时间从2022 年11 月开始，最终回收有效问卷数116 份。

2.3 初步问卷调整和数据收集

初步分析问卷调查统计结果，发现Q4“课程负责人和团队成员的介绍”、Q5“课程提供授课对象说明”、Q13“知识点视频主讲老师知名度高”和Q35“平台提供笔记功能”等问题项上学习者选择“不重要”或“非常不重要”频率百分比较高，分别为8.6%、6%、6.9%、7.8%。分析原因，一是在Q4 和Q13 两个问题项上，虽然在很多在线课程质量认定中较看重该指标，但从学习者的角度来说，这些指标对课程的教学质量可能并没有太大影响，因此决定把两个问题合为一个“课程在学生学习之前提供课程负责人和教学团队的基本情况说明”；二是Q5 和Q6“课程明确说明了学习者应具备的前期基本知识”两个问题含义重复，舍去问题Q5，保留并调整Q6；三是舍去Q35 问题项。同时，对于部分表述不是特别准确的测量问题项进行修改，原则是从基于学习者的角度去描述，而不是基于教师、课程管理者或课程评价认定者的角度。最终形成正式测量问题项48 题。

正式问卷中包括受访者基本信息的问题项3 题、测量问题项48 题（编号为Q1 至Q48）。调查使用问卷星线上开展，时间为2023 年4 月至5 月。回收问卷4362 份，去掉作答不完整以及所有回答完全重复的无效问卷1052 份，最终得到有效问卷3310 份，问卷有效率为75.9%。

3 研究数据实证分析

3.1 内在信度分析

在SPSS 中对有效问卷结果进行内在信度分析。结果表明，问卷数据的信度系数为0.979，大于0.9，说明问卷整体信度较好。

3.2 探索性因子分析

3.2.1 可行性分析（效度分析）

运用SPSS 进行KMO 和Bartlett 球形度检验分析，判断问卷中问题项是否符合因子分析要求。经过SPSS 分析，问卷数据的KMO 值为0.986，接近于1.0，KMO 值较好；同时，Bartlett 球形度检验给出的相伴概率为0.000，小于显著性水平0.05。因此可以拒绝零假设，认为相关系数矩阵与单位矩阵有显著差异，调查数据适合做因子分析。

3.2.2 因子提取

在摊铺之前应将摊铺机清理干净，防止原有沥青的污染。常温彩色铺面的下承面应清洁平整，摊铺常温彩色沥青混合料前洒布浅色胶结料配制的稀释油作为黏层油。

对问卷数据进行因子提取。通过累积方差解释率和旋转后每个因子方差解释率的具体数值，来判断因子提取信息量的程度。

SPSS 分析结果显示，问卷数据可被提取出5 个公共因子，其累积方差解释率为65.43%，各因子旋转后方差解释率分别是：15.84%、13.97%、12.45%、12.33%、10.84%。通过这几个数值可知，提取出的5 个因子可代表研究问题项65%以上的信息量，且各因子提取的信息量较为均衡，综合说明本次因子分析结果良好，解释率较高。

3.2.3 确定公共因子与问题项的对应关系

确定问题项的公共因子归属。采用最大方差正交旋转法分析因子载荷系数和变量共同度，了解各具体问题项与每个因子的对应关系。因子载荷系数是反映因子与问题项之间相关程度的重要指标，可通过系数绝对值判断，数值越大表示相关度越高。公因子方差是体现全部公因子对具体变量的描述程度。SPSS 分析结果显示，本研究数据中各问题项所对应的因子载荷系数最大值为0.763，对应选项Q47“提高学习者自身自信力”，最小值为0.435，对应选项Q16“视频提供字幕”。所有的问题项因子载荷系数绝对值大于0.4，全部保留。

同时，为进一步明确指标结构，运用SPSS因子分析计算各问题项的变量共同度。根据各问题项的共同度结果，计算出各评价指标及各维度的权重比例。从统计结果可知，48 个问题项的共同度值分布在0.435―0.763 内，均大于0.4，表示各因子可以有效提取问题项信息，问题项与因子之间存在较强关联度，因子提取总体效果比较理想。

基于上述统计分析，结合因子与问题项的对应关系，对5 个因子进行命名解释：课程预置因子，主要包括课程说明、前期知识要求和技术准备等问题项；资源设计因子，主要包括学习资源和教学设计等问题项；互动支持因子，主要包括个性化学习支持和师生互动等问题项；平台功能因子，主要包括支持移动学习和个人学习数据分析等问题项；效果评价因子，主要包括学习效果和学习期望问题项。

3.3 验证性因子分析

3.3.1 模型构建

经探索性因子分析后，已明晰因子与问题项之间的对应关系。因此本研究基于5 个因子构建评价指标体系的一级维度，形成指标体系模型。这个模型在一定程度上解决了根据理论建立的模型存在某些可测指标划分归属不清晰的问题。

在AMOS中实现该模型，将5 个因子定义为5 个潜在变量，48 个问题项定义为48 个观测变量，并为每一个观测变量添加误差测量项，选择最大似然估计进行模型运算，并对载荷系数进行标准化处理。

从AMOS模型运算结果看，5 个潜在变量间是相关的，使用斜交验证性因子分析是适宜的。卡方自由度值为14.293，大于常用标准值3。由于本研究基于的样本量达3310 个，属于大样本数据，因此卡方自由度值可仅作参考。同时RMSEA为0.063，小于0.08 这一标准，在标准范围内。但是增值适配度指数NFI、RFI、CFI 等指标小于0.9。综合来看，模型构建欠佳，需要进行模型修正。

3.3.2 模型修正

参考AMOS 中M I 分析结果，查看因子与观察变量的回归系数值，发现互动支持因子对Q22“对课程的操作使用方法提供明确易懂的指导说明”和Q23“在整个学习过程中能获得适应性的学习指导和帮助”的修正指数较大，分别为304.083、199.867，表明这两个指标可能不属于因子学习资源设计。因此，在模型中作相应调整后，发现RMSEA值降低，CFI 等数值升高，模型得到优化。

同时，在检查模型修正指数中观测变量和潜变量之间的协方差值后，发现Q33“平台提供学习者个人学习空间”和Q34“平台提供对学习行为的分析、个性化学习建议与规划、学习进度跟踪”两个观测变量的误差项e25 和e26 之间的修正指数达1011.235。结合这两个观测变量，Q33 和Q34 问题项所测量的数据确实存在某种类同，将这两个观测变量的误差项e25 和e26 设成有共变关系，理论上是合理的，因此在两个残差项中建立相关链接。以此类推，对模型进行修正。

模型修正之后，再次进行斜交验证性因子分析，得到相应的拟合结果。从拟合指数对比中可以看出，模型修正后整体拟合指数得到了提高，RMSEA 值为0.051，基本达到良好的标准，NFI、CFI 等指标都达到0.9 以上。

3.3.3 组合信度和效度检验

由于Cronbach's Alpha 系数可随着问卷题数的增加而自然提高，因此本研究还借助结构方程模型对指标体系进行进一步组合信度和平均方差抽取量检验。具体方法是通过AMOS 验证分析，得到所有潜变量对观测变量路径的标准化后的因子载荷值，并根据标准化因子载荷和误差计算出每一个因子的组合信度和平均方差抽取量。通过组合信度和平均方差抽取量这两个指标来评价指标体系内在质量。

AMOS验证分析结果表明，构建的评价体系中各潜变量对观测变量路径的组合信度值均在0.9 以上（远大于标准0.6），表明修正后的模型信度达到要求，模型的内在质量比较理想，具有较好的内容效度。同时，计算得到的各潜变量平均方差抽取量在0.5 以上，表明模型的建构效度较好。从48 个问题项对应的观察变量的标准化因子负荷值可知，所有参数的估计值都在0.45―0.95 内，观察变量在潜变量上的因子载荷都达到了显著水平（p<0.001），无负的误差变异数，表明模型基本符合拟合评价标准，构建的评价指标体系具有良好的收敛效度。

3.3.4 区分效度检验

对评价指标体系中5 个一级指标进行区分效度检验。采用的区分效度检验方法是Fornell-Larcker 标准，其判定条件是：因子平均方差抽取量的平方根是否大于该因子与其他因子的相关系数。经过计算，各因子的平方根值大于该因子与其他因子间的相关系数，说明构建的在线课程质量指标体系中5 个一级指标具有良好的区分效度。

3.4 在线课程质量评价指标体系

通过上述实证分析，将测量问题项聚类、归纳为5 个因子并作为一级指标，48 个问题项作为二级指标，并计算出各指标的权重比例分布，最终构建了在线课程质量评价指标体系。

具体一级指标为课程预置、资源设计、互动支持、平台功能和效果评价，权重分别为15%、20%、25%、20%、20%。

一级指标“课程预置”下，分为8 个二级指标，具体为：清晰明确的教学大纲、明确说明学习者应具备的前期知识、介绍怎样学习课程及如何获得学习资料、说明参与学习的最低技术要求、提供明确的评价方式、提供课程负责人和教学团队的基本情况说明、提供简短的介绍视频、提供课程教材和其他参考资料推荐，其权重从高到低依次为2.07%、1.96%、1.93%、1.91%、1.87%、1.84%、1.78%、1.63%。

一级指标“资源设计”下，分为10 个二级指标，具体为：学习任务分配适当、学习单元逻辑完整并符合认知规律、提供视频的同步课件和电子文档、提供扩展性学习资源、支持协作学习和探究性学习、课程内容形式表现多样、视频制作质量高、有明确的以及可测量的单元学习目标、时长设置合理、视频提供字幕，其权重从高到低依次为2.30%、2.25%、2.11%、2.07%、2.03%、2.02%、2.01%、1.99%、1.83%、1.40%。

一级指标“互动支持”下，分为12 个二级指标，具体为：明确说明师生互动计划和要求、提供适应性的学习指导、方便互动交流和资源共享、提供不同层次的练习并反馈、及时和针对性响应学习者问题、即时了解学习者掌握情况、提供学业成绩分析和评价标准、提供使用指导说明、视频中提供测试、根据需要及时更新视频内容、提供智能推送等自动化的学习者支持、定期召开视频会议或线下见面会，其权重从高到低依次为2.20%、2.20%、2.18%、2.16%、2.14%、2.13%、2.09%、2.05%、2.03%、2.01%、1.96%、1.80%。

一级指标“平台功能”下，分为9 个二级指标，具体为：运行稳定、安全性较高、支持移动端学习、提供对学习行为的分析和个性化学习建议与规划以及学习进度跟踪、兼容性好、提供学习者个人学习空间、保护学习隐私信息、界面美观协调、较完善的防作弊监督机制，其权重从高到低依次为2.46%、2.45%、2.34%、2.31%、2.29%、2.18%、2.11%、2.00%、1.86%。

一级指标“效果评价”下，分为9 个二级指标，具体为：提高学习者自信力、帮助解决现实生活中遇到的问题、提升专业知识和技能、较大改变学习者的日常行为、满足学习者之前对课程学习的期待、引发深层次的思考、吸引和激发学习兴趣、获得相应的共享学分、获得相应的学习证书，其权重从高到低依次为2.39%、2.38%、2.32%、2.31%、2.30%、2.23%、2.19%、2.10%、1.79%。

4 总结

本研究主要探究从学习者体验出发的在线课程质量评价指标体系的构建，以及对指标体系进行可操作性和有效性的实证检验。运用SPSS 探索性因子分析，将测量问题项聚类、归纳为5 个因子并作为一级指标，48 个问题项作为二级指标，并计算出各指标的权重比例分布，然后在AMOS 中运用验证性因子分析和结构方程模型对指标体系进行模型验证和模型修正。最终形成的指标体系经过模型验证表明是可信、有效、内在质量理想，且与实际数据有较高契合度的。