试论基于学习者体验的在线直播课程评价体系

摘要：践行“以学习者为中心”的理念，从学习者体验出发，综合运用文献研究、用户访谈和网络研究等方法，构建评价维度和指标，通过问卷调查对指标进一步筛选和优化，运用层次分析法计算指标权重，并结合相关性分析和信度、效度校验验证指标合理性，最后结合具体课程开展实践应用。从实际应用效果来看，指标评价结果与学习者的直接反馈基本一致，表明指标具有一定的合理性和可操作性。应用该指标体系评价直播课程，可以发现直播课程的不足，改善学习者的直播学习体验，提高教学效果。

关键词：学习者体验；在线直播课程；评价指标；层次分析法

中图分类号：G642      文献标志码：A      文章编号：1008-4657（2023）02-0082-07

0        引言

自2019新冠疫情出现，为响应教育部“停课不停学”的要求和部署，各高职院校纷纷建立和运用网络资源实施在线教学，而在线直播课程因其鲜明的现场感和互动特征，成为在线教学的主要形式。相对于传统课堂教学，在线直播课程教学不仅仅是教学场地的变化，同时也在教师的教学形式、学生的学习方式和师生互动等方面产生巨大变革。直播课程的教学效果如何，是否满足学生的需要，直播课程影响因素有哪些，如何评价在线直播课程教学质量等，都是教育教学工作者需要关注的问题。基于此，本文从学习者体验的角度出发，探索在线直播课程的评价标准，为提升在线直播课程的教学效果提供思路和参考。

1       研究现状

自网络课程开展以来，不少机构、教育教学工作者以及技术工作者进行相关的研究，以期取得更好的教学效果。欧洲远程教育大学协会（Europe  Association  of   Distance  Teaching  University，EADTU）制定的远程教育质量标准，设计了35个质量标准和若干观测指标，覆盖了课程的设计、课程的传送和学习者支持等六个维度［ 1 ］。美国“QM质量标准”作为颇具影响力的网络课程认证标准，从课程介绍、课程活动、学习者支持、评价与测量等八个维度对网络课程的设计和建设进行指导和评议［ 2 ］。我国早在2003年，教育部教育信息化技术标准委员会发布《网络教育服务质量管理体系规范》（CELTS-24），提出网络教育服务质量评价参考模型和量表，用以对网络教育服务质量进行评估和规范。2018年中国国家标准化管理委员会和国家市场监督管理总局发布《信息技术—学习、教育和培训在线课程》，提出在线课程的信息模型、评价模型和在线平台运营的基本要求，用于指导在线课程的设计、建设和评价。2015年教育部印发《关于加强高等学校在线开放课程建设应用与管理的意见》，从建设、认定、应用和推广等七个方面，明确在线开放课程的建设任务和要求［ 3 ］。这些标准或规范为本文的研究提供了一定的理论借鉴和参考，但由于其主要围绕在线课程的设计、开发和实施，对直播课程缺乏针对性，且很少从学习者体验角度出发，不能反映学习者的直播学习体验。

学习者是直播课程教学的直接参与者和主要体验者，学习者体验是衡量教学质量的一个重要方面［ 4 ］。唐环环［ 5 ］基于贝恩特·施密特的五大用户体验模型，从感官体验、行为体验、情感体验、内容体验和关联体验五个维度，建立MOOC课程评价指标体系。安哲锋等［ 6 ］基于学习者体验视角，从学习内容质量、学习支持质量、学习交互质量、学习期望质量和学习感知质量五个维度，提出MOOC学习质量模型。陈志华［ 7 ］认为网络课程作为一种教育产品，具有产品的特征，由此基于用户体验角度，从网络课程符合学习者的需求和对学习的支持等六个方面，构建网络课程有用性评价指标体系。Ding  Gang等［ 8 ］基于模糊综合评价法，从平台设计合理性、平台操作可用性、用户学习满意度三方面，建立网络教学平台用户体验评价体系。这些研究从不同方面、运用不同方法关注学习者体验，但多是围绕录播课程或针对网络平台建立评价指标，对于线上直播课程，并不能完全适用。从学习者体验出发，紧密结合直播课程的特点，构建符合直播课程特征的评价体系，是本文重点研究的内容。

2        在線直播课程评价指标体系构建

为构建科学有效的评价指标体系，综合运用文献研究法、用户访谈法和网络研究法等多种方法，从理论和实践两方面确定指标维度和指标要素。采用调查问卷和专家咨询的方式对指标进行筛选和优化，运用层次分析法对指标进行定量分析并计算指标权重。

2.1       构建直播课程评价维度

学习体验是指学习者对学习过程和结果的感知和体验，包含学习认知和学习情感双重内涵，关注学习者的实际感受。也有研究者认为，教学交互、学习环境和学习支持是学习体验的重要组成部分［ 9 ］。

运用文献研究法，以“在线课程”“直播课程”“评价”“用户体验”和“学习者体验”等关键词作为限定条件展开高级检索，并对所搜集大量文献中相关的指标要素进行梳理、筛选、分析、比较和汇总。对直播授课的一线教师和直播学习的学生进行有准备的问题访谈，并对教师的授课体验和学生的学习体验进行分析和整理。综合文献分析结果和直播参与者实际体验，结合贝恩特·施密特五大用户体验模型，从学习者体验出发，针对直播课程在线教学的特点，初步构建直播课程评价模型维度和指标要素。

2.1.1       直播内容体验度

直播内容是直播课程的核心和前提，体现在直播教学内容的选取、设计以及呈现等方面。在课程定位和目标已经明确的前提下，合理选取、设计和组织教学内容，才能从根本上激发学习者的学习愿望和兴趣，满足其学习需求，让学习者感受课程学习的价值。参考国内外相关标准，结合直播课程特点，提取准确性、实用性、递进性、前沿性、多样性、趣味性和文化性七个指标。

2.1.2       直播课堂体验度

直播课堂颠覆了传统线下课堂面对面的互动模式，学生仅以网络在线的方式参与教学活动，教师也无法直观地感知学生的课堂反应。高质量的课堂活动可以促进学生主动参与和积极表现的愿望，从而激发学生的认知和情感。课堂交互形式和教师对课堂活动的组织都是影响课堂的关键因素。根据在线直播课堂的特点，提取清晰性、互动性、启发性、多元性、及时性、恰当性六个指标。

2.1.3       直播平台体验度

直播平台是直播课程的载体，为直播提供技术支持和服务，是直播课程能否正常开展的基本条件和重要保障。直播平台的技术性、功能性和可靠性等都对用户是否愿意、持续使用平台软件产生直接影响。平台的用户体验是直播课程体验的一部分，从直播平台的一般性特点和对课程教学的支持角度，提取易操作性、稳定性、兼容性、合理性、交互性、可访问性、及时性、美学性八个指标。

2.1.4       直播情感体验度

直播情感体验度是学习者对直播学习的过程和结果情感的综合体验。由线下课程转为直播教学，学习者能否适应直播教学、是否乐于参与直播课程活动以及课程学习的成就感和兴趣度，都是直播情感体验度的关键指标，据此本维度提取适应性、参与性、成就感、兴趣度四个指标。

2.2        评价指标的筛选和优化

指标的筛选和优化采用调查问卷和专家咨询相结合的方式。问卷方面，为了既保证指标的科学性和合理性，又能充分反应学习者对指标的意见，问卷对象分别选取兼具教研水平和直播教学经验的高校教师，以及具有直播学习实际经验的高职学生。针对初定的4个一级指标和24个二级指标，编制“在线直播课程学习者体验影响因素”调查问卷，对每项指标进行“十分明确”“明确” “不一定”“不明确”和“十分不明确”5个选项的区分，对应分数分别为5、4、3、2、1。如对指标“不一定”“不明确”或“十分不明确”，需要给出相应的修改意见。问卷结果显示，一级指标明确度评分均在4分以上，表示基本认同，而对二级指标，结合专家咨询反馈，提出以下修改意见：

一是删除针对性不强的指标。如“直播内容体验度”中的“文化性”指标，具有一定的学科偏向，且属于不太重要的指标，建议删除。“直播平台体验度”中的“流畅性”指标，一般多用以描述网络传输质量，对直播平台性能方面表述指代性不强，建议删除。

二是指标概念划分太细，需要精简合并。如“直播平台体验度”中“合理性”“交互性”和“可访问性”均属于平台功能方面的展开描述，三者可合并调整为“完备性”。

三是指标描述不当，易引起歧义。如“直播课堂体验度”中的“多元性”是指对学生进行多元评价，仅用以阐述评价方式多样性，侧重过程，不能反映评价结果，应改为“客观性”，强调评价结果的公正性。“恰当性”指代的内容范围太宽泛，语义不明确，改为“调控性”，特指教学过程的有效调控。“直播平台体验度”的“及时性”表述不当，且易混淆，改为“容错性”，表示平台对于学习者错误操作，能及时给出反馈信息和操作指引。

综合上述意见，对原有指标体系进行修改和优化，确立第二轮指标体系如表1所示。

由上述数据可以看出，在一级指标中，“B1直播内容体验度”权重最大，即直播内容在直播课程体验中占据最重要的位置，其次是“B2直播课堂体验度”。在二级指标中，“B22互动性”占据最重要位置，其次是“B11准确性”“B12实用性”“B31易操作性”和“B21清晰性”。

3    评价指标体系的检验和应用

3.1    评价指标体系的相关性分析

Pearson相关性分析用于衡量元素间是相关的还是独立的［ 11 ］。相关系数为0.6～0.8为强相关，而大于等于0.8，则意味着两元素存在极强相关性，一般需要修改或删除。再次运用SPSS对指标数据进行相关性分析得出，“清晰性”與“及时性”（相关系数0.717），“启发性”与“趣味性”（相关系数0.621），“完备性”与“美学性”（相关系数0.625），虽然存在重叠部分，但22个指标的相关系数值均小于0.8，说明指标仍具有较好的独立性。

3.2    评价指标体系的信度和效度检验

信度和效度校验分别检测指标的可靠性和合理性。使用Cronbachs α系数作为可靠性测试值，值越大，表示指标的内在一致性越高，即越可靠，如果低于0.6，则表示信度不理想，需要修改问题项［ 12 ］。经测试，系数α为0.827，表示指标信度不错，可以使用。采用因子分析方法进行效度分析，Kaiser-Meyer-Olkin（KMO）值为0.729，大于0.6，符合因子分析要求。Bartlett球形度检验显著值为0.000，小于0.05，22个指标的4个因子累积方差贡献率为68.331%，问题项与因子的对应关系没有严重偏差，表示指标效度符合要求。

3.3    评价指标体系的应用

3.3.1    评价指标体系的应用过程

为进一步验证评价指标体系的可操作性，应用该评价指标体系制作问卷，对在线直播课程进行评价。共设计问卷题目23个，前面22个题目运用已构建的22个评价指标，分别从直播内容、直播课堂、直播平台和直播情感四个方面对直播课程进行相应评价。问卷题目采用客观单选题方式，选项采用李克特式五级量表，从5到1依次表示“非常满意”到“非常不满意”五个等级。将问卷每项指标得分Bij与该指标总层次权重Pn相乘，并将各项指标评价结果相加，得出单份问卷评价得分，即：

Σ指标分值Bij × 指标权重Pn，n = 1，2，3，…，22

问卷最后1题，采用主观简答题的方式，要求学习者报告主观学习体验并阐述理由，以便验证学习者的偏好程度与指标结果是否一致，为指标的进一步完善提供依据。

选取问卷对象为本校大一下学期两个批次班级学生共96名，参与评价的这部分学生该学期因地方突发疫情，所有课程随即转为线上直播，对直播课程学习有直接而深刻的实际体验。

3.3.2    评价指标体系的应用及分析

首次选取问卷对象为非计算机类专业班级学习者52名。选取直播平台为“超星课堂”，选取课程为“信息技术”。向52名学习者发放试卷，回收有效问卷52份，计算“信息技术”直播课程总体得分为4.012，表示学生对该门直播课程总体是满意的。由于二级指标的评分数据更能直观反映优缺点，分析二级单项指标项得分发现，B11准确性、B21清晰性、B33兼容性评分相对较高，表明学习者对课程内容准确性、课堂教学清晰性以及平台兼容性方面满意度较高，而B22互动性，B31易操作性和B44兴趣度评分相对较低，表明该课程直播课堂互动性不够，“超星课堂”平台的易操作性方面体验欠佳，学生的学习兴趣度有待提高，均一定程度地影响了学习者的直播学习体验。

为进一步验证指标在不同专业和不同课程中的合理性和适用范围，进行第二次问卷发放，发放对象为计算机类专业班级44名学习者，选取直播平台为“超星课堂”，选取课程为专业课程“网页设计与制作”。问卷结果显示，该直播课程总体得分为4.326。分析二级指标发现，B12实用性、B22互动性、B41适应性评分较高，表明学生对课程内容实用性、课堂互动性和直播适应性体验良好，而B32稳定性和B34完备性评分相对较低，学生的主观体验报告认为直播平台有遭遇卡顿、操作不流畅情形，且在资源访问方面不够便捷。

上述指标评价结果与通过课程访谈、线上调查以及问题报道等途径收集的学习者关于直播课程的反馈基本一致，表明该评價指标具有一定的可行性和适用性。一级指标四个维度能够较客观、全面地反映直播课程不同方面对学习者体验的影响。而在二级指标上，对于不同的专业和课程，学习者对于直播课体验的侧重点也会有所不同，如非计算机类专业学生对直播平台的易操作性比较关注，而计算机类专业学生对于直播平台资源可访问性要求更高。

4    结语

在疫情防控常态化形式下，在线直播课程在高职院校数字化教学中得到快速应用和推广。直播课程不同于MOOC和精品课程类在线课程，其异地同步教学的方式，使其既兼具在线课程和线下课堂的部分特征，又与两者不完全相同，需要建立符合直播课程特点的课程评价方式。本文基于学习者体验视角，提出从直播内容、直播课堂、直播平台和直播情感四个维度，评价在线直播课程质量，突出学习者的主体地位，重视学习者的体验和需求，更利于提高教学满意度。应用本文构建的评价指标体系，可以对高职院校直播课程教学进行评价，其不同维度指标能够直观体现和描述直播教学效果的影响因素，从而发现直播课程教学的不足，明确改进和提升的方向。

本文的研究尚存在不足之处：一方面，由于直播课程学习质量评价的研究尚处于探索阶段，相关的标准仍在不断完善，后续还需结合新的理论和标准进一步完善评价指标。另一方面，在确定权重时，虽然运用层次分析法尽量做到科学，但由于调查范围和分析方法的有限，指标仍带有一定的主观性，可通过扩大调查者范围并采用德尔菲法和层次分析法相结合的方式，增加指标的科学性。另外，后期可以根据直播课程内容所属的专业领域特征进一步完善指标体系，以提高课程评价的针对性。随着直播课程的普及和推广，相应的实践和理论都将更加科学化、规范化、深入化，学习者的直播课程体验也将不断提升。

参考文献：

［1］ 刘绍英.广西开放大学教学质量标准构建研究［J］.广西广播电视大学学报，2020，31（4）：5-12.

［2］ 潘晓彦，蒋家琼，莫兰，等.美国“QM质量标准”与我国“精品在线开放课程”评价指标体系比较研究［J］.湖南师范大学教育科学学报，2019，18（3）：105-110.

［3］ 聂建峰，蔡佳林，徐娜.我国高校在线开放课程建设与应用的问题分析和改进策略［J］.国家教育行政学院学报，2020（4）：60-65.

［4］ 刘斌，张文兰.在线课程学习体验的影响因素及其结构研究［J］.现代教育技术，2017，27（9）：107-113.

［5］ 唐环环.基于用户体验的大规模开放在线课程评价研究［D］.杭州：宁波大学，2017.

［6］ 安哲锋，张峰峰.MOOC学习质量立体模型的构建研究——基于学习者体验视角的研究［J］.成人教育，2018，38（6）：18-23.

［7］ 陈志华.基于用户体验的网络课程有用性评价指标体系设计与应用［D］.北京：首都师范大学，2014.

［8］ Ding Gang，Wei Lihong，Cao Danyang，et al. User experience evaluation of service platform for online courses based on fuzzy comprehensive evaluation method——the user experience of “machine principles” as an example［J］. Science Innovation， 2018， 6（2）：97-97.

［9］ 刘妍，张天琦.设计思维视角下的学习体验设计［J］.上海教育，2022（6）：12-14.

［10］ 成先娟.不确定型层次分析法排序方法的研究［D］.南宁：广西大学，2006.

［11］ 程娟娟.高校科研与教学关系实证研究——基于皮尔逊相关系数的分析［J］.中国高校科技，2022（10）：46-52.

［12］ 王淑华.汉字应用水平测试信度和效度研究——以上海市2012和2015年测试为例［J］.盐城工学院学报（社会科学版），2022，35（4）：71-76.

［责任编辑：许立群］

On the Evaluation System of Online Live Courses

Based on Learner Experience

YE  Genmei

（Department of Software Engineering， Ma'anshan Teacher's College， Ma'anshan 243041， China）

Abstract：Practicing the concept of "learner centered"， the evaluation system of live course is constructed based on learner experience. The preliminary evaluation dimensions and indicators are constructed by using literature research， user interviews and network research. Indicators are further screened and optimized through questionnaire investigations. Then the weight of indicators is calculated by using the analytic hierarchy process， and the rationality of indicators is verified by combining correlation analysis and reliability and validity checks. Finally， the practical application is carried out in combination with specific courses. From the practical application effect， the evaluation results of indicators are basically consistent with the direct feedback from learners. It indicates that the indicators are reasonable and operable. By applying this indicator system to evaluate live courses， we can find the shortages of the live courses， improve the learners live learning experience and enhance the teaching effect.

Key words：learner experience；online live course；evaluation indicator；analytic hierarchy process

收稿日期：2022-11-12

基金項目：安徽省高校优秀青年人才支持计划项目（gxyq2021264）；安徽省质量工程项目（2020kfkc541）

作者简介：叶根梅（1982-），女，安徽桐城人，马鞍山师范高等专科学校副教授，硕士，主要研究方向：软件技术及教学研究。