在线开放课程质量实证研究

方向阳 盛晓兰

（1.苏州市职业大学，江苏 苏州215004；2.苏州工业职业技术学院，江苏 苏州215004）

在互联网、移动互联网、大数据等信息技术迅猛发展的背景下，MOOC（Massive Open Online Courses，大规模网络开放课程）、TED（Technology，Entertainment，Design）、可汗学院等网络在线学习平台不断涌现，信息技术在教育领域不断渗透。自1999年开展高校网络教育试点以来，我国已建设高校精品课程、学堂在线等众多网络教育平台，众多国内顶级名校将课程资源实现共享。自2008年开始，教育部持续推进在线开放课程平台以及慕课的应用与开放共享，以1291门国家精品在线开放课程和401门国家虚拟仿真实验教学项目为引领的4.1万门优质在线课程，“中国式慕课”已经覆盖2亿人，在线课程数量与规模位居世界第一。依托在线教育的实时性、连贯性、全面性等优势，改变了传统教育受制于课堂的限制，提升了学习者碎片化时间的利用效率；而依托大数据技术的处理、分析技术，能够驱动教师的个性化“教”与学生的个性化“学”，为学习者提供最适合的学习方式与资源，系统改变了传统的教育教学方式与学习认知行为。在线教育虽然在我国有了迅猛的发展，也涌现了众多在线学习平台与课程资源，教育部等十一部门联合印发《关于促进在线教育健康发展的指导意见》，指出要形成多元的在线教育管理服务格局，强调创新在线教育的管理服务方式，实现实时检测和风险预警，并加强部门协同监管。然而，由于不少资源并非由权威教育家提供，知识体系不具结构性，信息存在碎片化等问题，在线教育平台难以测评学习者通过在线课程学习所取得的学习成效，亟需构建科学、有效、可行的能量化的在线课程教学测评体系，把握在线课程教与学的成效，促使在线教育决策的科学化、教育选择的理性化。

国家精品在线开放课程是由教育部认定的国家级在线课程，课程申报书主要关注课程平台、课程负责人与课程团队、课程特色、课程考核、课程应用情况等。通过国家精品在线开放课程的建设，打造了协作与分工明确的专业教学团队，转变了学习者的学习方式，推动了课程教学模式的改革和考核评价方式的变革，实现了优质教育资源的共享。国家精品在线开放课程的相关研究比较少，知网上只有20余篇论文涉及，研究集中于课程平台、教学模式和课程资源建设，缺少对在线课程质量进行量化的研究。本研究基于信息系统成功理论、技术接受模型等理论，采用实证的方法，以国家精品在线开放课程为对象研究分析在线课程的质量和影响因素，进而提出提升和加强在线课程质量的建议。

1 研究的设计

1.1 研究设计的依据

在线课程除了具有传统课程的基本特征外，它首先还是一个网络知识产品，课程学员是用户，如何契合学员的知识需求和消费体验，提高用户使用率和留存率，产品易用性、价值性、用户满意度等都是在线课程必须要关注的点。美国学者De Lone和McLean于1992年总结提出了信息系统成功理论（D&M），以探索系统质量和信息质量影响用户对信息系统的使用和满意度。该模型将影响信息系统成功的因素分成6个主要维度，分别是：系统质量、信息质量、使用、用户满意度、个人影响和组织影响。其中，系统质量和信息质量分别或共同直接影响信息系统的使用和用户满意度。根据在线课程的特点，可选取课程平台质量、课程内容质量、课程服务质量3个维度来探究影响课程质量的因素。

为了了解样本群体在课程平台质量、课程内容质量、课程服务质量的具体情况，问卷被设计为三个板块，其中1至7题、8至15题、16至25题分别为课程平台质量、课程内容质量、课程服务质量的主要观测点，由专家根据课程情况在0至5分的区间进行打分。

1.2 研究的主要观测点

第一，在平台质量方面，设计了7个问题，分别为：Q1，操作响应；Q2，操作帮助；Q3，视频清晰度和流幅性；Q4，文字图片排版；Q5，字幕正确性和清晰度；Q6，可用性；Q7，易用性。上述几个方面的用户使用体验很大程度上反映了课程平台的质量。

第二，在内容质量方面，本研究从课程内容和教学实施等方面出发，设计了8个问题，分别为：Q8，课程说明；Q9，内容目标一致性；Q10，科学性；Q11，知识量；Q12，内容编排；Q13，单元学习目标；Q14，教学组织；Q15，实例与演示。对于课程来说，课程内容和教学设施是最关键的部分，这8个问题是重要观测点。

第三，在服务质量方面，在线课程放到网上，就是一件商品，学员通过付费参加学习，服务的好坏直接影响学员对课程的选择。本研究从氛围营造、教学方法、学习管理、互动反馈等四个方面设计了10个问题，分别为：Q16，学习情境；Q17，动机兴趣；Q18，教学基本功；Q19，教师的镜头感；Q20，学习者行为统计；Q21，班级管理；Q22，交流与协作；Q23，练习；Q24，练习反馈；Q25，测试考核。通过以上10个重要观测点考察在线课程在教学中的服务质量情况。

第四，在课程质量方面，设置了1个问题：Q26，在线课程总体质量。由判定专家给出一个整体评价分数。

2 研究过程

本研究按照文献综述、量表的编制与发布、评价数据的统计分析3个步骤来进行。

2.1 文献综述

在知网以“在线课程”+“质量”进行检索，共得到41条检索结果。国外的在线学习实践早于国内，对在线学习行为的研究也较早，美国和英国等发达国家在20世纪90年代就已开始探索在线教育的评价模型与体系，如Lauzon（1992）设计了整合计算机与会议的在线教育评价模型；Wright（2003）建立了在线课程质量评价标准，包括课程的一般信息、语言、布局、目标和目的、课程内容、学习资源、学习评价等几个方面。在具体的在线课程实践中，不少院校也制定了在线课程的评价规范，如美国的密歇根大学制定了《在线课程评价指南与量规》，加利福尼亚大学制定了《在线课程质量规范》。从已有关于在线教育评价内容来看，多数研究成果强调从软硬件以及环境等多角度开展测评，并已形成相对成熟、应用广泛的评价规范与体系。其中，美国的START评价体系、英国的SRF评价指标以及联合国教科文组织构建的在线学习评价指标体系等具有较强的影响力。

此外，我国的在线教育教学评价研究也日趋多元化，国内学者从不同角度对其展开了研究。叶云龙等（2015）提出基于3G技术、智能移动终端、多媒体监控技术相结合的在线课程质量评价；黄璐等（2017）认为MOOCs课程质量的评价可由教学内容质量、主讲教师素质、教学资源质量和课程支持技术质量等测度构成；金贤（2020）利用能力成熟度模型（CMM）对开放在线课程质量评价指标体系进行标准定义；李爽（2020）提出在线课程的9个质量要素——课程目标、课程内容、学习过程、学习支持服务、学习评价、媒体与技术环境、实施效果、改进发展和社会影响。

值得注意的是，尽管对于在线课程质量的研究众多，但多数研究主要从传统课程的角度，从课程资源、课程平台支撑等角度来进行质量评价，没有把在线课程当作一种付费知识产品来看待，甚少考虑在线课程的服务质量和用户对在线课程易用性、有用性、趣味性等满意度的研究。

2.2 在线课程质量评价指标体系的开发

以信息系统成功理论为依据，从课程平台质量、课程内容质量、课程服务质量3个维度来编制在线课程质量评价指标体系，把26个问题进行细化，指标及指标内涵见表1。

表1 在线课程质量评价指标体系

2.3 课程质量评价

为了验证指标体系的可用性，在中国慕课大学选取了30门国家精品在线开放课程进行实证研究，邀请高校相关专家进行打分。每个指标按照“很好、好、一般、较差、差”进行评价，其中“很好”对应5分，“好”对应4分，“一般”对应3分，“较差”对应2分，“差”对应1分，缺项得0分。虽然量表的确定有一定的局限性，样本量也比较小，但从评价结果看，具有一定的代表性，可以在某种程度上反映真实情况。

3 研究发现

从数据分析的结果来看，作为课程质量较高的国家级精品在线课程，单项得分和整体得分都较高。30门课程质量整体得分为4.22分（满分为5分），属于“较好”以上水平，最低分3分，最高分为5分。

3.1 课程平台质量:差异较小，缺项明显

对于课程平台质量，评价指标体系设计了7个指标（Q1-Q7），评价者对照评价标准进行打分，打分结果较一致，7个指标有4个指标得了满分，分别是“操作响应”“操作帮助”“可用性”和“易用性”（如图1所见）。

图1 在线课程平台质量评价

值得注意的是指标5“字幕正确性和清晰度”，分值呈“U”型，有9门课程出现了缺项，即没有字幕。尽管现在大部分国民特别是在校大学生的普通话水平都比较好，但作为面向所有人的开放课程，要考虑到普通话不标准、有听力障碍的学习者或者国外学习者的存在。另外，一些专业词汇对于本专业的初学者、跨专业的学习者也许不能“听”明白，资源的易用性不够好。作为在线开放课程，应该考虑到所有可能存在的各类学员的情况，当学员听不懂的时候，课程的满意度会大幅度下降。

3.2 课程内容质量：差异增加，符合预期

课程内容质量是在线课程质量的核心，内容不行，平台质量、服务质量再好都是空的。关于内容质量，评价指标体系设置了8个指标（Q8-Q15），评价者对照评价标准进行打分。所有的分值都在3-5之间，但是5分项较平台质量部分大幅度减少。得分最高的“知识量”为4.97分，接近于满分，但“单元学习目标”的得分只有3.53分。如图2所见。

图2 在线课程内容质量评价

在课程内容质量部分的8个指标中，“科学性”“知识量”“内容编排”三个指标的“5分”的得分个数最高，由于这是传统课程里面比较重要且比较容易准备的部分，因此绝大部分在线课程在这方面表现都非常好。而“课程说明”“内容目标一致性”“单元学习目标”“实例与演示”“教学组织”的得分，“5分”数量少于“3分、4分”的个数，而这部分内容恰恰是在线课程不同于传统课程的地方。在传统课程里面，一般是不需要向学生交代“课程说明”的，除了课程一开始教师会整体介绍一下课程情况外，在整个课程讲授的过程中，教师一般会专注于具体内容的讲述，而不会再涉及课程说明。但是对于可能是自主学习的在线课程而言，一个明确的课程说明对于学员能否选学本课程具有非常重要的作用。同样的，因为课堂教学讲究“因材施教”，因此，线下课堂教学中可能会适时调整教学内容，导致出现偏离教学目标计划的情况。但是在线课程却没有这个变通的可能，教学内容必须与教学目标完全统一。对于“单元学习目标”，这是在线学习学员确认自己是否达到学习要求的主要依据，而在线下教学的时候只会有“课堂教学目标”，学生一般要通过考试才能完整反映出学习目标的达成率。在“实例与演示”“教学组织”方面，线上、线下教学有完全不同的呈现方式，如何组织好在线教学，如何隔空做好演示，值得更加重视，也有较大的提升空间。

3.3 课程服务质量：总体较好，分化严重

随着产品过剩，消费者已经完成了从单纯的产品诉求到以服务诉求为主导阶段的转变。目前很多产业正在步入后服务时代，在线课程也不例外。传统的线下课程教学中，教师在指定的时间地点教，学生在指定的时间地点学，课程很少被当成产品，“课程服务”几个字很少被提及。在互联网时代，“在线课程”已经属于“付费知识产品”的范畴，为产品提供“服务”是天经地义的事情。在课程服务质量部分设置了10个指标（Q16-Q25），涵盖学习情境的营造、学习管理到互动反馈。其中两个指标“学习者行为统计”“班级管理”得了满分5分，“教师的镜头感”只得了3.77分，分化严重。如图3所见。

图3 在线课程服务质量评价

“教师的镜头感”得分比较低，这符合了传统上讲有人“不上镜”的说法。作为在线知识产品，在线课程拥有了与传统课程不一样的属性，在线课程的教学不再是一个人可以解决的事情了，而是需要一个课程团队，有负责信息技术的，有负责课程资源开发和教学设计的，有负责学员互动反馈的，还需要合适的人担任主讲教师。在其他条件相同的情况下，“镜头感”好的主讲教师能更多地吸引在线学员。另外，所有课程都能注重“学习情境”的营造，但得分不高，只有4.23分。由于在线学习者所在环境可能不是非常适合学习，因此课程学习情境营造能力就非常重要。如何通过课程的声光电以及教师的引导，使得学员快速进入一个学习的情境是非常值得研究的。“动机兴趣”激发的得分只有4.13分，也比较低。传统课程即使再无趣，学生还是会在课堂里面听教师的讲授，而在线课程则可能是另外一种情形，课程教学如果不能激发学生的兴趣，学生就可能从视频前离开，甚至不再购买本课程。“教学基本功”的得分只有4.07分。教师授课的时候不是面对学生，而是面对镜头，需要的教学基本功是完全不一样的。在线课程教学基本功也是非常值得研究的一个课题。还有在“互动反馈”环节，得分也普遍不高。互动以生生互评为主，师生互动少，生生协作功能比较弱，练习部分也是一个短板。

4 建议

4.1 明确在线课程的“付费知识产品”的定位

在泛知识时代背景下，随着社会和技术的变化，知识付费出现在知识传播领域，2016年被有关专家认定为“知识付费元年”。易观报告《中国知识付费行业发展白皮书2017》中将知识付费定义为：内容创造者将书籍、理论知识、信息咨询等知识与自身认知积累融合，并对其进行系统化和结构化梳理转化成标准化的知识产品，借助于付费平台所搭建的付费机制与业务模式传递给用户，以满足用户自身认知提升、阶级归属、丰富谈资等需求的创新产业形态。那么，在线开放课程就可以界定为：教师将相关课程知识经过梳理形成较为系统化的知识，借助于在线课程平台，以音视频、文稿、直播/录播等形式提供有偿课程教学服务，以满足用户的知识获取、认知提升等需求的付费知识产品。

4.2 基于信息系统成功理论、技术接受模型开发在线课程

（1）选择优质的课程平台

近年来，随着信息技术和移动互联网的发展，国内涌现出许多功能完善的在线开发课程平台。由于开发及运营主体不同，各个平台拥有自身的优势及客户群。如“学堂在线”“好大学在线”等国内一流高校自主研发的平台，因其合作院校多为国内一流高等学府，因此能为公众提供系统的免费优质教育资源。如“中国MOOC大学”是教育出版社与互联网公司联合开发的平台，承担了国际精品开放课程项目，拥有数量庞大的开课院校和课程数量。

课程团队前期要对各课程平台进行深入了解和比较，综合考虑平台功能、影响力、服务水平、主力用户等因素，选择适合本课程发布的平台。优质的课程平台可以让课程拥有较高的曝光率，从而提高用户数量，而高水平的平台响应能力和课程功能布局，则会大幅提高用户的满意度。

（2）完善课程及单元学习目标

大部分在线开放课程重视课程资源的建设，而忽视了课程以及各个学习单元目标的制定与说明。事实上，一个明确清晰的课程介绍说明和学习指导方案能帮助用户了解课程整体的知识总量，各个单元学习目标的确立能引导用户根据学习重难点有计划地安排学习时间。因此在课程介绍页面，要完善导学视频、课程简介、预备知识、教学大纲、考核方案等学习指导资源，便于用户全面了解课程内容，明确课程是否适合自己并制定学习计划。

（3）提升主讲教师教学能力

主讲教师的教学能力在很大程度上决定了在线课程的质量。首先，教师要对课程的整体内容进行设计，把握重难点，选择合适的教学方法及教学资源的呈现方式。在对可能出现的学习难点做出预判之后，教师要设计教学内容，组织教学资源，以化解难点。其次，教学视频作为在线课程教学资源中最重要的部分，要求教师在视频录制时提高“镜头感”。虽然不同于线下面授，但是教师通过镜头，仍要给用户以亲切自然之感，消除屏幕所带来的疏离感。

（4）提高即时评价与反馈功能

与线下面授不同，教师无法即时调整教学内容与教学方式，以适应学生的个性化需求，因此课程的即时评价与反馈显得尤为重要。在提供课程学习资源的同时，要搭配“交流答疑”等互动功能区，以便及时了解用户的个体需求，解决用户的个性化问题。有些平台允许第三方社交软件的使用，因此可以嵌入QQ、微博等软件，加强师生互动交流。在作业练习环节，尽可能区分层次，形成及时反馈，便于教师及时调整作业练习的数量和难易度。