高校在线课程的多元评价体系建设研究

陈广明， 姒依萍

（宁波职业技术学院， 浙江 宁波315800）

一、研究的背景

在线课程建设和传统面授课程建设具有一定的共性，都需要体现课程的社会价值和教育价值。 评价体系建设要在总体考虑课程的价值与意义的基础上，从多维角度考虑课程科学性和实用性，可以让好课程得到推广和发展。 在本课题研究的前期工作中，高职高专师资培训基地的姒依萍老师对42 位教师、380 位同学展开调研， 通过数据整理分析得出了一份基于学生学习、教师教学、课程建设、课堂文化的多维度课程评价量表。该量表是本课题持续研究和发展的基础。

天津市教育科学研究院的和学新在《课程评价若干理论问题探讨》一文中认为，组织专门机构的有关专家和学者对课程的方案、目标、过程、结果等开展评价，或者是以学生学习结果为主的评价都过于片面，课程评价应该包括一切与课程发展有关的人员和对象。 美国著名教育评价家斯塔弗尔比姆提出了CIPP 模式。 建议从背景评价、输入评价、过程评价、成果评价四个维度进行课程评价。 武汉大学的张家年、占南、李阳在《基于网络计量学的网络课程评价方法研究》 一文中，研究了课程评价的细节，并认为无论是那种课程评价模式，对具体的课程都具有不够全面和科学的地方。 但是网络计量学方法可以为网络课程的评价提供较为理想的解决方案。 网络计量法包括内容分析法、域名分析法、链接分析法、日志分析法，可以有效地对教学绩效、学习绩效进行量化和数字化的分析，把握课程建设的全过程。 宁波职业技术学院从2015 年开始启动的有效课堂认证体系，至今已经运行了5 年时间。 认证体系的评价标准内容分为四块：课程设计占35 分、教学资源建设与应用占15 分、 课堂实施占70 分、课程评价占30 分，总分150 分。 其中，课程评价分为学生学期评教和督导评价。 该认证体系实施对课堂教学效果起到一定的促进作用，但是，评价方式过于单一。 笔者分析认为，该体系注重传统课堂教学的评价，忽略了当前疫情之下快速发展的在线课堂的评价。本课题调研的课程中，76.6%的课程建有网络在线课程，并且在线课程的学习已经占据了该课程学习的部分分值比例。 从目前文献资料分析，我们看到课程评价主要是针对传统的线下教学模式，并且评价方式缺少信息化数据统计工具的应用，评价结果已不能真实反映事实。

二、研究方法与路径

本课题研究的参考课程主要来自浙江省在线开放共享课程平台、 宁波市慕课网的网络课程，在现有研究成果的基础上探索课程评价的路径。 研究的课程为省级精品课程的通识教育课、学科基础课、专业核心课，学科类型为十九大类里的教育与体育大类、财经商贸大类、公共管理与服务大类、电子信息大类、旅游大类。 采用基于数据统计的归纳法、文献分析法进行研究。 随着社会的发展，现代教育已经要求以学生全面发展为本，从知识目标、能力目标、素质目标三个维度衡量课程对学生成长的作用，因此，课程评价标准需要多元评价。基于学以致用，学有所用。课题研究以成果导向为基础，结合前期研究的多元评价主体/客体建设评价体系。

对课程效果进行评价，评价的主体和客体包括在线课程的设计者，在线平台的各项应用及功能；课程的使用者，主要指课程的教学者和学习者。 课堂管理包括教学方法教学手段等。 故在线课程评价路径为“评价效果分析—主体/客体—课程评价标准”。 本课题研究的多元评价基于评价主体和客体对不同平台功能、课程建设、教学方法、学习模式的学习效果评价。 探索学习者对知识、技能、素质、能力等培养方式的多样化，同时探索在线学习平台上的课程对于个体学习与团队学习如何提高融合学习效果。

三、在线课程评价体系建设

（一）在线课程评价体系结构分析

前期对平台课程评价研究中，多元评价体系是根据在线平台与不同学科的课程而动态变动的。 课题采用成果导向分析，结合专家意见法，对评价和应用效果较好的36 门在线课程进行倒推和分解，根据分解的数据，归纳出在线课程的评价体系应该包含效果测评、评价主体/客体、课程建设完善程度三大模块。 为了进一步深入探索影响在线课程评价体系三大模块的构成，需要对每个模块进行细分，探索影响其构成的因素。

1. 影响评价体系的课程建设因素分析

课程设计的完善程度是影响评价体系的关键模块之一。 本课题的研究，在课程建设关键指标因素上以两个前期研究为基础，分别是叶鹏老师的宁波职业技术学院有效课堂评价指标和姒依萍老师的在线课程评价指标。

（1）有效课堂评价指标

本课题研究的第一阶段是以宁波职业技术学院叶鹏老师团队的有效课堂评价表为基础。 有效课堂包含课程设计、课堂实施和教学资源建设及应用。 其中，课程设计指标中包含了课程设计的完整性和规范性，影响这一指标的内容主要包括课程内容完整、教育与社会价值、学习任务和考核方案等； 课堂实施的指标包含教学目标、教学方法及教学过程控制；教学资源建设指标主要指信息资源建设。

（2）在线课程教学效果评价指标

本课题研究的第二阶段是基于姒依萍老师主持开发的高职院校网络直播教学评价表。 对比线上与线下教学的课程，传统授课方式的课程建设与在线课程建设在课程设计上具有较大的共性，但在实施过程中，因为学习主体/客体的差异，需要考虑在线课程平台的功能与设计者技术支持。 教学设计除了课程内容，还需要考虑教学方法与学习支持的差异；在线课程对过程性学习的设计则还需要考虑到信息化的优势，设计适合学习客体互动与视频学习等内容；对学习效果评价的设计主要包括在线考试、测试、作业、项目任务等考核指标。 高职院校网络直播教学评价指标如表1 所示。

在线课程与传统授课的课程在设计上有差别，本课题研究结合传统授课方式有效课堂建设的要求和在线课程建设的信息化特性，对比并整理了对在线课程建设完善程度有影响的相关核心因素，内容如表2 所示。

表2 核心影响因素

考虑到研究局限性的实际情况、测量数据的时间长度， 课程建设影响因素没有把就业情况、就业质量作为效果评价指标考虑。

2. 影响评价体系的主体/客体分析

随着时代的进步， 课程评价呈现多元性，课程建设已经不局限于主体评价，客体的评价也被频繁采用。 所以，在线课程的评价体系关键因素包括主体和客体。

（1）评价体系的主体分析

与传统授课评价主体相似， 可以是业界专家、同行学者、行业企业顾问，只是在线课程评价体系中多了智能化与信息化的应用。 在线课程体系建设的主体，可以是平台基于大数据算法的人工智能评价。 平台大数据算法主要包括内容分析法、链接分析法、日志分析法。 利用大数据算法对课程的教学绩效和学习绩效进行分析。 能够从课程内容、教学设计、界面设计与技术支持四个维度对课程进行评价。 同时，结合平台大数据算法和教学绩效则可以对客体的学习内容、 学习设计、学习交互、学习支持四个维度进行课程评价。

（2）评价体系的客体分析

在线课程评价体系的客体，主要包括使用者和学习者。 使用者主要指的是课程的设计者，通常是担任课程的教师。 从表1 的课程设计者影响因素看，在线课程平台功能、技术支持与平台数据分析，都会影响到在线课程的建设效果。 教师对自己建设的在线课程的自我评价，赋予一定的评价权重，可以提升多元评价的准确性。

学习者的评价主要包括主观和客观评价两个方面。 学习者主观评价是指在学习内容、学习支持、学习交互上的体验会影响到学习效果。 学习者的客观评价是指考核成果体现出来的在线课程建设效果。

3. 影响评价体系的效果测评分析

影响多元评价体系效果的评价从 “学测评”三个维度进行。 从成果导向的效果分析开始，探索评价的主体/客体和课程的设计对学习者产生的效果。 评价体系从短期和长期两个角度来衡量在线课程建设的效果。 短期效果主要包括教学目标掌握程度（包括知识、技能与素质目标），考试成绩，考证通过率等；长期效果主要包括专业对口的就业情况、薪资与晋升等效果评价指标。 本课题研究因为时间长度制约，评价指标以短期效果为主，以咨询公司麦克思对毕业生跟踪调研的就业数据为辅助，对在线课程的多元评价体系进行研究。

4. 确定在线课程体系评价指标

结合上述研究的内容，本课题归纳推导出在线课程多元评价体系应包含三大关键模块。 即课程建设与应用情况评价、课程评价多元的主体与客体、教学效果分析三个模块。 模块具体细化的指标概括如表3 所示。

表3 评价体系模块内容

（1）教学效果分析

调研数据统计结果根据密度确定权重。 教学目标实现情况是指知识目标、技能目标、素质目标实现情况；考证通过率指对应该课程的职业资格证书； 就业情况主要指就业对口率和就业质量。

（2）多元评价主体/客体

在线课程评价主体和客体主要包括基于平台大数据算法的统计结果；专家、企业和同行的评价； 客体评价体现了学习和使用者的真实感受。

（3）课程建设评价

教学设计体现了在线课程建设与设计的核心内容，包括教学内容、学习过程管理、教学方法的应用；课程评价还包括客体对在线课程学习过程的应用情况与教学支持。

（二）在线课程评价体系建设

上文分析了在线课程评价的三个核心影响因素（教学效果、多元评价主体/客体、课程建设信息化设计）。 为了探索在线课程评价体系建设的核心影响因素相互之间的关系，本课题进一步对智慧职教、浙江省高等学校在线开放课程共享平台、宁波市高校慕课联盟三大平台上的高分评价课程、省精品课程、国家精品在线课程进行了调查，包含财经商贸大类、电子信息大类、公共管理与服务大类、教育与体育大类等4 个大类，共100门课程。 重点对平台上课程的在线功能设计、教学设计、使用者体验、学习效果测评等4 个核心评价要素的情况进行了调研统计。 整理结果如表4 所示。

表4 在线精品课程建设调查统计 单位：门

根据上述在线课程评价三个核心影响因素的分析、数据收集与整理，采用描述性统计分析、相关性分析、一元线性回顾分析法，探索构建在线课程评价体系模型。 从相关性分析中初步发现， 课程在线设计与主体/客体评价存在相关性，且符合回归分析的Y=aX+b，常数截距不为0。 分析结果如表5 所示。

表5 评价要素相关性统计结果

从量化的数据统计中，我们看到在线课程设计数据化分析与教学效果的相关系数R=0.964，显示课程设计的评价与客体使用者的评价有强相关性。组间统计数据P-Value=0.006＜0.01，在线课程设计P 值为0.018＜0.05，都显示两者关系密切，有显著相关性。 从上述分析结果推导出多元评价体系模型，如图1 所示。

图1 多元评价体系模型

四、总结

评价过于单一的传统课程评价体系，在信息化快速发展的当下已经不适用。 本课题探索建设基于数据化评价的多元评价体系模型，并对在线课程建设和教学效果进行评价。 从本课题调研的数据统计分析看， 从成果导向预期的目标开始，课程评价可以从主体为专家学者、企业资深人士和在线课程建设的同行进行评价。 也可以从客体进行评价， 客体主要包括在线课程的建设使用者、课程的学习对象，结合平台数据量化进行。 评价也可以根据课程目标而设计的各项量化指标，由在线平台设计的后台数据统计分析进行评价。在线课程的评价效果应与预期成果进行对比，根据对比反馈的差距来确定在线课程的建设效果。这里我们更偏向于效果对比分析后的反馈修正作用， 因为没有哪一门课程建设是一劳永逸的。平台的数据化评价能够更及时地发现问题，并提出修正建议。 所以，多元评价体系应该是建立在对平台数据统计分析的基础上的、 多主体客体、动态化的多元评价方式。