慕课课程评价考量与实证分析

敖永红++柯水洲++雍成纲++李骁++邹刚

摘 要：紧扣慕课课程内涵与特点，在分析现有数字教学资源评价标准的基础上，提出了慕课课程的主观与客观评价相结合的综合评价方法、评价标准以及指标计算公式，通过对一批在线课程的综合评价实践，验证了文章提出的评价方法和标准具有一定的合理性和科学性。

关键词：慕课；评价方法；评价标准；实证分析

中图分类号：G642 文献标志码：A 文章编号：1673-8454（2017）10-0007-05

一、研究背景

随着教育信息化建设的持续推进，慕课（大规模开放在线课程，MOOC），在我国兴起与流行，有一个很重要的原因，即它顺应了我国高等教育教学理念从以“教”为中心向以“学”为中心的转变，切实推动了网络视频教学向师生互动发展，包括在线学习、线上研讨、混合式教学、翻转课堂等教学实践[1]，对构建终身学习体系和院校教育教学改革都具有推动作用。教育部印发《教育部2016年工作要点》的通知中，明确提出“推动高校完善创新创业教育课程体系，面向全体学生开发开设纳入学分管理的创新创业课程，推出一批资源共享的创新创业教育在线开放课程”。由此可见，在高等教育领域，利用慕课，校内及院校之间，开展混合式、翻转课堂教学，实现微专业认证，探索学分互认等教学改革实践，已逐步走向深入，必将会对高等教育领域产生深刻影响。我军为深入贯彻习主席关于加强军事人才队伍建设的一系列重要指示，“健全军队院校教育、部队训练实践、军事职业教育三位一体的新型军事人才培养体系”的战略部署正有序开展，军队教育信息化发展迅速，在线教育将会成为军事职业教育的主要方式和渠道，而以慕课为主的在线课程建设的质量和水平关系着未来军事职业教育建设的成效和水平。目前，国内未见权威的有关慕课课程建设评价标准出台，文章正是立足于此开展研究，以期有助于慕课课程建设的规范化标准化。

二、现有教学资源评价标准研究

现有的教学资源评价与评比标准，主要从教育性、科学性、技术性、艺术性、效益性等方面来考量，如第十九届全国教育教学信息化大奖赛中精品资源共享课的评比指标，采用了教学设计、课程内容、技术运用、创新与实用等4项1级指标（无2级指标）评比精品资源共享课的建设质量和水平，2006年军队下发的网络课程技术规范中，通过教学性、可用性、技术性等3个1级指标15项2级指标衡量评价网络课程的建设质量和水平，参见表1所示。

经分析研究，现有教学资源的评价指标体系详细、完整，能满足相应数字教学资源的主观评价要求，但是，现有评价方法及标准存在明显不足：

（1）评价方法依据主观评价，即靠专家人为主观估分，不可避免受到评价专家的专业、学识、偏好以及评价过程的影响，具有较大的随意性，评价标准不易把握；

（2）评价指标中应用效果分值偏低，且对比性不强，准确性差。

（3）评价时长受限，评价不全面，一般要求评价专家在较短时间内对数量庞大的教学资源进行评价，专家只能大致浏览资源建设情况，不能全面、细致评价所有资源，具有一定的偶然性。

三、慕课课程评价方法考量

教育信息化的发展，离不开教育信息化平台及教育资源的建设与发展。慕课是教学资源，也是在在线教育平台开展在线教学活动的过程，特别注重课程资源应用共享及教学效果，研究其建设质量和应用效果评价方法及标准，要与现有的网络课程、微课等教学资源的评价方法及标准有所区别，应充分体现慕课的特点与功能。结合国防科技大学“梦课学习平台”开发经验、慕课课程制作以及在线开展教学组织的实际情况，文章提出了主观评价与客观评价相结合的综合评价方法。

1.主观评价方法考量

针对课程的教学性、技术性方面，参考吸收国家及军队相关网络课程、精品资源共享课、微课等的评价方法和标准，优化调整，设计了教学设计、教学内容、教师讲授、教学资源、设计规范、媒体展现、课程制作7个技术指标，适用于专家、管理人员等人为主观估分评价，评价分值占总分的50%，参见表2中1级指标教学性和技术性的相关内容。

2.客观评价方法考量

纵观目前国内外的慕课学习平台，都具有学生学习、教师教学等行为数据进行详细存储和分析功能，为了弥补已有评价方法的主观性、随意性和不精确性等的不足，针对慕课课程应用效果，提出依托在线学习平台的统计分析功能，采取数据挖掘技术，依据适当评价算法，客观得到每门课程的教学及应用效果数据，作为课程应用效果的定量评价依据，客观评价分值占总分的50%。

假设有n门课程参与评价，第i门课程的应用效果评价指标和计算方法如下：

（1）指标一：注册情况

此项分值满分设置为6分，综合考虑了课程注册人数情况及课程点赞、踏踩方面的数据。

计算公式为：ai/Max（a1，a2，……，an）×3+bi（bi+ci）×3；

其中：ai為第i门课程注册人数；

bi为第i门课程点赞次数；

ci为第i门课程踏踩次数。

（2）指标二：完成情况

此项分值满分设置为6分，计算公式为：di/ai×6；

其中，di为第i门课程学习完成人数。

（3）指标三：交流交互

此项分值满分设置为10分，综合考虑了课程交流、教师回复以及教师主导交流等方面的数据。

计算公式为：ei/Max（e1，e2，……，en）×3+fi/ei×2+fi/Max（f1，f2，……，fn）×2+gi/Max（g1，g2，……，gn）×3；

其中：ei为第i门课程交流交互数；

fi为第i门课程教师回复数；

gi为第i门课程教师主导交流数。

（4）指标四：作业测试

此项分值满分设置为10分， 综合考虑了课程随堂测试准确率、教师作业布置和批改方面的数据。

计算公式为：hi×3+ii/Max（i1，i2，……，in）×3+ji/Max（j1，j2……jn）×4；

其中：hi为第i门课程随堂测试准确率；

ii为第i门课程作业布置次数；

ji为第i门课程作业批改次数。

（5）指标五：活跃指数

此项分值满分设置为8分，计算公式为：ki/Max（k1，k2……kn）×8；

其中：ki为第i门课程的点击数。

（6）指标六：题库建设

此项分值满分设置为10分，综合考虑了课程试题数量、平台中所有课程题库平均试题数量、试题题型分布、试题难度等方面的情况。

计算公式为：IIF（li≥Avg（l1，l2，……，ln），3，li/Avg（l1，l2，……，ln）×3）+li/Max（l1，l2，……，ln）×2+mi+ni

其中：li为第i门课程题库试题数；

Avg（l1，l2，…，ln）为所有参评课程题库试题平均数；

mi为第i门课程题库试题题型分布是否合理得分，最高得分为3分。根据作者对大学本科课程结业考试、研究生入学考试、教师资格认证等几十类上百种试卷分析研究，试题库中选择题、填空题、判断题三种题型的试题数量分布比例为45%：30%：25%为佳，计算时题库题型分布比例越逼近此比例，得分越高。

ni为第i门课程题库试题难易度设置是否合理得分，最高得分为2分，题库试题平均难度合理值设置为0.7，越逼近此值，得分越高。

四、课程评价标准构建

通过上面的分析与研究，参考现有各种教学资源的评价评比标准，构建了慕课课程的综合评价标准，见表2所示。

其中，教学性和技术性2个1级指标，含7个2级指标，参考现有的教学资源评价标准，由主观评价完成，应用效果1级指标，由教育平台根据文章提供的评价算法自动分析统计得出。

五、实证研究与分析

为了验证提出的评价方法及标准的合理性，国防科技大学梦课建设团队邀请学校从事慕课研究和教学的专家、学生对梦课学习平台注册人数排名前20的课程，按照上面的评价标准进行了主观评分，通过学习平台对课程应用效果指标，依据评价算法对梦课平台中所有课程进行了分析统计，本文仅挑出注册人数排名前20名的课程数据进行实证研究与分析。

1.主观评价结果

主观评价部分邀请了6名专家、老师和学生参与评价，其评价结果如表3所示。

2.客观评价结果

学习平台根据上面列出的客观评价指标计算方法，得出的应用效果客观评价结果如表4所示。

3.综合评价结果及排名情况

根据主观评价分数、客观评价分数，计算出综合评价分数，计算公式为：课程综合评价得分=课程主观评价得分+课程客观评价得分，课程评价情况如表5所示。

根据评价数据，本文做了对比分析，图1为各课程的主观评价、客观评价以及综合评价的评分分布图。

图2為各课程的主观评价、客观评价以及综合评价的排名分布图。

4.评价结果分析研究

由上面的统计表及对比分析图可知：

（1）主观评价分数差异较小。不仅同一评价人对不同课程的主观评价分数差异性较小，而且多个评价人对不同课程的主观评价平均分数差异性也小。由图1可以看出，主观评价的分数在40分上下浮动，所有课程最低分为36.63，最高分为44.27，差值不足8分；

（2）客观评价分数差异性较大，基本能反映教学应用效果。由图1可以看出，客观评价的分数波动较大，所有课程最低分为7.1，最高分为32.16，差值足足25分，说明客观评价分数能真实反映课程的应用效果情况。如课程14，主观评价分数最高，排名第1，但客观评价分数最低，排名20，通过分析发现，该课程教学设计、教师讲授水平、制作质量等都不错，但是在应用共享上，教师没有有效开展教学组织，导致学习完成率、课程点击量很低，没有布置作业，从不回答学生的提问，题库试题数不足40道，不能满足在线考试要求，由此种种，客观评价分数最低，证明了客观评价方法的是以事实数据为准绳，有一定的公平与公正性，弥补了人为主观评分的随意性、模糊性的不足；

（3）综合评价结果与客观评价结果具有较大的相关性，说明了客观评价方法和标准具有一定的合理性和科学性，如果进一步完善客观标价方法和标准，MOOC课程的评价完全可能由客观评价量化；

（4）评价结果与注册人数不具有线性相关性。从图2中可以看出，课程1、课程2、课程8、课程9、课程17、课程19、课程20等几门课程的注册人数排名与综合评价排名大致相同，但是课程4、课程15、课程16等几门课程的注册人数排名与综合评价排名差异很大，说明课程注册人数是一项重要评价指标，但是在线课程的好与坏、受欢迎程度、教学应用效果不能仅依据注册人数来衡量，必须综合考虑其他指标。

（5）客观评价过程中形成的过程数据及结果数据是学习平台挖掘、统计分析得出的，直观、清楚，在线课程建设和应用中存在的问题一目了然，由此，客观评价数据可以用于优化、完善课程的建设与应用。如课程14的学习完成情况和交流情况指标得分不足0.1分，而专家主观评价得分最高，该课程教学内容、教学设计、教师授课、课程制作等指标得分都很高，说明课程资源建设很好，但教师在学习平台上并没有有效组织开展在线教学，教学应用效果差，应切实改进“重资源建设，轻教学应用”的教学行为。

六、结语

通过评价实证研究，文章提出的评价方法和标准具有一定的合理性和科学性，国防科技大学“梦课学习平台”已将之作为MOOC课程的评价标准，作为课程建设考量依据。该评价方法也存在一些不足，如在题库建设指标计算公式中，考虑了该题库试题数量、题型分布、难易度设置情况，没有分析比较试题的质量，如将课程在线考试后考试结果是否满足考试规律等因素来综合计算该项指标，这样就会更加科学合理。类似问题在其他几项指标中也存在，如没有考虑课程的学时数、课程受众面等因素，需进一步研究与优化，以构建慕课更加科学合理的评价方法和标准。

参考文献：

[1]教学信息化必须面向教改实际[N].北京：光明日报，2016-6-27.

[2]现代远程教育资源建设技术规范[Z]. 教育部，2001.

[3]国家级精品资源共享课建设技术要求[Z]. 教育部，2012.

[4]精品视频公开课拍摄制作技术标准[Z]. 教育部，2013.

[5]全国高校微课教学比赛视频制作参考[Z]. 教育部，2014.

（编辑：郭桂真）