MOOC综合评价方法及标准研究

摘要：文章紧扣MOOC的内涵与特点，在分析已有的网络课程、多媒体教材等数字资源评价标准的基础上，提出了MOOC的主观评价与客观评价相结合的综合评价方法、评价标准以及客观评价中各指标的计算公式，以期能对MOOC建设和评价提供更多的参考依据。

关键词：MOOC；在线课程；评价方法；评价标准；课程建设

中图分类号：G642 文献标识码：A 论文编号：1674-2117（2017）05-0099-04

研究背景

我国对数字媒体教材进行的技术质量规范最早可追溯到1990年11月17日，原国家教委办公厅印发了《电视教材编制要求和技术质量试行标准》，其中对电视教材的质量标准及综合评定给出了具体的规定。此后，又陆续颁发了多媒体教材、网络课程、精品课程、视频公开课的技术规范及评价标准，对各种媒体数字教材和资源的开发及应用起到了良好的推动作用。我军这方面的工作起步稍晚，最早的数字教材技术规范是原总部机关于2000年9月26日印发的《电视教材技术规范》，其规范了电视教材的质量标准及综合评价标准，以后也陆续制订了多媒体教材、网络课程等技术规范及评价标准，对我军各种军体教材和数字资源的开发及应用起到了较好的促进作用。军事职业教育主管部门明确把在线教育为主的远程教育作为军事职业教育的主要手段，为规范军事职业教育在线课程的建设，统一技术标准，指导课程教师及制作人员开发在线课程，实现全军范围内在线课程的应用共享，于2016年6月印发了《军队在线课程建设规范（试行）》，该规范对在线课程的定义、内容组成、技术指标、制作流程等进行了规范，是军事职业教育在线课程设计、开发的基本依据，势必会对军队以MOOC为主的在线课程建设起到规范和推动作用，这也促使军队在线课程建设规范的制订工作走到了国家的前面。在制订该规范时，鉴于军事职业远程在线教育还处于起步阶段，为了鼓励在线课程的建设，提高在线课程的參与性、积极性和主动性，在规范中暂没有涉及在线课程的评价方法及标准，而国内未见MOOC建设规范及相关评价标准出台，文章正是立足于此开展研究，探讨了MOOC的合理评价方法和评价标准。

评价方法研究

《军队在线课程建设规范（试行）》提出，在线课程是指依托网络教育平台，按一定的教学目标、教学策略组织起来的，以微视频为主要载体呈现知识点内容，在指定的教学周期内，将知识讲授、学习体验、互动研讨、交互答疑、练习作业、考核评价等教学环节完整在线实现的课程（军队在线课程建设规范，2016）。同时认为，大规模开放在线课程（MOOC，慕课）就是一种典型的在线课程。

MOOC具有以下特点：①以“微视频+在线随堂测试”为基本教学单元的知识点组织和学习模式；②注重在线随堂测试、作业、答疑、学习社区等手段，实现师生、生生的教学互动与研讨；③基于“学习大数据”对学习行为进行分析、统计，支撑个性化学习与管理服务；④课程教学活动在统一和规范化的学习平台中完成；⑤实现有组织的学习和自主学习的统一；⑥基于虚拟仿真、人工智能等技术的学习功能进行开发与应用；⑦提供证书与学分的获取（军队在线课程建设规范，2016）。

从这一定义和特点可以看出，在线课程是教学资源，同时也是一种在线教学活动过程，不仅重视课程资源建设，还非常强调课程资源教学应用效果。为此，对其评价的方法要与现有的教学资源的评价有所区别。

纵观国家、军队已有的教学资源评价标准，不外乎通过对其教育性、科学性、技术性、艺术性、效益性等方面进行评价，如在2006年军队下发的网络课程技术规范中，通过教学性、可用性、技术性等3项1级指标及15项2级指标来评价网络课程。2014年全军微课评选标准，采用了教学内容、教学设计、内容呈现、编辑制作、效果效益等5项1级指标（无2级指标）来评价微课，详细指标参见表1。

经分析研究，已有的评价标准中评价指标体系相对详细、完整，能满足相关教学资源进行主观评价的要求。

但是，已有的评价方法和标准存在明显不足：①人为因素影响标准把握。主观评价依据人为主观评分，具有一定的随意性，标准不易准确把握。②评价指标中应用效果所占比例不高。应用效果指标评价比例多数占25%左右，且是依据模糊估计，缺乏对比性，准确性差。

针对已有的各种评选、评价标准的不足，笔者结合MOOC平台开发经验、MOOC建设以及在线开展教学组织的实际情况，提出了主观评价与客观评价相结合的综合评价方法和评价标准。

1.主观评价方法

主要针对课程的教学性、技术性方面，参考吸收国家及军队相关网络课程、视频公开课、微课等的评价方法和标准，优化调整，设计了教学设计、教学内容、教师讲授、教学资源、设计规范、媒体展现、课程制作、平台衔接8个技术指标，适用于专家、管理人员等人为主观估分评价，减少了主观评价所占分值比例，主观评价分值占总分的50%，具体可参见下页表2中1级指标教学性和技术性的相关内容，在此不赘述。

2.客观评价方法

随着技术的不断进步，不论是美国的三大MOOC平台，还是国内的中国大学MOOC、清华大学学堂在线MOOC等平台以及国防科技大学面向全军服务的“梦课”学习平台，都能对学生学习行为、教师教学行为、课程资源情况等数据进行完整的记录。为了弥补已有评价标准模糊人为估分的不足，针对MOOC建设质量和应用效果，完全可以依托在线教育平台的统计分析功能，采取数据挖掘技术，依据适当的评价算法，自动得到每门课程的教学及应用效果数据，作为课程应用情况的定量评价依据，提升客观评价分值所占比例，客观评价分值占总分的50%。

假设有n门课程参与评价，第i门课程的应用效果评价指标和计算方法如下。

（1）指标一：注册情况

此项分值满分设置为6分，综合考虑了课程注册人数情况及课程点赞、踏踩方面的数据。计算公式为：ai/Max（a1，a2，…，an）×3+bi/（bi+ci）×3。

其中，ai为第i门课程注册人数；bi为第i门课程点赞次数；ci为第i门课程踏踩次数。

（2）指标二：完成情况

此项分值满分设置为6分，计算公式为：di/ai×6。

其中，di为第i门课程学习完成人数。

（3）指标三：交流交互

此项分值满分设置为10分，综合考虑了课程交流、教师回复以及教师主导交流等方面的数据。计算公式为：ei/Max（e1，e2，…，en）×3+fi/ei×2+fi/Max（f1，f2，…，fn）×2+gi/Max（g1，g2，…，gn）×3。

其中，ei为第i门课程交流交互数；fi为第i门课程教师回复数；gi为第i门课程教师主导交流数。

（4）指标四：作业测试

此项分值满分设置为10分， 综合考虑了课程随堂测试准确率、教师作业布置和批改方面的数据。计算公式为：hi×3+ii/Max（i1，i2，…，in）×3+ji/Max（j1，j2，…，jn）×4。

其中，hi为第i门课程随堂测试准确率；ii为第i门课程作业布置次数；ji为第i门课程作业批改次数。

（5）指标五：活跃指数

此项分值满分设置为8分，计算公式为：。

其中，ki为第i门课程的点击数。

（6）指标六：题库建设

此项分值满分设置为10分，综合考虑了课程试题数量、平台中所有课程题库平均试题数量、试题题型分布、试题难度等方面的情况。计算公式为：IIF（li≥Avg（l1，l2，…，ln），3，li/Avg（l1，l2，…，ln）×3）+li/Max（l1，l2，…，ln）×2+mi+ni；

其中，li为第i门课程题库试题数；Avg（l1，l2，…，ln）为所有参评课程题库试题平均数。

mi为第i门课程题库试题题型分布是否合理得分，最高得分为3分。笔者通过对大学本科课程结业考试、研究生入学考试、教师资格认证等几十类上百种试卷进行分析研究，得出试题库中选择题、填空题、判断题三种题型的试题数量分布比例為45∶30∶25为佳的结论，即计算时题库题型分布比例越逼近此比例，得分越高。

ni为第i门课程题库试题难易度设置是否合理得分，最高得分为2分，题库试题平均难度合理值设置为0.7，越逼近此值，得分越高。

评价标准构建

笔者通过前面的分析与研究，构建了MOOC综合评价方法和标准，评价标准分3项1级指标和14项2级指标，其中，教学性和技术性2项指标基于主观评判，应用效果指标由教学平台客观计算得出，如上页表2所示。

结语

鉴于以MOOC为主的在线课程建设已列入教育部、军队相关管理部门的任务规划，而MOOC评价标准目前暂未检索到。笔者在文中提出的评价标准中的6项客观指标，是根据教育平台中课程本身的数据以及与其他课程之间的相关数据进行对比分析统计，由平台自动统计得出的，计算方法简洁实用，客观合理，可以作为MOOC教学效果评价的参考依据。笔者提出的MOOC综合评价方法、评价标准及评价指标的计算方法已在面向全军服务的“梦课”学习平台中采用，通过实证研究与分析，具有一定的科学性和合理性。本研究提出的评价方法和标准也存在一些不足，如没有考虑在线课程的学时数、课程受众面等因素，值得进一步思考、探究、优化和完善。

参考文献：

[1]军队在线课程建设规范（试行）[S].北京：训练管理部军事职业教育局，2016，6.

[2]现代远程教育资源建设技术规范[S].北京：教育部，2001.

[3]国家级精品资源共享课建设技术要求[S].北京：教育部，2012.

作者简介：敖永红（1965—），男，重庆丰都人，硕士，高级工程师，硕士生导师，研究方向为计算机教育应用；何星霖（1987—），男，湖南衡阳人，学士，教育技术学研究生，研究方向为计算机教育应用；柯水洲（1992—），男，湖北绵阳人，硕士，高级工程师，研究方向为在线教育研究。