基于德尔菲方法的在线开放课程质量评价系统研究与实现*

唐晓君 ，路 莹 ，刘 娜，王海文，龚文心

（大连工业大学 信息科学与工程学院 ，辽宁 大连116034）

引言

2001年4月麻省理工学院启动 OCW（Open Course Ware，开放课程计划）项目，网络开放课程的序幕由此拉开。随后，耶鲁、哈佛、剑桥等世界名校陆续加入，网络公开课开始席卷全球，高等教育发生了翻天覆地的变化。开放课程提供了潜在的更为广泛的学习机会，让更多的人有机会接受高等教育。[1]

2011年，我国开始启动精品视频公开课的建设。两年来共有186门课程向社会免费开放，截至 2012年，“爱课程”网、中国网络电视台、网易3个网站“中国大学视频公开课”首页面访问数量达到62亿次，课程总访问量3569.32万次。[2]2013年6月26日，继中国大学视频公开课陆续上线之后，首批120门中国大学资源共享课正式通过“爱课程”网向社会大众免费开放。视频公开课与资源共享课共同构成了我国的精品开放课程。[3]

在线开放课程如一股狂潮席卷全球，但是耗费了大量人力、物力、财力而建起来的这些开放课程是否能保证质量，能否达到预期的教育目的，发挥教育价值，这需要进行全面、综合、客观的评价。我国现有的精品开放课程质量评价指标主要关注教师的教，较少关注学生的学。而目前绝大部分研究也集中在对“自上而下”的国家评审指标体系的探讨，缺少从课程学习者角度的“自下而上”的评价机制。

本文主要探讨一种基于课程学习者的 “自下而上”的精品开放课程评价指标体系的构建方法，该方法通过德尔菲（Delphi）方法选取评价指标，确定各指标权重。[4]同时，为实现“自下而上”的开放课程质量评价，设计出能动态收集指标值的开放课程平台，并按开放课程质量评价指标体系实时计算出各课程的评价得分，为课程学习者选择课程提供一个客观的依据，也为精品开放课程考评体系的完善做出贡献。[5]

一、研究设计

在线开放课程“自下而上”评价指标体系的构建基于德尔菲（Delphi）方法，德尔菲法由美国兰德公司于20世纪50年代提出，德尔菲方法又称为专家法，其特点在于集中专家的知识和经验，确定评价指标和各指标的权重，并在不断的反馈和修改中得到比较满意的结果。[6]德尔菲（Delphi）方法既可以用来识别出基于精品开放课程学习者的重要评价指标，同时也可以确定各指标在指标体系中所占的权重。采用该方法进行研究具有一定的优势，首先，多名精品开放课程学习者对评价指标及权重的集体意见比少数学习者的个人意见更客观。其次，所选开放课程学习者来自不同地域和不同阶层，意见相对独立，且不受时间和地理位置限制。[7]

1.专家的选取

考虑到本评价指标体系具有基于学习者的“自下而上”特点，选取30位在线开放课程学习者作为专家，其中包括来自于不同高校的20名开放课程学习者，以及来自不同城市的各种教育背景的10名开放课程学习者。通过电话与邮件的方式与每一位专家联系，明确本次研究的内容与目的，征得专家本人同意，确保每位专家能自始至终参与本次研究。

2.识别在线开放课程质量评价指标

以调查征询的形式要求选定的专家给出精品开放课程的重要质量评价指标，同时要为其提出的每一个指标给出一个简短描述，论述其合理性。汇总整理专家意见，每完成一次提问和回答的过程称为一轮。将上轮咨询所得意见的一致程度和各位专家的不同观点等信息，匿名反馈给每一位专家，再次征询意见。如此反复，直到意见趋于一致，确定在线开放课程“自下而上”评价指标体系中的各项评价指标。[8]

3.识别在线开放课程质量评价指标权重

对各项指标权重的测定是本研究的关键环节。权重是根据不同指标的地位和作用赋予的不同数值，它反映了各个指标之间客观存在的不平衡性，揭示了与其相应的因素在指标体系上的价值差异。[9]德尔菲（Delphi）方法确定指标权重步骤如下：

（1）将待定权重的指标和有关资料以及统一的确定权重的规则发给选定的各位专家，请他们独立给出各指标的权重值。

（2）回收结果并计算各指标权重的概率分布。

（3）根据概率分布计算各指标权重的期望值、方差和标准差。

（4）将计算的结果及补充资料返还给各位专家，要求所有专家在新的基础上重新确定权重值。

（5）重复第（2）步和第（4）步，直至各指标权重值与其均值的偏差不超过预先给定的标准为止，也就是各专家的意见基本趋于一致，以此时各指标权数的均值作为该指标的权重。[10]

二、主要研究结果

1.在线开放课程质量评价指标

首轮征询，30位专家每人至少给出了9个认为从学习者角度对精品在线开放课程评价重要的指标，通过收集整理，合并同类项，将评价指标个数降到25个，形成新的征询表格发给各位专家进入第二轮征询。[11]专家意见在第二轮征询中达到了高度一致，认为从学习者角度评价指标可以分为两个方面，一方面是课程学习者的主观评价，另一方面是在教与学过程中实时采集到的各种客观信息。同时主观评价又包括课程内容、课程使用、学习支持、学习活动、教师表达五个二级指标。客观评价包括课程访问量、课程登录用户数、课程留言和回复数、学习群组的会员数、课程点赞数五个二级指标，具体如表1所示。

表1 “自下而上”评价指标体系

表2 “课程使用”指标权重第一轮征询结果

2.在线开放课程质量评价指标权重

将表1中待定权重的指标和相关规则通过邮件形式发给30位专家，各专家独立给出每个指标的权数值，（以主观评价中的二级指标“课程使用”为例）如表2所示。[12]对30位专家填写的各种权重的相应概率平均，得出权重的概率分布（以主观评价中的二级指标“课程使用”为例），如表3所示。

表3 “课程使用”指标权重第一轮概率分布

根据表3，计算出“课程使用”指标权重的期望值，算式如下所示：

方差是描述变量偏离期望值大小的指标，根据表3和权重期望值计算出“课程使用”指标方差，如下所示：

方差的平方根称为标准差，“课程使用”指标的标准差计算如下：

为了评价结果更准确，可将权重在0.303左右重新设置，发给专家进行第二轮征询，如表4所示。[13]对30位专家第二轮填写的各种权重的相应概率进行平均，得出权重的概率分布（以“课程使用”评价指标为例），如表5所示。

根据表5，计算出“课程使用”指标权重第二轮期望值，如下所示：

根据表5和权重期望值计算出主观评价指标第二轮方差，如下所示：

第二轮“课程使用”指标权重标准差，用如下公式计算：

表4 “课程使用”指标权重第二轮征询结果

表5 “课程使用”指标权重第二轮概率分布

同理可以计算出其它指标的权重，计算出各因素权重之后，要按如下进行归一化处理。[14]

式中ai为归一化后的权重期望值，n为评价指标个数（一级指标中n=2，二级指标中n=5）。归一化后计算出各指标的权重，最后形成“自下而上”的精品开放课程质量评价指标体系，如表6所示。[15]

表6 自下而上精品开放课程质量评价指标系统

三、在线开放课程质量评价平台的实现

为实现开放课程质量评价，需设计出能动态收集指标值的在线开放课程平台，并按开放课程质量评价指标体系实时计算出各课程的评价得分。[16]

课程平台采用PHP+MySQL开发，功能如图1所示。[17]

图1 精品开放课程质量评价平台结构图

四、结束语

评价指标体系研究应该成为在线开放课程所关注的重点，在教学理论及信息技术不断更新的情况下，对在线开放课程评价指标体系的内容也需要不断优化，使该评价体系更加科学、完善和适用。[18]

参考文献：

[1]Huijser,Henk and Bedford,Tas and Bull,David.Open Course Ware,global access and the right to education:real access or marketing ploy?[J].International Review of Research in Open and Distance Learning,2008(1):1-13.

[2]教育部.教育信息化工作进展情况[EB/OL].http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s7204/201302/148023.html.

[3]白盈盈,杨现民.精品开放课程高校教学应用模式设计[J].现代教育技术,2014(5):46-47.

[4]岳丽娜,聂怀勇.精品资源共享课交互环境评价指标体系设计研究[J].上海教育评估研究,2014(3):13-14.

[5]化莉,金春霞.基于层次分析法的高校精品课程教学网站评价研究[J].产业与科技论坛,2011(15):142-143.

[6]Dalkey,N.and Helmer,O.An experimental application of the Delphi method to the use of experts[J].Management Science,1963,9(3):458-67.

[7]Pierre Hadaya,Luc Cassivi and Chahinaze Chalabi.IT project management resources and capabilities:a Delphi study[J].International Journal of Managing Projects in Business,2012,5(2):216-229.

[8]邵立周,白春杰.系统综合评价指标体系构建方法研究[J].海军工程大学学报,2008(3):48-52.

[9]孙传远,孙少华.专家视野中的开放课程质量评价指标体系——基于德尔菲法的调查分析[J].职教论坛,2014(9):40-45.

[10]Helen Sitlington,Alan Coetzer.Using the Delphi technique to support curriculum development[J].Education+Training,2015,57(3):306-321.

[11]Jennifer Banayan,Angela Blood,Yoon Soo Park.A modified Delphi method to create a scoring system for assessing team performance during maternal cardiopulmonary arrest[J].Hypertension in Pregnancy,2015(34):314-331.

[12]董艳,黄荣怀,李晓明,申瑞民.《网络课程课件质量认证标准》的研制与修订[J].电化教育研究,2003(6):65-70.

[13]魏志慧,陈丽,希建华.网络课程教学交互质量评价指标体系的研究[J].开放教育研究,2004(6):34-39.

[14]战锐,张学波.精品课程教学录像质量评价指标体系研究[J].现代教育技术,2010(6):35-39.

[15]刘呈军,卓春英.精品资源共享课评价之初探——以人文数学课程为例[J].河南农业,2014(14):8-9.

[16]蔡敏.网络教学的交互性及其评价指标研究[J].电化教育研究,2007(11):40-44.

[17]Okoli C,Pawlowski,S.D.The Delphi method as a research tool:an example,design considerations and applications[J].Information&Management,2004,42(1):15-29.

[18]杨九民,郭晓梅,严莉.MOOC对我国高校精品开放课程建设的启示[J].电化教育研究,2013(12):44-49.