专家视野中的开放课程质量评价指标体系——基于德尔菲法的调查分析

孙传远 孙少华

一、引言

基于网络的学习技术革新为 “开放学习时代”课程的开放学习提供了可能。美国麻省理工学院（MIT）于2001年开始公开发布 “开放课件（Open Courseware）”，对全世界所有人公开、免费使用，标志着 “开放课程”（Open Course）运动的产生。从2002至2012年，麻省理工学院在该校网站上公开了所有的 2150 门课程（MIT,2012a）[1]，其目的在于为全世界的教育工作者、学生和自学者提供免费学习的机会，尝试为网络学习建立一个高效的、基于标准的典范，并希望与其他有兴趣提供网络学习课程的院校共同推动课程创新运动。紧随其后，约翰霍普金斯大学公共卫生学院、犹他州立大学和塔夫斯大学等也加入了这个队伍。耶鲁大学也于2007年通过网络发布“开放耶鲁课程”。其他如国际“开放课件联盟”（2005年）、日本 “开放课程协会”（2005 年）、中国“开放教育资源协会”（2003 年）等的成立，大大促进开放课程运动的发展。

诸多国际知名高校的开放课程使数以千万计的教育工作者、学生及自学者获益。至2012年4月，国际开放课程联盟已经提供了超过1.3万门课程供世界各地的学习者免费访问（D’Oliveira,et al,2010）[2]。麻省理工学院开放课程官方网站的访问总量至今已经超过1.1亿人次，即平均每月有100万人的访问量（王立,2012）[3]。尽管麻省理工学院的所有课程材料公开、免费，不需要注册，但也不授予学位和证书、不承诺提供在线课程的教师指导，不保证网上材料能反映全部的课程内容（MIT,2012b）[4]。其他高校或网站同样仅限于发布开放课程 （或课件）项目，而没有完全从课程着眼开放学习者的学习过程。即便一些在线课程内容制定了质量标准，并经过了严格的评审过程，然而，更多的资源只是由用户查找和索引的各种链接的大杂烩。因此，要建立一种真正意义上的、有质量保证的“开放课程”还必须作新的探索。

二、研究定位

在当今中国，无论是国家精品课程，还是开放大学的网络课程，都没有对所有学习者开放，充其量只能算是一种“体系”内的开放。国外一些知名大学的开放课件也没有从课程的整体性角度反映学习全过程和学习者的“参与式”体验。本研究的开放课程质量评价定位于开放世界中的所有学习者，即任何人可以借助于网络学习技术免费地、灵活地、随时随地学习的开放课程。

开放课程学习需要关注其质量问题，开放课程的质量保证需要基于课程的一般结构或本质内涵，在内外结合的整体性评价基础上制定评价指标体系和质量标准。开放课程质量保证一直是国际远程高等教育机构十分关注的问题。麻省理工学院的课程因由世界上最杰出的学者设计，音视频文件和讲座也是由 “最睿智、最著名的教授”（柯蒂斯·J·邦克,2011）[5]演示而保证了高质量和赢得了较高声誉。麻省理工学院同时关注使用者对开放课件的评价，通过反馈信息来分析开放课件的访问、利用和影响。其他诸如英国的开放大学、牛津大学，美国的哈佛大学、耶鲁大学、斯坦福大学、卡内基-梅隆大学等也采用各种办法保证其开放课程的质量。然而，在网络学习技术日益革新的背景下，以上学习评价或质量保证并没有从课程的整体性架构来实施，也就难以反映学习者的学习过程和课程学习的整体面貌。

开放课程的质量及其评价不仅关系到开放课程资源本身能否可持续发展，更直接关系到学习者的开放学习质量和终身持续发展。从课程宗旨及教与学的关系看，开放课程实践理应包含课程设计、内容呈现、教学交互、反馈评价等多个环节，以及学习者对课程学习资源的创建和体验。为适应开放远程教育的持续发展，开放课程的含义需要重新界定，开放课程质量评价标准也需要在网络学习技术革新的背景下重新构建。随着我国开放大学的转型和发展，开放课程的运作作为开放大学架构中的核心要素日益引起人们的关注，开放课程的质量标准问题也逐渐引起关注。基于以上分析，本研究尝试改变一般开放课件的单一评价形式，构建适应所有学习者学习和发展的开放课程质量评价标准和指标体系。

三、设计思路

对“课程”和“开放课程”的理解和界定是本研究设计的理论基础。国内外有关课程含义的界定丰富而多样，但大多基于学校教育环境对课程进行概括性阐释，如安德森（V.E.Anderson）等认为，课程是学生在学校或教室中与教师、环境、教材等人、事、物交互作用的所有经验。国内也有学者认为，课程的本质内涵是指“在学校教育环境中，学生获得的促进其身心全面发展的教育性经验体系”（黄政杰,1983）[6]。随着远程教育技术手段的变革，课程学习不再仅仅局限于学校这个唯一的场所，学习的主体也不再限于青少年学生的范围。如，国外有学者认为，课程应是为了学习者在多种多样的学习场所获得技能和知识而提供的学习经验的总体（Marsh,2004）[7]。但这一概念还是过于笼统，不能准确地反映学习过程的计划性。回顾课程演进的历史，我们发现，对课程含义的理解需要从整体性视角来审视。从课程的宗旨是促进学习者发展的角度看，课程应是“计划形态的学习活动”，它包括学习目标、学习内容、学习方式和学习评价等四个基本组成部分（丁念金,2007）[8]。这一解释继承美国著名课程学者拉尔夫·泰勒 （Ralph W.Tyler）、 哈里·吉尔斯（Harry Giles）等的核心思想，强调了课程的基本要素或组成部分，关注了学习者的整个学习过程或进程。

尽管对开放课程至今还没有统一的、明确的概念界定，但在一些关键特征上人们已经达成了共识：开放课程是免费的，所有学习者都可以随时浏览视频或下载其开放课件学习；开放课程关注学习者之间的交互以及学习评价和反馈；开放课程学习方式是灵活的，学习场所是不受局限的，学习手段和媒介是多种多样的；开放课程的学习者通过学习可以获得明显的学习成果、进步和发展。例如，有研究者认为，“开放课程和开放课件及开放教育资源的最大区别是除了提供免费的学习资源之外，同时还包括一定程度的教学支持、学习活动的组织和管理以及获取学分的可能”（马宏亮,等,2011）[9]。所以，开放课程应该是开放大学或其他远程高等教育机构在遵守知识共享许可协议的前提下，有计划的通过网络向社会免费开放的某门学科的教学内容以及教学活动实施的总和。开放课程是对开放教育资源统整、选择、编制和利用的过程，开放课件只是开放课程编制的结果形式之一。开放课程不仅指某些开放的课件、内容和资源，还包含教学实施、反馈、评价过程，更是学习者与各种现实的和虚拟的学习环境不断进行教与学的交互并获得发展的社会活动。

对“指标体系”概念及模型的认识是研究框架的依据。“指标”指的是衡量目标的单位或方法，“体系”泛指一定范围内或同类的事物按照一定的秩序和内部联系组合而成的整体，是不同系统组成的系统。开放课程质量评价的指标体系是提高开放课程质量和促进学习者发展所应达到的一系列相关目标组成的整体。依照国际上通用的三层次结构模型，本研究中的指标体系由三个级别的指标组成，以此形成结构合理、分级细化的、质的描述和量的规定相结合的紧密结构。

对三级指标关键要素的确定是本研究的主要内容。本指标体系的二、三级指标参照了美国教学设计与适用专业委员会建立的“在线学习的认证标准”（E-Learning Certification Standards）（何克抗等,2002）[10]、美国国家教育协会、美国高等教育政策研究所和美国黑板（BlackBoard）公司联合发布的远程学习评价标准（Quality On The Line）和我国学者研究的《网络课程课件评测（认证）标准》（董艳,黄荣怀,等,2003）[11]。本指标体系的一级指标根据课程的一般定义及课程学专家的建议构建，主要包括课程的课程理念、课程目标、课程内容、课程实施、课程评价五个方面。二级指标根据每个一级指标所应包含的内容，运用简短的关键词来描述和确定。如，课程理念主要包括终身性、泛在性、社会性、主体性、共享性、共建性六个方面；课程目标主要包括：明确性、指向性、整体性、具体化、结构化、操作性六个方面；课程内容主要包括科学性、清晰性、趣味性、规范性、合法性、系统性、前沿性、拓展性、支持性、实用性十个方面；课程实施主要包括交互性、开放性、多样性、技术性、可用性、便捷性六个方面；课程评价主要包括及时性、激励性、导向性、客观性、有效性、多元化六个方面。三级指标一般以1-4个项目对应于每个二级指标，每个项目均使用短句描述该指标的主要特征。

对各项指标权重的测定是本研究的关键环节。权重一般是指某项指标在同一层指标体系中的重要性程度，可以用分值大小不等来衡量和测定。除参考以上文献和标准外，各项指标的分值依据其在开放课程设计与学习中的重要性来确定，即必选项分值较高，可选项分值较低；比较重要的分值较高，不太重要的分值较低；部分指标因现有技术和条件限制暂时难以实现的，其分值也略低。在发给专家审核修订的问卷中，除个别指标本身就已经很明确，无需进一步说明外，其他各项指标后面的备注中均有说明，内容尽可能做到语言简练、完整准确、描述客观、通俗易懂。

四、研究方法

本指标体系采用德尔菲法确定各项指标的权重。德尔菲法是利用专家的知识和经验，在掌握了一定客观情况和资料信息基础上，来确定各因素在评判问题或者决策问题中重要程度系数的一种方法（安晓敏,2012）[12]。本研究调查样本数有23位专家（其中包括4位课程学专家、10位远程教育技术学专家、9位高等教育学专家；教授8人，副教授15人；普通高校专家9人，远程教育机构14人），他们均参与了三轮指标体系选项和权重的评估及满意度评价，最后结合系统综合评价指标体系构建方法（邵立周,白春杰,2008）[13]编制该指标体系。

在运用德尔菲法的过程中，本研究注意到了其匿名信、可控性和协调性等特点，采用面对面访谈、电话采访、电子邮件等多种形式进行资料收集。每一轮结束将各个专家的意见匿名反馈给所有专家讨论，以便专家相互交流和提出修改建议，最终达成比较一致的意见。本研究设计的问卷中给专家留有发表意见的空间，以最大限度地收取和采纳专家的建议和意见，除了每个权重（分值）后面和每个二级指标的下面留有供专家修改的空间外，问卷的末尾还专门设计了供专家填写评价和建议的开放式问题。第三轮先请专家评定各项二级指标的权重，求出权重系数。同时将指标体系（以一、二级指标为框架）设计成“非常满意”“比较满意”、“基本满意”、“不太满意”、“很不满意”五级评分量表请23位专家进行评分， 依次定量分数为 5、4、3、2、1， 运用SPSS13.0软件对数据进行统计分析，求出稳定性系数。

五、研究过程与分析

本指标体系经过23位专家三轮审定、评分和本课题组成员及其他专家反复商讨和修改完成。前两轮主要以增删或修改指标为主，第三轮根据专家的评价确定指标权重和、平均数和中位数等。

第一轮专家审阅指标体系于2012年6月进行。一级指标体系包含课程目标、课程内容、课程实施、课程评价四个方面（见表1）。指标选项内容分为两个部分：必选项（Must）和可选项（Option），分别用字母M、O表示。其中，必选项为必须要达到的指标；可选项为可以达到也可以不达到的指标。指标体系满分设定为100分，75分为达到标准，其中必选项19项57分，可选项20项43分。每个三级指标均为5分制，分值限制为2分、3分、5分不等。选项要求、分值权重的后面以及每一级指标下面的阴影部分空格供专家修改用，即专家可以直接用文字标明所要修改、增添和删除的项目。

第一轮23位专家审阅和修改的统计结果表明：（1）没有需要删除的指标项目；（2）各项指标体系均达到预期的标准分数要求，专家意见一致性最低的四项二级指标（课程目标的操作化、课程内容的系统性、课程实施的交互性和多样性）均已达到78.26%，即有18位以上专家同意；（3）在部分指标项目的增减和修改上、指标权重分值的增减上仍然没有达成一致意见，例如：有专家认为，应尽量体现课程的特点而不要受开放课件或部分网络学习资源的局限；应充分体现教与学互动的特点并体现学习者的创建机会与共享理念；应尽可能体现泛在学习的特点，即体现学习者的学习、生活与工作的结合。鉴于此，本研究者认为需要进行第二轮专家评议。

表1 第一轮指标体系的选项要求和分值/权重的分配（个）

第二轮专家审阅指标体系于2012年9月进行。根据第一轮统计结果以及本课题组成员的意见，本研究修改和编制了新的指标体系：（1）增加了一个一级指标“课程理念”及其所包含的六个二级指标，以更好地突出开放课程的设计理念和学习者共享共建开放课程学习资源的实践；（2）为避免分值分配不均或分值过于复杂，根据专家的提议，第二轮每个三级指标设为4分制，分值为1分、2分、3分、4分不等；（3）经过调整，第二轮指标体系中必选项为24项65分，可选项21项35分，满分为100分，75分为达到标准（见表2）。

依据23位专家第二轮的建议及本课题组成员的反复讨论，将指标体系做了如下修改：（1）将课程内容中的二级指标“共享性”移至一级指标“课程理念”中作为二级指标；（2）在一级指标“课程内容”中增加一个二级指标“实用性”，以突显学习者通过开放课程学习到生活、工作中迫切需要的知识的愿望（见附表）；（3） 将课程实施中的 “多样性”、“技术性”、“可用性”中各自去掉一个三级指标，使二级指标更加简明扼要和突出重点。第二轮23位专家审阅和修改建议的结果表明：所有指标项目的专家同意度或一致性均达到82.61%以上 （即每个指标均有19人以上同意）。

表2 第二轮指标体系的选项要求和分值/权重的分配（个）

专家对指标体系的满意度问卷采用 “中位数”法（邓恩,2003）[15]处理数据，分别求出专家意见的中位数、均值、上四分位点Q+和下四分位点Q-之间的差距，并使用SPSS13.0软件统计得出平均分和标准差（见附表，标准差略）。a1、an为填答的最小值、最大值。 如果 Q+-Q-＜a（a1-an），其中 0＜a＜1,可认为数据反映意见集中程度良好。本研究取a=0.35，最大值 an为 5，最小值 a1为 1，a（a1-an）=1.4。 Q+-Q-的值越小，表明集中程度越高，当Q+-Q-≤1.4时，即认为专家意见集中程度良好；当Q+-Q-=0时，即认为集中程度最高；当Q+-Q-＞1.4时，即认为集中程度一般，但尚可接受。从本研究统计结果看，所有的四分位区间均小于或等于1.4，专家意见的集中程度良好。从统计结果看，专家对课程理念的“主体性”（平均值为 3.391，中位数是 3）、“共建性”（平均值为3.174，中位数是3）和课程内容的“前沿性”（平均值为3.435，中位数是3）等几个二级指标评价的平均值较低，这一方面说明现实中开放课程创建的确缺乏学习者参与，另一方面也反映了专家对未来开放课程的一种期待。

六、研究结论与反思

从专家的问卷和访谈中我们了解到，目前开放课程的质量保证主要依赖于普通高校或远程教育机构的课程专家或课程开发者对课程的编制与设计，缺少学习者的主体参与和贡献；对开放课程的学习大多局限于获取开放课件和网络学习资源的层次，缺少虚拟学习环境中的教学互动与反馈环节；现有开放课程的课件大多局限于图文呈现、音频或视频课件的播放，没有提供下载或转存功能，不利于学习者开展移动学习或泛在学习；现有的开放课程过分强调网络学习，忽视了现实和虚拟学习环境的有机结合，不利于学习者有效提高混合学习的效果。因此，专家们认为：

（1）开放课程设置应充分体现其开放性，课程宗旨要面向所有学习者的学习和发展，帮助学习者获取更加优质的课程学习资源；

（2）开放课程实施应充分利用网络学习技术革新创造更加个性化的学习环境和学习方式，使每个学习者能够利用自身的技术条件，包括微型移动电子设备开展泛在学习；

（3）开放课程学习应协同创建开放学习社区，为世界各地学习者在学习同一门课程的时候能够广泛参与和互动，并能够为课程的改进做出积极贡献。

本研究尽力在评价指标体系中体现专家意见。尽管本研究的指标体系以课程的一般结构为指标维度进行设计，有效性和稳定性均较高，且结构合理、完整细致、操作性强。但由于研究条件和水平的局限，本指标体系专家评价还带有一定的主观性，对于运用网络技术或微型移动设备开展灵活多样的学习形式还缺乏深层次探讨。所以，作为开放课程的学习者对课程质量的评价工具，本指标体系还需要在实践中改进。

目前，我国正处于广播电视大学向开放大学转型期，开放大学理念、开放课程制度以及开放教学活动等还还在进一步的探索中，开放课程的质量评价研究也只是一种初步的尝试，有待今后更多领域的专业研究者参与研究和实践。不过，随着开放课程运动的发展、学习者数量的逐步扩大和远程教育技术的日益革新，人们越来越关注开放课程的质量保证问题，因此，开放课程质量评价的指标体系构建必然是一个动态改进和持续发展的过程。

附表 开放课程质量评价指标体系及专家评价结果

[1]MIT OCW(2012a).MIT Open CourseWare[EB/OL].[2012-02-22].http：//ocw.mit.edu/courses/.

[2]D’Oliveira C.,Carson S.,James K.,et al(2010).MIT Open-CourseWare：Unlocking Knowledge,Empowering Mind[J].Science,329(5991)：525-526.

[3]王立.麻省理工学院开放课程计划十年回顾与展望[J].高教发展与评估,2012(4)：108-123.

[4]MIT OCW(2012b).Free Online Course Materials[EB/OL].[2012-10-11].http：//ocw.mit.edu/about.

[5][美]柯蒂斯·J·邦克(2011).世界是开放的：网络技术如何变革教育[M].焦建利,主译.上海：华东师范大学出版社：151.

[6]黄政杰(1983).课程概念剖析[M].台湾师范大学教育研究所集刊(第 25 辑)：157-161.

[7]Colin J.Marsh(2004).Key Concepts for Understanding Curriculum,London：RoutledgeFalmer：4.

[8]丁念金(2007).课程论[M].福州：福建教育出版社：24.

[9]马红亮,Li Yuan,Stephen Powell,等(2011).引入国外开放课程构建网络学习新模式[J].电化教育研究,2011(9)：68-74.

[10]何克抗,李文光.教育技术学[M].北京：北京师范大学出版社,2002：61.

[11]董艳,黄荣怀,李晓明，等(2003).《网络课程课件质量认证标准》的研制与修订[J].电化教育研究,2003(6)：65-70.

[12]安晓敏.义务教育公平指标体系研究——基于县域内义务教育校际差距的实证分析[M].北京：教育科学出版社,2012：108.

[13]邵立周,白春杰.系统综合评价指标体系构建方法研究[J].海军工程大学学报,2008(6)：48-52.

[14]王景英.教育评价[M].北京：中央广播电视大学出版社,2004：60.

[15][美]威廉·N.邓恩.公共政策分析导论[M].北京：中国人民大学出版社,2003：265.