开放教育资源质量管理：研究进展与启示

万力勇　杜静　蒋立兵

摘要：开放教育资源运动作为一种世界性的潮流和运动，其带给教育发展的驱动力正在逐步显现。在开放教育资源运动推进过程中，质量问题是阻碍开放教育资源项目可持续发展的关键因素之一。有效的质量管理是保障开放教育资源质量的重要手段。该文在对开放教育资源质量进行界定的基础上，提出了基于信息传播视角和基于质量管理流程视角的开放教育资源质量分析框架。依据以上两个分析框架，以质量管理流程为主线，从质量监测与评价、质量控制与保证两个方面对国内外开放教育资源质量管理研究现状进行了文献梳理和述评，对当前研究中存在的局限和不足进行了分析。最后对我国开展开放教育资源质量管理研究提出了三个方面的建议：建立开放教育资源质量监测与预警机制、引入信息资源质量管理领域的研究成果作为借鉴和参考、将用户满意度作为我国开放教育资源管理的主要关注点。

关键词：开放教育资源；质量管理；质量评价；质量保证；用户满意度

一、引言

开放教育资源（Open Educational Resources，简称OER）运动是教育领域国际化、信息化背景下一场重要的潮流和运动。联合国教科文组织（UNESCO）指出：开放教育资源是缩小教育鸿沟、推动教育公平、增进教育机会、提高教学品质、激发教育创新的重要驱动力。我国的开放教育资源运动先后经历了精品课程项目、精品开放课程项目（包括精品资源共享课和视频公开课）、慕课等阶段。当前，开放教育资源运动从产生到发展已有10余年，其带给教育发展的驱动力正在不断显现。但与此同时，开放教育资源运动发展的可持续性一直受到业界和学术界的质疑。2009年9月，美国犹他州立大学宣布停止其开放课件项目的实施，除了经费短缺是诱因之外，其背后更深层的原因是开发者不注重建设，资源结构和内容存在很大的问题，资源质量难以保证。再如，我国国家精品课程建设中存在着“重立项，轻建设”“重评审、轻共享”“重专家、轻用户”等问题，致使运行质量不佳、教学有效性缺失、资源利用率不高，于2012年开始逐步向国家精品开放课程转型升级；国家精品开放课程项目建设虽然也有一套质量评价标准和质量保证措施，但其质量评价与保证体系还有待完善。

质量是开放教育资源的生命线，是开放教育资源项目可持续发展面临的最为关键的问题之一。有效的质量管理是保障开放教育资源项目质量的重要手段，有助于实时了解当前开放教育资源质量现状，规范开放教育资源建设行为，提升开放教育资源质量，引导和推动我国开放教育资源运动的可持续发展。当前，一方面开放教育资源本身的独有特性使一些质量管理的传统途径力不从心，另一方面开放教育资源项目的建设主体日益多元化和开放教育资源表现形式日益多样化使得质量管理过程变得更为复杂。因此，有必要对国内外开放教育资源质量管理领域的研究现状和研究成果进行梳理和总结，挖掘当前研究与实践中的新理论、新思路和新方法，同时指出当前研究与实践中存在的问题和不足，可为后来研究者提供参考，也为实践操作者提供启示。

二、开放教育资源质量及其分析框架

（一）开放教育资源质量概述

2001年，麻省理工学院开放课件项目（MITOCW）开历史之先河，将其课程资源以数字化形式免费向全世界开放。此后，联合国教科文组织（UNESCO）于2002年正式将开放课件命名为开放教育资源（OER）。对于开放教育资源的定义，目前没有一个统一的、标准的版本，比较具有代表性的主要有以下两种：一是UNESCO 2002年的定义，认为开放教育资源是公开提供的基于非盈利性目的、由技术支持的可供使用者参考、使用和修改的教育资源；二是世界经济合作与发展组织（OECD）2007年的定义，认为开放教育资源是向广大教育者、学生和自学者免费开放提供，供他们在教学、学习和研究中使用和重用的数字化材料。综合以上两个定义，可以认为开放教育资源是指能够通过互联网免费获取的拥有开放许可的数字化教育资源，允许使用者自由地使用、重用、改编和分享，其存在形式有学习对象（Learning Objects）、开放课件（Open Courseware）、开放课程（Open Course）等。

国际标准化组织ISO9000将质量定义为“一组固有特性满足要求的程度”。固有特性是通过产品、过程或体系设计和开发及其之后实现过程形成的属性。从产品角度而言，质量反映的是产品某个特定的属性，该属性是可以测量的；从用户角度而言，质量被定义为相对于预期用途的适用性；从价值角度而言，質量被定义为产品的有用性；从生产角度而言，质量被定义为生产制造活动的预期产出。开放教育资源质量是开放教育资源价值的重要体现，是开放教育资源在质和量两个维度上的优劣程度的总和。

（二）开放教育资源质量的分析框架

1.基于信息传播视角的分析框架

本研究引入香农（Shannon）和韦弗（Weaver）的信息传播模型，该模型认为信息传播过程中包含3个主要要素，即信源、信道和信宿。据此信息传播过程模型，在开放教育资源的生成过程中，信源就是开放教育资源的生成主体，即开放教育资源发布和传播的源头；信道则代表开放教育资源生成与传播过程中所依托的传输媒介和载体；信宿则代表开放教育资源的接收主体，即广大的教师、学生和自学者；在传播过程中还有噪声等干扰因素从负面影响开放教育资源的质量。从资源生成主体、资源和资源接收主体三者分别进行考虑，在对开放教育资源质量的感知上，可以将开放教育资源质量分成三个维度：基于生产的质量、基于产品的质量和基于用户的质量，具体如图1所示。生成主体决定了基于生产的质量，主体自身属性、生产过程和生产规范对开放教育资源质量具有直接影响；我们可以将开放教育资源视为是一种公共知识产品，基于产品的质量是从资源内容本身来对质量进行考量；基于用户的质量代表了使用者对资源质量的直接感知，即“质量是由顾客的要求来决定”，质量就是满足或超越使用者的期望。

2.基于质量管理流程的分析框架

朱兰（Joseph H.Juran）博士是全球公认的质量管理专家，他所提出的“质量计划、质量控制和质量改进”三过程质量管理框架被称为“朱兰三部曲”。朱兰认为，质量计划对于建立满足质量标准化的工作程序是必不可少的；质量控制有助于确定在何时采取何种措施解决已出现或即将出现的质量问题；质量改进的目标在于发现更优且更高效的管理工作方式。本文在借鉴朱兰质量管理三部曲的基础上，构建了一个基于质量管理流程的开放教育资源质量分析框架，如图2所示。

该框架由输入部分、质量管理部分和输出部分构成。用户对资源质量的要求是整个框架的输入部分。质量管理部分包括质量计划、质量监测、质量评价、质量控制和质量保证五个部分，并围绕资源的生产形成一个循环过程。管理过程始于识别和确认用户的需求，将顾客需求转化为规范，制定满足用户需求的资源特征和标准，对生产过程中的资源质量进行实时监测，采用科学的评价标准和评价方法对资源质量进行评价，对评价结果组织诊断，确认质量问题的产生原因，制定和运用一定的操作方法，对资源生产过程进行严格控制，并采取优化和改进措施，以保证资源质量。在输出部分，资源质量必须能达到用户需求并使用户满意。

三、开放教育资源质量管理研究进展

本文结合基于信息传播视角的质量分析框架和基于质量管理流程的质量分析框架，以质量管理流程为主线，将国内外开放教育资源管理研究分为两个大的方面进行述评：一是开放教育资源质量监测与评价研究，二是开放教育资源质量控制与保证研究，而在每个大的方面同时考虑对基于生产的质量、基于产品的质量和基于用户的质量的分析。

（一）开放教育资源质量监测与评价

从当前国内外已有的研究文献来看，与开放教育资源质量监测和评价相关的研究主要集中于开放教育资源质量的评价方面，与质量监测相关的研究散见于极少数文献中，主要是采用元数据采集和数据挖掘等方法对资源元数据和用户访问基本数据进行监测。因此，本部分主要对开放教育资源质量评价框架和指标体系以及质量评价方法进行述评。

1.质量评价框架及指标体系

当前国内外对开放教育资源质量评价的研究主要包括两个方面：一是对开放教育资源客观属性的评价，如对资源的基本属性、资源内容的可获取性、交互性、稳定性、更新性等客观属性指标的评价；二是开放教育资源主观性使用价值评价，如对资源教学可用性、有效性及利用率、转化率等与使用效果相关的指标的评价。从国外情况来看，先后有多个研究机构及研究者从不同视角对开放教育资源的质量评价框架和维度进行了探讨，并设计出了相应的评价指标体系，具有代表性的评价框架包括OER Rubric、QM、LOEI、LORI、CLOE等，所列大部分框架已被相关资源开发机构和部门所采用，其中LOEI和LORI等主要是针对学习对象和学习对象库质量进行评价，而OER Rubric和QM等则主要针对开放在线课程质量进行评价，具体如右表1所示。

国内对开放教育资源客观属性评价的研究主要集中在对网络课程或精品课程的评价标准及模型上，如董艳等提出了网络课件的质量认证标准；詹泽慧等运用焦点小组调查和AHP层次分析法构建了网络课程质量评价模型；刘路等对欧洲慕课教育质量评价方法进行了综述和比较；邱均平等建立了慕课质量评价指标体系。在开放教育资源教学可用性、有效性及利用率等主观性质量评价方面，相应的研究并不多，现有的研究如：尹佑康等等建立了基于三维QOS的精品课程服务质量评价模型；夏洪文等、唐伟志等分别构建了国家精品课程可用性评价指标并进行了实证研究；王佑镁对现有国家精品课程及其网络资源的教学有效性和可用性进行了实证研究，发现国家精品课程在教学有效性和可用性方面存在缺失；丁兴富等设计了对精品课程质量进行评价的AAIU（获取、应用、影响、更新）调研模型并对北京市精品课程网上资源质量进行了实证调研。国内具有代表性的评价框架及维度如表2所示。

2.质量评价方法

较为传统的开放教育资源评价方法包括定性评价法、定量评价法和半定量评价法，侧重于从产品视角对资源的客观属性进行评价。定性评价侧重于个人经验层面，主要是指评价者使用既定评价标准依据个人经验对资源质量进行主观评判。定性评价采用的方法包括问卷法、访谈法、观察法、比较法和模拟法等。定量评价方法是指按照数量分析方法，从客观量化角度对开放教育资源质量进行评价，具体包括元数据分析法、链接分析法和概率统计方法等。半定量评价方法兼顾定性和定量两个评价维度，在吸收定性和定量评价优点的同时避免了两种评价方法的不足。比如在评价过程中以定性方法收集專家评价意见，然后对评价意见进行定量化处理从而得出更为精准的评价结果。常见的半定量评价方法包括层次分析法、模糊综合评价方法等。

随着开放教育资源项目的建设主体日益多元化以及社会化和移动网络环境的深化普及和应用，资源使用者也同时可以扮演资源建设者的角色，由此推动开放教育资源评价方法呈现出多样性、社会化的特点。评价主体由以往以专家和管理者为主逐步过渡到以同行和用户为主，各种非正式化的质量评价手段不断涌现，成为开放教育资源质量评价方法的重要补充。Clements等从政策性、技术性和社会性三个方面对开放教育资源质量评价方法进行分类，政策性侧重于从全局、通用、平台视角对资源质量进行评价；技术性侧重于自动化质量监测与评价技术在评价过程中的使用；社会性侧重于从多用户协同评价的视角对资源质量进行评价。通过对文献进行分析，在社会化和移动网络环境下涌现出的一些新的资源质量评价方法如表3所示。

（二）开放教育资源质量控制与保证

目前与开放教育资源质量控制与保证相关的研究可以分为学术研究和实践操作两大块，学术研究重在提出与开放教育资源质量控制和保证相关的框架、模型和方法，但其有用性和有效性正在接受实践检验或有待于接受实践检验；实践操作方面是相关资源开发机构制订的、已经在实践中采用的质量控制与保证方法和体系。学术研究与实践操作均不可或缺，学术研究成果最终要向实践操作转化，而实践操作也需要有学术方面的指导才能不断完善。

1.学术研究方面

在国外，有关开放教育资源质量控制与保证的研究主要分为三个方向：一是基于已有评价指标体系和标准建立对应的质量保证准则，代表性研究如Kawachi提出了面向学习者认知、情感、元认知、环境和管理等五大领域的开放式教育资源质量保证框架（TIPS框架）。该框架由四个维度组成，包括19个作为子维度的类别，共65条准则；二是从管理机构、开发者和使用者等多个层面建立多主体的资源质量保证框架，代表性研究如Helmstedt等提出了一个面向学习者生成教育资源（LGC）的三层质量保证框架，分别是机构层（Institutional Level）、外部质量保证层（External Q-level）和內部质量保证层（Internal Q-level）。机构层由机构对资源的采纳提供质量保证；外部质量保证层由同行评价（教师或学习者）和自我评价提供质量保证；内部质量保证层由同行反思和自我反思提供质量保证。三是从资源生产流程角度，按时间轴顺序从开发者和使用者两个维度建立资源质量控制与保证框架，代表性研究如Clements等提出了一个开放式学习对象库的质量保证框架LORQAF，如图3所示。该框架将开放式学习对象库的质量控制过程分为两个阶段和四大举措。两个阶段是指资源发布前阶段和资源发布后阶段，四大举措按资源生产和发布的时间顺序依次为：开发者质量决策、基于技术的自动质量监测、期望评价质量和用户生成质量。

在国内，有关开放教育资源质量控制与保证的研究在思路和方向上相对较为分散，既有对国外开放教育资源质量保证体系的分析与反思，也有从质量监控保证体系构建、过程管理体系构建及质量控制框架构建等方面提出一些质量保证的相应举措。在借鉴与反思国外质量保证体系方面，王承冰等从资源建设过程的质量控制、学习者参与资源建设、更新和质量监控、内部审查评估和外部监督体系三方面对英国开放学习项目的质量保证体系进行了探讨；欧阳丽红、袁松鹤等、刘名卓等先后对国内外网络课程质量保证模型、策略及个案进行了研究；李青等对国外MOOC的质量保证体系进行了研究。在质量控制与保证框架的构建方面，陈以海提出了精品课程网络资源建设质量监控保障体系，该体系由网络资源建设质量指挥系统、网络资源建设过程监控系统、网络资源建设质量跟踪评价系统、网络资源建设质量信息反馈系统四个部分组成，并提出了精品课程网络资源建设质量监控保障体系的运行机制。王宁等依据管理学中的事前控制、事中控制、事后控制的管理原理，将精品课程质量管理体系分为精品课程建设规划体系、过程管理体系、质量评价体系三大管理子系统。万力勇等提出一个普适性的用户生成性学习资源质量控制框架，该框架共分为4个子系统，依次为质量监测系统、质量评价系统、质量反馈系统和资源更新系统。

2.实践操作方面

在开放教育资源质量控制与保证的已有实践中，从国外情况来看，各个机构结合自身特点，做法不一，或侧重于以评价促保证，或侧重于多主体结合的质量保证，或侧重于外部质量保证，形成了多样化的资源质量保证实施策略。如MIT 0CW采用一套完备的质量评价指标体系对所有0CW课程进行年度评估，以评促建，不断提高课程质量；0penLearn从资源建设过程的质量控制、学习者参与资源建设、更新和质量监控、建立内部审查评估和外部监督体系三个方面进行资源质量保证；卡耐基梅隆大学（CMU）开放学习创新项目（OLI）在开发过程中采取“往返回馈”开发模式，鼓励师生使用并参与评价，通过对使用情况的监测和分析来不断完善课程资源，提高资源质量；英国开放教育资源项目（UKOER）采取基于共同体的资源开发模式，允许合作开发高质量课程材料，引入基于不同社区的课程质量评价过程和第三方质量评价；国际开放式课程联盟（OCWC）属于联盟组织，对加入联盟成员机构资源建设情况有严格要求，主要采取对资源使用情况和使用效果评估的方式对联盟成员资源质量进行控制；美国莱斯大学Connexions项目采用“用户评价”和“管理员审核”双管齐下的质量保证机制，同时提供基于可信任者和知识渊博者的内容审查与评价机制。在国内，我国在精品课程质量控制方面，主要采用“评审+年度自检”的质量控制机制以保证课程资源的质量。具体如下页表4所示。

（三）开放教育资源质量管理研究总结

综合以上开放教育资源项目质量监测与评价、控制与保证等方面的研究与实践可以发现，目前国内外对开放教育资源质量评价框架、评价指标及标准、评价方法及手段的研究已较为成熟，从政策性、技术性和社会性等视角对开放教育资源评价进行了较为深入的探讨；在资源质量的控制与保证方面，国内外多位研究者提出了针对特定应用场景的开放教育资源质量控制与保证框架，并围绕框架提出了相应的质量控制与保证策略，同时国内外多个开放教育资源项目在实践中探索和建立了适合各国国情的、本土化的质量控制与保证体系。但同时现有关于开放教育资源质量管理的研究也存在一些局限和不足，主要体现在以下几个方面：（1）与开放教育资源客观属性评价研究较多，而对于其使用价值和使用绩效的评价研究偏少；与开放教育资源项目质量评价相关的研究较多，而与质量监测的研究极少，主要是对资源元数据和用户访问基本数据的监测，可见开放教育资源质量监测研究尚处于起步阶段，并未引起足够重视；（2）虽然已经有部分研究开始关注用户体验和用户评价在开放教育资源质量评价、控制与保证中的作用，但现有研究中资源管理的主体主要还是资源建设者、管理者、专家、同行等。缺少来自资源使用者的声音，对于用户的需求考虑不足，如缺乏开放教育资源用户具体使用过程的特征分析；缺乏用户使用后的评价反馈及资源利用率和满意度方面的研究等；（3）现有的开放教育资源质量评价指标及标准良莠不齐且各自为政，目前国内外与开放教育资源质量评价相关的指标体系及标准多达几十种，其中既有机构开发的，也有个人开发的；既有针对学习对象库进行评价的，也有针对开放在线课程进行评价的。由此使得使用某一评价标准的资源评价结果往往具有一定的局限性和片面性，缺乏通用性和公信力。开发和建立一个通用的、普适性的、标准化的开放教育资源质量评价指标体系势在必行。

四、对我国开放教育资源质量管理研究的启示和建议

（一）建立开放教育资源质量监测与预警机制

在开放教育资源开发与使用过程中，涉及到复杂的开发流程和大量的使用人群，如果只是依靠开发者或管理者手工发现质量问题并提出解决方案是不现实的。建立有效的开放教育资源质量监测与预警机制显得尤其重要。统计过程控制（SPC）是目前工业生产领域广泛采用的实时在线质量监测技术，对实现生产与使用过程的监测预警提供了方法和依据。笔者在参考统计过程控制相关思想的基础上，建立了一个开放教育资源質量监测与预警模型，如图4所示。在该模型中，开放教育资源质量监测包括客观质量数据监测与主观质量数据监测。客观质量监测主要是对资源基本属性、参数、资源内容、用户访问等数据的监测；主观质量监测包括用户满意度评价和专家评价数据的监测，其中专家评价数据作为用户评价数据的补充。其中客观质量数据的监测主要由系统以数据挖掘的形式自动监测，主观质量数据的监测主要以用户评价数据的实时收集为基础。围绕以上两个维度，对主观质量数据与客观质量数据设定相应的权重，进行质量综合评价。在此基础上建立包含生产层、监测层和预警层的开放教育资源质量监测与预警模型及机制，对开放教育资源整体质量进行评价，能做到对资源质量的动态监测与实时监测。同时，设立开放教育资源质量的预警“临界点”，启动“临界点”预警机制，当监测到的质量低于“临界点”时，系统会自动报警并提醒资源建设者和管理者对资源质量进行诊断，根据诊断结果对资源生产过程中出现的问题进行纠正和改进，实现对资源质量的控制与优化。

（二）引入信息资源质量管理领域的研究成果作为借鉴和参考

开放教育资源作为数字化教育资源的特殊表现形式，具有信息资源的一般属性，因此信息资源管理领域的研究成果可以作为开放教育资源质量管理研究的借鉴和参考。这些研究较多地使用了服务管理及信息经济等领域的理论与方法，可以为开放教育资源质量管理开辟新的研究视野。如谢姝琳构建了信息资源质量控制系统动力学模型、毛凌翔等构建了数字信息资源生产质量监测与控制的粗糙集模型。莫祖英等利用演化博弈理论，分别分析了网络环境下无监管时的网络信息资源质量稳定状态和管理者参与监管时的网络信息资源质量稳定状态，并提出了激励信息提供者提供高质量信息和实现质量控制的相关举措。

除了传统的信息资源质量管理研究成果外，一些网络百科全书平台的质量控制与保证框架及策略也可以为我们提供借鉴。维基百科作为全世界最大的网络百科全书平台，其词条质量和准确性已可以与《大英百科全书》相媲美。维基百科之所以具有良好的质量和极高的可信度，这都归功于维基百科严格的质量控制原则、质量控制标准和质量控制策略。维基百科的创作与生成建立在海量维基百科注册会员频繁、复杂且深入的互动基础之上，以用户的协作和讨论、用户的多角色参与和同行评价为基础的内容生成机制有效保证了维基百科资源的质量。维基百科的成功也吸引了多位信息资源质量研究者的目光，如Stvilia等围绕维基百科内容的信息质量（IQ）控制过程进行了相关研究。网络百科全书与开放教育资源在某些属性上具有异曲同工之处，可以将其质量管理的思想及方法引入到开放教育资源质量管理研究与实践中。

（三）将用户满意度作为我国开放教育资源质量管理的主要关注点

在使用过程中让用户满意的资源才是优质资源，用户满意度是开放教育资源质量管理中不可忽视的一个视角。用户（顾客）满意度是指用户在将产品或服务的实际表现与某一比较标准相比后产生的结论。用户（顾客）满意度理论在产品质量管理及服务管理等领域取得了广泛应用，但尚未见到用户（顾客）满意度理论在开放教育资源质量管理中应用的研究。在国外，与此较为相关的研究主要集中于信息资源质量满意度评价方面，侧重于研究网站质量与用户满意度之间的影响关系。如Hsu等人对网站质量的用户满意度进行了研究，发现服务质量是影响用户满意度的关键因素。Mckinnev等人提出了网站用户满意度的九个关键要素。在国内，相关研究者开始将用户满意度模型应用到教育质量评价及科研学术型数据库和教育信息资源的质量评价中。在教育质量评价方面，刘武等构建了由高校形象、顾客期望、感知质量、顾客满意、顾客忠诚和顾客信任等结构变量构成的中国高等教育顾客满意度指数模型（CHE-CSI）。在科研学术型数据库质量评价方面，莫祖英等对美国顾客满意度指数模型（ACSl）进行改进，构建了用户信息资源质量满意度概念模型。在教育信息资源质量评价方面，杨文正等构建了教育信息资源质量满意度概念模型，通过实证验证与分析，发现教育信息资源的重用性、丰富性、相关性、新颖性、互动性和个性化是影响用户满意度的关键质量指标。以我国的部分开放教育资源项目为例，无论是之前的精品课程还是现在的精品资源共享课，均是通过专家评价手段进行遴选。虽然有相应的复查体系作为运行质量保障，但是，这种“自上而下”，即政府主导的评价和复评体制，忽略了资源使用者的实际需求和期望。唯有转化评价主体，引入基于用户满意度的质量管理理念，采取适合我国国情的“自上而下”和“自下而上”相结合的评价机制，才能促进我国开放教育资源质量的提升。