网络课程在线评价指标体系的设计与实现

刘永福 李静辉

【摘 要】

目前我国网络课程的评价指标体系的可操作性不强，因而限制了其进一步的推广和完善。针对这一情况，研究者借鉴国外在线课程评价标准的研制思路，结合国内外学者的研究成果，在分析网络课程特性的基础上提出了新的网络课程在线评价指标体系；运用层次分析法确定了各级指标的权重，通过验证、检测形成了包含4个维度、26个二级指标的在线评价指标体系。实验结果表明，在线评价指标体系的权重评判的一致性程度理想，评价体系具有很强的操作性和开放性。

【关键词】 网络课程；评价体系；设计；实现

【中图分类号】 G40-057 【文献标识码】 A 【文章编号】 1009—458x（2015）08—0057—07

一、引言

教育部提出了“实施现代远程教育工程，形成开放式教育网络，构建终身学习体系” [1]，“建立和完善继续教育制度，适应终身学习和知识更新的需要。依托现代远程教育网络开设高质量的网络课程，实现跨越时空的教育资源共享”[2]等一系列有力举措。这些政策极大地调动了远程教育工作者建设网络课程的积极性，掀起了我国网络课程建设的高潮。2002年教育部信息化标准技术委员会发布了关于网络课程评价的教育信息化技术标准——《网络课程评价规范（标准草案征求意见稿）》，但这个规范在权重赋值等方面还不够完善。一个科学的评价指标体系，其构建一般应包括确定评价指标、确定指标权重、确定指标标准三方面的内容。[3]以往的网络课程评价大多是对学习者学习成果的评价，本研究的侧重点主要针对教学内容、学习资源和寓于内容之中的教学策略和学习策略的评价，从系统论的角度出发，对涉及学生、教师、学习资料、网络教学支撑系统、学习支持与服务系统中的各个部分的关联情况和综合性能进行评 价。[4]

研究者通过对大量文献资料的查阅与分析，总结国外网络课程评价标准具有以下几个特点： ① 突出了交互的重要性。在网络课程中，不仅师生之间在空间上是分离的，学习者之间也是分离的。② 重视对创设学习环境的情况的评价。网络课程绝不是简单地把黑板、讲台、教材、图书馆搬到网上。网络虽然是虚拟的，但人们却可以通过这种虚拟把实质存在的内容乃至关系映射出来。③ 教学管理与支持的评价内容占很大比重。我国的“全国信息技术标准化技术委员会教育技术分技术委员会”制定了一系列与网络教育密切相关的规范和标准，其中《网络课程评价规范》被放在“教育管理”一类里，这说明评价具有监督与管理的功能。④ 技术方面的评价内容比较少。国外标准与国内构建的评价标准明显不同的一个特点就是在技术方面规定的评价内容和权重比较少。这些标准主要的权重都集中在教学方面，重视网络课程的可用性评价。⑤ 标准实施的商业化。这是国外标准最突出的特点。标准制定出来了，如果不能得到广泛使用，也就没有什么价值。国外一般的做法是成立认证中心。E-Learning Courseware Certification（数字学习课件认证）的制定者美国培训与发展协会（ASTD）作为国际化的培训协会，在网上建立了全套的网上认证递单系统，以“帮助用户做购买决策，帮助厂家增强市场竞争力，全面提高E-Learning课程质量”为口号，接收所有人的申请，提供价值不菲的课程评估，每门课程的评估费用根据课程教学时间长短而定。因为网上课程评估需要专家的参与，并不能完全成为生产线操作，所以成本会很高。而且，这些指标是取得好的教学效果的必要条件，但不是充分条件，最好将其作为引导性的规范，而不是营利性的产品。考察以上所介绍的网络课程评价研究，研究者发现，国外的大部分网络课程评价方案关注的是学习环境或网络学习平台，并非对网络课程本身的评价。“网络课程”似乎是中国教育界特有的称谓，在国外相关的文献资料中我们只能看到类似的一些概念，如在线课程（online course）、基于网络的课程（web-based course）等。所以对于网络课程本身来说，依旧缺乏标准或质量认证体系。同时，不能直接奉行“拿来主义”，中国有自己的国情和网络教育发展的特点，在参考国外资料的同时，应该进行本土化的改造工作，融入具有中国教育特色的内容和先进的教育教学评价理论，使之更适合评价我们自己的网络课程。

目前除评价标准、指标体系的建立之外，评价实施的过程也存在一些问题：一是评价者单一，一般都是在教育部门进行统一评估时，参与者提交自己的课程，然后由组织者聘请远程教育专家采用商定的统一指标体系进行评价。这样的方式忽略了使用网络课程的学习者和教师的使用感受和意见，而课程的科学性也需要本学科的专家来鉴定，这种只采用远程教育专家评价的方式显然不够全面和公正。二是评价方法主要采用量化评价法，缺少定性评价和分析。由于考虑到可操作性和客观性，大多采用指标量表进行评价，以避免主观随意性，但是这种量表不能反映出指标体系之外的内容，不能广泛地收集意见和建议。如何协调好主观和客观的关系，明确定性分析和定量分析的比例，设计出既避免主观随意性又能收集广泛意见的评价指标体系，是目前网络课程评价工作的重点和难点。

本研究的评价标准依据的是美国密歇根虚拟大学（Michigan Virtual University）制定的一套在线教学设计（online instruction design）评价标准，以下简称MVU-OID标准。[5]该标准认为，在评价任何一门网络课程以前，首先要确定这门网络课程的开放程度如何，不同的开放程度将导致不同的课程呈现方式，因而也应有不同的评价方式。除了理念之外，这套标准最大的特点就是具有很强的可操作性和实用性，开发者把它做成Excel电子数据表，简便易用，评价者只需到相应的网址注册即可免费获得该评价工具。教学要素包含目标、解释、例证、实践、反馈和评估；强调绩效对于学习过程的重要性；开发者把真实的学习看作可测量的而且必须被测量，所有在线教学活动应该能够通过测试来发现它们是否有效。比如从“你是否喜欢这个课程”到“你在关于你是否学习了某些东西的评价方面得了多少分”的改变。需要指出的是，MVU-OID标准中的教学设计与通常所说的教学设计有所不同。传统意义上的教学设计一般是指教学需求分析、学习者分析、教学内容分析、策略选择、媒体选择、评价工具制定、实行评价和修改等步骤和过程。但MVU-OID评价工具中的教学设计评价更多是从网络课程在学生完成预期学习目标上的辅助和指导作用出发的， 而且这些指标与课程的目标直接相关。[6]

二、MVU-OID标准分析

（一）维度和一级指标

MVU-OID包含四个维度，即技术性（T）、可及性（A）、可用性（U）和教学设计（ID）。[7]每个维度下又包含若干一级指标。技术性维度包含三个一级指标，分别是T1（技术要求的确定）、T2（学习者技能的确定）、T3（技术的功能性）。可及性维度包含A1（基本内容）、A2（表格和框架）、A3（媒体）三个一级指标。可用性维度包含五个一级指标，分别是U1（界面的一致性）、U2（学习者支持）、U3（导航的有效性和高效性）、U4（图形和多媒体的功能）、U5（交流的整合）。教学设计维度包含十三个一级指标，分别是F（回忆事实）、E（回忆元素）、C1（回忆概念）、C2（辨认概念）、C3（应用概念）、K1（回忆任务）、K2（辨认任务）、K3（执行任务）、P1（回忆原理）、P2（辨认原理）、P3（应用原理）、M（产生方法）、S（产生解决方案）。

（二）二级指标

MVU-OID中的24个一级指标又细分为107个二级指标，几乎考虑到了每个细节问题。由于篇幅有限，研究者以技术性维度为例，展示其设计的二级指标，如表1。二级指标的评分采用5点评分，5分最高，3分居中，1分最差。

（三）关于权重

MVU-OID根据各个一级指标在一门课程里发挥作用的重要性不同给出了不同的权重分配。权重分为三级：M（mild，轻微）、S（serious，重要）、F（fatal，相当重要）。开发者对其中一些一级指标的权重有明确的规定：T2、T3、U2、U4以及全部的可及性一级指标均无权重；U1的权重为轻微，U3的权重为重要。教学设计的全部一级指标权重均为重要。另外，还有两个一级指标（T1和U5）的权重开发者没有规定，而是留待评价者自行规定。以T1.3为例，说明是：“任何水平的声卡和音箱都可以满足要求，权重为轻微；要求高级的声卡、音箱或要求附加的声音设备，权重为重要。” 这里的权重给得是否准确，在相当程度上会影响到最终的评价结果的精确性，如表2。

三、网络课程在线评价指标

体系的设计与实现

本研究希望借鉴MVU的研究思路，创建一套简便易行的网络课程评价指标体系。

（一）网络课程在线评价指标体系的设计

整个指标体系的确立分为两个阶段。第一阶段，利用文献综述法和内容分析法充分调研国内国外在不同时期构建的较有代表性的评价标准，从中选取有借鉴意义的内容，并综合不同评价标准中共同强调的内容，以此确定新指标体系的基本维度。在此基础上，再用理论推演法拟出二级指标，形成初步完整的框架。在初步整理出指标体系的原始框架后，对有关的文字表述进行修正或厘清，以避免表达不清、有歧义或含义不全等问题。然后，再反复与本专业的教师及研究生讨论各项指标的必要性及针对性，经过多次讨论，确定表3中呈现的评价指标体系。

在各个具体指标的评价上采取5级评分标准，完全符合标准为5分，完全不符合标准为1分，中间分数代表符合标准的不同中间程度。这样，整体评价结果的满分为5分。我们将4.5分以上评定为“优”，将4.0分以上评定为“良”，将3.0分以上评定为“中”，将3.0分以下评定为“差”。第二阶段，采用问卷调查法在较大范围内对指标体系框架进行多次讨论和修改。讨论的参与者包括部分专家教授、网络课程授课教师以及使用网络课程的学习者等各类人员，他们从各自不同的角度来讨论初步确定的指标体系框架是否科学合理，是否需要修改，需要怎样修改，等等。

（二）网络课程在线评价指标体系的实现

评价指标体系确定以后，接下来就需要确定权重。权重也称权数，是指某一项指标在整个指标体系中的重要性程度。在本研究中，采用层次分析法，通过专家评判法确定权重。在小范围内请专家对各级指标进行重要性的比较，从而确定权重赋值的规则，如表4。

由归一矩阵算得λmax=9.672，则CI=（λ-n）/（n-1）=0.084，查随机一致性指标，可知RI为1.45。故而CR=CI/RI=0.058<0.1，表明权重评判的一致性程度理想。最后，我们将上述权重的评定结果加以整理，形成本研究所得的网络课程评价指标体系，如表16。

四、检测与评价

为了检验开发出来的评价指标体系的有效性和适用性，本研究随机选择了10门网络课程（10门课程依次命名为A、B、C、D、E、F、G、H、I、J）进行评价。选择方法是在百度搜索网页中输入“网络课程”作为关键词，在搜索结果中随机打开一些网络课程，最终找到了以下10门网络课程，它们均可以远程访问。然后，由两位教育评价方面的专家使用本研究开发的评价指标体系独立进行评价，然后对比评价结果，以此来检验本评价指标体系的信度和效度。

A——“大学计算机基础”、B——“计算机网络”、C——“教育学”、D——“中国舞蹈”、E——“高中语文”、F——“大学体育”、G——“网站网页初学”、H——“网站设计与网页制作”、I——“电子政务”、J——“教育技术学导论”。

两位评价者分别称之为评价者1和评价者2。其中，评价者1的评价结果如表17所示。

从评价者1的结果汇总表反映的情况来看，10门网络课程的质量参差不齐——2门课程评价结果为“差”（分别是“高中语文”“网站设计与网页制作”），4门课程评价结果为“中”（分别是“大学计算机基础”“教育学”“大学体育”和“网站网页初学”），3门课程评价结果为“良”（分别是“计算机网络”“中国舞蹈”和“电子政务”），1门课程评价结果为“优”（“教育技术学导论”），而“教育技术学导论”也是这10门课程中唯一的一门国家级精品课程。

下面是评价者2对10门课程评价结果的汇总表。如表18。

从评价者2的结果汇总表反映的情况来看，10门网络课程的质量同样参差不齐，但是具体情况与评价者1的结果略有出入——2门课程评价结果为“差”（分别是“高中语文”“网站设计与网页制作”），4门课程评价结果为“中”（分别是“大学计算机基础”“教育学”“大学体育”和“网站网页初学”），2门课程评价结果为“良”（分别是“中国舞蹈”和“电子政务”），2门课程评价结果为“优”（分别是“计算机网络”和“教育技术学导论”）。

对照两位评价者的评价结果，可以看到二者具有较高的一致性：从评价等级来看，有9门课程的评价等级相同，只有“计算机网络”课程被评价者1评为“良”，被评价者2评为“优”。具体到最终结果的分数上，每门课程的得分其实也只有细微的差异。

这样的结果表明：第一，评价体系中的每个指标提供的评价标准是清晰具体的，便于评价者理解；第二，每个指标提供的评价标准是客观的，便于评价者操作。所以，这一步的检测工作表明本研究研制的评价指标体系具有较好的可操作性。

五、总结与展望

评价研究要想取得实质性的突破，必须采用开放研究的思路，采用理论与实证交互循环的思路。本研究正是遵循该研究思路，在总结有关前人研究的基础上，采用文献分析法和层次分析法设计出了较为完整的网络课程评价指标体系。该评价指标体系具有较高的效度和信度，而且具有较强的实用性。但是，由于研究中受到主客观因素的影响，在后续研究中本评价指标体系还需要更多专家的评议，评价指标体系中的相关检验和因素分析还有待完善，评价指标体系的应用还需要进一步推广。

[参考文献]

[1] 曾祥翊. 我国农村中小学现代远程教育工程述评[J]. 中国电化教育，2011，1（10）：45.

[2] 徐朝军. 网络课程效能自动评价研究[D]. 南京：南京师范大学教育技术学院，2012.

[3] 吴永和，祝智庭. 基础教育信息化标准建设蓝图与实用导航[J]. 中国教育信息化，2013，2（12）：32.

[4] 张秀琦，程琳. 唐吉洪. 基于FAHP的网络课程评价系统的开发与应用[J]. 计算机技术与发展，2011，11（3）：67.

[5] Quality on the Line： Benchmarks for Success in Internet Based Distance Education[M/OL]. [2013-7-23]. http：//www.ihep.com/quality.pdf.

[6] 彭刚，刘戎. 在职教育网络课程教学质量评价方法研究[J]. 继续教育研究，2013，2（3）：37.

[7] 孙晓梅. AHP在网络课程质量评价中的应用[EB/OL].[2013-6-19]. http：//www.etr.com.cn/2010/0128/1447.html.

收稿日期：2014-10-15

定稿日期：2015-06-01

作者简介：刘永福，讲师，硕士，甘肃广播电视大学直属学院（730030）。

李静辉，助教，硕士，甘肃广播电视大学办公室（730030）。

责任编辑 山 岭