层次分析法在网络增强型课程教学评价中的应用

　　【摘 要】
　　针对高校网络增强型课程的评价，可采用层次分析法来建立评价指标体系。本研究通过研究网络课程评价指标，建立指标层次模型，同时充分采纳评价主体对评价指标的两两重要性比较的定量描述，构造判断矩阵，依据判断矩阵结果计算出指标的权重赋值。北京建筑工程学院实践表明，基于层次分析法的网络增强型课程教学评价指标体系客观、科学、操作性强。
　　【关键词】 层次分析法；网络增强型课程；指标体系
　　【中图分类号】 TP39 【文献标识码】 A 【文章编号】 1009—458x（2012）10—0025—07
　　引 言
　　鉴于我国高校学生人数迅速增长及可利用教育资源的相对有限，教育部于2003年全面启动了教学模式改革，旨在推动基于计算机和网络的个性化教学模式发展[1]。与网络教育学院不同，大多数高校的网络课程是网络增强型课程，即教师仍然组织正常的课堂教学，而利用网络作为促进性工具，通过所设计的网络课程资源以及网络工具等来完成部分学习任务，增强课程的学习效果[2]。网络增强型课程是传统课堂教学的补充和延伸，是将传统的课堂教学、网络资源、网络交流、网络发表、学生信息管理等结合起来的整体解决方案[3]。
　　网络课程是网络教育的基本载体，网络课程质量是决定网络教育质量的一个关键要素，如何对网络课程进行合理有效的评价是当前网络教育发展中的一个研究重点。目前已有许多网络课程评价标准，如美国高等教育策略研究所《在线教育质量：远程互联网教育成功应用的标准》、韩国国家开放大学的教育质量保证的模型、英国开放和远程教育质量委员会的《开放和远程学习中的标准》、Training Foundation的《e-learning专业能力框架》以及我国教育部教育信息化技术标准委员会发布的《网络课程评价规范（标准草案征求意见稿）》、教育部高教司的项目研究成果《网络课程课件评测（认证）标准》[4]等等。这些评价指标中基本上包含了教学设计、教学内容、技术性和界面设计等几个一级指标和三十多个二级指标，多是从定性层面进行阐述，主观性较强，并且没有专门针对网络增强型课程教学评价指标体系的研究。网络增强型课程有其自身的特殊性，如大多数高校的网络增强型课程都是依托于学校统一的网络教学平台开展，技术性和界面设计由教学平台自身决定，不受使用者的控制，相关的指标不适合用来评价课程的质量。本研究提出基于层次分析法（Analytical Hierarchy Process，简称AHP）的网络增强型课程教学评价指标体系研究方法，通过评价指标体系权重的量化研究，提高网络增强型课程教学评价的可操作性。
　　层次分析法及其步骤
　　1. 层次分析法概述
　　层次分析法是美国运筹学家T. L. Saaty教授于20世纪70年代初期提出，将定性与定量研究相结合进行分析的一种简便、灵活而又实用的多准则决策方法[5]。AHP法通过建立递阶层次结构，把人们的判断转化为若干因素两两之间重要度的比较。其原理是将所研究的问题按其性质，把各种选择指标、方案进行分类，并划分为若干层次，使问题转化为各指标方案相对优劣的排序问题，通过构造判断矩阵，计算出某一层次因子相对于上一层次各个因素IAXtZ9dBYhLfPpyU7cvfdu0gjLzayZOHWQmMNgKeNAk=的单排序结构和相对于上一层次的总排序权重[6]。运用AHP方法可以对评价指标赋予不同的权值，从而据此确定评价内容的重要程度，使建立的指标体系有据可查，增加评价结果的可信度[7]。
　　2. 层次分析法的基本步骤
　　层次分析法大致可以分为四个步骤[8]：
　　（1）建立层次结构模型：当应用层次分析法时，首先要在深入分析解决问题所要达到的目标及其属性后，把问题条理化、层次化，构造出一个有层次的结构模型。层次模型可以分为：最高层（目标层）、中间层（准则层）和最底层（方案层或者对象层）。
　　（2）构造两两比较判断矩阵：在建立层次模型后，设计专家调查问卷，每个参与构造权集人员都分别对指标体系的每一层中相关的指标项进行两两比较，比较其相对重要程度，一般用数字1-9及其倒数的标度方法，给出用数值表示的判断结果，写成矩阵形式，即为判断矩阵。
　　（3）层次单排序及其一致性检验：得到判断矩阵后，求出判断矩阵的最大特征根λmax及对应的归一化特征向量W，它们满足关系式BW=λmaxW。其中W的分量Wi（i=1，2，……n）就是第i个元素Bi的单排序值。对于每个参评人员的判断矩阵分别算出的指标优先权重进行层次单排序一致性检验，计算公式为：CI=。计算随机一致性比值CR：CR=，若CR≤0.10，认为该判断矩阵有满意的一致性层次单排序有效；若CR>0.10，则需对两两比较取值进行修正，直至满意为止。
　　（4）层次总排序及其一致性检验：计算同一层次所有因素对于高层次（总目标）相对重要性的排序，称为层次总排序。这一过程是最高层次到最低层次逐层进行的。在层次总排序完成后，也要做一致性检验。这一步骤也是从高到低逐层进行的。
　　此外在实践中应用层次分析法时，常常需要请多名专家对评价指标或者评价对象打分。设参加确定权重的人员数为N，则应当有N个判断矩阵，用经过一致性检验的N个判断矩阵建立一个新的判断矩阵。新的矩阵中各元素值计算公式为：bij=。
　　上式中b1ij b2ij … bnij分别代表各个判断矩阵中处于相同位置的元素值。然后用新的判断矩阵计算各指标优先权重Wi 。
　　网络增强型课程教学评价指标体系构建
　　1. 评价指标
　　笔者以北京建筑工程学院使用的清华教育在线平台为例，结合网络教学平台的功能模块，重点评价教学设计和教学内容，确定了网络增强型课程教学评价的8个维度、16个指标项，如表1所示。
　　2. 层次结构模型的建立
　　根据评价指标，便可以建立网络增强型课程指标评价体系的层次结构模型，如图1所示。整个层次模型可分为三层：目标层A，准则层B，指标层C。目标层构建的是网络增强型课程教学评价指标体系，准则层包括体系构建的8个维度，指标层包括体系构建须考虑的16项指标。
　　3. 指标权重的计算
　　对于上面给出的网络课程评价层次模型，使用层次分析法来确定权重。首先根据评价指标设计专家调查问卷，构成两两比较矩阵形式。针对网络增强型课程教学评价指标体系，我们分别构建了一级指标的判断矩阵1个，二级指标的判断矩阵5个。向参加过网络课程评审的评委（14人）、参与网络学堂课程建设的一线教师（20人）、清华大学网络学堂设计开发者（8人）和北京师范大学教育技术专家（8人）四类群体发放调查问卷50份，回收问卷50份，回收率为100%。
　　其次，按照层次分析法的基本步骤构造两两比较判断矩阵，进行层次单排序和一致性检验，形成每一位专家对于网络增强型课程各个评价指标的判断矩阵、权重向量和一致性检验结果。在一致性检验过程中，据清华大学网络学堂设计开发者和北京师范大学教育技术专家打分结果所获得的判断矩阵，经过较少的几次两两比较取值进行修正，基本上都通过了一致性检验，有效数据为16份。而网络课程评审的评委和参与网络学堂课程建设的一线教师所获得判断矩阵大部分没有通过一致性检验，在剔除了一致性差别太大的数据结果后，研究者对其余数据进行了几轮两两比较取值进行修正，选取了16份有效数据。最终构造了32份判断矩阵，表2为根据某位专家打分结果所形成的A-Bi判断矩阵。
　　接下来，针对本研究中的32个矩阵，使每个单独的矩阵都通过了一致性检验，按照公式bij=，形成的新矩阵，计算其权重数值，并进行一致性检验，得出结果如表3～表8所示。最后，计算出层次总排序值，得到如表9所示的各个评价指标的综合权重。
　　4. 评价指标体系的构建
　　在上述指标体系的权重确定后，再采用德尔菲（Delphi）法向专家征求意见，以确定评价指标体系中各个指标项的属性，即是必选指标项、可选项还是鼓励指标项，网络课程的总体分数，以及合格课程和优秀课程应达到的分数要求。在征求多位专家意见后，北京建筑工程学院网络增强型课程教学评价指标体系规定有11个必选项，以“M”标识，参加评审的网络课程必须达到指标规定的内容，才能合格。本指标体系有4个可选项，以“O”标识，鼓励网络课程达到这些选项的要求，必选项和可选项总分值为100分，其中必选项占75分，可选项占25分。本指标体系有一个鼓励项，以“E”标识，所占分值为20分。对合格课程没有总分要求，评为优秀的课程总分应不少于90分。每个指标项分值计算公式为：Pi=P总×Wi，其中课程总分为120分，Wi为各个指标项的权重，最终的指标体系如表10所示，其中指标的具体含义略。
　　结 语
　　本研究提出了AHP法在网络增强型课程教学评价中的应用办法，并以北京建筑工程学院为例构建了网络增强型课程教学评价指标体系，本指标体系被山东交通学院等多所高校借鉴使用，并5次在北京建筑工程学院的网络课程评价中具体实施，通过实际应用，我们可以得出以下结论：
　　第一，北京建筑工程学院网络增强型课程教学评价指标体系是在层次分析法指导下，通过定性与定量相结合的方法得出，既合理利用了专家的经验、洞察力和直觉，又克服了专家主观性的影响，各个指标项的权重科学、合理。指标体系规定了各个指标项为必选项、可选项还是鼓励项，规定合格课程和优秀课程应达到的分数要求，可操作性强，根据此评价体系可以简单、快捷、直接地对网络增强型课程做出评价。
　　第二，在具体的实施过程中，可以根据实际需要对指标体系的必选项、可选项、鼓励项和权重做出适当调整。北京建筑工程学院指标体系主要用于网络课程启动阶段，目的是鼓励教师使用网络教学平台开展教学研究，并熟悉教学平台的所有模块。因此指标体系设置稍难，必选项要求严格，并且教学交互和教学策略方面权重较大。本文重点在于介绍了网络增强型课程教学评价指标权重的求取过程，在方法上探讨了网络增强型课程教学评价指标体系的建立过程，为网络增强型课程的评价提供参考和案例。由于专家样本的选取范围有限，势必造成研究结果信度有些低，通过增大调查专家的范围和数量，将能够控制本研究的精确性。
　　第三，建立层次结构模型是层次分析法的第一步，也是构造判断矩阵的基础，而构造判断矩阵是层次分析法的重点和特色，因此要求研究者一定要清晰地将研究问题层次化，从而正确建立层次结构模型，以便于在此基础上科学地构造出判断矩阵。在专家的选取方面，要考虑到专家对于评价指标和研究方法的理解。在多次修正通过一致性检验的过程中，注意避免研究者自身的倾向性对专家判断的影响。
　　[参考文献]
　　[1][5] 高霄，刘保春. 基于层次分析法的网络课堂教学质量评价体系结构[J]. 天津外国语学院学报，2009，16，（6）：73-78.
　　[2] 张建伟，卢达溶. 关于网络协作探究学习及其影响因素的实证研究[J]. 电化教育研究，2002，（8）：38-43.
　　[3] 王靖，刘志文. 网络增强型课程的设计[J]. 软件导刊，2006，（2）：34-35.
　　[4][6] 邢红宇. 基于AHP法和Delphi法的网络课程评价体系设计研究[J]. 中国电化教育研究，2006，（9）：78-81.
　　[7] 孙玉荣，彭金波. 基于AHP的课程教学效果评价指标体系研究[J].湖南工业大学学报，2010，24（5）：86-88.
　　[8] 陈敬全. 科研评价方法与实证研究[D]. 武汉大学博士论文，2004：77-83.
　　收稿日期： 2012-06-15
　　作者简介：王雅杰，硕士，高级实验师，北京建筑工程学院计 算机教学与网络信息部（100044