基于TOPSIS多属性决策方法的MOOCs用户协作学习效果评价研究

徐 光，刘鲁川

（1.山东财经大学管理科学与工程学院，山东济南 250014；2.齐鲁师范学院经济与管理学院，山东济南 250200）

基于TOPSIS多属性决策方法的MOOCs用户协作学习效果评价研究

徐 光1，2，刘鲁川1

（1.山东财经大学管理科学与工程学院，山东济南 250014；2.齐鲁师范学院经济与管理学院，山东济南 250200）

文章从MOOCs用户体验角度，以协作学习理论为研究视角，提出了MOOCs协作学习效果评价指标体系，并应用该指标体系于实践，采用逼近理想点法(TOPSIS)多属性决策方法对齐鲁师范学院6个MOOCs网络班级的协作学习效果进行了评价。该指标体系以发展性评价理论和群体协作学习理论为基础，采用过程性评价与总结性评价、定性评价与定量评价相结合的评价方案，着重评价协作学习过程中的群体情感表现，不仅丰富了MOOCs评价的理论基础，也提供了一整套的群体协作学习评价方案及实施步骤；同时，还拓展了TOPSIS方法的应用领域，把TOPSIS方法引入MOOCs学习效果评价研究中，尝试为解决MOOCs高辍学率问题提供新的方向。

MOOCs；评价指标体系；协作学习；TOPSIS多属性决策

0　引 言

“慕课”是MOOCs(或者MOOC）的谐音，指的是大规模、开放、在线课程，已经成为现代教育领域的主要研究热点之一［1］。关于MOOCs的研究问题，已经从当初的如何理解、如何接受，到后来的如何应用、如何建设，一直发展到现在的如何评价、如何改进。目前，关于MOOCs的学习评价已经成为国际MOOCs领域的热点话题，关于MOOCs学习模式的评价方法也成为未来研究的主流趋势之一［2］。做好评价的前提，必须要有一套科学的评价指标体系和评价方法。对于传统网络课程评价的研究较多，但是评价体系过于统一，难以适应MOOCs的特质。此外，国外学者尝试从CSCL(计算机支持的协作学习）理论角度进行网络课程的评价研究，比如，Henri［3］最早提出在线交互文本的分析模型，并指出了交互的五个维度:参与、互动、社交、元认知和认知，并对维度进行了细化。Veldhuise［4］从学习活动角度把分析模型分为四类:认知活动、元认知知识和元认知技能、情感活动、其他活动。国内不少学者也提出了基于CSCL的网络课程评价指标体系［5-6］。虽然对于网络课程的评价和CSCL的研究已经相对成熟，然而MOOCs的大规模、开放性、自主性使其与网络课程或者是CSCL有一定的区别性，完全依照网络课程或者CSCL评价体系去评价MOOCs是不合适的。关于MOOCs的评价问题，国外相关研究已经展开，比如欧洲远程教育大学联合会的开放教育质量标签、西班牙的MOOCs教育质量综合评价指标体系、德国的MOOCs设计质量评价标准等［7］。国内相关研究开展较晚，可检索到的文献数量较少。比如有学者从传播学角度研究并建立了MOOCs传播效果评价指标体系［8］。有学者通过对权威在线课程评价指标的归纳，结合MOOCs的特性，提出了MOOCs质量模型［9］。从搜索到的文献看，关于MOOCs评价的研究多侧重于质量方面，多集中在MOOCs课程建设质量的评价方面。在教育质量评价中最重要的就是教学效果评价，教学效果包括教师教和学生学两个方面的效果。在MOOCs环境里，学生完全成为学习的主导者，教师转换为协助者角色，所以从MOOCs学习者角度分析学习效果更符合MOOCs本质。MOOCs的重要特质是学习者的自组织和互动性，由于学习者学习目标不同以及MOOCs学习的非强制性，学习结果往往难以完全量化评价，学习者良好的学习体验应该是衡量一个MOOCs系统是否成功的重要标准。MOOCs拥有的几个核心学习机制中，学伴协作机制是阐释MOOCs的核心要素的学习机理和作用机制之一［10］。通过互动协作来实现群体学习，符合MOOCs这一大规模的网络学习行为的本质。所以，本文聚焦于学习者协作学习体验，并从协作学习角度来评价MOOCs的学习效果，从而给出评价指标体系和评价方法。另外，从应用角度来看，MOOCs在一定程度上突破了传统网络课程孤立学习终端场景下学习者难以持续参与的难题，大量的MOOCs学习者通过网络协作，完整地学完课程并活跃于各种论坛，学习共同体发挥了促进学习者学习的作用［11］。随着论坛等各种社会化网络工具的成熟和普及，从协作学习角度来引导MOOCs的发展，将会提高MOOCs的课程完成率和减少辍学率。

1　指标体系理论基础

1.1发展性评价理论

20世纪80年代初，英国开放大学教育学院的纳托尔和克利夫特两人最先提出了发展性教学评价思想，与传统评价方式不同，发展性教学评价是一种以促进学习者的发展为根本目的的评价方式。它由形成性评价发展而来，但比形成性评价更加强调尊重评价对象的人格，更加强调以人为本的思想。发展性评价理论具有评价主体多元性、评价内容多样化、评价注重过程性、强调评价的人文关怀等特点［12］。评价主体多元性强调除教师外，学习者自己和学习同伴都应该成为评价的主体。被评价者转化为评价主体，有利于提高被评价者发挥自我评价、自我反思，同时也便于加强评价过程中各评价主体间的交流沟通以及评价结果的相互认同；评价内容的多样性侧重评价内容的全面性和整体性，除了传统认知领域的评价外，更应该包括对评价者情感领域的评价。在协作学习中，情感领域的评价内容应该包括学习者的学习态度、沟通风格等方面；评价注重过程性克服了传统评价结果导向的弊端，注重协作学习过程中学生的表现，如参与积极性和沟通强度等；人文关怀强调综合评价，评价是手段，促进人的全面发展和综合素质的提高是评价的目的。

目前MOOC可以概况的分为基于行为主义的xMOOC和基于关联主义的cMOOC。前者强调知识复制，后者强调由“联通”的学习者生成知识［13］。本研究主要关注cMOOC下的协作学习，cMOOC下的协作学习基于构建主义，强调学习者的高级心理机能来源于外部动作的内化，老师传授只是获取知识的辅助手段，知识主要依靠学习者在一定的情境里，通过与学习伙伴的互动与协作，同时配合一定的学习资源，通过意义建构的方式获得。对于cMOOC下协作学习效果评价，有必要借鉴发展性评价理论，注重评价主体多元性、评价内容多样化，注重协作学习过程，强调人文关怀。

1.2Gerlak和Heikkila的群体协作学习理论

MOOC的规模性、开放性、网络化、个性化都是传统的网络课程所无法比拟的，MOOC里的协作学习与CSCL(计算机支持的协作学习）也有一定的区别，MOOCs环境里的协作学习具有自己的特点，是一种超大规模的群体协作学习。Gerlak和Heikkila［11］在2011年和2013年发表了两篇文章提出了群体协作学习包括群体信息处理过程和群体学习结果两个部分。前者包括通过群体内独立个体的不断试错，产生新的个体知识，通过不断的在个体间被评估及传播，形成新的群体知识；后者是信息处理的结果，通过群体理念、战略、政策或者规则等。这种个体学习影响群体学习，群体学习再影响个体学习的过程，是个相互交互、螺旋上升的知识提升过程。Gerlak和Heikkila［11］同时提出了群体协作学习理论，并在不同的情景里进行了实证检验，证明了该理论的通用性。该理论指出大规模群体学习背景下有三个协作方面的因素会影响学习过程以及学习结果:结构性因素(Structure）、社会动态因素(Social Dynamics）、功能及技术因素(Technology&Functional Domain）［14］，如图1所示。

图1　协作学习概念模型

结构性因素包括任务结构、知识结构、组织结构等静态因素，比如，差异性和分散性的结构会有利于群体内个体获得更多的知识资源。以交流与思考为知识获取与传播方式的群体里，分散化的结构更有利于学习行为的发生，包括信息的共享和知识的产生。与之相对，完整性、集中性的结构会阻碍多元化、新鲜知识的获取。但是在信息传播、共享的成本和效率方面，集中性的结构更有优势。MOOCs本身就是一个开放的、大规模学习环境，学习的结构必定有很大差异性，有利于新知识的获取和分享以及学习行为的产生，但是传播效率和成本过大，这就需要MOOCs中要存在学习支持者这样的角色，提升MOOCs信息传播及分享的效率。

社会动态因素是学习者之间的交流方式和通过互动形成的相互关系，它们可以促进或阻碍学习行为的发生，属于动态因素。这种交流方式和互动关系表现为相互间的信任和冲突水平和对争论的包容性和开放性，由相互间能否达成关于交流的共识决定，比如能否形成共同语言、共同价值观等。社会动态因素受到群体规范和群体文化价值分布的影响。在大规模群体学习环境下，相互信任和开放的成员关系有利于获取和传播新的知识。对争论及批评包容的群体会更具有创造性，当然这种争论水平要维持在适度范围内。社会性动态因素与结构性因素也会相互影响，比如高信任下的成员关系可以弱化结构因素里角色的划分，使交流更具有随意性。另外，群体中的权威角色可以促进建立或影响某种社会动态模式［15］。

功能及技术因素指的是互动所借助的各种资源，这种资源包括实质的活动(比如有利用互动的各种服务、产品和产出）和技术性的资源和工具(比如数据库、信息系统、交流平台等）。技术和功能性因素决定了组织所能获取何种类型的信息以及学习过程中信息共享和传播的频率和难易度。这里对技术和功能因素的评价，主要选取使用者主观感知的界面友好型和平台易用性来衡量。

2　指标体系的构建

2.1指标的构建

指标体系的构建强调科学性、全面性、主导性、可操作性等原则。针对本研究对象和研究情景，提出本指标体系的构建原则如下:

(1）评价指标体系的变量个数要适度。变量个数太多会加大测量难度。变量个数太少则难以涵盖主要因素。变量个数的选取要兼顾可行性和全面性原则。本研究中，指标体系维度主要提取于Gerlak和Heikkila的协作学习理论。

(2）对学习效果的评价，以情感领域的评价为主，主要考察学习者在协作学习中表现的个性、态度、能力等方面，符合发展性评价理论的要求，也弥补了传统评价方法完全依靠认知领域评价的弊端。情感领域的评价以定性指标为主、以定量指标为辅。

(3）对学习效果的评价，以过程性评价为主、总结性评价为辅，注意对协作学习过程的整体表现的评价。

(4）MOOC下的协作学习效果评价，包括个人学习效果和群体学习效果。大多数协作学习平台普遍缺少对群体协作学习效果的评价，作为补充，这里主要考察群体协作学习效果的评价。

(5）对于学习结果的直接测量，很多研究者尝试开发不同的测量工具和评分方法，但由于这些工具和方法缺乏内在一致性，使得这样的尝试变得非常困难，而学习者主观的学习满意度常用作反映学习的指标［16-17］。不管学习者的感知是否正确，他们都会根据自己的主观判断，做出是否继续学习课程的决定［18］。基于此，本研究通过对学习结果的主观满意度来评价最终学习结果。

以评价协作学习效果为目标，并根据之前讨论的群体协作学习理论和发展性评价理论，构建了指标体系的三个维度，分别是协作学习过程影响因素评价、协作学习过程客观评价和协作学习结果满意度评价，在第一个维度又分为协作学习过程结构性因素、社会动态因素、技术及功能因素三个一级指标，其他两个维度直接包括二级指标，最终共形成包括14个二级指标的评价体系。

表1　协作学习角度的教学效果评价指标体系

2.2指标权重的分配

在多指标评价中，权重值的确定非常重要，关系到评价结果的有效性。评价指标权重的确定方法主要有主观赋权法和客观赋权法两大类。主观权重法包括AHP、Delphi等，客观权重法包括熵权法、主成分分析法等。应用最为广泛的是层次分析法，但传统的层次分析法采用了九标度来对指标重要性进行比较判读，但是对有些专家来说这种判断带有极大的模糊性［19］。德国生理学家费希纳推导出刺激的客观量r与人们的感觉量s之间服从函数关系［20］:s=plogr。

本文采用基于费希纳函数的改进的三标度AHP方法来计算权重，为了提高权重值的分辨力，通过合适的方法对把三标度放大到需要的标度(5标度）。而且要求判读矩阵具有完全一致性，可以省略一致性检验［21］，同时也兼顾了主观判断和客观差异两个方面。权重计算步骤为:专家咨询建立三标度比较矩阵；计算感觉判断矩阵；计算5标度客观判断矩阵；对客观判断矩阵任何一列进行归一化处理得到权重结果。具体计算过程限于篇幅省略。

经过对15位专家的问卷咨询，然后汇总和归纳，建立各级指标判断矩阵，采用改进的三标度AHP方法计算得到评级指标体系的权重(表1），其中对维度1、2、3建立比较矩阵如表2。

表2　三维度专家主观判断矩阵(上三角)

3　基于指标体系的TOPSIS决策方法及实验研究

齐鲁师范学院2015-2016学年第一学期采用了超星慕课平台，针对经济管理学院2013级市场营销2个本科班共120名本科学生进行了《网络营销》课程的MOOCs教学实验。把120名学生随机平均分配到6个网络班级，每个网络班级配备一名教学经验不同的指导老师负责在线答疑。学习方式为学生MOOCs自主学习为主、指导教师在线答疑为辅。6个网络班级的教学平台，分别采用不同的模版生产，每个模版的受欢迎程度平台根据历史数据已经分类。课程学习结束，由6名在线辅导教师每人推荐1名学生代表进入评价小组，6名指导教师加6名学生组成12人的评价小组。评价小组先接受了协作学习概念和评价指标体系的培训，并仔细阅读了每个MOOCs网络班级学生的登陆时间、发帖数、上传附件数的统计报告(由平台的统计模块给出）。在此基础上，评价小组对6个班级的每一名学生进行了访谈，访谈大约持续一周。评价小组综合访谈结果，进行深入分析讨论，经过讨论形成一致意见，确定每个班级对于每个定性指标的评价等级(基于五级语言评价），评价对象为6个班级的群体协作学习效果，五级语言评价结果根据(表3）转换为三角模糊数，采用逼近理想点法(TOPSIS法）对各MOOCs网络班级进行综合评价。逼近理想点法是经典多属性决策方法之一。这种决策方法基本思想结合了模糊正、负理想点的思路:决策者总是希望方案距离正理想点越近越好，距离负理想点越远越好［22-23］。本文给出了基于三角模糊数型和数值型的多属性TOPSIS决策方法的计算步骤［24］。

表3　五级语言评价集转化为三角模糊数

1.3步骤一

根据获取的数据，将语言变量转化为三角模糊数，得到初始决策矩阵R(矩阵行依次代表MOOCs1班、2班、3班、4班、5班、6班的评级数据(下面称为各方案）、矩阵列依次代表B1-B14属性）:

3.2步骤二

初始属性指标值通常无法直接进行评价和排序，先需要消除各属性的量纲、单位、数量级以及属性类型的影响。本研究的三角模糊数、数值型属性值均为效益型，采用向量规范化方法。

其中，R=［rij］m×n，rij表示对第i个评价方案的第j个指标的原始评价值，经过规范化后的矩阵表示为: X=［xij］m×n。

按照上面方法，对R矩阵规范化得到:

3.3步骤三

如果指标j为三角模糊型数据，则有:

据此，本研究得到的理想解和负理想解为:

3.4步骤四

计算各方案属性与理想方案v+和负理想方案v-的距离分别为，计算方法如下。

设a、b是两个实数或三角模糊数，则a、b之间的距离分别为:

计算得到:

3.5步骤五

方案ai与理想方案v+和负理想方案v-的广义加权距离计算方法为:

计算得到:

3.6步骤六

3.7步骤七

根据C(ai）的大小，确定各MOOCs班级排序。C(ai）越小，方案越优。按C(ai）从小到大排列，得到方案排序:MOOC5＞MOOC2＞MOOC4＞MOOC3＞MOOC1＞MOOC6。

本次评价指标和评价方法据反馈来看较为客观，为今后如何改善协作学习效果提供了方向。在本次评价基础上，对学院今后如何开展网络协作学习方面提出了建议，要加强在结构性因素、社会动态因素和技术及功能因素三个方面的引导，注重学生在网络协作学习过程中包括学习态度、沟通风格等情感体验的整体评价，从而提高学生对MOOCs平台的满意度，不断改善学习效果。

随机形成的网络班级在最终群体学习效果评价中，结果存在较为明显差距。不难发现在结构性因素、社会动态因素、功能及技术因素等定性指标得分，会影响到协作过程定量指标和协作学习结果定性指标，内部有一定相关性。通过进一步访谈了解到，学习目标是否清晰、教师的辅助角色能否充分发挥、讨论氛围、网络用语是否得当、讨论的话题广泛性、对平台易用性和界面风格的认同等都是影响协作学习体验的重要因素，最终会通过学习过程影响学习结果。其中，教师的支持作用、成员的知识结构互补性、网络沟通风格是访谈提到最多的对小组协作学习效果起作用的三个关键因素。而且无论是老师还是学生的网络行为与现实中的行为存在很大差异。这些都是下一步值得研究的问题。

4　结论及建议

从学习者角度，以协作学习为视角，研究了MOOCs学习效果的评价指标体系。在社会化网络工具高速发展和普及的今天，希望该研究能改善MOOC辍学率高、完成率低的现实窘境。在对相关文献分析基础上，基于发展性评价理论和群体协作学习理论，归纳得到MOOCs用户学习效果的评价指标体系，并通过改进的三标度层次分析法给出了各指标权重。基于该指标体系，使用逼近理想点法(TOPSIS）的多属性决策方法，对齐鲁师范学院的MOOCs课程开展情况进行了评价，取得了较好的评价效果。本研究视图从理论和实践两方面探索如何从群体协作学习角度评价MOOCs学习效果，希望能给今后的深入研究提供借鉴参考作用。同时，由于时间和条件限制，本指标体系并没有在大范围学习者中得到验证，未来仍需要在实践中不断完善。

［1］徐光，刘鲁川.MOOCs研究现状及学习科学视角分析［J］.中国海洋大学学报，2015(4）:98-105.

［2］李海峰，王炜.国际MOOC领域热点主题及发展趋势研究——基于共词分析法的知识可视化图谱分析［J］.远程教育杂志，2015(5）:38-45.

［3］HENRI F.Computer Conferencing and Content Analysis［J］.Springer Berlin Heidelberg，1992(90）:117-136.

［4］VELDHUIS-DIERMANSE A E.CSC Learning？Participation，Learning Activities and Knowledge Construction in Computersupported Collaborative Learning in Higher Education［D］.Netherlands:University of Wageningen，2002.

［5］田华，魏登峰，孟琦.网络协作学习评价指标体系的开发与实践［J］.电化教育研究，2010(7）:73-81.

［6］张润芝.CSCL评价技术的新趋势［J］.中国电化教育，2009(5）:32-37.

［7］刘路，刘志民，罗英姿.欧洲MOOC教育质量评价方法及启示［J］.开放教育研究，2015，21(5）:57-65.

［8］马瑞，吴晓璇，孙倩君，等.MOOC传播效果评价指标体系构建研究［J］.现代教育技术，2015(6）:71-77.

［9］李青，刘娜.MOOC质量保证体系研究［J］.开放教育研究，2015，21(5）:66-73.

［10］王永固，张庆.MOOC:特征与学习机制［J］.教育研究，2014(9）:112-133.

［11］GERLAK A K，HEIKKILA T.Building a Theory of Learning in Collaborative:Evidence from the Everglades Restoration Program［J］.Journal of Public Administration Research and Theory，2011，21(4）:619-644.

［12］何云峰.学生评价的转向——基于发展性评价的视角［J］.教育理论与实践，2009，29(3）:15-17.

［13］SIEMENS G.MOOCs are really a platform［Blog post］［EB/OL］.Elearnspace.(2012）［2016］.http://www.elearnspace.org/ blog/2012/07/25/moocs-are-really-a-platform/.

［14］HEIKKILA T，GERLAK A K.Building a Conceptual Approach to Collective Learning:Lessons for Public Policy Scholars［J］. Policy Studies Journal，2013(3）:484-512.

［15］徐光，刘鲁川.慕课背景下学习伙伴对在线学习者持续使用行为的影响-基于协作学习视角［J］.山东师范大学学报，2015，60(5）:135-142.

［16］BRAY E，AOKI K，DLUGOSH L.Predictors of Learning Satisfaction in Japanese Online Distance Learners［J］.The International Review of Research in Open and Distance Learning，2008，9(3）:1-24.

［17］RICHARDSON J C，SWAN K.Examining social presence in online courses in relation to students’perceived learning and satisfaction［J］.Journal of Asynchronous Learning Networks，2003，7(1）:68-88.

［18］胡勇.在线协作学习对学习满意度的影响［J］.中国电化教育，2013(6）:48-56.

［19］李新运.我国区域低碳发展指标体系及定量评估研究［J］.江西财经大学学报，2013(5）:5-14.

［20］舒康，梁镇韩.AHP中的指数标度法［J］.系统工程理论与实践，1990(1）:6-8.

［21］李新运，任栋.多目标下的投资项目风险评价方法与实证研究［J］.科研管理，2012，33(5）:101-106.

［22］孔峰.模糊多属性决策理论、方法及其应用［M］.北京:中国农业科学技术出版社，2008:253.

［23］徐泽水.基于语言信息的决策理论与方法［M］.北京:科学出版社，2008:211.

［24］刘培德.基于模糊多属性决策的企业信息化水平评价方法与应用研究［D］.北京:北京交通大学，2010:73.

(责任编辑 时明芝）

Evaluation of MOOCs User Collaborative Learning Effect——Based on TOPSIS Multiple Attribute Decision

XU Guang1，2，LIU Luchuan1
(1.School of Management Science and Engineering，Shandong University of Finance and Economics，Jinan 250014，China；2.School of Economics and Management，Qilu Normal University，Jinan 250200，China）

From the perspective of MOOCs user experience and collaborative learning theory，this paper puts forward a MOOCs collaborative learning effect evaluation index system and evaluates，by adotping this system and TOPSIS multiple attribute decision method，the collaborative learning effects of the six MOOCs network classes from Qilu Normal University.Based on development evaluation theory and group collaborative learning theory，this index system combines process evaluation vs summative evaluation，qualitative evaluation vs quantitative evaluation，and focuses on evaluating the group emotional expression in collaborative learning process.This study enriches the theoretical basis of MOOCs evaluation，provides a set of evaluation program and implementation steps for group collaborative learning，extends the application field of TOPSIS method，introduces the TOPSIS method into the study of MOOCs learning effect evaluation，and tries to provide a new direction for solving the problem of high MOOCs dropout rate.

MOOCs；evaluation index system；collaborative learning；TOPSIS multiple attribute decision

G434

A

2095-929X(2016)06-0095-09

2016-07-04

国家自然科学基金项目“社会化阅读服务用户持续使用的行为机理研究”(71373144）；教育部人文社会科学研究规划基金项目“移动阅读系统用户持续使用的理论模型:基于情感视角的实证研究”(12YJA860010）；山东省统计科研课题“互联网时代高校MOOCS教学效果评价指标体系研究”(KT15179）。

徐光，男，山东济南人，山东财经大学管理科学与工程学院博士生，齐鲁师范学院经济与管理学院讲师，研究方向:管理信息系统用户行为，Email:netmanager@126.com；刘鲁川，男，山东青岛人，博士，山东财经大学管理科学与工程学院教授、博士生导师，研究方向:管理信息系统用户行为。