基于层次分析法的网络社群学习评价标准研究

朱蓥彬 江丰光

（上海师范大学 教育技术系，上海 200234）

一、引言

互联网的发展带来了学习方式的革新，在线学习成为数字公民时代的基本素养之一。在“互联网+”时代，每一个人都能够提供教学服务，又“互联网+”时代的知识是草根汇集的知识（陈丽，李波，郭玉娟，彭棣，2017）。同时，大量网络社交平台也成为在线教育中重要的传播媒介和教学载体，不仅微信、QQ，甚至还出现如“知识星球”这类专门的社群软件。因而网民们在寻求知识、互动交流等需求的推动下组织起网络学习社群。

网络学习社群以移动社交平台为主要载体，即发生在网络学习社群中的学习表现往往呈现于移动社交平台。然而，当前学者普遍关注在线学习平台以及在线学习管理系统上的学习表现，相对忽视移动社交平台（李梦蕾，李爽，沈欣忆，2018）。不仅如此，研究者也注意到不同学者对学习表现的评价标准、评价侧重点也各不相同，且学习评价往往蕴含着评价者浓重的主观色彩。

学习者在网络学习社群中有哪些表现？如何评价这些学习表现？为解决这两个研究问题，本文首先通过文献分析归纳网络学习社群的特征及学习表现，形成了评价标准的各个指标，而后确定各指标在评价中所占权重，从而建立客观的量化评价标准，最后以某一网络学习社群为例检验该标准的适用性。本研究希望能够帮助教师及社群管理者实时评估学习者的学习状态，及时调整教学策略并进行个性化学习支持，对于社群健康发展和提高学习者满意度都具有重要意义。

二、文献综述

（一）网络学习社群的含义与特征

网络学习社群，也有学者称之为“网络学习共同体”。参考王琪（2011）对于网络社群的定义，引申为“网络学习社群是指利用互联网发生学习行为而形成的具有共同学习目标和网络群体意识的相对稳定的学习者集合”。也有人认为“网络学习社群是一种随着教育科技和网络传播科技观念发展而形成的帮助群员实现资源共享和经验交流的网络虚拟环境”（马子驎，张杰，2007）。前者定位于“学习者集合”，后者落脚于“网络虚拟环境”，尽管关注点不同，但从本质上理解，两种观点都认为网络学习社群是教学与社交的统一体，其中的关键点是：一有学习行为发生——利用网络，学习者能够在社群中获取知识、发表疑问、分享资源等；二有相对稳定的社群联系——学习者具有相同的学习目的，形成了共同的社群意识，使得相互联系更加稳定紧密。

网络学习社群能够为学习者提供知识学习、学习文化和情感的支持（张豪锋，杨绪辉，2013）。学习文化和人际情感的支持即体现在教学性和交互性之中，而学习者认知学习或者说是认知发展则表现在其学习是自发主动的。在社群化学习中，要认识到学习者进行的一种主动学习（王志军，刘璐，2018）。创设这种主动学习的情境，也是建构主义学习理论所倡导的——有利于学生主动发现问题、解决问题（陈威，2007）。这也就表示主动学习对学习者认知发展具有一定作用，帮助学习者对学习过程有了更深层次的认识和理解（兰国帅，2018），使学习者在学习中成为能动的主体。

由此可见，网络学习社群实质上是现实学习社群向网络空间的延伸，是新媒介催生的新形式。在各种教学组织形式中，学习者居于主体地位，教学媒体相对次要，因此广泛地理解网络学习社群就是通过互联网联结而成的学习者集合，它们规模庞大，结构复杂，兼具教学性、交互性和自我发展性等特征。

（二）探究社区模型观点中的网络学习社群

图1 探究社区模型（Akyol & Garrison，2013）

探究社区模型（Community of Inquiry Framework，简写为CoI）也可被称为探究社区框架、在线临场感理论框架，是一个动态的在线学习和混合学习模型（见图1）。它是由加拿大的远程教育学者兰迪·加里森（ Randy Garrison）、特里·安德森（Terry Anderson）和沃尔特·阿彻（Walter Archer）等人经过4年研究而提出的，用于研究在线学习和混合学习的理论模型，其构成要素为社会存在感、教学存在感和认知存在感，是一个指导学习者如何有效协作以构建知识的理论模型和实践框架（杨洁，白雪梅，马红亮，2016）。

CoI阐述了蕴含于在线存在感中具体的三种存在感——社会存在感指学习者在社群中，使用通信媒体在社交与情感方面表现“真实”自我的能力（Garrison & Arbaugh，2007）；教学存在感指教学者通过创建课程内容、组织教学活动、管控学习过程、评价学习目标的达成，给予学习者及时的反馈等行为对学习的认知过程和社交过程进行的设计、促进和指导（Garrison，Anderson，& Archer，2001；Ice，Gibson，Boston，& Becher，2011）；认知存在感指学习者在网络学习社群中通过不断的交流与反思以获取并应用知识的程度（Garrison et al.，2001）。

随着互联网以及通讯技术的发展，探究社区模型的应用范围也越来越广泛，其中网络学习社群就是一个生动实例。网络学习社群作为学习者进行网络交互和提升社会存在感的产物，实现了在更加开放的学习空间中创建和管理自己的存在；教师和学生可以利用它所依托的社交平台提升在线存在感，尤其是社会存在感，而不再局限于以往机构的学习管理系统（Anderson，2018）。

教学存在感的内容有两方面：一是教学设计，二是引导学习。过去有研究者在体验网课的过程中发现，教师注重教学存在感在课程讨论区中的体现，但所得“促进对话”和“指导教学”的成效有限（段承贵，2017）。得益于社交平台以及异步通信工具的发展，网络学习社群可以发挥更强的教学性和交互性，这不仅促进师生间的交流，同时也为同侪学习和评价的发展提供了更多机会（Anderson，2018）。这从一定程度上说明，在网络学习社群中，人人皆可为教师，教学存在感更加显著。

CoI不仅是三大因素共同构建的理论模型，也包括一个相配套的编码方案。特别是其中对于认知存在的四个子阶段（见表1），对于确定网络学习社群中学生有关自我认知发展的学习表现具有参考意义（兰国帅，2018；Garrison et al.，2001）。认知存在感四阶段的描述表现为学习者对知识的建构，且建构具有自发性和主动性。

表1 认知存在感的编码方案（兰国帅，2018）

网络学习社群不仅作为在线学习的一种组织形式，还是从属于CoI理论的具体实践形式，它的形成和发展是多维因素共同作用的结果，对其中发生的学习表现的评价也需要从多个角度综合分析。综上，研究者从CoI三大要素和网络学习社群特征的视角，论证了发生在网络学习社群内的各种学习表现具备可测量性的理论依据。

三、基于层次分析法制定评价标准

（一）层次分析法概述

层次分析法是运用多因素分层处理来确定各因素权重的方法。这种方法结合了定性和定量的优势，可以比较科学和客观地确定权重，因此本研究以层次分析法作为制定网络社群学习评价标准各指标及其权重的研究方法。

应用层次分析法来确定指标权重时主要有三个步骤：第一步，构建相应的层次结构模型——将研究问题分成不同的层次，二级指标从属于对应的一级指标；第二步，构造两两比较的判断矩阵——同一层次上的指标对于它上一层次中指标的相对重要性构造判断矩阵；第三步，层次排序及一致性检验。对于未通过检验的矩阵则需要重新构造判断矩阵，直到通过一致性检验（薛居征，2011）。为了使各个因素或指标能够进行两两比较以求得相对权重，本研究引入相对重要标度的概念，采用托马斯·萨蒂（Thomas L. Saaty）（1977，1994）教授建议的1～9比例标度法（见表2）。

表2 标度及其含义（Saaty，1977，1994）

（二）构建评价指标层次结构模型

各种类型的社交软件，比如微信、QQ等，能够帮助方便地组织网络学习社群，为在线学习提供强有力的媒体支持，但鲜有学者对其中的学习表现进行研究。

网络学习社群作为在线学习的一种组织形式，与其他在线学习形式具有矛盾且共性的一方面。参考已有的关于在线学习表现的研究，研究者可以对网络社群中的学习表现有一定认识。余胜泉（2003）总结网络教学可以从五个方面对学习者进行评价：交互程度、答疑情况、资源利用情况、作业和考试。该评价注重学习者的态度、意义构建过程。Moodle和Sakai是常见的网络学习管理平台，在基于这些平台的研究中，Jovanovic、Vukicevic、Milovanovic和Minovic（2012）分析Moodle上学习者的行为主要从数量（如作业量、测试通过及未通过的数量等）和时间（如在平台上在线时间、完成测试的时间等）两个维度入手；魏顺平、程罡、王丽娜和崔乃鹏（2016）从广度、深度、持续度对资源浏览、完成作业与测验、论坛讨论等学生行为以及学习时间进行了分析；Yiling和Xiaoqing（2013）从学习态度、协作与互动、学习效果三大方面对Sakai平台上的学习者进行了综合评价。这些研究都取得了理想的效果。之后，李松（2017）比较具体地总结了在线学习中常见的5类学习活动（自学、在线听讲、探究、体验和问题解决）以及11种学习任务（文本材料自学、视频讲课、论坛发帖、实时评论、案例分析、体会与反思、虚拟实验、文献搜索整理、客观题自测、实验报告和大作业）。

综上所述，各学者在分析学习表现的类型时，尽管会从不同的角度切入，但实际上普遍关注学习者的学习时间、完成练习的数量及质量、互动交流状况等相关学习表现。网络社群也具有一般在线学习的表现，可以作为评价过程中监控和统计的对象。

事物之间的矛盾有共性的一面，也必然有个性的一面。从评价方式角度分析，网络社群中的学习往往是无期限的，因此难以实施类似MOOCs等规定学习时限的在线学习形式中常用的总结性评价。网络社群学习评价更加突出过程性评价的作用，主要包括阶段测试、讨论频次等。从评价主体角度分析，网络学习社群“人人皆教师，人人皆学生”的现象模糊了群员角色，MOOCs等传统在线学习评价主体——机器、教师、同伴——能够更加平等地参与评价，更好地保证评价的客观性和有效性。以上说明设计专门的网络社群学习评价标准（尤其是过程性的）具有必要性。

研究者结合CoI三大要素和网络学习社群的特征，从学习情况、社交活动与认知发展三个一级指标来构建判断矩阵（见表3）。学习情况关注学习者在网络社群中参与各种学习活动的表现；社交活动表现在学习者能受到他人对其提交的作业的赞赏与点评，并能够积极与他人互动交流；认知发展则意味着学习者能够在网络学习社群中主动且持续地反思和发展，其中“提出疑问”“效仿榜样”“解决问题”分别对应认知存在感触发阶段、探究阶段、整合与解决阶段。

表3 网络社群学习评价评价标准

（三）计算各评价指标权重

应用层次分析法确定各因素权重研究时，为了充分体现客观性，需要邀请多名专家分别给出判断矩阵，再通过一定方法综合专家意见。在本研究中，研究者以电子邮件的形式向在线学习、学习绩效等相关领域的14位专家学者发放问卷，最后共有5位专家填写了问卷，如表4所示（排序仅代表收到反馈的先后），其中具有教授等高级职称的专家占60%。

表4 专家信息表

如表5所示，专家Z对表3中一级指标的权重进行标度，本文将以此为例，介绍权重的计算过程。

表5 专家Z对于一级指标权重的标度

1.构建判断矩阵

由表5构建专家Z对网络社群学习表现的一级指标矩阵Q：

2.计算指标权重

利用方根法计算权重（王应明，1995；Saaty，& Vargas，1982），可得表6。

即根据专家Z的判断，各一级指标在评价标准中，学习情况的比重占0.2583，社交活动的比重占0.1047，认知发展的比重占0.6370。

表6 专家Z所给一级指标的权重

3.对一级指标矩阵Q进行一致性检验

应用随机一致性比率（CR）表示判断矩阵的准确度，以保证其结果是可信的（王应明，1995）。

一般研究认为只要 CR＜0.10，就可以判定该矩阵具有比较理想的一致性，即说明该判断矩阵各因素的权重设置比较合理。

但并非每一位专家所做出的判断矩阵都能够有令人满意的一致性，例如专家W对于学习情况的判断矩阵如下：

表7 网络社群学习评价指标权重

通过表7可以发现，专家们主要关注学习者在网络社群中的认知发展，而对其学习情况和社交活动的关注则相对轻视。具体到二级指标，提出疑问和解决问题又被专家们认为是两个极端重要的学习表现，这两项的权重之和超过0.5。

尽管网络社群的主要功用是社交，但是网络学习社群的社交作用是表层的，社交更深层地是要促进学生学习和认知发展。不能否认，无论是传统教学还是“互联网+”时代的教学都需要重视培养学习者自主发现问题、自主解决问题的能力。这种能力的培养不仅表现在学习者能够完成教师布置的多少作业与测试，也不仅表现在一条动态能够收获多少评论与赞赏，更关键的是学习者自发主动地接受与运用所学的知识与技能——从提出问题，到模仿他人的方法解决问题，最后能独立提出解决问题的方案。特别的，在认知发展的“提问—解决—再提问—再解决”的循环中，提问与解决能力是重中之重。“互联网+”时代的学习更注重学习者自主学习能力的培养；“互联网+”时代的学习者必须善于提问并善于探索问题的解决方案。

四、学习评价标准的实证研究

研究者将通过观察统计样本的学习表现，对前述的根据层次分析法所得学习评价标准进行实证研究，验证其是否合理。

（一）研究样本

研究者从数据的真实性、说服力以及获取便捷性等角度筛选了一些当前较为热门的学习社群，最终选取了“知识星球”平台中某一个网络学习社群中的群员作为研究对象。组织该社群的目的在于为学习者提供PPT系统化学习的互动交流平台。社群日常活跃度也在“知识星球”平台上的所有社群中位列前三，具有一定代表性。

该社群目前有超过10 000名群员，其中既有在校学生，也有来自社会各行各业的在职人员，学习者构成比较复杂。群员缴纳一定费用（截至2018年12月31日为249元）后即可进入该社群，并参与社群的所有教学活动：获取和分享学习资源、提出疑问、完成每周作业、得到赞赏与评论（包括教育者的指导和同伴的意见），发表自己的真实想法……相对于一些基于微信、QQ等社交软件建立的社群存在仅用于非教学时间的交流的现象，该社群的教学更加纯粹，所有经验交流、资源分享等行为都发生在社群中，避免割裂教学与互动交流。

以往的一些关于在线学习的研究表明，学习者在初始阶段具有较高的积极性和活跃度，而随着时间的推移，学习参与度降低，学习内容的完成率堪忧（贾积有，缪静敏，汪琼，2014），因此本研究关注学习者加入社群后的前两个月的学习表现（以首次发言时间为准）。本研究以2018年12月31日为时间节点，即所调查的学习者应在2018年10月31日前加入该社群。

（二）研究方法与工具

在社群内统计学习者的各项学习表现并根据评价标准进行评分。前文探讨并确定了网络社群学习表现的评价标准，为准确评价学习表现，研究者将标准的各项二级指标与社群的各项栏目进行对应，具体化评分标准（见表8）。与学习管理系统相比，“知识星球”在记录学习者的在线时长、点击浏览次数、发言字数等方面存在较大困难。并且，即便应用后台能够记录下这些数据，应用服务商也不会轻易提供给研究者。故此次研究所关注的学习表现均可直接观察统计。特别说明：

1.为方便计算，两个月时间记为60天，8周。

2.社群内每周会布置作业，学习者根据所给素材完成后发布在对应的 #我要交作业啦# 栏目中。

3.发布在 #甲方来袭# 栏目中的项目，每月一次，由于难度更大、综合性更强，故本研究将其视之为测试。

4.社群内会发布 #我要交作业啦# 与 #甲方来袭# 栏目中优秀作品的名单。

5.学习者发布在 #每日一问# 和 #模仿# 栏目的频率不高，不适合以日计，故本研究将其视之为周次性学习活动。

表8 网络社群学习评价标准具体条目

6.学习者自发地进行练习，自主解决问题，他们将作品发布在 #日常小练手# 或 #每日一练# 栏目中。

（三）研究结果

社群按照入群时间给学习者自动设置ID，入群越早，学习者的ID就越小，故研究者可以判断在2018年10月31日前加入该社群的学习者的总体容量约为8 000。研究者根据学习者ID分层抽取了67个学习者作为样本（见表9）。

表9 样本ID频数分布表

研究者加入该社群后，完全采用人工统计的方法对样本学习者的学习表现进行调查。对一些未明确栏目的帖子，研究者综合了多位同事的意见后才予以归类，保证了客观准确。调查结果见表10和图2。可以发现，该社群中学习者的百分制得分很低，最高得分不过52.37分，最低得分仅4.10分，平均得分也比较低。

表10 学习者得分的描述性统计表

图2 学习者得分的频数统计图

继而，研究者使用SPSS 25.0对样本学习者的得分进行了K-S检验和Shapiro-Wilk检验，结果显示显著性p分别为0.200和0.059，均大于0.050。进一步通过Q-Q图（见图3）发现，除了个别观测值，其余大部分基本贴合对角线。以上结果反映了学习者的成绩呈正态分布，也说明样本对总体具有一定代表性。

上述结果表明该评价标准能够比较客观地评价学习者的学习表现并且在实际应用过程中也具备一定的实用价值。

五、结论

无论传统教育还是在线教育，学习评价作为整个教学过程中的关键一环，对学习者的发展具有重要的影响，因此恰当、适合的评价工具和方法也就显得十分必要。本文通过对以往研究的总结，根据网络学习社群的特征以及探究社区模型的构成要素归纳了网络学习社群中普遍存在的、易被观测的学习表现，并基于层次分析法，形成了网络社群学习评价标准。本研究提出的评价标准由三个一级指标、九个二级指标组成，经实证研究证明适用于网络社群内学习表现的测量与评价，特别是关于非正式学习环境中的学习分析具有一定的参考价值。

图3 学习者得分的正态Q-Q图

案例研究中发现的学习者得分不高的现象，这在以往的研究中也有体现，类似于MOOC完成率低（Breslow，Pritchard，DeBoer，Stump，Ho，& Seaton，2013)，这也不是个例。研究者初步分析了原因。其一是学习者参与度不够。最高得分的学习者在两个月的时间内参与了39天，发布了60条动态；最高参与度的学习者参与了45天，发布了63条动态。尽管该社群中存在积极的学习者，但仅是极少数，绝大部分学习者表现得并不积极，发言日和动态数均为个位数。其二是学习者自我学习能力薄弱。在本研究设计的评价标准中，特别注重自我认知的发展，但现实中学习者“每日一问”、“每日一练”的数量很少，而是更加乐于完成教师布置的作业，这就导致学习者“捡了芝麻丢了西瓜”，得分偏低。或许部分学习者还认为自己参与了学习，但未发布动态，这些未被记录的学习表现被研究者忽略了而导致得分不高。实则不然，这些未被记录的学习表现忽视了网络社群存在的意义——实现分享与交流，在互动中实现自我的提升——故而研究中不能统计也无法统计这些否认网络社群价值的学习表现。本研究完成了网络学习社群中学习评价标准的设计与应用，但还是受限于统计样本与统计资料回收的时间段等，因此研究发现仅限该网络学习社群。