虚拟学习社区学习评价指标体系的设计*

李兴保，徐 进，刘 敏，赵可云

(曲阜师范大学 传媒学院，山东 日照 276826)

虚拟学习社区学习评价指标体系的设计*

李兴保，徐 进，刘 敏，赵可云①

(曲阜师范大学 传媒学院，山东 日照 276826)

虚拟学习社区学习评价对于规范和约束学习者社区行为具有重大作用，更是提升社区学习者学习效率的重要保障。虚拟学习社区的学习评价指标体系的研究十分重要。研究在理论剖析与原则构建的基础上，初步设计了虚拟学习社区的学习评价体系，进而采用问卷调查的方法开展研究，通过问卷的发放和收回，经过SPSS处理得到问卷的信度和效度检验，得出了虚拟学习社区的学习评价指标体系。依据该评价指标体系，运用层次分析软件计算权重，用模糊综合评价方法，对在虚拟学习社区中学习的某学习者进行了实践评价运用。即首先要确定被评价对象的因素集；然后分别确定各因子权重及其隶属度向量，得到模糊评价矩阵；最后模糊判断矩阵和因子权重向量进行模糊操作和归一化得出模糊综合评价的结果。

虚拟学习社区；学习评价；评价指标体系

一、引言

(一)问题的提出

虚拟学习社区在当前远程教育研究中是一个热点，对远程教育及在线学习的研究提供了的机遇，其对学生高阶能力的有效培养、协作交流能力的提升、知识建构方式的优化提供了优质平台[1]。

虚拟学习社区需要有可以发挥其优势，提升学习效率的学习评价。从某些方面上来讲，学习评价可以称得上是虚拟学习社区的核心内容。如果缺少实际可行的评价机制，虚拟学习社区便会失去其规范性和约束力。所以进行对学习者在虚拟社区中学习过程的研究，寻找到在学习活动中影响学习者发挥能力的有关因素，创建一个可行的关于虚拟学习社区的学习评价指标体系意义重要。主要表现在，一是可以激发学习者对学习的积极性，二是有利于促进学习者独立自主、自我控制和合作探究问题能力的产生。

从教学评价或者学习评价的角度而言，作为一种有效的学习支持服务方式，虚拟学习社区中学习评价在“以评促学”方面扮演着极为重要的角色，其功能主要体现为在交互学习系统中对学习者进行监督、评测、引导、管理。

(二)虚拟社区的理论基础

在虚拟学习社区中，帮助学习者进行学习，进而提高学习者的学习效率，记录学习者学习行为，能够分析先行者的学习情况和学习习惯。从而学习者进行学习指导。虚拟学习社区能够成为远程教育和传统教育相结合的一种新的学习模式离不开支撑构建虚拟学习社区的理论[2]，主要包含以下三个大方面：

1.建构主义学习理论

学习者通过在虚拟学习社区中进行协作交互，最终的目的是要完成对已有知识的合理建构，从而获取新的知识，并提高自己的高阶思维能力[3]。教育改革的首要目的就是要提升学习者解决问题的能力、提升学习者的信息素养的综合技能[4]。以上这些目标都是建构主义理论所倡导的，它是虚拟学习社区的最为重要的理论基础。

2.情境认知与情境学习理论

布朗、科斯林和杜吉德认为：“情境是一切认知活动的基础”。情境性的学习可以分为两类：第一种是去情境性的学习。学生在老师的指导下总结概括出一些知识、理论，并将其内化为自身的内容，以此来指导以后的行动实施。还有一种是在情境中学习，老师指导学生去总结学习过程中的知识、理论，以达到以后遇到同样情况可以将其运用自如的目的[5]。

3.学习共同体理论

根据莫勒的观点，学习共同体有着两种基本的功能。第一种是社会强化功能，学习者一方面能够亲身体会到自身处于一个学习团体之中的感受，可以与兴趣爱好相同的学习者一起进行相同目的的学习活动，共同遵守团体的规则；另一方面可以通过学习者自身在共同体中的归属感、认同感以及与其他学习者之间逐渐培养起来的感情来更加积极主动地去参与到共同体中来，以达到促进学习活动的积极性，提高自我以及带动整个社区的学习成绩[6]。

(三)虚拟学习社区中学习评价应遵循的原则

传统的教育评价忽略了学习者的综合素质提升，突出以评价者为评价主体，使学习者的发展呈现出相同的，标准化的，面向过程的现象，在尊重个人差异方面没有什么区别[7]。虚拟学习社区并不是网络教学，它强调学习者之间相互分享，互相帮助，建立良好的互信度，在一个充满了信任的环境中学习。因此，虚拟学习社区中的学习评价不可以用传统的教育评价方式去评价，应在评价原则的基础上遵循其自身的一些特点[8]。

1.目标的具体性与包容性原则

一个有效的评价必须具有切实可行的目标，这是教师的教学活动的基础，是学习者进行自主学习的导航，是评价方案的设计依据。从这方面看，虚拟学习社区中的学习评价目标尽可能要具体。由于虚拟学习社区学习活动的复杂性，很难达到精确的目标，特别是反映了情感目标学习者参与社区活动更加困难。虚拟学习社区的学习评价的目标也应该有一定的开放性和包容性，布鲁姆认为“应该保持一定程度的概括性，即具体性产生的损失不会太多”[9]。

2.评价的过程性原则

虚拟学习社区十分注重学习者的个性发展，虽然教师的目标基本一致，但学习过程是学习者自我建构的过程。按照加德纳的多元智能理论，每一个学习者的学习风格都会导致最终的学习成绩有很大的不同，这不仅是由一个期中考试就可以来确定学习者的表现。虚拟学习社区中的学习评价要监控学习者学习活动的整个过程，提高学习者过程表现的比例[10]。

3.评价的定性与定量相结合的原则

为了保证评价的公正性必须使用一个定量评价方法，以减少影响评估的主观因素，且对评价数据的量化结果更容易处理，更准确地评测学习者的状况，目前很多的在线学习都是如此。然而，更多的定量评价是总结性的，很难反映学习者在学习过程中的表现，且其他方面的目标也很难进行量化。所以虚拟学习社区中的学习应将这两种评价方法合理使用。虚拟学习社区除了学习知识、技能外，很注意学习者之间的相互作用。

4.评价主体多元化原则

虚拟学习社区是一个不涉及到权威的互联网空间，它不是教师主导的社区，社区的所有活动都应该是学习者自我管理[11]。发展和完善社区是学习者应有的责任和义务。虚拟学习社区中的学习评价是一个学习者之间的互动过程，是学习者之间协商的过程，是观察学习者们是否形成了互相帮助、相互促进和密切的依赖关系[12]。多元化的评价主体一方面可以使评价具有更加全面的视角，另一方面可以促进学习者之间的交流和加强这一积极正面的依赖关系。

二、虚拟学习社区的学习评价指标体系的构建

(一)学习评价指标的初步确立

对虚拟学习社区进行评价的目的是为了能够发现学习者在学习活动中所存在的问题，通过反馈调节，促使学习者提高学习成绩，评价的目的不是为了分出高低，分出三六九等。虚拟学习社区中的学习评价相当复杂，因素多变，想要得到精确的数值对于我们来讲基本是不可能的。因此设计的指标从某种意义上来讲叫做软指标。按照布鲁姆对教育目标的分类及虚拟学习社区中学习活动的特征，将虚拟学习社区中的学习评价初步分为学习目标、交互情况、情感态度、知识与技能这4个一级指标以及21个二级指标，形成了初步的学习评价指标体系框架。然后将此学习评价指标体系制作成调查问卷的形式发放。本问卷总共发放150份，回收了136份，回收率为91%。其中有效的问卷为132份，有效率达到了97%。

(二)问卷信度和效度检验

问卷采用的评价方法是内部一致性信度法，按照克朗巴哈公式计算的克朗巴哈α系数决定了其内部一致性，与其呈正相关关系。根据所得出问卷进行分析，得出表1所示结果，克朗巴哈系数α值为0.876，这说明其信度比较高。

表1 问卷克朗巴哈α系数值

对于问卷中的每个潜变量的信度检验结果如表2所示。从表2可以看出，除情感态度量表的克朗巴哈α系数为0.513，比较低以外，其它的α系数均在0.6以上。因此，对潜变量“情感态度”进行观察和测试，将“归纳总结”和“学习坚持性”从“情感态度”量表中去掉后，潜变量“情感态度”的信度检验值为0.752，量表的总信度变为0.913，无论是分量表还是总量表均具有较高信度，拥有比较高的内部一致性，符合数据分析的要求。因此，在评价指标的测量变量中去掉“归纳总结”和“学习坚持性”，即评价指标中包括4个潜变量、19个可测变量。

表2 潜变量的信度检验

运用SPSS软件来对问卷做因子分析，得出其效度。如表3所示。其KMO值为0.867，对其因素分析，显著性概率P=0.000＜0.001，说明此问卷拥有较高的效度。

表3 KMO以及Bartlett检测

对评价指标进行整理和筛选，经过SPSS数据处理，最终剔除一级指标“情感态度”下的“归纳总结”和“学习坚持性”两项二级指标，形成了以下完整的评价指标项。如表4所示。

表4 虚拟学习社区学习评价指标体系

续表4

(三)虚拟学习社区学习评价指标体系权重的计算

权重是针对某一指标的相对概念。对某一指标权重的确定是确定评价指标在总体评价中的相对重要性。权重的功能是将许多个评价指标的重要程度区分开来，所有指标所对应的权重就构成了权重体系。权重的计算是构建学习评价指标体系的重要部分，根据已经列出的虚拟学习社区学习评价指标体系的各级指标。但是由于各个因素的重要程度以及影响力的不同，需要对各个因素赋予权重，以便更准确地构建出评价体系。使用层次分析法对已构建的各项指标进行权重赋值。

1.层次分析法的使用

层次分析法，是20纪70年代初萨蒂提出的，它是基于心理学理论和数学理论的，这种系统分析法将定量和定性结合了起来。层次分析法的应用可以将复杂系统问题中的各种因素分为有序的层次结构，并且在定性描述的基础上给出定性判断的相对重要性，然后运用数学方法将各层次上各元素的相对权重计算出来，最后依据指标权重和指标数值对研究问题进行综合评价[13]。

通过这种方法确定指标权重，首先要确定各级指标的相对重要程度，通过专家打分和评分结果统计分析，建立判断矩阵之间的指标。最后，对各指标的矩阵层进行比较、计算和分析。

(1)构造判断矩阵

在位于同一级别层次的指标中，将ai与aj一一重复对比，关于ai对aj的重要性aij进行评判(ai与aj分别代表同一级别层次中的两个指标项)。T·L·Saaty确立了两两比较重要性的数值尺度，即取值1,3,5,7,9用来分别表示同等重要、较重要、重要、很重要、极其重要五种程度；其它四个偶数按照数值的大小介于五个奇数之间，用来表示另外间隔的四种重要度。判断完毕之后，形成了矩阵A。

aij是评价指标ai相对于aj的重要性的数值，范围时从1至9,其表示的意义如表5所示。如果ai=1，那么aij=1/aji。

表5 重要性标度数值表

(2)计算判断矩阵

矩阵A中所有的列都大概地显示出了权值的分配，所以使用所有列向量的平均值来计算权向量。

步骤一：将矩阵A所有列归一化：

步骤二：将所有列进行归一化后的判断矩阵按照行相加：

即为所求的特征向量。

(3)进行一致性检验

步骤三：从表6所示的内容中找到相对应的一致性指标RI:

表6 评价随机一致性指标RI

求出一致性比例CR=CI/RI

分析CR的值：一般情况下，要是CR＜=0.1，便能够认为其拥有能够接受的一致性；如果CR＞0.1，说明其一致性的偏离程度太大，需要进行修改，将CR的值修正到0.1以下。

(4)计算综合重要度

上述分析结果仅仅得到相对重要性，所以层次分析法还需要计算相同级别的所有元素的最高级别并进行排序，方法是从顶部开始，从上往下，得出所有元素的综合重要性。其分析计算过程如下：

假设上层为A，下层包含有m要素B1，B2，…，Bm，它们对于Aj的单层次排序重要度分别为b1j，b2j，…bmj(j=1，2，…，n)，此时B层的总排序的综合重要度为：

即下层Bi的综合重要度是以Aj的重要度为权重的相对重要度加权的和，如表7所示。

表7 B层要素综合重要度计算表

按上述方法，自上向下依次计算，计算出下面各层要素总重要度。综合重要度也必须进行一致性检验。

(5)依照综合重要度以及评价准则，进行决策。

2.运用层次分析软件yaaph计算权重

用层次分析软件yaaph对指标权重进行了计算。根据虚拟学习社区的性质及特点，通过问卷请10位专家对构建的指标进行打分，并且同过计算平均值得出最终打分结果。表8按照各指标权重的大小从大到小将各级指标排列了下来。

表8 方案层中要素对决策目标的排序权重

续表8

可以看到，权重系数最高的二级指标是C11构建知识体系，为0.1842，最低的是C4答疑回复，仅仅只有0.0093。权重系数超过0.1的二级指标有3项，分别为C11浏览学习资源、C15构建知识体系、C12作业质量，依次分别为0.1842、0.1399、0.1203。权重系数值低于0.01的二级指标只有C4答疑回复，值为0.0093。从数值上可以分析出，浏览学习资源、构建知识体系、作业质量这三个因素对于虚拟学习社区中学习的影响较大，而答疑回复的影响相对会小很多。

由表9可以很直观地得出四个一级指标情感态度、知识与技能、交互情况、学习目标的权重由高到低依次为0.4784、0.2918、0.1801、0.0497。其中一级指标情感态度达到了0.4784，而学习目标只有0.0497，相差较大，但和之前预测一致。原因主要是由于各一级指标下的子指标数量导致的。

表9 第1个中间层中要素对决策目标的排序权重

一致性比例CR=0.0287＜0.10，说明一致性比较高；对“虚拟学习社区A”的权重：1.0000；最大特征值λmax：4.0766。根据表10显示，四个一级指标交互情况B2、情感态度B3、知识与技能B4、学习目标B1的权重系数由高到低依次为0.1801、0.4784、0.2918、0.0497。

表10 虚拟学习社区A

交互情况B2一致性比例CR=0.0415＜0.10；对“虚拟学习社区A”的权重：0.1801；λmax：5.1861。由表11，可以看出一级指标交互情况B2下的5个二级指标参与讨论C3、协作活动C6、与老师交流C5、互传资源C7、答疑回复C4的权重系数由高到低依次为0.2697、0.4683、0.1265、0.0838、0.0516。

表11 交互情况B2

情感态度B3一致性比例CR=0.0079＜0.10；对“虚拟学习社区A”的权重：0.4784；λmax：6.0499。由表12，可以看出一级指标情感态度B3下的6个二级指标寻求帮助C10、在线学习时长C9、作业质量C12、浏览学习资源C11、登录社区次数C8、发帖数量C13的权重系数由高到低依次为0.1380、0.1380、0.2515、0.3850、0.0457、0.0419。

表12 情感态度B3

知识与技能B4一致性比例CR=0.0222＜0.10；对“虚拟学习社区A”的权重：0.2918；λmax：6.1396。由表13，可以看出一级指标知识与技能B4下的6个二级指标构建知识体系C15、信息检索C18、积累知识C14、信息处理C17、网络技术C16、问题解决C19的权重系数由高到低依次为0.4793、0.0538、0.2314、0.0538、0.0538、0.1279。

表13 知识与技能B4

学习目标B1一致性比例CR=0.0000＜0.10；对“虚拟学习社区A”的权重：0.0497；λmax：2.0000。由下页表14，可以看出一级指标知识与技能B1下的两个二级指标目标合理C2、目标明确C1的权重系数相同，都为0.5000。

表14 学习目标B1

综合以上结果，得到各项指标的权重，最后得出最终的关于虚拟学习社区的学习评价指标体系。如表15所示。

表15 关于虚拟学习社区的学习评价指标体系

通过以上学习评价指标体系，可以很直观地看出虚拟学习社区各项指标的重要程度，能够更好地做出更有效的学习评价。由以上可知，浏览学习资源C11、构建知识体系C15、作业质量C12、协作活动C6、积累知识C14、在线学习时长C9、寻求帮助C10这些指标的合成权重都在0.0660以上，说明有很强重要性。在做出学习评价时，应该着重考虑这7项指标。从另一方面也说明了虚拟学习社区在发展以及学生在应用虚拟学习社区的同时，也要考虑到这些因素。通过对虚拟学习社区中学习者的学习评价，能够使学习者得到及时的反馈。也能够从侧面对虚拟学习社区进行有效的评价。此指标体系应用于虚拟社区学习者的实证研究中。

三、虚拟学习社区学习评价指标体系的实证研究

模糊综合评价法是一种运用模糊数学理论与技术针对教学评价对象的复杂性及其评价指标的模糊性，采用模糊数学的理论与技术对其进行评价，从而得到量化的评价结果的不确定教学的统计方法[14]。因为这种方法可以对各评价人员的看法进行概括总结，更充分地反映被评价对象的程度，评价结果会具有更大的客观性。因此，对于学习者在虚拟学习社区中的学习评价运用模糊综合评价法是比较合理的。其特征为对于对象逐个判定，每一个评价对象都只有一个定值与其对应，不会受到其它评价对象以及集合的影响，为的是评判出优胜对象。最终所有的对象按照评价结果排列顺序。为了使评价结果更为精确，将会运用此方法对杨某某同学进行学习评价。

(一)确定评价对象的因素集

在已经得到虚拟学习社区中学习的各个影响因素后，根据这些因素确立因素集U={目标明确，目标合理，参与讨论，答疑回复，与老师交流，协作活动，互传资源，登录社区次数，在线学习时长，寻求帮助，浏览学习资源，作业质量，发帖数量，学习兴趣，自我评价，积累知识，构建知识体系，网络技术，信息处理，信息检索，问题解决}。

(二)确定评价等级

将评价等级分为5个，分别是优、良、中、差、很差。即V={优，良，中，差，很差}。

(三)建立模糊关系矩阵R

通过问卷的形式，得到了了解杨某某同学在虚拟学习社区《学习科学与技术》中学习情况的老师及学生的对杨某某的评价，并且从中挑选了20个有效问卷进行统计， 根据统计数据，计算出每个因素的隶属度(人数/总人数)，建立模糊关系矩阵。(如下页所示)

(四)确定评价因素的权重向量

通过层次分析法得出了各因素向量的权重，建立权重向量A={0.0249，0.0249，0.0486，0.0093，0.0228，0.0843，0.0151，0.0219，0.0660，0.0660，0.1842，0.1203，0.0200，0.0675，0.1399，0.0157，0.0157，0.0157，0.0373}。

(五)合成模糊综合评价结果向量

B=A*R=(0.4972，0.3144，0.1108，0.0541，0.0237)，由于0.4972+0.3144+0.1108+0.0541+0.0237=1.0002≈1，结果非常精准，不需要归一化处理。

(六)对模糊综合评价结果向量进行分析

为了得出最终结果，将等级进行了量化，如表16所示。

表16 等级量化表

依据得出的模糊综合结果向量以及上述等级量化表，依然运用加权平均型算法，最终得出杨某某同学在虚拟学习社区《学习科学与技术》课程当中的学习评价结果为：95×0.4972+85×0.3144+75×0.1108+65×0.0541+50×0.0237=86.97。

此结果说明杨某某同学在此课程当中学习表现良好，从侧面也一定程度上证明了虚拟学习社区《学习科学与技术》这门网络课程设计的比较成功。

四、结语

虚拟学习社区在当前远程教育研究中是一个热点，对远程教育及在线学习的研究提供了充足的机遇，其对学生高阶能力的有效培养、协作交流能力的提升、知识建构方式的优化均提供了较为优质的平台。虚拟学习社区的发展离不开能够与其相对应的可以发挥其优势，并且提升学习效率的学习评价[15]。在以后的研究中，还要添加更加智能化的系统或是技术来协助教师，既能够减轻教师的工作量，也可以提高评价的效率和准确性。从而更加切合虚拟学习社区的需求。根据以后科学技术的不断进步，继续对此学习评价指标体系进行改进升级，以满足以后学习者不断变化的需求。并希望此学习评价指标体系能够为虚拟学习社区以后的发展提供支持。

[1]甘永成,祝智庭.虚拟学习社区知识建构和集体智慧发展的学习框架[J].中国电化教育,2006,(5):27-32.

[2]甘永成.论虚拟学习社区中的知识建构[J].中国远程教育,2006,(2):17-21.

[3]李兴保,刘敏.虚拟社区中学生高级思维能力的培养[J].电化教育研究,2006,(12):8-10.

[4]Yang Z, Liu Q. Research and development of web-based virtual online classroom[J]. Computers & Education, 2007, 48(2):171-184.

[5]Janssen J, Erkens G, Kanselaar G, et al. Visualization of participation:Does it contribute to successful computer-supported collaborative learning?[J]. Computers & Education, 2007, 49(4):1037-1065.

[6]尚建新.虚拟学习社区中学习者交互因素研究[D].长春：东北师范大学,2009.10-30.

[7]Hsu M H, Chen Y L, Chiu C M, et al. Exploring the antecedents of team performance in collaborative learning of computer software[J].Computers & Education, 2007, 48(4):700-718.

[8]Allan B, Lewis D. The impact of membership of a virtual learning community on individual learning careers and professional identity[J].British Journal of Educational Technology, 2006, 37(6):841–852.

[9]Daniel B K, Schwier R A, Ross H M. Synthesis of the Process of Learning through Discourse in a Formal Virtual Learning Community.[J]. Journal of Interactive Learning Research, 2007, 18(4):461-477.

[10]王陆.虚拟学习社区社会网络位置分析与助学者群体的发现[J].中国电化教育,2010,(3):23-27.

[11]甘永成.虚拟学习社区中的知识建构和集体智慧研究[D].上海：华东师范大学,2004.20-60.

[12]尚建新,解月光,王伟.虚拟学习社区中学习者交互因素研究[J].电化教育研究,2010,(8):65-70.

[13]冯天敏, 张世禄. 网络课程的学习评价设计[J].开放教育研究,2004.(3):34-36.

[14]张倩苇, 桑新民. 网络环境下学习评价新模式的探索[J].中国远程教育:综合版,2002,(2):53-55.

[15]程艳,许维胜,何一文.虚拟学习社区的绩效评估模型[J].计算机工程与应用,2011,(4):17-21.

The Designing of Learning Evaluation Index System in Virtual Learning Community

Li Xingbao, Xu Jin, Liu Min , Zhao Keyun
(School of Communication, Qufu Normal University, Rizhao Shandong 276826)

Since learning evaluation in the virtual learning community has a signi fi cant role in regulating and restraining the behavior of learners in community and also is an important guarantee to improve the efficiency of community learners, the study on learning evaluation index system in virtual learning community becomes highly meaningful. We conducted the research according to theoretical analysis and principles of construction and preliminarily designed learning evaluation index system in the virtual learning community. We implemented questionnaire method to carry out this research by issuing and collecting surveys. We found out the reliability and validity of questionnaire processed by SPSS and obtained the learning evaluation index system in the virtual learning community. Based on this evaluation index system, we used analytic hierarchy process software to calculate weight and performed the evaluation practice on a learner in the virtual learning community through fuzzy comprehensive evaluation method. That is, fi rst of all, to establish factor set of the object being evaluated; and then determine the weight of each factor and its subordinated vector and obtain the fuzzy evaluation matrix. Lastly, by using fuzzy judgment matrix and factor weight to perform the fuzzy operation and normalization to acquire the result of the fuzzy comprehensive evaluation.

Virtual Learning Community; Learning Evaluation; Evaluation Index System

G434

A

李兴保：教授，硕士生导师，研究方向为教育信息化(lixingbaosd@126.com)。

徐进：硕士，研究方向为网络教育应用。

刘敏：副教授，硕士生导师，研究方向为信息技术教育。

赵可云：副教授，硕士生导师，研究方向为教育信息化。

2016年9月6日

责任编辑：赵云建

1006—9860(2016)11—0061—07

* 本文系国家社会科学基金“十二五”规划2011年度教育学一般课题“虚拟学习社区运行机制和评价研究”(课题编号：BCA110022)阶段性研究成果。

① 赵可云为本文通讯作者。