基于问题的web-CKB学习绩效评价研究*

□石娟

基于问题的web-CKB学习绩效评价研究*

□石娟

本文从学生的角度开展学习绩效研究，通过观察法、访谈法、问卷调查法、评价研究法等，分析基于问题的网络协作知识建构的（web-based Collaborative Knowledge Building，web-CKB）学习绩效评价内容、方法、工具等。研究表明基于问题的web-CKB的学习绩效评价内容包括学习行为（感知、共享、论证、协商、创作、评价、反思）与学习成就（测验成绩、智慧制品、能力水平等）；评价方法有测验法、访谈法、行为锚定等级评价法、行为观察量表法、关键事件法、360度绩效评价法等；评价工具主要是电子量规和电子学档。

协作知识建构；基于问题的学习；学习绩效

教育信息化的出现在全球范围内引发了教育理念和教育方式的深刻变革。但是教育信息化的巨额投入，及教育信息化应用与之前预期效果的巨大差距，使得人们越来越关注教育信息化的战略决策、投资收益等深层问题。教育信息化评价也逐步由以投入为主转变为以绩效为主来确定教育信息化水平。然而对教育信息化开展绩效评价是一项比较困难的事情，由于教育信息化是一个动态发展过程，其产出不易用量化指标来衡量；而且教育信息化的效益具有多样性，不仅要看其经济效益，更主要的是社会效益；不仅要看当前效益，更多地表现为长远效益；不仅要看固有效益，更多地表现为派生效益[1]。教育信息化的最终目的是促进教与学，本文从学生角度进行学习绩效研究，以期为教育信息化绩效评价研究提供参考。

知识经济时代要求教育改革要关注协作学习和知识建构。以计算机和通讯技术为基础的网络技术，由于具有共享、协作等特点，可以为协作知识建构创设全新的学习环境[2]。基于问题解决来建构知识是研究者关注的热点之一[3]。开展基于问题的网络协作知识建构（Collaborative Knowledge Building，简称CKB）研究，可提高学生的协作能力、发现问题和解决问题等能力。如何检验基于问题的网络协作知识建构的有效性，怎样评估基于问题的web-CKB的学习绩效，是本研究重点解决的问题。本文将从学习绩效评价的内容、方法、工具等角度进行分析。

一、基于问题的web-CKB学习绩效评价内容

基于问题的学习（Problem-Based Learning，简称PBL）是指学生利用知识和技能解决一系列实际问题，从而达到建构经验的目的[4]。该模式广泛应用于在线教学、师资培训、医学培训等领域，主要步骤包括：感知问题、分析问题、解决问题、创作作品、评价作品、总结反思。在基于问题的学习中，学生的学习兴趣获得极大提高，个性和综合能力（合作能力、反思能力、信息素养、发现问题及解决问题的能力）得到发展。[5]

协作知识建构的研究最先由加拿大的斯卡德玛利亚（Scardamalia）等人发起。斯塔尔提出了保证协作知识建构过程质量的要素，包括：头脑风暴、话语表达、反应、组织、分析、概括。费希尔等人认为协作知识建构过程包括四个阶段，即：任务知识的具体化、任务知识的抽象化、形成基于冲突的意见和形成基于整合的意见”。汉森等人提出了六阶段协作知识建构过程。[6]综合以上观点，本研究中协作知识建构是指个体在特定的组织中互相协作、共同参与某种有目的的活动，最终形成某种观点、思想、方法等智慧产品的过程。协作知识建构过程可以概括成共享、论证、协商、创作、反思，从共享到反思是一个螺旋上升的过程。[7]在协作知识建构过程中，学生自身获得了相关知识[8]，得到某种智慧制品（如word文稿、电脑绘画、PPT文稿、电子学档等），且协作能力、信息素养、思维能力得到了发展。

考察基于问题的web-CKB的学习绩效，首先要明确学习绩效的定义。学习指学习者因经验而引起的行为、能力和心理倾向的比较持久的变化[9]。绩效指与组织总体目标及价值追求相一致的行为倾向和业绩成就[10]。通过文献调研发现目前国内的企业培训中较多关注学习绩效，从认知心理学、神经心理学等角度展开研究。国外学习绩效研究主要是从心理学视角，研究组织学习、培训、e-learning、课堂学习以及CSCL中的学习绩效。参考已有的学习绩效的定义，可将学习绩效界定义为：学生为达到行为、能力和心理倾向的比较持久的变化而产生的外显的学习行为与可测量的学习成就。

基于问题的web-CKB指学生利用网络学习平台与资源，采用基于问题的学习策略，进行协作知识建构的学习行为及学习成就。本研究先罗列出所有的基于问题的web-CKB的学习行为及学习成就，遵循系统性、实践性、人本性、客观性原则，进行学习绩效内容体系的初步构建。再通过课堂观察（采用参与式的定量观察，观察者是课题组的6位研究生。观察对象是广州市东山培正小学四年级二班和广州市东风东路小学四年级六班的学生，共86人）及深度访谈（采用个别访谈法，分别访谈了8名相关的研究者与8名参与本课题的科研教师。访谈地点分别为广州市天河区华景小学校长室、广州市天河区天荣中学办公室、广州市东风东路小学办公室、广州市培正小学办公室等，部分访谈在网上进行），不断修正与完善学习绩效内容体系，最终确定基于问题的web-CKB学习绩效评价内容为学习行为（感知、共享、论证、协商、创作、评价、反思）与学习成就（测验成绩：形成性测验成绩、总结性测验成绩；智慧制品：word文稿、电脑绘画、PPT文稿、网页、电子学档；能力水平：信息素养、协作能力、高阶思维能力等）。

二、基于问题的web-CKB学习绩效评价方法与工具

常用的传统教育评价方法主要是测验法，辅以问卷法、观察法、访谈法等。企业中常用的绩效评价方法有：目标管理法、关键事件法、平衡计分卡、行为锚定等级评价法、行为观察量表法、强制分布法等[11]。基于问题的web-CKB的学习绩效的评价不仅可以延用传统教育评价中的有效方法，如练习与测试等，还应汲取企业绩效评价中的适当成份，来充盈、完善学习绩效评价方法，以求做到评价的客观与公平。本研究根据具体的评价内容及教学情境，综合选用传统教育评价方法和绩效评价方法。

本研究采用测验法、问卷法、观察法、访谈法等传统教学评价方法，即利用习题与试卷、量表、调查问卷等工具收集学习绩效评价的相关资料；运用行为锚定等级评价法[12]（即通过对特定行为特征进行统一的标准规定，考评者可以根据行为锚定等级评价法给予的标准来对被评价者的能力、技能以及价值观等进行评价）对学习行为方面进行评价；运用行为观察量表法[13]（即通过工作分析或者资深人员的头脑风暴来发现关键行为或关键事件，采用频率指标来衡量被评价者的绩效）收集学生学习行为评价的相关资料；选用关键事件法[14]（评价者记录被评价者工作过程中特别好的或特别差的典型行为，然后据此确定被评价者的绩效水平）分析学习行为及学习成就；使用360度绩效评价法[15]（即由被考评人的上级、同级、下级、内部客户、外部客户甚至本人担任考评者，对被评者进行全方位的评价），从多个角度来反映学习绩效，使绩效评价结果更加客观、全面和可靠。

不同的评价方法使用的评价工具也不尽相同。基于问题的web-CKB的学习绩效的评价工具有练习与测试、调查问卷、量表、电子学档等。本研究依据“量表编制建构的流程”[16]，参照斯卡德玛丽亚的知识建构的评价标准[17]、萨普、杜赫提等人提出的有效的建构教学的五条标准[18]、奥地利萨乐兹堡大学的研究者阿斯特雷特纳及其合作者提出的关于“良好教学”的六条原则[19]、辛自强、池丽萍、张丽2006年修订的建构教学评估问卷[20]，初步编制评价量表，之后在广州市省级重点小学华景小学、东山培正小学、广州市省级重点中学天荣中学等实验学校开展了教学试验研究，通过量表试测、相关分析、因素分析、信度分析、再测信度分析，编制了基于问题的web-CKB的学习行为评价量表，该量表主要用于学生自评、教师评价、家长评价、同伴互评、观察者评价等。同时借鉴已有的针对Word文稿、电脑绘画、PPT文稿、网页、电子学档、信息素养、协作能力等的评价量规[21]，根据实际情况略作修改，得到针对智慧制品、能力水平的评价量表等。下图是部分评价量表的截图。

图1 部分评价量表截图

为开展基于问题的web-CKB的学习绩效评价，本研究开发了学习绩效评价电子量规及电子学档。电子学档包括：个人简介、学习计划、我的作品、自评反思、测试成绩。主要是学生个人的学习计划、作品、反思、成绩的集合体。还有“作品展区”（含所有学生作品，以单元内容和时间为序排列，方便师生浏览和评价）、“研讨区”（用于师生直接进行网上交流与讨论）。

图2 电子量规界面截图

图3 电子学档界面截图

三、基于问题的web-CKB学习绩效评价实施

本文通过理论研究与实践总结，探索出一整套基于问题的web-CKB的学习绩效评价方法与评价工具。之后在华景小学开展学习绩效评价的教学试验，以验证基于问题的web-CKB的学习绩效的评价方法与工具的可用性及有效性，并针对学习绩效评价结果，分析学习绩效差距及其产生原因。

华景小学四年级二班（共30人）在《JOB》专题学习中开展了基于问题的web-CKB的学习绩效的评价研究。该专题整合了小学英语课本中所有有关职业知识的句型和单词，可安排表示职业的单词（teacher、factory worker、 farmer、 soldier、 policeman、doctor、nurse、driver）和句型（What’s…job？）的学习，可安排扩展单词和句型（What do(does)…do）的学习，还可开展介绍My family的拓展写作练习。从基于问题的学习的角度分析，《JOB》专题综合了概念性问题（生词、句型、课文等）的学习与设计性问题（作文创作等）的学习。

《JOB》专题的教学试验研究中，师生利用“快乐英语”学习网站，开展基于问题的协作知识建构。即学生利用网站中的专题知识，学习英语单词、句型、课文等，利用 “讨论区”进行交流讨论等。学习网站共包含“背景文化”、“课文学习”、“歌曲欣赏”、“游戏”、“资源库”、“练习”、“论坛区”、“互动区”、“电子学档”、“相关网站”等十个模块。

图4《JOB》学习网站首页

图5 《JOB》学习网站论坛区

在该教学试验中，笔者利用电子量规评价学生的学习行为及信息素养、协作能力等能力水平，利用电子学档评价学生的测试成绩、智慧制品等。

（一）学习行为评价

通过对所收集的数据（学生自评、教师评价、研究者观察）进行统计，测得四年级二班学习行为评价的最高分为56分（量表满分为56分，每小题满分为4分），最低分为33分，平均分为47.5分。

图6 用量规评价学习行为

图7 用电子学档评价智慧智品

图8 学习行为评价结果分析

由上图可以发现，四年级二班学生的学习行为评价处于中等偏上水平，在“感知”与“论证”方面表现很好。通过分析课堂观察结果与访谈结果，发现教师精心创设问题情境、营造讨论与协作学习环境会促进学生在感知、论证方面的表现。同时发现学生的协作知识建构行为表现存在差异。本研究抽取表现较差（得分为41）、表现一般（得分为49）、表现较好（得分为56）的三位学生进行访谈，并分析三位学生在论坛中的发帖数量与质量及电子学档中作品的质量，发现学生的初始能力（如信息素养、人际交流、协作能力等）、学习态度（投入的学习时间、努力程度等）等都会影响到学生的学习绩效。

（二）学习成就

本次教学试验中的学习成就主要包括测验成绩、智慧制品、信息素养及协作能力等。

1.学习成就评价——测验成绩

在教学试验中，授课教师针对表示职业的英语词汇及描述或询问职业的相关句型等知识进行了一次课堂测验，平均成绩为73.8分，略高于对照班。笔者将参与本次教学试验的学生的学习行为得分同学习成绩进行相关分析，发现学习行为同测验成绩显著相关（P=0.000＜0.05），因此学生要想取得较好的测验成绩，就要更多地参与到学习过程，参与到小组协作讨论及电子作品制作中。

2.学习成就评价——智慧制品

智慧制品评价主要使用了电子学档，采用匿名评价的方式，教师、学生同伴或学生自己依据提供的智慧制品的评价标准，对电子作品进行评价，并发表评价留言。本研究对智慧制品的评价是利用360度评价法，将各种评价得分汇总，求出平均值，作为最终的评价结果（满分为100分）。

表1 《JOB》专题中智慧制品PPT评价结果

分析智慧制品评价结果发现第四小组的作品质量要优于第二小组，通过访谈组内的同学发现，第四小组的同学有更多的使用电脑的机会，小组成员的信息素养也优于其他小组的同学。因此可推出学生智慧制品的优劣与其初始学习能力如信息素养等因素有关。

3.学习成就评价——能力水平

在华景小学的教学试验中，笔者针对四年级二班学生的信息素养与协作能力进行了评价（因为小学生的高阶思维能力本身就处于较初级的阶段，且在较短时间内变化不明显，因此本研究没有针对学生的高阶思维能力展开评价）。

限于时间与精力，本研究主要采用学生自评的方式来分析学生的信息素养与协作能力。本研究在开展《JOB》内容学习之前，对学生的信息素养与协作能力进行评价，在完成基于问题的协作知识建构之后，再次用同样的评价工具测量学生的信息素养与协作能力。笔者针对学生的前测与后测结果，进行了配对样本的T检验，以检测学生的信息素养及协作能力是否有显著提高，具体的数据分析结果，如下表所示。

表2 配对样本T检验的相关数值

由上表可以发现，《JOB》专题中华景小学四年级二班学生的信息素养的前测与后测的T检验分析中，t值等于-3.564，显著性概率（双侧）为0.001。因为是单测检验，所以要将显著性概率除以2。单侧显著性概率为0.0005，小于0.01，后测分数显著高于前测分数，即通过基于问题的web-CKB，学生的信息素养有非常显著的提升。华景小学四年级二班的学生的协作能力，显著性概率（双侧）为0.264。单侧显著性概率为0.132，大于0.01，后测分数没有显著高于前测分数，即通过基于问题的web-CKB，学生协作能力没有显著的提升。

针对能力水平方面的学习绩效评价结果，笔者访谈了华景小学《JOB》专题的执教教师，发现学生通过浏览学习网站、网上发表帖子、制作电子作品，有了更多的电脑操作机会，因此信息素养有显著提升。但是学生不太习惯基于网络进行讨论，平时讨论较少，讨论技巧、协作技术等方面都会有所欠缺，且教学试验时间较短，很难发现学生协作能力方面的提升，但是会有潜移默化的影响，学生协作能力方面的提升会在一个学期或更长时间之后才能显现出来。

（三）总结反思

针对评价结果，笔者进行了总结分析。

1.学习绩效评价方法与工具

本研究采用“三角互证法”[22]，检验基于问题的web-CKB评价方法与工具的可用性及有效性。

通过访谈教师与四年级二班的部分同学，发现大家都比较喜欢这种评价方式，认为针对学习行为方面的评价能够及时地提供反馈，电子学档可供学生上传电子作品，可按照既定评价标准评价自己或别人的电子作品，可查看别人对自己作品的评价情况等。因此本套基于问题的web-CKB学习绩效评价方法及工具具有较强的操作性与实用性，即可用性较好。

本研究应用以上评价方法与工具得到的学习绩效评价结果，同通过研究者课堂观察所得的结果，以及通过访谈学生、教师所得的结果，进行比较分析，发现基于问题的web-CKB的学习绩效的评价方法与评价工具，能基本测量出学生的学习绩效的真实水平，有效性较高。

2.学习绩效影响因素及改进策略

针对学习行为方面的绩效评价结果的差异，笔者访谈了学习行为评价得分较高与得分较低的部分同学，发现学生的学习行为与学生的初始能力，如初始成绩、信息素养、性格爱好、家庭背景等密切相关。在教学试验中学习成就方面的学习绩效评价结果表明，学生的测验成绩同学生的学习行为显著相关；学生的智慧制品与学生的信息素养也有一定的关系；通过基于问题的web-CKB，可提高学生的信息素养，但对学生协作能力影响并不显著。

通过以上分析发现，学生的学习行为方面的学习绩效的影响因素有学生的初始成绩、信息素养、性格爱好等。因此针对学习行为方面的学习绩效的提升策略可以是提高学生的信息素养、培养学生的学习兴趣、增强学生的基础知识储备、引导学生的学习行为等。学生的学习成就方面的学习绩效的影响因素较多，如学生的学习行为、学生的信息素养等方面。因此针对学生的学习成就方面的学习绩效的提升策略可以是引导学生的学习行为、增强学生的信息素养、告知学生评价方式及教学目标等。

[1]蒋笃运，张豪锋，王萍等.教育信息化若干重大问题研究[M].北京市：科学出版社，2008：185.

[2][3][4]谢幼如.网络课程协作知识建构模式研究[D].西南大学，2009，（5）.

[5]刘柳.网络环境下基于问题的学习（PBL）的研究[D].广西师范大学，2006，（4）：6-10.

[6]Gerry Stahl.(2000).A Model of Collaborative Knowledge-Building.Fourth International Conference of the Learning Sciences.Mahwah,NJ:Erlbaum,70-77.

[7]谢幼如，宋乃庆，刘鸣.基于网络的协作知识建构及其共同体的分析研究[J].电化教育研究，2008，（4）：38-40.

[8]赵建华.CSCL的基础理论模型[J].电化教育研究，2005，（10）：16-17.

[9]施良方.学习论[M].北京：人民教育出版社，2001：6.

[10]张祖忻.绩效技术概论[M].上海：上海外语教育出版社，2005：2-3.

[11][12][13][14][15]张云德，田中禾.现代企业绩效管理——策略与应用[M].兰州市：兰州大学出版社，2006.

[16][22]李克东，教育技术学研究方法[M].北京：北京师范大学出版社，2003：30，108.

[17]甘永成.虚拟学习社区中的知识建构和集体智慧发展——知识管理与e-learning结合的视角[M].北京：教育科学出版社，2005：251-252.

[18]辛自强.知识建构研究：从主义到实证[M].北京：教育科学出版社，2006：251-252.

[19]辛自强.建构主义视野下的教学评估[J].教育研究，2006，（4）：58-59.

[20]钟志贤，曹东云.网络协作学习评价量规的开发[J].中国电化教育，2004，（12）：51-52.

[21]李有华.基于电子学档的发展性评价的行动研究[D].华南师范大学，2006，（6）：124-129.

A Study of Problem-based Learning Performance in Web-CKB

Shi Juan

Problem-based Collaborative Knowledge Building(CKB)in the Web-based environment is conducive to improving students’abilitiesto collaborate with each other and identify and solve problems.Thisarticle aims to analyze the evaluation methods for learning performance in Web-CKB.Adopting the research instruments of observation,interview and evaluation,the article focuses on the evaluation content,methodology and tool for Web-CKB learning performance.As indicated in the findings,in terms of content,evaluation covers learning behaviors (i.e.perception,sharing,argumentation,negotiation,creation,appraisal,and reflection)and learning achievements(i.e.test scores,artifacts,and intelligence level).Evaluation methodology ranges from test,interview,behaviorally anchored rating scale,behavior observation scale,critical incident method,and 360 degree performance appraisal.Tools used for evaluation are mainly E-rubric and E-portfolio.

Collaborative Knowledge Building;Problem-based Learning;learning performance

G434

A

1009—458x（2011）11—0017—05

*本研究受中央电教馆“十一五”全国教育技术研究重点课题（教电馆研066211334号） 《珠江三角洲地区中小学信息资源应用模式与绩效研究》的专项课题《网络环境下协作知识建构的教学设计与学习绩效研究》资助。

2011－04－15

石娟，助理工程师，在读硕士，华南理工大学教育技术中心（510640）。

责任编辑 池 塘