在线形成性测评在远程开放教育中的应用效果评价

李水蓝，马　俊

(长沙广播电视大学，湖南长沙　410005)

在线形成性测评在远程开放教育中的应用效果评价

李水蓝，马俊

(长沙广播电视大学，湖南长沙410005)

内容摘要：远程教育的质量保证问题一直备受国内外远程教育机构的重视，国家开放大学于2005年启动注重过程评价的在线形成性测评。为描述国家开放大学在线形成性测评的现状，研究人员于2015年1月长沙电大直属教学点学员来校领取准考证之际，开展了在线形成性测评应用效果的问卷调查。调查主要包括实施效果的自我评价以及在实施过程中遇到的困难与挑战。自我评价将学习者的满意度作为衡量在线形成性测评质量的重要评价内容，并从平台设计、内容设计、教师辅导与学习条件4个维度进行实证分析。研究发现学生的整体满意度较高，优质的教师辅导服务能够更好地支持学生完成在线形成性测评，给学生带来愉快的学习体验。此外，调查发现学生完成在线形成性测评的障碍主要集中在学习时间不足、内容设计脱离成人学习实际等问题。通过研究总结了在线形成性测评的优势与不足，并提出改进意见，对开放教育形成性测评的改进具有参考价值。

关键词：在线形成性测评；形成性评价；满意度调查；开放教育

一、前言

(一)在线形成性评价

“形成性评价”的概念是美国哲学家 Scriven于1967年论及课程改革时首次提出(陈玉馄,1999)。形成性评价注重对学生的学习过程进行评价，重视学生在学习中的体验以及师生之间的交流，是科学测评学生学习效果，反馈学习信息，促进学生自主学习，提高学生综合素质和能力的重要途径。

随着计算机信息技术的迅速发展，与课程整合的不断深入，信息技术逐渐拓展至辅助评价领域，成为一种新的课堂教学评价技术。在线形成性评价是指对以网络作为学习载体的学习者的学习情况进行评价的活动或过程，这种评价是以学习者为中心来研究其学习的背景、手段、方法及取得的效果，从而寻求适合学生的学习方式或是考查学生的学习质量。在线测评系统借鉴网上考试的形式，引入了形成性测试与评价的思想，成为一种新的形成性评价工具。

(二)在线形成性评价在远程开放教育中的应用

在较长一段时间内，国家开放大学的形成性评价一直只有单一的纸质作业形式。由于其存在“作业的内容和形式死板、陈旧，评价面有限，加之操作上的不规范，致使考核的可信度极低，区分度几乎为零”(赵向华,2004)等问题。2005年春季，国家开放大学分批对不同专业的14门课程推行基于网络的课程考核改革试点工作。此后改革不断深入推进，截止2015年秋季，国家开放大学共计推出在线形成性评价课程77门，其中本科课程40门，专科课程37门。

参加国家开放大学基于网络的课程形成性考核的学生通过形成性测评系统完成考核。根据专业特点和教学目的，设计不同的课程评价方案，每项形成性考核任务均设立提交的截止日期，在截止日期前可重复提交，截止日期后学生无法提交。课程形成性考核成绩所占的比例从30%至100%不等，形成性考核任务形式多样，主要包括客观题、论述题、小组讨论、案例分析、调查报告、小论文等。学生登录平台选课后，需根据任务时间安排，单击相应课程“任务列表”进行答题。任务提交后，客观题由系统自动评分，主观题则需评阅教师评阅并给出建议。所有参与在线形成性测评的课程均需“双及格”，即形成性考核和终结性考核需同时及格，若形成性测评成绩未达60分，则不能参加终结性考试。

本研究以长沙广播电视大学在籍学员为对象，采取定量与定性相结合的方法，对在线形成性测评的应用效果进行评价，以研究在线形成性测评与学生的学之间的关系，并针对影响学员完成在线形成性考核的主要因素提出改进建议，为在线形成性测评系统的完善提供参考意见。

二、研究现状

国内不少学者对远程开放教育在线形成性评价的实施效果进行了探索。陈军等(2008) 以开放教育《宏微观经济学》课程考核的实践为例，指出有68.5%的学习者认为课程教学改革和考核方式的改革对平时的学习和知识掌握以及应用有帮助；92.4%的学习者认为对学习过程的监控、发现学习中存在的问题有作用。谢毅敏(2011)认为大多数学生对形成性考核持肯定态度，如76.9%的学生认为完成形成性考核任务对理解教材帮助很大或者有帮助，80.6%的学生认为参与国家开放大学的网上形成性考核对提高自己使用网络的技能、查找网上资源的技能很有帮助或者有帮助。

在完成在线形成性测评的困难研究方面，张建华(2007)根据网上作业退回原因的分析，发现技术水平仍然是许多教师和学生参加基于网络的形成性考核的困难和障碍之一。周霞(2010)基于此指出影响学生参与在线形成性测评的其它三种现实障碍，即个别化学习障碍、自主选课障碍和情感障碍。胡春华(2010)指出基于网络的形成性评价存在着导学功能体现不足、阶段性特征明显、考核环节设计不尽合理等问题。

由研究综述可以发现,以往研究大多停留在理论推演或者简单的案例研究上,没有提供充分的实践证据,因此关于在线形成性测评的实证研究正是需要积极探索的领域。

三、研究设计

(一)研究对象

本研究以长沙广播电视大学直属教学点在籍学员为调查对象。调查始于期末考试前受试来校领取准考证之际，由研究人员阐明意图后学生当场填写问卷。本次调查共发放问卷300份，回收问卷296份，回收率为98.67%；有效问卷290份，有效率为96.67%。有效被试中，男生107名，女生 183 名，男女生所占比例分别为36.8%和63.2%。

(二)问卷设计

根据文献调查并结合研究主题与目的，研究者初步归纳形成了一个由自我评价及存在的困难组成的问卷初稿。问卷重点围绕学员的自我评价设计，鉴于预测时，学习者提出其在表达对问题的态度和看法时，并不能清楚地描述每一个项目符合程度对应的李克特五级量表的具体等级，为此，问卷调整为三点量表，选项分别为满意、一般、不满意，分值依次为3、2、1。

问卷客观题用于研究学习者对在线形成性评价的满意度，主观题用于调查学习者遇到的障碍和困难。客观题包括4个维度17道题。其中1—4题为个人信息，包括性别、年龄、专业及参考科目数等信息，5—8题为平台设计，9—11为内容设计，12—15为教师辅导，16—17为学习条件。问卷信度的Alpha值为0.788。

(三)数据分析

问卷数据采用SPSS17.0进行分析。通过统计问卷各维度的均值、标准差分析学习者对在线形成性测评的满意度，并对学习者的个人特征与满意度进行差异性检查，以判断学习者个人特征是否对满意度产生影响。主观题调查结果进行人工统计，并采用Excel进行分析。

四、研究结果

(一)学生满意度调查

1.学生对在线形成性测评的总体满意度。学生对开放教育在线形成性测评的总体满意度均值为2.53(见表1)，且标准差较低，说明学生对在线形成性评价的整体满意度较高，各个方面的满意度趋于一致。

表1　学生对网络形考满意度均值

在上述四个维度，有一项满意度均值超过整体均值(M=2.53)，为教师辅导；三项低于整体均值(M=2.53)，分别为内容设计、平台设计、学习资源与学习条件(见表2)。教师辅导的满意度最高(M=2.66)，说明完成在线形成性测评的过程中，教师的支持服务比较到位，学生认可度较高。其次满意度较高的是学习资源与条件(M=2.42)，对在线形成性评价满意度最低的是内容设计(M=2.23)，这表明设计者亟需根据开放教育的特点改进形考内容设计。

表2　学习者对在线形成性考核各维度的满意度

2.不同性别学生满意度差异。学习者对在线形成性测评满意度的所有维度中，女生的满意度高于男生(见表3)。不同性别的学员在各个维度的满意度趋于一致(见图1)。

表3　不同性别学生对在线形成性测评的满意度

图1　不同性别学生对在线形成性测评的满意度

为了分析性别对满意度是否有显著影响，进行独立样本T检验。检验结果显示，学生在4个维度中双侧检验sig值均大于0.05，即学生性别对平台设计、内容设计、学习条件及辅导教师助学各维度均不存在显著性别差异(见表4)。

表4　性别对学生满意度影响差异性检验

表5　不同年龄段学习者满意度

3.不同年龄段学生的满意度差异。问卷调查者中20岁以下27名，20—35岁207名，35—45岁53名，45岁以上3名，本研究对不同年龄段学习者对国家开放大学在线形成性测评的满意度的差异性进行了探讨(见表5)。数据显示，不同年龄段的学习者在各个维度上的满意度不一致，但趋势趋于一致。如在内容设计方面，各年龄段学习者满意度差异不大。在平台设计、教师辅导、学习条件方面，四个年龄段对教师辅导的满意度较高，对平台设计的满意度较低。在上述三个方面，45岁以上学习者的满意度均高于其它年龄段的学习者。这说明学生个体的学习经验不同，满意度也不同。

为了探讨不同年龄段学习者的满意度是否有显著差异，本研究采用Kruskal Wallis 检验(见表6)。可以看出，每个维度中的sig.值均大于0.05，说明年龄段对学生满意度无显著影响。

表6　不同年龄段学习者满意度差异性检验

4.不同专业学生满意度差异。本次调查问卷共涉及到18个专业的学生，分别比较不同专业学生的满意度(见表7)。可以看出,不同专业学员的满意度不同。其中，工程造价、会计学、行政管理、药品经营与管理专业的满意度居前，各维度满意度均高于平均值；土木工程、建筑施工与管理、法学三个专业的满意度较低，各维度满意度均低于平均值。一村一大学员有三个维度的满意度低于“一般”(均值为2)，分别为平台设计(均值为1.08)、内容设计(均值为1.78)与学习条件(均值为1.33)。反映出该专业学员除教师辅导(均值为2.7)外，对在线形成测评的其他设计认可度均不高，存在悲观情绪。

表7　不同专业学习者满意度差异

计算机信息管理建筑施工与管理金融人力资源社会工作市场营销土木工程行政管理学前教育药品经营与管理药学一村一大其他均值2.422.332.832.33标准差0.5770.2870.764均值2.252.172.632.25标准差0.3540.2360.5300.354均值2.452.332.552.40标准差0.5700.2360.5420.652均值2.72.002.72.30标准差0.3260.4080.3260.447均值2.192.422.502.69标准差0.5630.2360.5350.372均值2.831.8892.672.83标准差0.1440.3850.2890.289均值2.172.222.252.00标准差0.1440.5090.661均值2.452.232.672.46标准差0.4740.3360.4030.533均值2.172.392.332.33标准差0.5630.2510.4650.408均值2.752.332.942.50标准差0.50.125均值2.412.392.702.41标准差0.390.3890.3320.302均值1.081.682.751.33标准差0.1440.1920.4330.289均值2.331.962.482.28标准差0.4060.4530.4250.520a32558331066411330

注： 问卷调查表中“其他”类有30位学员未填写就读专业等个人信息。

表8　不同科目数学生满意度差异

5.不同科目数学生满意度差异。本研究比较了已参与在线形成性测评不同科目数的学生满意度(见表8)。可以看出，不同科目数学生的满意度不一样。在平台设计与教师辅导方面，随着参与在线形成性测评课程数的增加，学生的满意度降低。这可能是由于在线形成性测评课程越多，入口越多，考核形式更复杂多样，辅导教师工作压力越大。在内容设计与学习条件方面，3—5门课程参与数的学习者满意度最低，随后随着参与在线形成性测评课程数的增加，学生的满意度上升。这说明当网络形成性考核门数超过5门，学习者对在线形成性评价比较适应，对形考内容的设计更为接受并能较快地查找到相关资源有准备地完成形考任务。

(二)影响学生完成在线形成性评价存在的主要因素

对学员完成在线形成性测评存在的障碍进行调查发现：学习时间相对不足，工学矛盾突出，很难有时间完成的学习者最多，达164人，占学生总人数的比例为56.55%；形考任务多，截止时间不一致，容易忘记,占54.83%；作业难度较大，偏离学习基础，占29.66%；受计算机技术水平及上网条件的限制，占28.97%；缺少学习资源，课程助学功能不强，占27.59%；师生交互不及时，缺乏协作交流，占21.38% (见表9)。

五、结论与建议

(一)结论

1.学习者对在线形成性测评的满意度较高。由表2可看出，学习者在各个维度上的满意度的均值均高于2.1，说明学习者对在线形成性测评的使用比较满意。满意度最高的是教师辅导，即在完成网络形考作业的过程中，获得教师事前、事中、事后及时到位的支持服务。在线形成性考核相较于传统的纸质作业，在平台设计和教师支持服务方面有很大不同。开放教育传统的作业练习册，班主任老师期初发放，期末收齐交予授课教师进行评阅，学习者与教师之间缺乏互动、交流，不能充分激发学生的积极性与主动性。良好的学习行为的产生需要更注重及时反馈的学习平台，在线形成性测评则为学习者提供了这样的环境。网络技术环境下，教师可通过在线评阅及成绩查询及时掌握学员的学习状态、学习中遇到的困难，并促进学员之间的对话、问题解决和信息共享。

2.学习者相对对内容设计满意度较低。本研究针对学生对内容设计满意度调查，相对而言，学生对内容设计的满意度较低(M=2.23)。由表3、表5、表7可看出，不同性别不同年龄不同专业不同考核课程的学习者满意度均不高，说明学生不认可在线形成性测评系统考核内容的设计与其自身的学习基础、学习能力、学习需求相匹配。如一村一大学员在内容设计的满意度仅为1.78，低于“一般”(均值为2)。因此，未来在线形成性测评系统在后续使用中，如何根据开放教育各专业学员生源特点、学习基础、知识背景设计突出成人学习的实践性特点的考核内容，是应予优先考虑的问题。

3.学习者的性别和年龄对满意度的影响不显著。从不同性别学习者的满意度可看出，对在线形成性测评的满意度，女生均高于男生。但男性与女性在四个维度的满意度差异不明显。在年龄差异上，相对来说，年龄较大者对平台设计、教师辅导及学习条件的满意度强于年龄较轻者，但在统计中表现不明显，主要原因可能是本次调查样本中，以青年学习者居多，他们具有较娴熟的技术操作能力。

4.学习时间不足是学生完成在线形成性测评的主要障碍。开放教育的学习者大多是在职的成人学习者，工作、生活忙碌，因而“工学矛盾”“生学矛盾”突出。如表9所示，被试中有164人提到“工学矛盾突出，很难有时间完成”，占学生总人数的一半以上。这就需要设计者在平台设计上多下功夫，为学生打破空间、时间的限制进行学习提供方便，保障学员随时随地可进行有效学习；同时促进学员知识和技能的发展，提高实践能力，缓解工学矛盾。

(二)建议

在线形成性测评强调以学生的学为中心的设计理念，强化学生的主体地位。本研究针对系统存在的缺陷提出如下改进意见：

1.统一各课程各次作业形考完成时间，在任务截止前一星期由系统自动发送短信进行友情提醒。

2.完善网络形考平台的硬件设施，以保障网络链接速度、页面登录的流畅性等。

3.增加平台的舒适度和亲切感，注重人性化因素，简化操作流程，开设自由讨论区，增加互动功能，实现生生、师生互动。

4. 丰富网络课程资源，尤其是与考核成绩直接相关的重点内容以及扩充知识面的补充材料，充分发挥资源的导学与助学作用。

参考文献：

[1]陈玉锟.教育评价学[M].北京:人民教育出版社,1999:139—140.

[2]赵向华.对电大形成性考核基本问题的再认识[J].广东广播电视大学学报,2004,(4): 15—18.

[3]陈军，张光灿.网络化形成性考核评价浅探——以开放教育《宏微观经济学》课程考核的实践为例[J].远程教育杂志，2008，(2):58—60.

[4]谢毅敏.学生需求视角下的网络形成性考核平台优化设计[J].中国远程教育，2011，(12):68—70.

[5]张建华，蒋国珍.基于网络的形成性考核的有效性和时效性分析[J].开放教育研究，2007，(2):105—108.

[6]周霞.基于网络的形成性考核障碍与对策[J].天津电大学报，2010，(6):17—18.

[7]胡春华.基于网络形成性考核改革初探[J].辽宁广播电视大学学报，2010，(3):15—17.

Evaluation of the Application Effect of Online Formative Assessment in Distance Open Education

LI Shui—lan， MA Jun

Abstract:The quality assurance of distance education has been highly valued by the distance education institutions at home and abroad. In this context, the National Open University has started the online formative assessment since 2005. In order to describe the status quo of the online formative assessment, researchers carried out questionnaire survey on the application effect of online formative evaluation in January 2015 when the students of Changsha radio and TV University directly under the teaching point went to the school to receive the admission ticket. The investigation mainly included the self—evaluation ofthe implementation effect and the difficulties and challenges encountered in the implementation process. Self—evaluation will be taken as a measure of the degree of satisfaction of the online formative assessment from four dimensions including the platform design, content design, teaching and learning conditions. The study found that overall satisfaction of students was high, the superior counseling services support students to complete the online formative assessment and give students a pleasant learning experience. In addition, the survey found that the barriers to complete the online formative assessment mainly focused on the lack of study time, content design from the practical adult learning.

Key words:online formative assessment; formative assessment; satisfaction survey; open education

收稿日期：2016—02—20

基金项目：湖南广播电视大学2014年度校级课题“远程开放教育基于网络的形成性考核研究——以长沙电大为例”(XDK2014—C—32)。

作者简介：李水蓝(1981—)，女，长沙广播电视大学讲师，硕士；

中图分类号：G728

文献标识码：A

文章编号：1009—5152(2016)02—0001—06

马俊(1971—),女，长沙广播电视大学副教授。