基于CIPP模式的远程教育微课评价指标构建

杨孟娇，林海华，高亚涛

（内蒙古广播电视大学，内蒙古 呼和浩特 010011）

引言

国务院印发的《国家教育事业发展“十三五”规划》中提出，“建设课程教学与应用服务有机结合的优质在线开放课程和资源库，鼓励教师利用信息技术提升教学水平、创新教学模式，利用翻转课堂、混合式教学等多种方式用好优质数字资源。”教育部印发的《教育信息化“十三五”规划》中提出，“发展在线教育与远程教育，推动各类优质教育资源开放共享，向全社会提供服务。”“微课”作为一种继MOOC 后又涌现出来的新颖的教学方法，是指运用信息技术按照认知规律，呈现碎片化学习内容、过程及扩展素材的结构化数字资源。

国外对微课程的研究主要集中在中小学教学、高等教育在线课程等实践应用研究。微课理念最早发端于英国的一分钟演讲和美国的60 秒课程。2006年，印度可汗学院开发了一系列涵盖不同学科、内容广泛的，每个内容时间都在10 分钟左右的教育视频。2008年大卫·彭罗斯开发了一系列“一分钟微视频”。为了更好的指导教学设计，还构建了包括“（Dick CareModel）迪克凯瑞模型”“Evaluate revise 模型”等模型。Cher Ping Lim从微课程应用使得教师从知识的传递者变成知识的促进者，学生从知识的接受者变成知识的建构者等方面，分析了微课程应用的优势。Bou⁃wmeester,Rianne A.M和Kelly,Rob.均提出了微课程有助于学生的学习。Dawn Sweet 分析了如何更好地将微课程运用于翻转课堂。

近年来，国内有大量专家学者对微课程资源建设进行研究，主要体现在三方面：一是微课程教学法。金陵［1］就微课程教学法在实践运用中的成功奥秘进行了分析，阐述了微课程教学法呈现的高质量学习成效。赵敏芳［2］阐述了微课程教学法应用于数学教学实践中所取得的良好效果。二是微课程的设计。马万智［3］在研究中职教育现状以及微课程教学重要性的基础上，对微课程教学设计的措施进行了详细探究。黄江效［4］等提出了以“问题连续体”为特征的微课程设计方法。李曙光等［5］基于国家开放大学提出的“五分钟课程建设工程”，以实例对微课程的设计进行了研究。三是微课程评价。陈浩华［6］在讲述混合式教学模式微课程的教学作用和教学现状的基础上，对混合式教学模式下微课程的评价方式进行了探讨。刘春玲［7］以某一课程为例，分析了该类微课程建设的原则，提出了构建该类微课程科学系统评价体系的关键因素。

通过查阅文献发现，国内外专家学者围绕微课程做了大量研究，主要集中在微课程的设计与应用方面，并且以中小学、普通高校为主，在远程教育方面，虽然微课程的开发、设计、应用很多，但是专门针对远程教育微课程评价更是少之甚少。而对微课程资源进行评价，是提高微课资源建设质量的重要环节。本文依据CIPP评价模式，根据现代远程教育的特点［8］，加入课程思政的要求，建立适用于远程教育的微课程评价指标体系，对微课资源建设提出相应的建议。

一 远程教育微课CIPP模型构建

（一）CIPP评价模式

CIPP 评价模式是美国教育评价家斯塔弗尔比姆倡导的课程评价模式，它的基本观点是评价最重要的目的不在证明，而在改进。CIPP评价模式以基于背景评价的活动课程开发为前提，对课程定位、目标和基础等进行诊断性评价；以基于投入评价的课程方案为保障，对课程内容、结构和资源进行可行性评价；以基于过程评价的课堂实施为核心，对课程实施中教师与学生参与的全过程进行形成性评估；以基于成果评价的效果为关键，对学生与教师的体验、收获、成果和意见反馈等进行终结性评价。

（二）CIPP评价指标体系提出

CIPP 评价模式以背景评价、投入评价、过程评价和成果评价四个方面对微课进行综合评价。其中，背景评价主要考虑教学目标的设定、远程教育学生学习需求、课程思政的要求、选题的价值和适合性等四个方面。投入评价主要考虑教学内容的选取、教学方法的选择、教学设计的合理性、微课制作的技术与艺术等四个方面。过程评价主要是基于国家开放大学学习网平台，从访问量、下载量、发帖量、学生满意率以及教师互评好评率等五个方面进行评价。最后成果评价主要从教学目标实现和教师能力提高两方面考虑。

1.背景评价

背景评价主要包含四个指标，每个指标的具体标准：“教学目标”要求微课有明确的知识、能力和“思政”教学目标，符合课程大纲要求。“学生需求”要符合远程教育学生的认知规律，能与国开学习网其他资源形成有效互补，满足学生的自主学习需求。“思政要求”要符合课程思政的要求，且政治方向正确。“选题要求”选取的知识点适合用微课的形式表达，最好针对教学中常见的、典型的、有代表性的问题，选题“小而精”，具备独立性、完整性、代表性。

2.投入评价

投入评价主要包括四个指标，每个指标的具体标准为：“教学内容”［9］要求微课内容科学合理、严谨充实、逻辑结构清楚，知识点完整，能理论联系实际，有利于引导学生自主学习。“教学方法”要求教学方法选取合理，能恰当选取并有机结合讲授、实验、解答、活动等方法。“教学设计”要求微课设计深入浅出、形象生动、精彩有趣，主线清晰、突出重点、明了易懂，注重发挥远程教育学生的主体性和自主性；视频、讲解、PPT 等合理搭配呈现。“技术和艺术”［10］要求微课视频图像清晰、稳定，风格统一、布局合理，文字简洁，图片、音乐、视频、字幕使用合理。

3.过程评价

过程评价主要包括五个指标，主要是基于国开学习网的相关数据，每个指标的具体标准：“访问量”和“下载量”是指将微课资源上传至国开学习网，查看微课的访问次数以及下载次数。“发帖数”是指学生看完微课程的提问、交流的帖子数。“学生满意率”是指学生对微课评价中“满意”占整体的比例。“教师好评率”是指请其他教师对微课进行评价，其中“好评”占整体的比例。

4.成果评价

成果评价主要包括两个指标，每个指标的具体标准：“教学目标实现”要求完成设计的教学目标、有效解决实际教学中的问题，增强学生的知识储备、提高学生的技术技能［11］；提高学生的学习积极性。“教师能力提高要求”教师教学设计、教学讲授以及应用多媒体技术、开发多媒体资源的能力得以提高。

（三）CIPP指标评价筛选

为了更好地完善CIPP评价指标体系，就指标的合理性、必要性进行咨询，请调查者考虑每一指标的必要性，给出“保留”“修改”“删除”意见及相关理由。针对得到的数据，分别从指标的适合性、离散度以及变异系数三方面进行分析，最终完成指标的筛选。分别用1、2、3 对应“删除”“修改”“保留”，进行统计。适合性是综合所有调查者的平均值；离散度用标准差评价，是对指标适合性评价的分散程度；变异系数是离散度和适合性的比值。适合性越高、离散程度越小、变异程度越低，即指标的必要度越高。具体统计结果及处理结果见表1。

表1 CIPP评价指标筛选意见统计与处理结果

表1中“，教学目标”的平均值为2.90，远大于3分量表75%等级值的2.25，及指标适合性较高，标准差和变异系数分别为0.44和0.15，均小于0.5，偏小。指标的保留意见集中度很高，所有处理结果是“保留”。其他保留指标同理分析、处理。

在一级指标“背景评价”下，部分专家认为应该添加二级指标“材料要求”，认为材料的完整、充分也体现了微课程制作的水平，对于规范教师微课制作有积极意义，因此本文添加“材料要求”这一指标，具体是指微课教学设计方案、脚本等材料齐全，且教学目标、教学内容、教学方法、教学设计等内容齐全。在一级指标“投入评价”下，对应“思政要求”，要符合课程思政的要求且政治方向正确，应该具体评价微课程中思政元素的融入情况，因此添加“思政元素”这一指标，具体是指将思政教育贯穿于整个微课教学过程，思政元素融入自然和谐，润物细无声，对远程教育学生的身体发展、人格培养起到积极的促进作用。还有部分调查者认为，“技术和艺术”应该是微课制作要求的两个方面，而且对于微课这种利用学习者的碎片化时间进行教学的微型课程，两者都很重要，不应该混为一谈，根据具体意见将“技术和艺术”拆分为“制作技术”和“艺术性”两个指标，具体来说，“制作技术”要求微课时长在5-10分钟为宜；视频图像清晰、稳定，声音清楚、有感染力，字幕使用合理，没有侵权问题。“艺术性”要求风格统一、文字简洁、布局合理、层次分明，图片、音乐、视频等素材搭配合理、有新意。在一级指标“过程评价”下，部分调查者认为学生“发帖量”不应该作为微课程这种形式的评价指标，区别于国开学习平台的其他学习资源，微课这种短而精的学习资源更应该看中学生的访问量、下载量即可，综合意见删除。最终确定的指标框架如图1所示。

图1 基于CIPP的指标框架

（四）确定指标评价标准

在确定了指标框架之后，就要确定指标的评价等级。评价等级划分为三级，分别为良好、及格、不及格，其中定性指标依据评价标准对应“符合评价标准”“基本符合评价标准”“不符合评价标准”。因为不同课程的学生人数不一样，所以访问量通过访问人数与选课学生总人数的比值进行评价，学生的访问量为70-100%、50-69%、0-49%、分别对应良好、及格、不及格；下载量同理，下载次数与选课学生总人数的比值进行评价，学生的下载量为60-100%、40-59%、0-39%、分别对应良好、及格、不及格；学生满意率和教师好评率的85-100%、60-84%、0-59%分别对应良好、及格、不及格。

表2 指标评价标准

二 指标权重确定

（一）计算指标权重

为了确定不同指标的重要性，应用层次分析法计算指标权重。邀请10 位专家对指标的相对重要度进行判断、打分，利用yaahp软件录入判断矩阵数据，进行一致性检验。在录入过程中会显示判断矩阵一致性比例，如不符合可以选择自动修正或者手动修正，选择计算结果加权算数平均作为数据集结方式，认为所有专家意见的重要性一样，即权重一样，进行群决策计算。导出计算结果，可以得到群决策层次模型权重分布图，各层级指标对决策目标的排序权重，以及每位专家各层级的判断矩阵、权重、一致性比例、λmax 等。各层级指标的权重计算结果见表3。

表3 评价指标及其权重

（二）分析指标权重

四个一级指标的相对重要性排序是：投入评价＞过程评估＞背景评价＞成果评价。投入评价的权重值最大，为0.3804。对于目标而言，“学生需求”“学生满意率”“访问量”“思政元素”“教学设计”这五个指标相对最重要，权重分别为0.0835、0.0794、0.0784、0.0737、0.0701；相对权重最低的三个指标是“材料要求”、“选题要求”、“下载量”，权重分别为0.0258、0.0314、0.0350。

图2 二级指标对目标权重

对于“背景评价”而言，最重要的指标是“学生需求”，权重为0.3303，其次是“教学目标”和“思政要求”，权重分别为0.2354、0.2079，“材料要求”相对权重最低，为0.1016。对于“投入评价”而言，“思政元素”最为重要，权重为0.1944，其次是“教学设计”“艺术性”“制作技术”“教学内容”，权重分别为0.1841、0.1738、0.1714、0.1619，相对权重最低的是“教学方法”，为0.1143。对于“过程评估”而言，“学生满意率”和“访问量”都很重要，权重分别为0.3076、0.3041，其次是“教师好评率”，权重是0.2523，相对权重最低的是“下载量”，权重为0.1359。对于“成果评价”而言，“教学目标实现”最为重要，权重为0.5325，，其次是“教师能力提升”，权重为0.4675。

三 结论与对策

1.以学生为中心，满足学习需求

在指标筛选阶段，学生需求和学生满意率的平均值高达2.95 和3.00，保留意见极高。在指标权重确定阶段，学生需求和学生满意率的重要性在所有指标中位于第一、第二。因此在远程教育微课的设计、制作、评价等资源建设过程中，一定要以学生为中心，要符合远程教育学生的认知规律，与国开学习网、终身教育网等其他现有的学习资源形成有效互补，满足学生的自主学习需求。

2.加强课程思政改革，注重思政元素融入

在指标初建阶段，考虑思政的要求，要有正确的思政方向，但是未考虑对具体实施情况的评价，在调查咨询后加入“思政元素”这一指标。课程思政作为一种综合教育理念，是以构建全员、全程、全课程育人格局的形式将各类课程与思想政治理论课同向同行，形成协同效应，把“立德树人”作为教育的根本任务。因此在微课程建设过程中，在把握正确的政治方向的前提下，确定“思政”教学目标，最重要的是要将思政教育贯穿于整个微课教学过程，注重思政元素自然和谐地融入，要润物细无声的对远程教育学生的身心发展、人格培养起到积极的促进作用。

3.全过程评价，提高微课资源建设质量

基于CIPP模式的评价，其最重要的目的不在证明，而在改进。因此，不仅要注重学生与教师的体验、收获、成果和意见反馈等结果评价，更要从背景评价、投入评价、过程评价、成果评价等四个方面着手，从微课程选题、设计、制作、应用、效果、反馈等全过程进行改进，以提高微课资源建设的质量，提高教师资源建设的能力。