基于CIPP的大学外语翻转课堂课程评价体系构建研究

尹 玮

(中国海洋大学 外国语学院，山东 青岛 266100)

一、大学外语翻转课堂课程评价体系构建的背景、特点与意义

(一)大学外语翻转课堂课程评价体系研究背景和研究综述

作为公共基础课程，大学外语课程在高校的课程体系和人才培养过程中起到重要作用，与课程相关的研究和探索也从未停止过。最近十年的教学改革中，国内外在课程教学领域最主要的改革范式主要采用以翻转课堂为代表的混合式教学。这些研究主要围绕翻转课堂的实施流程和任务特点两方面展开。翻转课堂实施流程研究的内容主要包括大学英语学生因素分析、[1][2][3]开发大学英语教学资源、[4][5]设计大学英语教学流程、[6][7]学习过程研究。[8][9][10]翻转课堂任务特点方面的研究主要包括自主学习、[11]交互式学习、[12]个性化学习和现代信息技术在翻转课堂中的运用等。[13][14]作为课程和教学研究的重要环节，课程评价是推动课程范式形成和教学质量提高的催化剂。教育评价之父泰勒曾经说过，评价过程是一种测量课程和教学方案在多大程度上达到了教育目标的过程。[15]但在已有成果中，针对翻转课堂的课程评价研究所占的比例却很小，显然已成为影响大学外语课程改革效果的亟待解决的问题。

国内对翻转课堂的有效性、教学质量和教学效果的研究发轫于2015年，如喻湘波等人引入过程性评价转变体系，来完善翻转课堂教学评价。[16]屠丽华从课前材料组织、课堂教学活动评价、课下学习支持环境建设，及教学成绩考核四维度提出评价指标体系，[17]刘艳等对大学英语翻转课堂教学模式的有效性的研究，[18][19][20][21][22][23][24]李馨、蒋立兵、贾丽丽等对翻转课堂的教学质量评价体系进行研究。[25][26][27]上述研究重点关注翻转课堂教学模式的影响效果，缺乏对于教学过程的动态系统关注。张怡、乔维德将AHP模糊矩阵模型导入翻转课堂综合评价系统设计，[28][29]侯建军、陈海涛将CIPP评价模式用于翻转课堂教学评价中，[30][31]开始逐步关注对于翻转课堂教学过程的综合评价。但是针对大学英语课程，当前对翻转课堂教学质量评价标准和指标体系关注度相对较低，[32][33]因此成为本文研究重点所在。

(二)大学英语翻转课堂类课程的特点

1、时间上的“翻转”

翻转课堂对传统教学模式中的时间顺序进行了“反转”，即课前，学生对教师提供的视频和相关材料进行自学；课堂时间则用来解决问题，深化概念，参与合作性学习，以实现时间这一最宝贵的学习资源的最大化。Jonathan Bergmann & Aaron Sams在教学中发现，“翻转的”课堂可以让教师有更多的时间进行个性化的教学，可以建立更广泛、更紧密的师生关系，可以促进更强烈、更持久的学习动机。[34]翻转后的课堂时间用于问题答疑、小组协作探究及个性化辅导等学习活动，大幅度增强了师生之间、同学之间及时有效的辅导与交流。[35]翻转教学解决了教学时间不经济等集体学习导致的问题，使每位学生都得到了个性化的教育，在真正意义上实现了“因材施教”。[36]

2、空间上的“翻转”

Bishop & Verleger将翻转课堂定义为课上交互式小组学习活动和课下基于计算机的个性化教学相结合的一种教学技巧[37]。信息技术在“翻转前”和“翻转后”的学习空间里都起到了重要作用，使教室和课堂不仅是一个物理空间的延展(比如家或图书馆)，技术的参与可以使“课堂”成为“虚拟空间”，实现了课堂的“无处不在”。

3、课堂教学高质量的互动

Marcey & Brint认为翻转课堂模式与传统教学模式的另一不同在于知识传递通过信息技术实现，知识内化通过师生互动完成。[38]在翻转课堂中，知识的输入由信息技术辅助学习者课外自主完成，而课堂则用来专注于人与人的输出型交互活动。[39]翻转课堂通过对课前的自学完成事实性知识和概念性知识的记忆和初步理解，并以特定的输出任务为目标，在课堂中进行互动，实现高质量的输出，这个过程被称为“有质量的互动”。[40]

4、教学“认知”目标的“翻转”

传统的课堂将知识传递作为主要教学目标，将知识内化留到课下；而翻转课堂是把知识传递放到课前，课堂的教学目标是促进知识内化，翻转后则继续深化学习内容。从教学的“认知”目标来说，课堂教学的起点和终点都发生了重大变化。

5、师生角色的“翻转”

Baker曾明确提出，翻转课堂让教师“成为身边的指导”替代以前“讲台上的圣人”。[41]周平认为在现代教育技术的辅助下，知识传递已经变得越来越容易，教师在课堂上的角色完全可以从主讲者变成辅导者，侧重指导学生的互助学习和自主学习，促进学生对课堂教学内容的吸收内化。[42]

综合翻转课堂与传统课堂基本特征的对比(见表1)，我们可以得出如下结论：翻转课堂是一种全新的教学方式，它将知识传递与知识内化的时间和空间顺序进行了颠倒，将“教”与“学”的地位进行了翻转，伴随而来的是教育理念、教学内容、教学方式、教学手段和教学评价的全方位变革。[43]

表1 传统课堂和翻转课堂基本特征对比表[44]

(三)大学外语翻转课堂课程评价体系的构建意义

综上，根据翻转课堂类课程的特点，传统课程的评价方式已经远远不能满足目前对大学外语翻转课堂课程的评价要求。基于目前已有的研究，针对采用课堂教学模式的课程评估是动态的多渠道、多途径、多方位的综合评价，是通过多维度评价指标设定对课前，课中和课后进行的形成性和诊断性评估。大学外语翻转课堂课程评价体系的构建对以翻转课堂为代表的混合式课程改革具有重要的推动作用。大学英语翻转课堂课程，迫切需要借助评价模型，从翻转课堂教和学的每一个阶段和步骤对课程进行整体评价，从而推动课程改革的进一步深化和推广。现有研究表明，CIPP评价模式因其对课堂教学过程和教学质量的综合、全面、客观评价已逐步成为当前针对课堂课程评价的主流模式。鉴于此，我们将基于CIPP课堂课程评价模式对大学英语翻转课堂教学进行有效评估，尝试构建多维度评价范式。

二、CIPP课程评价模式与翻转课堂课程评价

(一)CIPP课程评价模式简述

CIPP模式是1966年美国学者Stufflebeam在俄亥俄州立大学教育评价中心经数年研究提出的一种改进绩效问责取向的评价模式。这一模式是在当时美国教育改革运动中，批判泰勒目标评价模式的基础上形成的。Stufflebem把评价过程分成四个组成部分：即背景评价(Context Evaluation)，输入评价(Input Evaluation)，过程评价(Process Evaluation)和结果评价(Product Evaluation)，[45]如图1所示。

图1 CIPP模式评价图

1、CIPP评价模式的基本观点

CIPP评价模式也称决策导向或改良导向评价模式，其基本观点是：评价最重要的目的不在于证明，而在于改进；评价是为评价者提供有用信息，使得方案更具成效。该模式评价目标如下：[46]

图2 CIPP模式评价目标图

具体而言，背景评价就是在特定的环境下评定其需要、问题、资源和机会。“需要”主要包括那些为实现目的所必须的、有用的事物；“问题”是指在满足需要时必须克服的障碍；“资源”是指在本地可以得到的专家和提供的服务；“机会”主要指满足需要和解决相关问题的时机。输入评价是在背景评价的基础上，对达到目标所需的条件、资源以及各被选方案的相对优点所做的评价，其实质是对方案的可行性和效用性进行判断。过程评价是对方案实施过程中作连续不断地监督、检查和反馈。结果评价是对目标达到程度所做的评价，包括：测量、判断、解释方案的成就，确证人们的需要满足的程度等。[47]

2、CIPP评价模式的核心思想

CIPP评价模式与课程决策紧密相关，主要针对教育的过程开展全面的评价。其核心思想为：评价为决策服务。在教育过程中，可以比较及时准确地反馈课程在哪些方面做得较好，在哪些地方还有欠缺，能够较好地纠正课程决策中的失误与偏差，保证课程能够更好地开展和实施。CIPP评价模式的优势在于对泰勒评价模式中的一些疑难问题给予了回答，同时将诊断性评价、形成性评价和终结性评价进行了整合，凸显了评价的发展性功能。[48]

(二)CIPP评价模式与翻转课堂课程评价的适切性

如前所述，翻转课堂教学旨在实现“课堂时间利用率最大化”和“个性化教学”，是“课前”、“课中”“课后”、“课内”和“课外”、“师生”和“生生”交互影响、多维发展的一个动态整体。而这一教学理念恰恰与CIPP评价模式的核心思想不谋而合。通过CIPP评价模型能够实现多个评价主体参与、多种评价方式整合、多项评价过程统一，为客观衡量和科学审视翻转课堂课程质量、优化翻转课堂教学资源设计与配置、改进翻转课堂教学策略提供参考;不仅如此，CIPP评价模型可以提供整体、全面的信息，以帮助确定目标、修订计划、实施方案以及考核结果，[49][50]与翻转课堂注重教学过程与结果并举的特点相一致；同时，该评价体系评价模型注重目标设置、过程评价与教学反馈，适用于对教学活动多维度、全程式评估，可与翻转课堂课前、课中、课后三阶段对应如下图：[51]

图3 基于CIPP翻转课堂模式结构图

三、基于CIPP的大学外语翻转课堂课程评价指标体系构建

基于CIPP课程评价标准，我们对相关专家、教师和学生进行问卷调查，尝试构建大学英语翻转课堂课程评价体系，以期对大学英语课堂教学要素进行优化组合，有效提高教学效用。

(一)研究设计和数据分析

1、指标初筛

本研究查阅相关文献，按照《国家精品课程评价指标体系》《普通高等学校本科教学工作水平评估指标体系》《国家中长期教育改革和发展规划纲要(2010-2020)》及教育部《大学英语教学指南(2017版)》等相关评估指导文件对大学外语课程的基本要求，结合CIPP相关评价指标体系、翻转课堂相关理论和中国海洋大学本科非英语专业教学的实际情况以及大学外语教师的课堂实践，初步构建了大学外语翻转课堂课程评价指标体系，其中包括一级指标4个，二级指标13个和三级指标44个，其中CIPP评价模型与翻转课堂课程评价指标体系对应关系如下：

表2CIPP评价模型与翻转课堂课程评价指标体系对应关系

2、专家咨询

为了使构建的指标更科学合理，本研究采用德尔菲法(Delphi)设计了专家咨询问卷，通过对收集到的数据进行分析，结合专家意见，进一步修改完善评价体系。其中，专家咨询问卷采用李克特五级量表对每一级每一个指标进行程度区分，同时在每一个评价指标后面设立了“指标增删或修改建议”一栏，供专家提供修改意见。本研究的对象为采用翻转课堂教学模式的大学外语课程，研究对象的性质和特征决定了所选取的专家一定要具有代表性和权威性。因此，本研究共邀请了了8位从事大学外语教学的专家，其中包括1位教授，4位副教授和3位讲师。

(二)数据分析及结果讨论

1、统计分析

本研究运用SPSS25.0软件建立数据库，将回收的指标筛选专家咨询问卷录入数据库，进行统计分析。分析指标包括专家积极系数、权威系数和意见协调程度，其中积极系数用问卷有效回收率表示；权威系数用专家本身的学术造诣、专家对指标判断依据权值及对所调查问题熟悉程度权值的算术平均数表示；意见协调程度采用肯德尔和谐系数表示。此外，二级与三级指标的认可度基于其各自筛选界值进行了判断。

2、数据结果及讨论

(1)专家积极系数、权威系数和意见协调程度

本研究的指标筛选专家咨询问卷共发放8份，回收8份，回收率为100%，8份专家咨询问卷全部有效，有效率为100%。因此可以认为，本研究中的专家积极性很高；专家的权威程度(Cr)一般由两个因素决定：一个是专家对方案做出判断的依据(Ca)；一个是专家对问题的熟悉程度(Cs)。[52]专家权威程度为判断系数与熟悉程度系数的算术平均值，咨询专家对指标体系的综合熟悉程度系数等于各一级指标熟悉程度系数的算数平均值。其计算公式为：Cr=(Ca+Cs)/2。将以上判断系数与熟悉程度系数代入公式，Ca=(1*4+0.9*3+0.8*1)/8=0.938，Cs=(0.7+0.75+0.85+0.83)/4=0.78，计算得出专家权威程度的系数为：Cr=(0.938+0.78)/2=0.86。一般认为，Cr>0.7可接受程度比较高，Cr值越大，说明专家的权威程度越高，专家意见的价值越大，咨询的结果也越可靠。本研究的专家权威程度系数为0.86，说明此次专家咨询的权威性很高，咨询结果可信度较高。

(2)二级和三级指标认可度

数据显示，13项二级指标的适用度均值最小为3.75，最大为4.50，标准差所在范围为0.35-1.06，而变异系数在0.09-0.24之间，变异系数的波动幅度较小，说明专家的协调程度较好，对于二级指标的认可程度较为集中。根据二级指标的筛选界值可得，二级指标筛选的标准均值>3.72，且变异系数<0.61。据统计结果中二级指标的均值及变异系数可得，13项二级指标值均大于3.72，变异系数均小于0.61。由此可知，13项二级指标均符合筛选条件，因此予以保留。

此外，根据三级指标的筛选界值可得，其标准为均值>3.36，且变异系数<0.74。由SPSS的数据统计结果可知，44项三级指标的适用度均值在3.75-4.50之间，满足均值的筛选标准；标准差的最小值为0.46，最大值为1.28；其变异系数在0.12-0.34之间，数据说明专家对于三级指标的整体认可度较好，满足变异系数的筛选标准，因此全部予以保留。

四、大学外语翻转课堂课程评价指标体系的确立和解析

(一)大学外语翻转课堂课程评价指标体系的确立

通过指标初筛和德尔菲专家咨询法，初步确立了基于CIPP的大学外语翻转课堂课程评价指标体系如下：

1、“背景评价”指标及解释

一级指标二级指标三级指标指标解释背景评价(课程背景)课前课程目标适切性课程目标是否符合《国家中长期教育改革和发展规划纲要(2010-2010)》及教育部《大学英语教学指南(2017版)》要求;教学目标是否适合翻转课堂的教学方式明确性课程目标是否明确提出了预期教学效果和教学要求普适性课程目标是否适合大学英语教学目标人群的基本语言水平和认知水平;课程目标是否符合目标人群的学习需求课程作用课程定位课程在人才培养和课程设置中定位是否清晰课程影响课程在人才培养和课程设置中是否具有影响力课程理念理论框架课程理念是否具有教育学和语言学的理论支持指导作用课程理念是否对课程具有明确的指导意义创新性课程理念是否具有创新意义和前瞻性

2、“输入评价”指标及解释

一级指标二级指标三级指标指标解释输入评价(课程设置)课前课程师资师资水平课程任课教师资质和教学水平与课程要求是否相符合师资规模课程师资队伍的规模是否能够满足授课需求,班级规模和师生比例是否能满足授课要求师资结构师资队伍学历、职称与年龄结构是否合理,分工是否明确,是否协作良好师资培训是否对任课教师有完善的针对性的培训课程资源教学设施课程教学软硬件设施是否完善,是否能满足翻转课堂授课和互动需求课程教材课程教材是否适合教学目标和教学要求,是否适合翻转课堂的教学方式网络资源课程网络教学资源是否充足,能否很好地辅助线上和线下教学课程管理课程安排课程开课数量、授课安排是否合理教学计划管理是否制定了科学的教学计划、形成了规范的课程教学管理制度选课管理课程选课系统是否完善,能否满足绝大多数学生的选课需求课程质量监控学校对课程有完善的监督质量体系,能够根据专家反馈意见做出适当的改进

3、“过程评价”指标及解释

一级指标二级指标三级指标指标解释过程评价(课程实施)课中课程内容适用性课程内容是否符合教学目标和教学要求难易度课程内容是否难易适中,符合学生的实际英语水平和认知水平国际性课程内容是否与时俱进,具有国际视野和跨文化特征特色性课程内容是否依托学校优势学科,彰显本校课程特色完成度课程内容是否按照教学计划按时完成课程反馈对课程自学内容学习的反馈是否通过翻转前后得以实现课程教学教学态度任课教师是否重视课程和翻转课堂的教学模式,是否愿意积极参与翻转课堂的教学改革教学参与度任课教师对翻转课堂的教学模式是否了解,是否能够采取翻转课堂的教学模式进行教学和互动教学内容教学内容是否紧扣课程目标,并具有相应的广度与深度教学方法与手段任课教师是否采用翻转课堂的教学模式和灵活多样的教学方法以及其他有效的教学辅助手段教学组织形式教学组织形式是否合理,师生互动是否充分有效学习参与度学生是否积极参与课程线上和线下的学习课程评价课程考核方式课程是否采用形成性评价方式,考核方法是否多样且科学合理课程评教方式课程是否具有针对性的授课评教系统

4、“结果评价”指标及解释

一级指标二级指标三级指标指标解释结果评价(课程效果)课后学习效果知识目标通过课程学习,学生是否掌握了本门课程的核心知识,达到了预期教学效果语言目标通过课程学习,学生是否提高了英语水平,达到了预期教学效果文化目标通过课程学习,学生是否能够提高对多元文化的理解和认同,达到了预期教学效果能力目标通过课程学习,学生是否提高了自主学习、合作学习、跨文化交际和批判性思维能力和元认知水平,达到了预期教学效果情感目标通过课程学习,学生是否增加对大学外语课程的理解、兴趣和热爱课程满意度(学生)课程设置满意度对课程的设置是否满意课程实施满意度对课程的实施是否满意课程效果满意度对课程的效果是否满意教学效果教师教学效果是否与教学目标相符教师发展和成长教学学术教师的教学是否有助于学术水平的提高教学反思教师是否通过教学反思得到成长

(二)大学外语翻转课堂课程评价指标体系的补充说明

1、一级指标背景评价，主要采取专家评价、教师自评和学生自评的方式，在开课前进行一次，其中课程目标明确性中的预期教学效果和教学要求应该在课前告知所有选课学生；课程目标的普适性应体现在通过问卷和前测的方式了解目标学生群体的学习需求、语言水平和认知水平。

2、一级指标输入评价中，主要采取专家评价和教师自评的方式，在开课前进行一次。

3、一级指标过程评价中，主要采取专家评价、教师自评、同行评价和学生自评的方式，在教学过程不同阶段中至少进行三次。其中对课程内容中反馈部分和评估机制和课程考核方式的评价，需要在课前、课中和课下三个阶段分别进行评价和测量，对课程教学的评价需要结合课堂观察和课后访谈共同进行评价。

4、一级指标结果评价中，主要采取专家评价、教师自评、同行评价、学生自评和学生互评，在结课时通过问卷和后测的方式进行。其中对学习效果部分的评价可以结合学生平日表现、课堂观察和访谈的形式共同完成评价。

5、四个一级指标之间密切关联，如课程目标中的预期学习效果与课程内容反馈和学习效果评价之间存在的高度一致性，课程教学与评估机制的高度嵌入，教师发展和成长中的反思对课程内容和课程教学的反哺。

6、专家评估与同行评估，尤其是结合课堂观察进行评估时，需要提前和参与评估的教师进行沟通，充分了解课堂观察内容、课程目标和预期教学效果后再进行评估。

7、鉴于大学外语课程类型的多样化，不同类型和教学目的的课程评价标准会有不同。如语言技能类和语言文化类课程在课程目标、课程内容上会有很大差别；学术型拓展课程和语言基础课程的课程评价也应区别对待。

8、在专家咨询和访谈过程中，部分专家提到，翻转课堂的背景评价中要充分尊重学生和教师参与翻转课堂教学模式的意愿，合理控制翻转课堂课前和课后学生的作业量和认知负荷，重视学生元认知能力的培养和情感目标的达成，激发对大学英语课程的兴趣和热爱；在教师和发展和成长方面，首先将教师看做“经济人”，鼓励和支持他们将翻转课堂的教学实践与教学学术紧密联结，通过教学活动收集相关教学研究数据，发表相关学术论文，通过对翻转课堂教学模式的应用提高业务水平和课堂效率，通过教学反思使教师发展规划更为清晰，实现真正意义的“教学相长”。

五、结论

(一)研究总结

翻转课堂教学模式对高等教育改革带来深刻影响，在大学英语改革实践中已经进入内涵式发展阶段，对其教学全过程进行综合评价，并建立科学合理的教学评价体系，是推进翻转课堂深入发展的重要命题。CIPP评价模型注重过程改进和过程评价，强调教学的反馈作用，兼顾计划、组织、实施和再循环的决策类型，因而特别适用于教育改革活动对教育评价的需要，也契合于翻转课堂教学目标的多样性和教学过程的进阶性等特点。[53]本研究采用CIPP评价模型与翻转课堂课程评价指标体系进行对应，初步构建了大学外语翻转课堂课程评价指标体系，通过德尔菲专家咨询法和统计分析，对指标进行了筛选和确认，最终保留了13个二级指标44个和三级指标。基于CIPP的大学外语翻转课堂课程评价指标体系的初步确立可以为后续研究奠定基础。这一指标体系的建立可以为翻转课堂教学模式的课程提供评价范式，从而丰富翻转课堂研究的维度，提高翻转类课程的教学质量。

(二)研究不足和研究展望

本研究仍然存在着很多不足，比如专家样本数和多元化的欠缺。后续研究应该邀请更多高等教育学和其他专业领域参与翻转课堂教学的专家参与；同时对课程目标、课程内容、课程教学、评估机制、学习效果等二级指标应该继续设计细化评价子量表进行进一步测量评价，尤其是凸显对课前、课中和课后的评价内容。

后续研究可以在评价指标体系的权重，二级指标的细化评价量表等方面继续完善课程评价指标体系，并通过学生和教师的问卷调查，完成对翻转课堂课程评价的实证研究。

课程改革的最终落脚点是教师教学和学生学习的双重改变，优质的教学，就是促使绝大多数的学生都能采用那些优秀学生自觉使用的认知水平，以达到预期的学习成效。[54]而以“学生为中心”的评价体系中，评价必须向学生发出正确的信号，告诉学生应该学什么，怎么学。大学外语翻转课堂课程评价指标体系的构建，正是尊重和体现这种改变的应然之举。