美国OLC网课教学质量评价指标体系研究

韩烨丹，蒋家琼

新冠肺炎疫情之下，我国在线课程平台在2020年第一季度，上线慕课新增了5000 门。通过这次大规模在线教学的实践，我国实现了高等学校教、学、管的革命性变化，同时推动了高教司开启新教学质量标准的探索。正如钟锦文教授所言：“建立科学合理的课程教学质量评价体系是提高课程教学质量的长效机制。”［1］

早在2012年大规模开展网络教学的美国，于2016年制定出一套各州通用的网课教学质量标准已投入使用，并且已得到了贝克学院、中田纳西州立大学、阿拉巴马大学伯明翰分校等多所美国高校的认可。该标准全称为网络精品课程教学和教学实践评价指标体系（the Quality Course Teach⁃ing and Instructional Practice scorecards，简称QC⁃TIP），是由全球领先的在线学习和教学的专业组织——在线学习联盟（Online Learning Consor⁃tium，简称OLC）设计出品，可以评估审查大规模在线课程设计、可访问性、内容、参与度和学习成果，验证教学实践与OLC 专家小组质量标准的匹配情况［2］。而我国目前只有35.5%高校制定了在线开放课程教学质量认定标准，此标准在全国范围内缺失情况严重［3］。因此本文以QCTIP 这套指标体系为研究对象，探究其构成和特征，以期可以对我国的网络课程教学提出可行性的建议。

一、OLC 网络课程教学质量评价指标体系的基本框架

美国QCTIP 评价指标体系由课程基础计分卡、学习基础计分卡、教师参与计分卡和学生参与计分卡这4 个小计分卡构成，每个小计分卡涵盖不同的指标（见图1），其适用的教学环节也有所不同。

图1 美国OLC 精品课程教学和教学实践计分卡构成

课程基础计分卡主要在开课前和开课后使用，用于评估课程设计的质量，进而确保有效的课堂体验。该计分卡从三个维度评估教学准备的过程，课程设计环节是决定整个教学开端质量的关键，所占比重最大，下设二级指标最多13 个。遵从美国残疾人法案（The Americans with Disabilities Act，简称ADA）与通用设计维度，虽只设置了两个二级指标，却将其单列成一个维度，奠定了整个评价指标体系多元化与包容性的基调。持续的课程改进维度既是一个教学活动的开始，也是一个教学活动的收尾，通过评估教学中动态的反馈与迭代效果，促进使用该计分卡的教学者形成教学闭环思维。

学习基础计分卡是一个用来确保网络课程具有优质核心内容的基准工具，有助于为学生创造一个高效学习环境。因网络教育的特殊性，教学中存在着学习成果难以衡量、课程目标脱节以及作业形式化等问题，直接影响了学生的学习效率。为解决这些实际问题，本计分卡从课程学习成果、课程内容指标和作业三个维度出发，规定了隐性学习成果明确可衡量、课程内容资源有保障、作业强调目标导向等27 项标准，不仅体现教师在线教学的能力，也是学生在线学习效果的验证，进而促使教师突破运作在线教学资源的局限。

教师参与计分卡经常与学习基础计分卡搭配使用，可以进一步评估课程学习成果、课程内容、作业中教师的作用，以及衡量教师是否有针对性改善学生学习体验而采取的关键步骤。教师参与计分卡既包含教师课程检查天数这类定量指标，也涉及教师尊重学生这种主观评估指标，并且相较于学习基础计分卡更关注于客观性的质量指标，更倾向于评估主观性的内容。

学生参与计分卡作为整个QCTIP 指标体系中权重最高的计分卡，旨在通过评估改进课程教学的内容，创建一个有吸引力和高效的课堂环境，并给学生带来高质量的学习体验。学生参与计分卡由交流、建立社区、课程讨论与参与这三个一级指标构成。“交流”在网络教学中，指的是师生互动和生生互动的结合。可以说交流质量的高低决定了线上线下效果的差距，因而在该计分卡中，乃至整个评价指标体系中，交流维度的权重最高，设置的15 个二级指标涵盖了交流活动发生、支持、反馈的全部内容。“建立社区”维度从基础设施、教学计划、教学内容和教学手段四个方面设置了12 项二级指标。网课教学社区就是指依靠在线课程平台来满足师生交互性学习流程的系统［4］。建立一个社区不仅可以促进学生自主学习能力的提高，还能通过提取社区中的关键信息，改善教学模式的质量。“课程讨论与参与”维度下设了8 个二级指标，涉及课程讨论前教师清楚解释形式与期望、课程讨论中教师的参与，以及课程讨论后的绩效与课程学习成果的一致性等内容。从整个学习参与计分卡来看，美国在线高等教育不仅重视课内互动，打消线上与线下教学效果的折扣，还关注课外社区的交流，着力打造线上教学的特色。

二、OLC 网络课程教学质量评价指标体系的特征

1.评价模式基于OBE 理念

1981年，由美国斯派帝（William G.Spady）等人提出的基于学习产出的教育模式（Outcome Based Education，简称OBE），主张以目标和需求为导向，以学生的学习成果作为教学评估标准。QCTIP 的整个评价模式便是基于OBE 的理念，贯彻该理念“以学生为中心、成果导向、持续改进”［5］这三大核心要素。首先，在设置QCTIP 评价指标体系的权重时，不同于其他评价网络教学质量的指标体系，并不强调教师的主导性作用，而是创新性的以学生中心为宗旨，赋予小计分卡之一的学生参与计分卡最高权重，并将“以学生为中心”的原则贯彻于其他小计分卡中。如在课程基础计分卡中，课程设计维度下就有明确的“提出课程大纲要以学生为中心，为学生的学习和参与定下基调”这一指标；在教师参与计分卡中，有多项指标要求根据学生的兴趣和爱好、需求和动机、态度和能力等来组织设计课程；在学习基础模块计分卡中，“课程活动的进度要适合目标学习者”等多处描述都是通过规定教学设计的标准，体现出对于学生的人文关怀。其次，借助ROSTCM6 文本分析工具，对QCTIP 评价指标体系内容进行词频分析后，除去“教师”“学生”“课程”三个主体性词汇，“成果”一词出现了十次，仅次于“学习”和“作业”。且从“成果”一词的分布来看，虽集中于“课程学习成果”维度中，但在“教师角色”“作业”“课程讨论及参与”等维度中均有涉及。由此可以看出整个指标体系聚焦于学生的实际发展，以学生学的效果作为教师教学效果质量评价的基准。当然为了更精确地衡量学习成果的质量，QCTIP 评价指标体系在描述上细化为多种形式，如“作业”“学习问题”“批判性思维”等，不局限于显性成果，更多强调隐性能力的获得情况。最后，关于持续改进方面的体现，从整个指标体系将“持续的课程改进”单列为一个维度便可看出，不同于传统课程结束后的学生评分程序，“持续的课程改进”这一维度关注的是动态的和持续性的反馈。网络课程教学反馈因其模拟化、延时性、自我反馈性和符号化的特点，大大增加了反馈渠道不通畅的可能性。为了保证教师和学生之间能实现无障碍的学习成效反馈，处于“压轴位置”的“持续的课程改进”维度从教师角度规定了有效反馈的标准。一方面教师需要自身不断评估在线课程的有效性和内容，经常复核课程设计；另一方面教师扮演学生引导者角色时，鼓励使用一个匿名课程的反馈形式，在课程结束后，鼓励并要求学生提供反馈意见，才能获得有效的反馈信息，并用于持续的课程改进。这正印证了美国教育研究者斯塔弗尔比姆（Daniel Stufflebeam）提出的观点，评价最重要的意图不是证明（Prove），而是为了诊断（Diagnosis）和改进（Improve）［6］。

2.评价目标融入无障碍导向

OLC 在1987年归纳出了美国社会组织与公众网络高等教育质量评估标准的五大支柱，其中之一便是无障碍。无障碍的目标包括：（1）是为不同能力的学生（高危、残疾、专业学习者）提供不同的学习机会和不同的服务；（2）提供以学生为中心的课件；（3）重视学生的反馈并用于持续改进；（4）为学生提供课程访问权限和多种服务连接机会［7］。

因此OLC 在制定QCTIP 评价标准时，围绕无障碍的四个目标，一方面将“包容性”一词融入到评价指标中，强调构建一个无障碍教学环境的重要性，另一方面划分了相关的维度，规定教学行动的无障碍性。为了保证特殊学生群体能够无障碍参与网络课程的学习，促进有效的学生反馈，指标体系在开端便设置了“可访问性&遵从ADA 法案与通用设计”这个一级指标。ADA 法案规定了残疾人应享有的权利，以及诸如实际限制和主要生活行为之类术语的含义［8］。内容如其名，该指标要求在网络课程制作时，界面的颜色等视觉元素要符合法案标准。即，对于提供在线课程的机构，除了提高普通学生的学习支持服务技术外，还要向视力或听力障碍等残疾人群提供在线学习设备和辅助服务，以保证残疾人与普通人具有平等的在线学习机会。此外QCTIP 指标体系还下设了评估资源获取情况的二级指标，来保障教学条件提供的无障碍性。如“课程资源容易获取”等二级指标，就旨在评估在线教学的资源可获取情况，鼓励教师在课程设计中，突出资源链接，上传多种获得资源的快捷方式，将所有资料都无缝连接至学习管理系统（Learning Management System，简称LMS），以此保证教学过程的流畅性。无论是指标中的“包容性”字眼，还是制定学生无障碍应用的标准，都是在充分考虑每个学生个性和特征的基础上，最大程度地提高网络课程的应用范围和应用程度，这正是OLC 在2018年度报告中所制订的“包容、多样性、公平和倡导年（The Year of Inclu⁃siveness，Diversity，Equity and Advocacy，简称IDEA）”［9］计划的核心价值所在。

3.评价内容强调交互式参与

不同于传统教学，网络课程教学因其介质的特殊性，面对面交互的缺失使得学生的学习体验感大打折扣。沈翔在《网络环境下交互教学策略研究》一文中就曾提出，有效的交互可以开启学生的思路，促进学生理解和运用知识，完成对知识的构建，加快学习进度，深化学习效果，并在交流中完善学生的情感和人格［10］。因此美国在线学习联盟在制定QCTIP 评价指标体系时，聚焦于充分发挥网络平台的优势，建立在线教学所独有的频繁而有意义的交互环节。体现在指标体系的内容上集中于“课堂讨论与参与”“建立社区”和“交流”这三个维度，参考国际远程教育专家迈克尔·穆尔（Michael G.Moore）教授对在线学习互动的划分，这三个维度涵盖了“学习者与学习内容”“学习者与教学者”“学习者与学习者”三种类型的互动。如“教师在讨论区发表批判性的、反思性问题”指标旨在强调学习者与问题的互动，“学生们被要求发表讨论回应以及与同学、导师互动”指标既关注学习者与教师的互动，又提出了促进学习者之间互动的期望。为了衡量交互的有效性，每一项评价内容都将交互目的、交互的前提条件、交互的形式以及交互的效果作为重要的观测点。总结起来就是以有意义且成果导向为交互的目的，在保证分享空间、开发交流语言风格等前提条件下，采取发送介绍性的欢迎邮件信息、恰当地使用公告、及时回复电话和电子邮件等形式，实现积极又相互尊重的情感互动以及知识碰撞，完善网络技术下“教”的存在方式，补充传统形式下“教”的空白区。

三、对中国网络课程教学评价标准的启示

随着在线教学越来越受欢迎，对在线教学评估的需求也越来越大。新草原出版社（New Prai⁃rie Press）在题为《在线教师的有效评估》（effective evaluation online faculty）的报告中提到：“对于任何项目，甚至更多是基于网络项目的成功，教师和教学的质量是至关重要的，因此，拥有一个有效的评价方法能够评估和指导那些在网络环境中教学的人对项目的成功至关重要。”［11］足以称之为国家基准的QCTIP 评价指标体系，向我们展示了什么才是在线教学的最佳实践，对我国设置网络课程教学质量评估指标具有重要启示。目前，我国许多学者在构建网课教学评价系统上进行了有益的理论探索，主要基于对网络教学特点和模式的分析，采用层次分析和数据挖掘的方法构建指标体系。通过学者们的研究可以总结出，高效的网课教学评价应具备评价主体多元化、评价对象广泛化、评价理念和过程开放化、价值取向多元化、评价标准与反馈人性化的特征。因而在设计评价指标时，首先要从教学团队的组成及教师和学习者应具备的能力角度进行评价，其次从教学内容与资源的组织与呈现角度进行评价，再者从技术层面对网络教学平台进行评价，最后对学习支持服务体系与学生需求匹配情况进行评价［12］。当然，除了理论上的探索，很多机构实践开发了具备评价功能的网络教学系统。例如，在北京师范大学开发的Vclass 网络教学系统中，设置了学生对教师评价、教师对选课学生评价以及师生共同对教学系统性能进行评价的模块［13］。虽然我国在网络课程教学评价的探索上已有所成就，但仍处于起步阶段，忽略了在线教学的交互性和无障碍性，构建的指标体系更多为传统理念下的评价模式。《教育部关于加强高等学校在线开放课程建设应用与管理的意见》中提到，大规模网络课程给高校的教学改革和发展带来了新的机遇和挑战［14］。为了更加适应时代的需求，促进网络课程教学能够发挥出更大的效益，我们可以用QCTIP 评价指标体系作为实践基准，建立一套符合我国网络教学特点、规律且行之有效的质量评价与保障体系。

1.重学生促反馈：构建基于OBE 理念的评价模式

长期以来人们忽视了对作为教育主体的大学生学习的研究，忽视了从教学的本源上去解决质量问题［15］。因此，教学质量的声誉观和资源观长期在我国的教学评价中占据主导地位，认为教师水平与教学质量成正比［16］。我国学者设计的评价指标体系大多基于这个理念，更多地从“教”的角度出发，赋予有关教师队伍、教师传授过程的维度过高的权重，指标描述中“学生”二字出现的频率也远远少于“教师”，学生学习成果没有清晰的标准。然而1998年世界首届高等教育大会“高等教育需要转向以学生为中心的新视角和新模式”的提出，使得越来越多的人意识到“输入式学习”的弊端。如今的网络课程教学更是翻转了“教”与“学”的角色，更加强调学生在网络课程中主动性学习的重要性。因此以网络课程教学质量为对象的评价指标体系也要与时俱进，转“教师角色”为主为“学生参与”为主，从学生的课程需求出发，聚焦于讨论、作业、社区等学生参与的教学过程，来衡量学生自我反思、解决问题等隐性能力获得情况。其中特别要关注学生对教学反馈的参与度，促进教师更好地以学生为本持续改进教学，形成“教学—评估—改进—更好的教学”式的闭环。具体到设计步骤中，首先，在教师“教”的标准中侧重于学生主观能动性的发挥情况，以及是否体现了提升学生情感体验的角色特征，而在学生“学”的部分添加学生为主体参加的教学实践活动内容。其次，在权重分配上进行学习成果倾向性调整，赋予关于学生作业、能力的获取等成果相关的内容指标更高的分值。最后可以引入QCTIP 评价指标体系中“持续的课程改进”这一特色教学活动指标，根据我国网络课程教学的实际情况，从教师视角和学生视角出发，对二级指标的内容和权重进行相应的调整。引入该指标不仅更深入地贯彻了OBE 理念的三大核心要素，通过该指标的评估结果，还能反映当前课程教学在未来时期的发展变化情况，引起高校和教师对教学反馈的重视，有利于教师自身专业素养的发展和实施更为高效的课程教学。总之，网络课程教学质量评价标准要承担起一名创新者的责任，唤醒学生的自主意识，来弥补传统教育理念下对学生主体作用的忽视，激发学生主动参与课程学习的积极性。

2.保支持解障碍：确立包容性价值导向的评价目标

广泛的网络课程学习者中不乏多样性、特殊性的人群存在，因而某一课程的教学是否适用于所有人将直接决定该门课程的质量。通过QCTIP评价指标体系可以看出，美国的网络课程教学评价以无障碍思想为价值导向，从无障碍的网络课程设计、无障碍的网络课程资源、无障碍的交互环境三方面情况展开，每个指标都向教师传达了要充分考虑到每个学生个体差异的目标，以避免特殊群体在网课教学中被边缘化的现象。目前我国没有专门的“无障碍”法律法规，关于信息无障碍的标准还停留在2008年，由中国通信标准化协会组织订立的《信息无障碍——身体机能差异人群——网站设计无障碍技术要求》，且标准中的内容较为笼统，并没有针对网络课程教学无障碍的评价标准。而诸如《CELTS-22.1-网络课程评价规范》等网络课程评价指标体系中，只有零星几个指标规定了教学资料获取的无障碍，鲜少涉及将教师语言、课程设计的无障碍作为评价目标。由此可以看出，我国无障碍教学理念还比较淡薄，与网络课程难以普及的处境有一定的相关性。正如孙祯祥在《无障碍网络教育环境的构建》一书中所说：“构建一个无障碍的网络教学环境是非常重要的，是信息无障碍运动的一部分，也是教育信息化的一部分。”［17］对标QCTIP 评价指标体系，可以从三方面将无障碍的价值导向渗透于评价目标中：一是要理清网络课程教学无障碍的具体内容，不仅指教学符号的易访问性，即文字符号、多媒体元素如图片、视频均符合无障碍标准，还包括教师角色包容性，即教师使用包容性的语言和教学方法，以及在特殊学生困难时及时提供帮助的教学行为。二是将无障碍教学的内容要素，补充至整个评价指标体系中。可以是单独设置一个无障碍教学的评价维度，就如QCTIP 评价指标体系一样，也可以在课程设计等教学过程维度中，融入无障碍目标的内容。总而言之，最后投入使用的评价指标体系在尊重教学发展逻辑的基础上，能实现为教师提供一定价值引导的目标。

3.推交互建平台：关注沉浸式学习的评价内容

伯耶·霍姆伯格（Brje Holmerg）的在线教学指导性会话理论认为，通过与学习者建立交互活动，最大程度的进行对话交流，是激发学生学习动机并且提高学习效果的必要条件。我国涉及交互质量评价指标的研究中，陈丽所提出的学习者与学习资源的交互、教师参与情况、学习者的参与情况、社会性交互的教学设计、媒体界面的交互性等五维度指标系统最为典型［18］，但仍没有充分把握交互的实质性评价内容，设置的51 个二级指标之间彼此维度界限并不明显，存在内容交叉。QC⁃TIP 评价指标体系十分关注学生在网络课程学习中的沉浸式体验，即在虚拟的网络环境中学生互动的参与程度。根据第三部分对QCTIP 评价指标体系交互特征的分析，我们在设计交互相关的评价内容时，合适的理论是确定评价交互维度的基石。以“交互”“学习”“教学”为关键词，在知网平台上进行核心期刊文献检索时发现，建构主义学习理论、穆尔（Michael.G.Moore）的交互自主理论（Theory of transactional distance）、班杜拉（Al⁃bert Bandura）的交互决定理论（Theory of recipro⁃cal determinism）等均能够为制定评价维度提供参考，其中穆尔的研究就是QCTIP 评价指标体系的理论基础。在搭建起了理论框架后，往里填充具体的指标时，可考虑使用层次分析法，从互动主体、客体和互动支持系统的角度下设置评价标准，以期教师在浏览评价内容时，或者收到评价结果反馈时，能够意识到所开设的课程在交互活动中的问题所在，真正意义上利用网络的优势，为学生创造高体验感的沉浸式学习环境。