高校图书馆在线课程教学质量评价指标体系研究

来 阳，姜珊珊

（1.长春科技学院视觉艺术学院，吉林 长春 130600；2.长春职业技术学院食品与生物学院，吉林 长春 130033）

0 引言

教学质量的提升是我国高校教育发展需要不断思考的长期性目标。自“互联网+”时代到来后，我国网络覆盖及宽带的速度已经达到了历史发展的最高点，这使得微课（Microlecture）、慕课（Massive Open Online Courses，简称MOOC）等在线课程在国内外各个高校的图书馆中迅速发展，为高校实施“翻转课堂（Flipped Classroom或Inverted Classroom）”“混合式教学（Blended Learning）”等新型教学改革提供了坚实、有力的支撑，但高校图书馆在线课程的教学质量依然面临着评价混乱、难以提升等问题。自《国家中长期教育改革和发展规划纲要（2010—2020年）》实施以来，我国在线课程的发展逐年提升。2012以来，清华大学、北京大学、复旦大学等国内知名一流高校相继加入了不同的MOOC联盟阵营。2013年，美国哈佛大学、麻省理工学院等世界知名高校在被称为“在线教育元年”的这一年里率先创建了在线课程平台［1］。斯坦福大学图书馆、杜克大学图书馆、华盛顿大学图书馆、维克森林大学图书馆等也开始实施将在线课程与传统课堂教学对学生进行混合式教育培养［2］。2015年2月，大英图书馆与诺丁汉大学通过未来学习慕课（Future Learn MOOCs）平台推出了免费的“日常生活中的意识形态宣传”在线课程［3］。2017年1月，来自北京大学、清华大学、武汉大学等25所院校的40余位图书馆专家、学者在北京大学信息管理系召开了图书馆在线课程联盟成立大会，探讨了图书馆在线课程的建设及应用［4］。在线课程的发展使得国内外高校图书馆由提供课外被动服务的角色开始缓慢转型为向学生提供课内主动服务的角色，同时馆员也相应地承担起了为学生提供检索、推荐、萃取等服务的教师职责［5］。然而，现阶段的在线课程建设普遍与专业课程体系无法做到有机结合，课程质量参差不齐［6］，国内目前还未形成一致的、配套的在线课程建设标准［7］，因此，构建科学、合理的图书馆在线课程教学质量评价指标体系就成为教育者面临的重要课题。

1 研究现状及意义

提高图书馆在线课程的教学质量是实现我国高等教育蓬勃发展的持久性任务，也是提升大学生信息素养（Information Literacy）的主要方式之一［8］。2015年教育部在《教育部关于加强高等学校在线开发课程建设应用与管理的意见》中明确要求：“鼓励高校制订在线开放课程教学质量认定标准”；2016年教育部印发的《普通高等学校图书馆规程》中更是明确地提出了图书馆是高校人才培养建设及为广大师生提供科研服务的学术性机构。所以在积极推进高校图书馆在线课程的同时，有必要对图书馆在线课程的教学质量进行指标选取，以客观的方式进行检验及评价。相比较而言，国外对于在线课程的评价研究较为成熟，形成了许多具有一定影响力的评价指标体系，如由美国教学设计与适用专业委员会根据在线课程可用性、技术性和教学性来对在线课程进行评价的在线学习认证标准（ELearning Certification Standards）；英国威尔士班戈大学提出的虚拟学习环境教育评价（A Framework for Pedagogical Evaluation of Virtual Learning Environments）；美国高等教育政策研究所发布的在线学习质量（Quality on the Line）；欧洲远程教育大学联合会推出的开发教育质量标签（The OpenupEd quality label）；德国亚琛工业大学构建的MOOC设计质量保障标准（Criteria to Assure Design Quality of MOOCs）等［9-10］。近年来，国内学者对在线课程的教学质量评价体系也开展了较多研究，并取得了一定的研究成果。李葆萍等［11］（2004）创建了一级指标多达9项的网络课程评价指标体系；魏顺平等［12］（2016）使用演绎和归纳相结合的方式来构建在线课程实施过程评价指标体系，并计算出各个指标的绝对值和相对值，验证了评价指标体系的可行性；李运褔等［13］（2018）通过对中国知网上的核心期刊与CSSCI来源期刊进行检索，使用BICOMB2共词分析软件确定了层次分析法和模糊综合评价法为目前国内在线课程评价的主要使用方法；赵馨蕊等［14］（2019）使用模糊综合评价法对同济大学、山东大学和东南大学的大学物理MOOC进行了教学质量评价分析，并证实了当前MOOC普遍存在弃课率高、结课人数少等相关问题。

通过对现有文献进行分析，可以看出虽然部分学者分别从不同角度对在线课程的教学质量进行了评价研究，但仍有以下不足之处：少有学者针对图书馆在线课程的教学质量进行指标体系的构建；指标的内容过于详细，导致难以对大范围的图书馆在线课程进行整体评价；指标取值模糊不清，最终的计算结果令人难以信服；指标设置过多，以致取值困难，评价结果缺乏客观性。本文拟从图书馆在线课程的特点出发，尝试构建图书馆在线课程的教学质量评价指标体系，从指标的设置、取值进行深入研究，力求增加评价结果的可靠性和实用性，以期为图书馆在线课程的教学质量评价体系研究提供理论及方法的支撑。

2 图书馆在线课程教学质量评价理论

2.1 协作学习理论

20世纪70年代美国出现了提倡以多人成组的方式组织学生学习的协作学习理论，随后该理论风靡德国、加拿大等国家并在高校教育领域中得到了广泛应用。学生通过观看在线课程并在该课程页面进行留言讨论有利于形成网络协作学习过程，最终的讨论结果在网页上以共享的方式提供给再次观看该页面的学生，极易提高学生学习的积极性和主动性。图书馆在线课程页面下方也可以采用留言板的方式为学生及教师创建有效交流条件，图书馆馆员可利用自己的权限对留言进行筛选显示，或将有指导意义的留言置顶，有利于提高图书馆在线课程的教学质量及教学效果。

2.2 采纳理论

高校图书馆在线课程的使用态度会对学生的采纳行为产生显著影响，对于浏览较多的课程可以考虑在主页上推送显示，所以学生群体对于图书馆在线课的检索和采纳行为一直是图书馆学界研究关注的热点。最早的采纳理论起源于1975年美国学者菲什拜因（Fishbein）和阿耶兹（Ajzen）提出的理性行为理论（Theory of Reasoned Action，缩写为TRA），即个人的采纳行为受自身态度及主观意识等方面的影响。随着时间的推移，众多学者基于该理论又提出新的设想及模型，如1986年戴维斯（Davis）提出的技术接受采纳模型（Technology Acceptance Model，缩写为TAM）、1991年阿耶兹（Ajzen）提出的计划行为理论（Theory of Planned Behavior，缩写为TPB）等，并不断加以完善、验证，使得采纳理论在不同学科领域内得到广泛应用。

2.3 以学生为中心理论

“以学生为中心”的教育理念在我国古已有之，早在《论语》中，孔子就提出了“温故而知新”“古之学者为己，今之学者为人”等诸多反映以学生为中心的名言名句。1952年，美国心理学家卡尔·兰塞姆·罗杰斯（Carl Ransom Rogers）将“以人为中心的治疗”理论扩展到了教育领域，形成了“以学生为中心”的教育观念。他提出了注重学生学习过程中的自发性和主动性，将教育的目标转换为促进学生学习、培养学生学习兴趣并学会该如何自主学习。“以学生为中心”是教育理念、教学方法及服务对象的转变，既从教师的“教”向培养学生的“学”进行转变，该理念使得学生可以在资料检索、知识获取和信息评价等方面得到有效提升［15］，对于提高学生信息素养（Information Literacy）能力有着积极而重要的意义。

2.4 混合式学习理论

图书馆在线课程应充分利用互联网技术将学术权威的网络课程融入课堂教学，学生可以通过课前预习及课后复习有效利用在线课程以完善自己的学习过程，这一行为不但使学生提高了对高校图书馆在线课程的认可度和自我效能，弱化了社会和学术专家对于图书馆在线课程教学质量的质疑，并且还与目前在高校中所流行的混合式学习理论并行不悖。所以，图书馆在线课程教学符合混合式学习理论所提出的传统课堂教学与网络教学有机结合，是有利于学生提升学习效果的有效学习方式。

3 图书馆在线课程教学质量评价指标体系设计

3.1 指标选取的原则

指标选取的依据参考了国内外关于在线课程教学质量评价体系的相关文献，在充分研究高校图书馆在线课程特征的基础上，结合调研进行选取。高校图书馆在线课程教学质量评价具有一定的系统性，各项指标独立存在又互相依存，因此，教学质量评价不能局限于每个指标的单独评价，还应注重各项指标之间的协调和综合评价。评价指标的选取按如下几项原则进行。

3.1.1 评价指标系统性原则

在线课程教学质量评价体系是一个复杂的系统，也是影响学生在线学习过程及结果的重要因素，所以评价指标的选取对于整个评价体系的科学构建具有着决定性的作用。高校图书馆在线课程教学质量的评价应从教学内容、教学方法、教学效果以及视频质量这几个方面进行细化并综合考虑进行评定，其指标应遵循高校图书馆在线课程教学质量的系统进行选取，不但可以用于教学质量的检验，其评价结果同时也可作为提升图书馆在线课程教学质量的依据。在评价指标的设计上应充分考虑各个指标的自身属性，评价的依据既要考虑学生在图书馆进行在线课程学习的动态化过程，也要注重学生在线课程学习完成后的学习成效等静态指标，因此，在线课程教学质量评价指标的选取应综合考虑上述所说的各个因素之间的系统关联特性。

3.1.2 评价主体多元化原则

高校图书馆在线课程教学质量体系指标的评定应体现出评价主体多元化原则。以往传统课堂教学的评价主体大多是专业教师或行业专家，使得评价的依据过于主观化，而在高校图书馆在线课程教学质量的评价过程中，如果仍然采用评价主体一元化的方式则较难反映在线课程教学质量的真实情况，也不利于高校图书馆在线课程的可持续发展。因此，在线课程教学质量评价应采用师生互评、专业互评、专家点评等方式使得评价主体多元化，从不同审视角度对学生的知识掌握、操作技能、创新意识进行科学、合理的评价；不但以专家的意见来进行评定，还应当积极考虑将教师及学生的意见，将专家访谈和调查问卷有机结合以确立评价指标的形成，使得评价体系更加完善、评价结果更加客观。

3.1.3 评价方式多样化原则

由于图书馆在线课程学习打破了传统课堂授课时间及地点的束缚，将学生的学习方式慢慢从课堂知识的灌输向更加自由的自主学习进行改变，故在教学质量的评价方式上应不仅仅局限于学生的结课作业或试卷评判，还应当借助现代化信息技术手段对学生的学习平台登录情况、在线课程视频的观看情况、网络发言讨论情况等在线学习活动进行数据分析并以此来作为学生混合式学习评价的依据，以多样化的评价方式不断规范、改进在线课程教学手段。

3.1.4 评价指标可得性原则

高校图书馆在线课程教学质量评价系统指标的数据采集及整理应具备可得性，对于无法获取或难以量化的指标数据应仔细斟酌是否应当采纳。同时，这些指标还应起到教学质量评价的导向作用，各个指标数据的采集、整理应具备较高的可信度及准确度。

3.2 评价指标的结构与层次

图书馆在线课程教学质量的评价有助于图书馆履行教育职能和信息服务职能，使其充分发挥图书馆在高校育人教学中的作用。评价指标的确定是图书馆在线课程教学质量评价工作中的重要因素之一，陈军［16］（2008）、岳琪等［17］（2018）在评价课程的教学质量之前，均对课程的各项评价指标进行了详细的说明及分类。评价指标的设置将直接影响到图书馆在线课程教学质量评价结果的合理性和可靠性，故在选取评价指标时应兼顾各项指标相互之间的差异性、代表性、可得性以及可测性特征。

3.2.1 教学内容指标

教学内容指标主要分为教学目的、概念准确、案例合适和难易程度这4个指标。其中，教学目的指在线课程的教学目标是否明确以及学生学习完本章节课程内容所应达到的技术水平；概念准确指教师在在线课程中所要讲解的概念知识是否准确；案例合适指教师所选择的案例是否具有一定的技术前瞻性、案例内容是否紧扣本章节教学内容；难易程度指在线课程讲解的知识与前后章节是否具有一定的衔接关系，对于整个系列在线课程中所处的难易位置是否合适，易于被学生理解、掌握。

3.2.2 教学方法指标

教学方法指标主要包括授课水平、启发教学、重点突出和学习兴趣这4个指标。其中，授课水平指教师的语言组织、表达能力以及专业知识掌握程度，能否用通俗易懂的言语把复杂的专业知识讲授出来；启发教学指教师在授课过程中是否注意到“以学生为中心”，积极启发引导学生不断思考学习，提高授课的教学效果；重点突出指教师在讲解知识的过程中对于课程内容的重点、难点部分是否给予强调，提高学生的注意力；学习兴趣是指教师在课程的讲解中是否可以调动学生的积极性和兴趣。

3.2.3 教学效果指标

教学效果指标主要包括知识掌握和创新能力这2方面。其中，知识掌握指学生学习完本章节在线课程后，对于课程的内容是否理解、专业知识的掌握是否达标，图书馆还可利用信息技术对学生在查找课程时输入的关键词、课程学习时长及次数、兴趣偏好等数据进行分析，合理推送相关课程供学生观看进而保证教学效果；创新能力则指学生在学习完成课程内容之后能够举一反三，提高自身的综合素质和创新应用能力，高校图书馆可考虑每学期开展一次在线阅读活动，通过一些虚拟奖励如阅读权限、在线打卡、徽章获取等手段来提高学生的持续性阅读进而扩展学生的创新能力。

3.2.4 视频质量指标

视频质量指标主要包括画质清晰、音量适当、剪辑合理和视频尺寸这4个指标。其中，画质清晰指在线课程的视频画面是否清楚、涉及实地拍摄的镜头机位是否合理且具有一定的艺术性，涉及课程重点难点的地方是否在画面上绘有标识。在线课程上传至系统中后，需要图书馆在后台对其进行合理压缩以保障课程在线观看的流畅度，所以，图书馆对于教学视频的压缩是否合适也应当纳入考量之中；音量适当指在线课程的声音是否流畅，无失真、杂音等现象，音量大小是否合适，如果有背景音乐的话，还应考虑音乐的音量不会影响教师讲解的声音；剪辑合理指在线课程各个镜头之间的排列状况，镜头有无缺失，各个镜头之间的过渡是否合理等因素；视频尺寸指图书馆在线课程的视频尺寸大小能否满足教学需要，图书馆可以考虑针对不同大小的显示器提供多个可供学生选择的播放分辨率，进而保证学生观看课程的舒适程度。

3.3 图书馆在线课程教学质量评价体系

图书馆在线课程的评价常常包含有很多难以量化的定性因素，因此需要使用层次分析法（Analytic Hierarchy Process，简称AHP）使得决策思维的过程数学化，这种方式特别适用于定性与定量因素相混合的评价情景。图书馆在线课程的教学质量由于评价因素较多，所以在层次结构的设计上，以教学质量为总目标，从上至下分解为3个层次：“教学质量”设置为目标层A，用于表述准则层B中的教学内容、教学方法、教学效果和视频质量的综合评价效果；指标层C用于细化准则层B中的各个指标内容，建立完成后的图书馆在线课程教学质量评价指标体系如图1所示。图1中，以“图书馆在线课程教学质量评价”作为目标层A，用于表述在线课程教学内容、教学方法、教学效果和视频质量这4个方面的总体情况，同时，这4个方面作为准则层B还用于体现目标层A的细化部分，准则层B下面的各个指 标则为指标层C。

图1 图书馆在线课程教学质量评价指标体系

4 指标体系应用

在本指标体系中，准则层的权重使用德尔菲法（Delphi Method）聘请多名资深专家根据各自的经验、学识来进行决策判定，具体步骤是聘请10余位相关领域的学者、专家对图书馆在线课程的教学质量调查问卷进行分析，当大家的意见逐步一致时，再根据集体的评判结果来确定指标层C中各个指标的评判数值。在本次调查中，准则层B对于目标层A的判断矩阵P按照1～9比例标度数值参照表1进行设置。

表1 1～9比例标度数值参照表

一级指标判断矩阵P如式（1）所示。

指标层C中的各个指标相对于准则层B的二级指标矩阵同样按照指标重要性标度值来确定各个指标之间的相对重要性，并建立两两成对比较矩阵，分别如式（2）～（5）所示。

由于计算数据量较大，使用层次分析法软件计算完成后的图书馆在线课程教学质量评价指标权重如表2所示。本实例中，准则层的CR值根据公式CR=CI/RI（CI为判断矩阵的一致性指标，CI=，RI为不同阶的比较矩阵的随机一致性指 标）计算后，分别为0.044，0.025，0，0.043，均小于0.1，故全部通过一致性检验。

表2 在线课程教学质量评价指标权重

指标体系中目标层A所代表的在线课程教学质量评价为准则层B中教学内容、教学方法、教学效果和视频质量这4个指标值的总和。其中，教学内容的权重值为0.460，教学方法的权重值为0.180，教学效果的权重值为0.088，视频质量的权重值为0.272，教学内容的权重值已经接近总体的1/2，显示出了绝对的重要性。

在指标层C中，反映教学内容细化指标中的案例合适（C3）在同级指标中所占的权重值最大，达到0.558；反映教学方法细化指标中的授课水平（C5）的权重值为0.537，也超过整体的1/2；反映教学效果细化指标中的知识掌握（C9）所占的权重值为0.750；反映视频质量细化指标中的画质清晰（C11）和视频尺寸（C14）所占的权重值分别为0.399和0.357，充分体现出了这2个指标明显的影响力。

从指标层C对应于目标层A的组合权重上来看，案例合适（C3）、难易程度（C4）和画质清晰（C11）这所占的权重值较大，三者之和在14个指标中所占比重达到48.6%，而其他单项指标的权重值均不足0.1，足以反映在线课程教学质量评价中的主导因子地位。

结果表明，高校图书馆在线课程教学质量评价指标体系具有较好的合理性，可以广泛应用于大部分高校图书馆在线课程的教学质量评价活动中。

5 结论与建议

5.1 结论

高校图书馆在线课程教学质量评价工作在目前尚处于起步、摸索阶段，且鲜有学者研究，故建立系统、科学的评价指标体系迫在眉睫，本文尝试建立包括教学内容、教学方法、教学效果和视频质量的多层次高校图书馆在线课程教学质量评价指标体系，以AHP法来确定指标权重，得出如下结论。

1）高校图书馆在线课程教学质量评价指标的设置应以系统的观点，将多个评价相关因素进行分类，使得指标趋于条理化。AHP法可以有效地将这些指标按支配关系建立起具有层次结构框架的评价体系，是一种简明有效、易于理解操作的数学评价方法。使用AHP法建立的指标体系，上下层次关系简单明了，便于找到各个细化指标之间的相互关系，在具体的评价实践活动中应用性较强。

2）教学质量的评价是对高校图书馆在线课程综合评定的客观性检验，评价体系的构建是保证其评价合理、客观的重要因素。指标的选取也应充分考虑高校图书馆在线课程的实际情况，根据在线课程的特征上来制定指标，通过计算出来的指标权重来判断该指标在系列指标群中的重要性并提出改善建议，力求避免重数量、轻质量的情况发生。

3）现阶段，有关高校课程教学质量评价方面的研究虽然颇多，但是关于在线课程教学质量评价方面的研究则较少，有关高校图书馆在线课程教学质量评价方面的研究更是鲜有学者提及。随着“互联网+”时代的到来，翻转课堂、混合式教学等与在线课程有关教学模式的普及，高校图书馆在线课程教学质量的标准化评价将成为必然，提高在线课程教学质量已然成为高校实现教育技术现代化亟待解决的首要问题。

5.2 建议

图书馆在线课程教学质量的提升是一项系统工程，同时也为图书馆的创新发展及服务水平建设提供了新的契机，双方的紧密结合既有利于互利互赢，又可协同发展。高校图书馆在线课程教学质量评价体系的构建有利于建设学术型及应用型人才培养需求的教学体系，利用数据统计及分析技术对在线课程进行教学质量评价不仅推动了在线课程的进步及深化，也促进了教师队伍的建设及图书馆教学工作数字化进程的可持续发展。本文力求比较全面地反映图书馆在线课程教学质量评价指标体系的各个方面，以期对其他高校图书馆在线课程的教学质量评价提供一定的理论基础及应用价值，并建议如下。

1）高校图书馆在线课程具有检索性和播放性特点，使得学生在线进行学习时基本处于被动接受者的位置，难以对课程内容所产生的疑问得到有效解答；此外，对于知识过于深奥的课程，在进行在线课程视频制作时往往被分解成多个视频内容，学生在图书馆里查阅资料时如果没有信息素养方面的帮助及指导是很难在短时间内检索到自己想要浏览的在线课程。高校图书馆可以考虑为图书馆馆员提供信息素养相关课程的培训机会，使得图书馆馆员在工作中能够扮演教学人员、技术员、综合咨询师等多个角色，并将这些具有信息素养能力的图书馆馆员以嵌入在线课程的方式来帮助学生进行在线课程学习，嵌入式图书馆馆员还可以利用自己的权限参与在线课程的讨论，及时回复在线问题并对于有价值的留言进行筛选以备后来观看的学生阅读采纳，有利于协作学习的形成。

2）高校图书馆可以根据老师及学生的意见来进行数据分析，高校教师作为在线课程制作的主要参与者可以根据自己课程的质量反馈增加对图书馆在线课程服务的信息需求来适量增加自己的授课内容。比如对一些独立于课程教材之外的新型实用技能的具体操作过程或相关研究进展介绍。作为在线课程内容的提供者，高校图书馆还可以对在线课程的视频内容重新编辑，根据自身馆藏资源的情况对在线课程进行重新分类以有利于学生直接根据自己所感兴趣的知识进行查阅浏览。

3）高校图书馆应加强在线课程的技术支持。在线课程的主要表现形式是视频演示，视频的画面质量、镜头拍摄角度和声音效果均会对学生的在线学习过程产生不同程度上的影响，同时，在线课程根据不同的专业课程特点在进行课程录制时所用到的设备及方法均有很大差异。比如在录制大学英语课程时，可以根据情景需要设计简单的剧情进行录像讲解；在录制高等数学等理论课程时，可以考虑直接在课堂上录制教师的课程讲授过程；在录制景观设计手绘课程时，可以使用三角支架固定手机的拍摄角度录制教师的手绘过程；在录制3D MAX三维软件等软件应用课程时，可以使用录屏软件对于教师的电脑操作进行记录。对于更加复杂的实验课程，可能会需要同时使用2种或2种以上的录制方式进行课程的记录并需要在后期软件中进行剪辑。由于高校图书馆具有先进的多媒体设备及发达的网络建设，故可以考虑通过信息共享空间（IC）并依托自身丰富的资源条件来组建出一支高素质的在线课程技术团队，提高在线课程制作人员的视频录制技术及数字处理能力，为制作高水平的精品在线课程做好充足准备。另外，高校图书馆还可以考虑将具备多媒体处理技术的图书馆馆员嵌入到各个院系之中，更好地提供在线课程技术支持。