宋家梅 (天津师范大学古籍保护研究院)
唐承秀 (天津财经大学理工学院)
图书馆评估多是从投入、产出两个方面来评估其绩效,尽管这种评估方式能体现读者利用图书馆的情况,但并不足以评估读者使用图书馆服务后的效果。近年来,随着社会整体环境的改变,如何测评图书馆服务成果,如何展现图书馆的服务成果与影响力是国内外越来越多学者共同探讨的问题。图书馆评估内容也逐渐从绩效评估转向成效评估,即从“图书馆提供了哪些资源与服务来达成图书馆设定的目标”转向“图书馆提供的资源与服务导致读者有何改变”。21世纪初,美国、加拿大、芬兰、挪威、澳洲、非洲等国家或地区已经陆续开展图书馆成效评估实践,我国台湾地区的图书馆成效评估也处于起步阶段[1],相关研究成果不断涌现。本文对近20年来我国台湾地区图书馆成效评估研究的相关文献进行总结,从图书馆成效评估的概念与意义、评估内容、评估标准、评估方法等方面进行述评,并思考成效评估有效实施问题,以期为我国大陆地区图书馆成效评估理论研究与实践工作提供参考。
台湾地区许多学者提出图书馆成效评估的意义,包括王梅玲、柯皓仁、余秋芸、蓝翊瑄等。现将图书馆成效评估的意义总结如下:一是对于图书馆来说,进行图书馆成效评估可以达成:(1)有助于了解图书馆活动对于用户带来的改变或效益;(2)建立公共关系;(3)有助于展现图书馆价值与影响力,让图书馆可持续发展;(4)有助于检查非用户不使用图书馆的原因,调整服务策略及目标群体。二是从用户角度来看,通过图书馆成效评估,能够检验自身学习成效及其他自身的改变。
按照评估内容,图书馆成效评估一般可分为整体成效评估和专项成效评估两种类型。其中,整体成效评估主要讨论使用图书馆后对用户生活中各方面的影响,如教育、休闲、日常生活、职业等方面;专项成效评估研究是针对图书馆特定活动或服务项目评估其影响。按照评估内容分类,台湾地区图书馆成效评估相关研究可归纳如下。
整体成效评估通常针对单一图书馆或是图书馆系统进行价值评估,有利于图书馆评估自身发展状况。换言之,单一图书馆或图书馆系统的价值即为整体成效评估活动中被评估的客体,主要包括社会价值、学生学业、课程教学等方面。下面将从上述成效评估客体出发,总结分析其研究成果。
2.1.1 图书馆对产生社会价值的影响
相对于经济价值,台湾地区学者的研究较多地关注图书馆对产生社会价值的影响。自2009年国际图联大会提出“图书馆作为空间及场所”这一主题,众学者开始关注图书馆作为“第三空间”的特征及其对于用户、社区在生活方面的帮助与影响。图书馆成效评估研究中,柯皓仁、陈姿岑、余秋芸、高咏茹、许琼惠等选择以整体成效来探讨图书馆对于使用者日常生活的帮助。陈姿岑探析了嘉义县新港阅读馆作为公共空间的成效与社会价值[7];余秋芸从用户所获得的生活效益、使用者的认同感,以及作为“第三空间”对使用者的成效3个维度分析了新北市立图书馆总馆对用户的成效[8];许琼惠与柯皓仁针对台湾公共资讯图书馆的服务及资源对于使用者日常生活的帮助,以及其作为“第三空间”的成效进行研究[9-10]。高咏茹从用户观点探讨了台湾地区公共图书馆的使用效益,并了解影响公共图书馆使用效益产生差异的原因[11]。除了探讨台湾地区的图书馆服务成效,有学者还将研究区域进行拓展,郑致远对台湾与香港两地民众对公共图书馆认知成效的差异进行了比较分析[12]。
2.1.2 图书馆使用对学生学业的影响
笔者认为,高校创新能力是一个五维度构念,具体表现为观念创新、制度创新、学科创新、技术创新和知识创新。这些创新能力通过提效和增质双路径,来提升高校绩效水平。具体而言,一方面有助于高校对现有资源的挖掘和利用,提高现有资源的利用效率,进而提升高校绩效;[11]另一方面,创新能力能帮助高校从容面对市场的动态需求和外部环境的技术进步,以吸收并利用社会资源,提升高校绩效。[12]由此,本研究提出如下假设:高校的观念创新能力、制度创新能力、学科创新能力、技术创新能力、知识创新能力均对高校绩效有显著积极影响。
图书馆使用对学生学业影响的评估,是图书馆成效评估的重要内容之一。台湾地区图书馆使用对学生学业影响的研究主要围绕图书馆使用与学生学习成效、阅读行为、职业生涯发展的关系等方面展开,即学生使用图书馆资源与服务是否能够提升其学习成效,提升阅读能力,甚至影响其职业生涯发展等。该类研究中,学生学习成效多用学科成绩加以衡量,研究结论一般是图书馆使用与学生学习成效、阅读投入等的相关性是否显著。赖苑玲针对彰化市小学六年级学生进行调查后发现,图书馆借阅频率、使用次数与语文成绩表现相关性并不显著[13];张馨云以新北市小学为例,研究了小学图书馆利用与学童语文能力提升的关联性[14];顾洁修与顾洁光[15]、黄琼妙[16]、吴玉茹[17]、石芩榕[18]、王梅玲与张艾琦[19]等探讨了在校大学生、研究生图书馆资源利用与学业成绩的相关性。除此之外,杨智麟更进一步地探讨了学生使用学术图书馆资源与空间对毕业后职业生涯发展的影响[20]。
2.1.3 图书馆使用对课程教学的支持
支持课程教学是图书馆的基本功能之一。学者们更多地探讨图书馆以何种方式或提供何种服务支持课程教学,仅有较少文献关注图书馆使用对课程教学的成效评估。该类文献主要从教师在课程教学过程中运用图书馆资源或活动等对学生学科成绩产生的影响,探讨图书馆支持课程教学的有效性。台湾景文科技大学应用英语系教师在课程教学过程中积极运用图书馆所订购的有关英语学习方面的电子资源,于第探讨了这种教学方式对学生英语学习成效的影响[21];为更好地提高图书馆教学支持的层次,曾品方研究了台北市文山区万兴小学“快乐晨读”活动的实施成效,以及学校图书馆对阅读教学的支持方式[22]。
一般认为,成效评估是图书馆某项特定活动或服务项目评估的一环。图书馆专项成效评估主要是用来评估某项特定服务或活动方案是否能够对其目标用户带来效益或有所改进,并符合机构预先设定的目标,或者观察对使用者问题解决与工作能力是否提升。目前,台湾地区图书馆专项成效评估研究主要集中在阅读推广活动、信息素养教育、青少年阅读空间改造、学习共享空间服务、电子书服务、数字馆藏等的成效评估研究。
2.2.1 阅读推广活动成效评估研究
图书馆在协助不同阶段读者提升阅读能力并建立阅读素养的过程中一直担任着重要的角色。目前,学者们更加关注的是图书馆阅读推广活动是否具备成效,即是否会提升目标读者的阅读动机与阅读行为,并提升其阅读能力,最终达到改善社会整体阅读环境的效果。梳理已有研究发现,阅读推广活动成效评估研究中针对青少年阅读推广活动、亲子共读活动、儿童阅读教学活动的成效评估研究较多。蓝翊瑄运用构建的成效评估指标对台北市立图书馆“翻转知识系列活动——青少年经典阅读周”活动成效进行评估[23];王梅玲介绍了两个阅读推广活动成效评估案例,希望为图书馆未来实施成效评估提供参考[24]。亲子共读活动是图书馆推广阅读的典型模式,孙云倩等研究发现,祖孙共读活动对提升图书馆利用率和能见度、满足祖父母心理需求和改善共读能力、培养儿童阅读兴趣及习惯,以及增进祖孙关系等方面皆有所帮助[25-26];刘华宗与杨清媚研究了台中市图书资讯中心举办的“阅读起步走·亲子悦读营”活动的成效[27-28]。除了参与活动的儿童,家长、教师、照顾者等也是阅读推广活动成效评估过程中的测量对象,纪丽娟以台中县公共图书馆举办的“阅读起步走”活动为例,探讨不同生活形态的家长在服务质量、体验感受、图书馆利用行为与活动成效的差异,并进而探讨其对图书馆利用行为与活动成效的影响[29]。
许多图书馆与小学合作举办阅读教学活动,但很少有研究探讨儿童阅读教学的成效。阅读教学活动成效良好,可促使读者有强烈的阅读动机、良好的阅读态度,以及完整阅读理解历程。王梅玲与曾湘怡认为这是一个重要议题,针对小学与图书馆合作举办的阅读教学活动带给小学生的阅读影响,以及活动成效评估进行了研究[30-31]。蔡佳吟与黄宥綝以基隆市某小学为例,运用CIPP评估模式分析小学低年级阅读教学成效[32]。与传统阅读教学方法相比,有学者考察了引进概念导向型阅读教学法(CORI)等阅读教学新方法对儿童阅读教学成效的影响。陈海泓考察了CORI融入社会领域教学对小学五年级学生阅读成效的影响[33];陈昭珍、林吟燕、陈雅萍等研究了CORI对初中生阅读投入的影响[34-35]。
2.2.2 信息素养教育成效评估研究
在讨论信息素养教育成效评估之前,我们应该明确一点,即图书馆“信息素养服务”已向“信息素养教育”转型升级。课程成效评估是信息素养教育成效评估的重要组成部分,学者们开展了一系列信息素养教育课程成效评估研究,主要以问卷、测验与观察等方式来确认学生所获得的学习成效。高校图书馆信息素养教育成效评估案例研究较多,研究对象大多是非图书情报学专业学生,如体育学院学生、医药专业学生等。课程成效评估又可分为针对面对面课程、嵌入式课程、网络课程等不同类型课程的成效评估。
(1)面对面课程成效评估
目前台湾地区的台湾大学、成功大学、台湾清华大学、台湾交通大学、中兴大学等多所高校均已开设信息素养相关课程,希望通过这些课程培养学生在信息搜寻、运用方面的能力。罗思嘉研究了台湾成功大学信息素养课程实施成效[36];于第研究了台湾景文技术学院信息素养相关课程实施成效[37];王巧燕与曾惠明探讨了台湾大仁技术学院专科部药学科图书馆利用教育实施成效的评估[38];周宏宏探讨了台湾真理大学图书信息利用教育课程的成效[39];周倩等探讨了大学生通识教育课程《信息素养与伦理》的实际授课成效[40]。关于信息素养教育课程的主要成效,廖缓宙研究发现,课程的主要成效为提升图书馆资源使用率,并能提升馆员与学生之间的互动性,学生的学习效果良好[41]。洪美龄等对台湾医药大学医药专业学生信息素养通识课程的学习成效进行了探讨,研究发现个别学生的学习意愿、修课人数与小组的合作关系、善用与教学者对话的管道等因素对学生信息素养学习成效有显著影响[42]。
(2)嵌入式课程成效评估
除了以分散或独立课程推动信息素养教育,嵌入式课程是从信息素养教育的概念中衍生出来的新的信息素养教育理念与教学模式。这种课程教学模式正逐渐成为图书馆发展的重点,也成为众学者研究与实践的话题,越来越多学者对于信息素养教育单元嵌入各学科教学,以及作业的成效进行思考与研究。例如逢甲大学将信息素养教育单元融入该校商学院研究生的研究方法课程,沈佩琴通过研究生个人基本数据问卷、测验、作业、学习日志、访谈、学期报告等数据,分析了该课程的实施成效[43]。台湾某科技大学二技护理系将实证护理的重要概念融入九周的护理信息素养课程,翁慧娟等运用类实验设计与前后测的方式评估了该课程成效[44-45]。总体而言,嵌入式信息素养课程能够指导学生有效使用图书馆资源,帮助达成教师既定需求,并帮助学生记忆学科知识或提升学生的问题解决能力。
(3)网络课程成效评估
近年来,台湾地区各级学校均投入经费与精力用于信息素养网络课程的研发,学者们针对这些信息素养网络课程取得的成效进行了探析。谢宝煖以台湾大学通识课程《资讯与网路资源利用》为个案,探讨学生的学习行为与学习成效[46];施碧霞研究了台湾体育大学学生选修通识课程《网路资源应用》的学习成效[47]。台湾教育部门在2010年初正式公开发表其委托图书情报界学者专家及数字科技公司共同开发完成的一套大专院校通识课程数字学习教材——《图书资讯应用》,于第[48]、张迺贞[49]探讨了将该数字教材分别运用于景文科技大学、台北大同大学信息素养课程中的成效。总体而言,学生对信息素养网络教学方式,以及信息素养课程中应用数字教材的满意度较高,学生利用网络资源解决问题的能力有所提升。
相较于学校图书馆,公共图书馆信息素养教育成效评估研究寥寥无几。公共图书馆通过举办各种图书信息利用教育活动,以达到提升公众信息素养能力的目标。实际上,与学校图书馆相比,公共图书馆不仅可以弥补学校图书馆因开放时间的限制而影响学生学习[50],还是一个亲子可以共同参与的场所。培养儿童信息素养是公共图书馆努力的一个重要目标,张佑华与宋慧筠探讨了台湾公共资讯图书馆所举办的亲子博士信箱活动的感知学习成效,研究发现:除了阅读与思考技能之外,该活动对于培养儿童专注力、增进人际互动关系有所帮助[51]。公共图书馆常在寒暑假或假日举办信息素养短期课程,邱子恒以台湾“国家图书馆”暑期青年学者养成营项目为例,研究了高中生信息素养短期课程的学习成效[52]。
2.2.3 其他类型专项成效评估研究
空间再造是当前图书馆转型与发展的重要内容。2009–2010年台湾教育部门实施公共图书馆环境与设备升级计划,辅助公共图书馆进行阅读空间改造。鉴于青少年服务的重要性,许多公共图书馆进行了青少年阅读空间改造,王梅玲与江宜蓁研究了再造后的青少年阅读空间使用与满意度[53]。受信息技术发展的影响,许多高校图书馆设置了学习共享空间。侯淳凡探讨了学习共享空间服务质量评鉴指标的应用,并了解使用者对于学习共享空间的使用满意度与服务成效[54]。近年来,越来越多图书馆开展了电子书借阅服务,谢建成、赵素贞利用LibQUAL+TM量表与网站使用性评估准则,以问卷方式了解用户对个案图书馆所提供电子书服务的满意度与使用效益[55]。数字馆藏是图书馆馆藏资源的重要组成部分,陈佳琪以台湾百年图书馆史数位图书馆为例,探讨了数字馆藏资源支持专题式学习模式的成效,研究发现数字馆藏资源应提升数据检索效能,以增加学习者的使用意愿[56]。台北市立图书馆亲亲分馆举办了亲子共学英语课程——“亲子共学英语计划”,王丽娜探讨了其实施成效,包括亲子共学英语的学习历程与转变、亲子共学英语对亲子互动的影响,以及影响亲子共学英语学习意愿的因素等[57]。
评估标准的构建是图书馆实施成效评估的基础,管理者必须构建一套能够衡量图书馆服务目标与成效实现的指标体系,用于评估实践工作。
3.1.1 整体成效评估指标
到目前为止,台湾地区已开展5次“公共图书馆评估及绩优图书馆奖励实施计划”评估各级公共图书馆的营运与服务绩效,遵循的指标体系是《台湾地区公共图书馆营运绩效评量表》,对台湾地区公共图书馆事业发展起到良好的促进作用。2003–2013年间,台湾地区图书馆界陆续进行了4次公共图书馆营运绩效评估,吕明珠分析了这四次评鉴结果与评鉴工具[58]。最近一次的第五次台湾地区公共图书馆绩效评估工作于2015年全面展开,台湾“国家图书馆”以2004年版、2013年版绩效评估指标为基础,参照台湾地区《公共图书馆设立及营运基准》的规定,广泛征求专家、学者的意见,并根据公共图书馆事业发展概况进行修订,制定了2015年版公共图书馆营运绩效评估指标体系。相较于以往的评量表,2015年版评量表在体系结构、各项目的配分比例、指标取值、评分标准、评估指标等几个方面都做了较为系统的调整与优化。新的绩效评估指标体系分为:“基础建设”“营运规划”“馆藏资源管理”“读者服务”“阅读推广及公共关系”“阅读环境”6个一级指标,若干个二级指标。台湾地区公共图书馆评估已在绩效评估的基础上,引入注重效益与质量的成效评估理念。公共图书馆评估指标编制时参考了1987年ALA颁布的《公共图书馆绩效评估指标》与ISO《信息与文献:图书馆绩效评估指标》 (ISO 11620,1998)中的“读者满意度”与“读者服务”的若干评估指标,并根据本地区图书馆发展的实际情况进行了调整。评估指标体系中的“读者服务”“阅读推广及公共关系”“阅读环境”均涉及公共图书馆对用户日常生活、教育、休闲娱乐的一些具体指标,对构建图书馆整体成效评估体系具有一定的借鉴意义。
对于图书馆整体成效评估指标的设计,王梅玲提出评估指标“应为社区需求、图书馆服务目标与使用者对服务回应的三者交集”。一般使用者参与活动成效指标可考虑:状态、行为、生活技能、改变行为的意愿、知识、态度/价值观、知觉/感觉、服务满意度、图书馆技能、参与/使用服务、对服务觉知/接触等;对于社区的成效指标,有时间节省、学习改善、工作生产力改善、工作质量提升、新增价值、对组织目标提升、改进工作时效性等[59]。另外,受国外相关研究的影响,柯皓仁等众学者借鉴芬兰学者Vakkari与Serola的评价指标体系[60],从教育(学习)、工作、日常生活、休闲活动4个方面探讨公共图书馆的整体成效与社会价值。
3.1.2 专项成效评估指标
图书馆专项成效评估工作中,评估指标体系的构建有利于人们充分认识影响特定服务项目的要素及其联系,明确服务改进方向,从而提升该项服务的服务质量与用户满意度。在专项成效评估层面,学者们从不同视角对专项服务的评估指标体系进行探讨。蓝翊瑄在文献调研和焦点小组访谈的基础上,构建了包含活动满意度、阅读兴趣、知识学习、图书馆使用意愿4个一级指标、9个二级指标的青少年阅读推广活动成效评估指标体系,并于阅读推广活动后应用该指标体系实施成效评估[23]。为评估阅读教学活动给小学生带来的阅读影响与活动成效,王梅玲与曾湘怡使用焦点访谈法,构建了包含3个一级指标、7个二级指标的二年级学生阅读技巧成效评估指标体系,其中一级指标包括字汇辨识、阅读应用、阅读理解[61]。为了评估再造后的青少年阅读空间使用与满意度,王梅玲与江宜蓁参照相关文献,构建了空间环境、家具设备、学习与休闲互动、馆藏与服务4个一级指标,28个二级指标的青少年空间使用满意度量表[53],该量表可为我国大陆地区已进行空间再造的图书馆设计成效评估体系提供借鉴。为了解使用者对于学习共享空间的使用满意度与服务成效,王梅玲与侯淳凡参考美国研究图书馆学会LibQUAL+评估工具、Beagle的信息共享空间指标[62]、上海师范大学的信息共享空间案例,设计了学习共享空间服务品质评估指标体系,包含实体学习与共享空间、信息软件与电子资源、图书信息整合服务3个一级指标、24个二级指标[63]。其中,图书信息整合服务、环境、设施与资源等指标都涉及高校图书馆对学生学习产生影响的一些指标,对于构建高校图书馆学习共享空间成效评估体系具有一定的借鉴意义。若干学校已开设信息素养通识课程,学者们主要关注学生数字阅读能力、批判性思考与信息素养技能的提升程度。林丽娟以辅仁大学学生为对象,探讨学生参与图书馆利用教学与信息素养能力,包括接收新知动机、技能取得、信息评估、整合与运用等4项指标的关系[64]。
一般来说,图书馆成效评估方法可分为两类:一类是定性评估方法,即采用定性调查、访谈、焦点小组访谈、用户对获得的知识与技能进行自我评估等方式了解图书馆用户与非用户的经验和观点,包括图书馆服务对用户产生的直接价值与潜在价值、图书馆对个人与社会的潜在影响、图书馆对未来用户的潜在价值等。定性评估方法常用于公共图书馆成效评估,从而体现公共图书馆的社会价值与重要性。另一类是定量评估方法,通过实验、非介入性观察、长期追踪、数据挖掘等方法,获得图书馆用户知识、技能或行为改变的具体证据,并探索图书馆使用与个人知识、技能或行为改变之间的相关性。一般而言,定量评估方法较常用在图书馆专项成效评估[65]。
文献调研显示,台湾地区图书馆成效评估方法趋于综合化,采用定性与定量混合的方式。学者们在对图书馆服务成效进行研究的过程中使用多种相应的方法,从而获得客观而准确的结果。例如,在评估信息素养教育课程成效时采用多元评估方法,主要利用问卷调查与客观化考试相结合的方式进行课程评估。一般来说,前期主要使用问卷调查了解学生信息素养能力现状,再通过客观化考试进行成绩测定,最后比较分析经过课程学习后学生的信息素养差异与教学成效。也有学者依托信息素养教育实践,采用行动与研究相结合的方法探讨信息素养教育课程成效。翁玉蓉采用行动研究法,以政治大学《图书资讯应用》课程为例,探究地方记忆主题融入信息素养课程后大学生的学习成果[66]。
从研究内容看,我国台湾地区图书馆成效评估研究内容较为全面,既有探讨图书馆对于用户、社区在生活方面的帮助与影响的整体成效评估研究,也有针对阅读推广活动、信息素养教育、青少年阅读空间改造、学习共享空间服务、电子书服务、数字馆藏等图书馆某项特定服务或活动方案成效的专项评估研究。目前,我国大陆地区图书馆成效评估研究文献为数不多,仅是一些初步研究,主要总结国外研究现状与案例介绍,成效评估研究的深度还有待加强。成效评估已成为图书馆管理的新思维,针对图书馆多元化服务,在配合预定目标的基础上,量化服务成果,全面探讨各项服务的成效势必成为图书馆可持续发展的关键。
从研究类型看,我国台湾地区图书馆成效评估研究大多是实证研究,主要采用问卷调查和访谈两种方法,或者同时使用这两种方法。既有基于调查问卷的定量测评,也有基于深度访谈、观察等的定性分析。目前,我国大陆地区图书馆成效评估研究受到越来越多研究人员的关注,随着研究逐渐深入,也面临着一些挑战,例如学者们提出的评估体系与评估方法大多是理论上的研究,并没有侧重在调查实践的基础上进行研究和论证。成效评估实证研究较少,且不够规范。相较于泛泛而谈,实证研究更具有可信度与参考价值。图书馆成效评估实证研究可以一方面为组织实施成效评估的机构提供直接参考,另一方面也可以为未来的成效评估实证研究提供依据,使得研究具有较好的连续性和系统性。成效评估的理念是以用户为中心,因此,最终应落实在实证研究方面,结合实际服务案例开展问卷调查或访谈等。
目前,我国台湾地区高校图书馆尚没有统一的评估标准,公共图书馆系统已形成较完整的绩效评估指标体系,并在绩效评估中融入了成效评估的理念,但是并没有从绩效评估中脱离出来形成单独的成效评估体系。截至2018年,我国大陆地区已完成6次县级以上公共图书馆评估定级工作,第七次评估共工作也于2022年启动。前5次公共图书馆评估一直强调资源建设,忽视了服务过程与成果的评估。第六次评估将原来的评估标准调整为三大类指标:服务效能、业务能力、保障条件,其中把“服务效能”大类提前到了第一位,这显示了第六、七次评估对服务效率与效果评估的重视。然而,大多数评估指标仍为网站年访问量、信息推送次数、数字资源浏览量、参考咨询数量等绩效评估指标,较少涉及反映图书馆价值与影响的成效评估指标。从建设绩效导向转向服务成效导向是“后评估时代”公共图书馆的战略重点与发展方向之一[67]。因此,图书馆评估体系构建时不仅要强化绩效评估指标,还应参考已有的成效评估报告与指标体系,并根据我国大陆地区图书馆事业发展重点适当增加成效评估指标。