美国高校图书馆信息素养评估项目介绍及启示

关键词：信息素养；合作评估；信度；效度

摘要：文章基于威斯康星大学麦迪逊分校信息素养评估项目的实践，分析了项目开展背景和项目要点，重点阐述了项目对国内信息素养评估的启示。

中图分类号：G252文献标识码：A文章编号：1003-1588（2014）08-0103-03

1974年，美国信息产业协会主席保罗·泽考斯基率先提出了“信息素养”的概念，并将其描述为利用信息解决问题的技术与技能。1987年，信息学家Patrieia Breivik将信息素养概括为能鉴别信息价值、选择信息获取途径、掌握获取和存储信息的技能。1989年，信息素养研究进入图书馆人的视线，美国图书馆协会下设信息素养委员会对此进行专门性研究，并将信息素养的内涵概括为4部分：确定信息需求、查找信息、评价信息和使用信息。1990年，全美信息素养论坛成立，旨在推动公众信息素养认知和教育[1]。

1995年，金国庆撰写“信息社会中信息素养教育概述”[2]，由此拉开了国内图书馆界对信息素养的认知、评估和教育研究。2000年后，图书馆界有关信息素养的研究文献大量涌现，多项信息素养工程不断渗入和推进。然而，大量统计数据却显示，国内公众信息素养水平仍较低，低水平重复研究造成了大量科研经费的浪费，国内每年各类科研革新课题中有50%是对国外已有成果的重复，专利文献的利用率仅为1.1%，书刊文献利用率低于30%，信息收集在我国科研人员工作开展中的比重也仅位于5%～15%之间，大大低于美国的59%[3]。如何建立有效的信息素养评估机制，大力发展信息素养教育成为迫在眉睫的问题。笔者对美国威斯康星大学麦迪逊分校（University of Wisconsin-Madison以下简称UW）的信息素养评估项目进行了介绍，并阐述了其对国内信息素养工作的启示。

1UW信息素养评估项目背景

2000年，美国大学和研究型图书馆协会 （ACRL）发布了“美国高等教育信息素养能力标准”。这一规范性指导文件为此后全美高校的信息素养评估提供了强有力的准则。该标准虽然可用于所有能力层次大学生的信息素养能力的评估，但教师和图书馆员还是应根据评估对象学科、能力层次的不同，分别拟定适用的评估方案和策略，不可对标准生搬硬套[1]。于是，各图书馆纷纷以此为依据，探索其信息素养评估的有效实现途径，并以此为雏形发展衍生出各种评估模型。比如，2003年ETS（Educaitonal Testing Service，美国教育考试服务中心）发布的ISkill（信息素养技能）测试标准；2009年，Steven L.Wise和Lynn Cameron研究的ILT（Information Literacy Test信息素养测试）模型等。其中，ILT是Wise与Cameron在深刻理解ACRL能力标准基础上，结合高校评估工作实际所设计的一款实用性评估工具。在预期效用中，Cameron进行了如下描述：“该评估机制用于各院校对其任何应当具备信息素养能力学生信息素养能力的评估，本科生或研究生、全日制生或社区大学生均为适用对象，ILT测试中收集的数据可用于高校信息素养发展计划制定用途，ILT测试结果可成为各院校信息素养教育的考核问责指标”[4]。ILT模型的出现，标识着高校信息素养评估工作发展到了一个较为成熟的阶段，截至目前，全球范围内已有超过40所院校实施了以ILT评估模型为核心的信息素养评估机制。

2009年，UW也采用ILT模型进行信息素养评估，其评估结果表明了ILT的局限性：①评估标准不能适用所有的测评对象。②评估内容不仅要包括普适性的公共信息素养，也要包括专业信息素养。2011年，为进一步改进以ILT为核心的评估模型，在NFIL多方合作方式的启迪下，UW启动了集聚校内多方力量的信息素养评估项目。

2UW信息素养评估项目要点

2.1选择评估内容

为客观评估用户的信息素养水平，UW参照信息素养的5大标准设计了评估内容，包括明确所需信息的性质和范围、信息获取方式和渠道、信息筛选和评价、信息的转化利用和信息的合法利用等。为了让测评问题能实现评价目标，图书馆员、数据评估分析师和专业科研人员三方通力合作，对相关测评题库进行分析，最后挑选出针对所有学生信息素养测试的55道客观题和针对专业学生的54道客观题（公共健康相关专业34题、公共事业管理相关专业20题）。这109道测评题目能同时体现1～2项考核标准，同时，每道题目的测试权重根据测试对象的身份和专业不同而有所差异。

2.2评估试点

项目组迅速组织了以298名公共健康专业学生和92名公共事业管理专业学生为测评对象的评估试点。基于以下目的，项目组在试点测试对象中加入了低年级的样本量：①扩大样本范围，获取面向不同层次学生的测试结果。②有相当比例的专业教研人员希望通过测试证明高年级毕业生信息素养相对于低年级学生的成长性和高水平性。③希望可以收集到某些显示高年级毕业生团队异质性的证据。最终的390名试点测试对象中，包括3名大一新生，138名大学二年级学生，110名大学三年级学生和139名大学毕业生。确定好测试样本，项目组接着以简短会议的形式展开了对监考人员的培训，该培训旨在让监考人员熟悉标准化考试管理过程中应遵循的程序和应给予的必要指导。UW的测试项目通过评估中心提供的URL（Uniform Resource Locator统一资源定位符）实施统一的在线管理，被测学生登录后，便可在系统发送的详细说明的指导下完成测试[5]。

2.3测试项目信度检测

目前，学术界普遍使用试卷内部一致性信度指标（KR20或克龙巴赫α系数）考察测试题目在衡量内容和衡量特质上的一致性。KR20适用于0、1计分制客观测试题的一致性信度计算，UW的项目测试题均满足该条件，因此，KR20被项目组选为信度检测指标。通过公式计算，当内部一致性系数KR20大于0.7时，表明测试的可靠度较高，在探索性研究中，KR20可以小于0.7，但必须大于0.6[6]。endprint

李玉斌：美国高校图书馆信息素养评估项目介绍及启示李玉斌：美国高校图书馆信息素养评估项目介绍及启示项目组计算出试点评估中不同考核标准测试项目的内部一致性系数，其中，公共健康相关专业测试题KR20=0.723，公共事业管理相关专业KR20=0.434，这说明UW项目无论是在普适性测试题目设计方面还是在专业性测试题目设计方面，其一致性效度都亟待改善。图书馆员、评估分析师和专业学术人员随即展开了新一轮的通力合作：①剔除KR20为负向和小于0.3的测试题目。②对KR20介于0.3～0.7之间的测试题目进行反复的推敲、修正和完善。③着重分析研究KR20高于0.7的测试题目在制定过程中特有的思绪和方法，以借鉴指导于后续的试题发展和完善。经过项目成员的默契合作和不懈努力，修正后的51道普适性测试题和56道专业性测试题（公共健康相关专业36道，公共管理相关专业20道）分标准一致性信度系数、分专业一致性信度系数和综合一致性信度系数均超过标准量0.7。

2.4测试项目样本干扰性分析

对于单选客观题而言，如何克服较高的猜测概率，保障考试的功能和信度，成为困扰出题人员的一大难题。有效干扰项的设置是克服猜测式答题的关键，因此试题样本的干扰性分析自然成为检测单个客观题设计科学合理的评判性标准之一。2009年，Nathan在其CITAS（Classical Item and Test Analysis Spreadsheet测试分析数据表）白皮书中便阐述了如何运用CITAS进行试题的干扰性分析：分别计算单个试题中选择每个选项学生的平均分，如果该试题选项设计合理，那么选择正确选项学生的平均分应当最高，而相应的，选择最不正确选项学生的平均分应当最低，例如，某题的正确答案为A，B、C选项部分不正确，D选项完全不正确，则选择A的学生平均分应最高，选D的学生平均分应最低[7]。

依据CITAS理论，ILT-S项目组从107道题目中选取适量样本，逐个进行样本干扰性分析。以第36题为例，题目为——当你试图确认某个信息源偏差时，你会考虑以下选项，除了（）：A，作者声誉；B，作者资历；C，信息发布日期；D，信息目的。正确答案为C，干扰性分析结果却显示选C学生的平均分为28.36，低于选择A选项学生平均分的29.34，由此可见，选项设置有待改进（见图1）。项目组根据干扰性分析结果对测试题目进行了进一步的选项调整和完善，最终设计的普适性选题包含35项，专业性选题包含40项，综合性的CR20超过了0.8，证明ILT-S测试内容构想清晰，设计合理，对相关专业毕业生信息素养具有良好的考查功效。

3.1构建信息素养评估联盟

信息素养评估和教育不能仅是图书馆人的工作内容，如何构建信息素养测评联盟，调动一切可用资源，也是国内今后信息素养评估工作的重点。UW的项目建立了包括图书馆员、数据评估分析师和专业学术人员在内的合作联盟，并对彼此的职责进行了较为明确的说明。①图书馆员的协调和统领作用。首先，图书馆员凭借自身的专业优势，在信息素养认知和信息检索技能上占有优势，可大致确立信息素养测试框架。其次，图书馆员对信息素养标准的理解较为深刻，能针对标准的指标要求，提出和设计针对性的测试题目，提高测试效率。最后，长期的信息素养工作实践让图书馆员积累了大量项目经验，有助于项目目标的实现。②数据评估分析师让测评结果分析更客观、准确。评估分析师的主要工作内容包括：辅助图书馆员和专业学术人员进行专业领域内容的开发；对测试标准的准确性和正确性进行数量分析；协调普适性和专业性考核内容的分配和比例；通过样本测试结果反复确认考核项目的最佳实践。③专业学术人员侧重专业信息素养内容的评价。项目组专业学术人员的工作内容包括：提供专业领域的知识指导；了解用户专业研究过程中的信息障碍；主持专业信息素养测试题目的编纂；实现专业性信息素养目标和ACRL标准的有机统一。

3.2加强顶层设计，发挥专业协会作用

纵观美国信息素养评估实践，“美国高等教育信息素养能力标准”这一全国性规范性指导文件的作用不容小觑，各个体馆均是在此基础上不断对照实践，美国图书馆协会也会积极总结和推广成功的信息素养测评模式，比如ILT模型的广泛应用。而在我国，由于信息素养认知和评估的起步较晚，尚未形成系统的理论体系和实践工具箱，其具体表现为：①缺少全国性统一规范的信息素养科学标准。虽然目前已出现区域性的信息素养能力指标体系[8]，但能被广泛认同的统一标准体系仍是空白。因此，加强顶层设计，构建国内统一的信息素养标准体系将是下一步的重点。②专业协会的研究推广作用未充分彰显。在美国，图书馆协会组织发挥了积极且重要的作用，无论是对研究试点还是成熟工作模式的推广，皆能看到专业协会的身影；而国内虽然也组建了国家和省市的各级各层图书馆专业协会组织，然而其作用价值并未彰显，在相关研究启动、鼓励成员馆参与、研究成果推广等方面仍存在不足。

3.3融合普适性和专业性内容，实现综合评估

UW项目告诉我们，优秀的信息素养测试模型可以实现对学生通用信息素养和专业信息素养的综合评定，这样的评价思路与新时代人才评价标准不谋而合。信息时代，社会需要大量具备广博知识基础又在某个领域发展突出的人才。信息素养已成为人类开展日常生活学习的一种通用技能，但不可否认的是，信息素养因人们所涉猎专业和领域的不同对其使用主体的能力要求也不同。此外，信息素养内涵丰富，SCONUL（英国国家和大学图书馆协会）下属的ACIL（信息素养咨询委员会）于2011年更新升级了信息素养的7项核心指标模型，分别为信息需求识别、信息需求研究、检索策略计划、信息获取、信息评价、知识管理和知识展示、创新[9]。不同专业，对其学生的信息素养内涵要求权重也不同，这更要求国内的高校学生信息素养测试既具备一定的普适性又具备一定的专业针对性。

3.4发展标准化测试工具，完善测试设计endprint

美国信息素养评估实践表明，科学标准的测试工具是基础和前提。国内目前暂无标准的用户信息素养测试工具箱，所以我们应在信息素养能力标准构建的基础上，着力于研究应用工具，从而构建工具雏形，然后通过试点，对测试工具不断改进和完善，并通过测评工具完美体现评价目标，最终实现工具的标准化。在此过程中，测试内容的信度和效度分析尤其重要，因为信息素养测评是否适宜大规模推广和应用，重点就在于对其信度、效度和难度的测算，检验相关指标是否能达到测试标准[10]。托福考试、HSK考试（中国汉语水平考试）、英语四六级考试等这种大规模的能力和知识水平测试均应用各种方法进行相关测算和检验，信度均达0.9以上[11]，而UW项目也应用各种数据分析法对测试内容进行分析和检验，让测评信度达到0.8以上，这为国内今后信息素养评估实践提供了有益的借鉴。

参考文献：

[1]Information Literacy Competency Standards for Higher Education[EB/OL].[2000-01-18].http：//www.ala.org/acrl/standards/informationliteracycompetency#ilassess.

[2]金国庆.信息社会中信息素养教育概述[J].图书情报工作，1995（6）：52-54.

[3]Information Literacy in science and technology[EB/OL].[2011-09-10].http：//wenku.baidu.com/link？url=eD7LJ5i4-3keeLiiU7gho4X0_SpPEZoNimVI2HHJoo-8QJK2qPxpMimzuzbEBFgGI_5HTBmp43KXBeNc4dJX5YJAO8FEaKZYQLJxFuhYrmS.

[4]Utilizaing Cross-Campus Collaboration to Imporve the Assessmen of Information Literacy[EB/OL].[2012-10-28].http：//libraryassessment.org/archive/2012.shtml.

[5]The Information Literacy Test Manual[EB/OL].[2010-10-18].http：//www.madisonassessment.com/uploads/ILT%20Test%20Manual%2010.pdf.

[6]关守义.克龙巴赫α系数研究述评[J].心理科学，2009（32）：685-687.

[7]Classical Item and Test Analysis with CITAS[EB/OL].[2009-05-20].http：//www.google.com.hk/url？sa=t&rct=j&q=test%20sample%20distractor%20analysis&source=web&cd=3&ved=0CDgQFjAC&url.

[8]娜日，吴晓伟，吕继红.国内外信息素养标准研究现状与展望[J].图书情报工作，2010（2）：32-35.

[9]黄丹俞.跨媒体信息素养的概念、特点及对图书馆的意义[J].图书情报工作，2013（7）：56-60.

[10]王立非，江进林.全国商务英语考试的设计与信效度研究[J].外语与外语教学，2011（6）：35-40.

[11]考试成绩评价的区分度、信度、效度等概念[EB/OL].[2012-05-17].http：//www.doc88.com/p-537791702815.html.

（编校：严真）endprint

美国信息素养评估实践表明，科学标准的测试工具是基础和前提。国内目前暂无标准的用户信息素养测试工具箱，所以我们应在信息素养能力标准构建的基础上，着力于研究应用工具，从而构建工具雏形，然后通过试点，对测试工具不断改进和完善，并通过测评工具完美体现评价目标，最终实现工具的标准化。在此过程中，测试内容的信度和效度分析尤其重要，因为信息素养测评是否适宜大规模推广和应用，重点就在于对其信度、效度和难度的测算，检验相关指标是否能达到测试标准[10]。托福考试、HSK考试（中国汉语水平考试）、英语四六级考试等这种大规模的能力和知识水平测试均应用各种方法进行相关测算和检验，信度均达0.9以上[11]，而UW项目也应用各种数据分析法对测试内容进行分析和检验，让测评信度达到0.8以上，这为国内今后信息素养评估实践提供了有益的借鉴。

参考文献：

[1]Information Literacy Competency Standards for Higher Education[EB/OL].[2000-01-18].http：//www.ala.org/acrl/standards/informationliteracycompetency#ilassess.

[2]金国庆.信息社会中信息素养教育概述[J].图书情报工作，1995（6）：52-54.

[3]Information Literacy in science and technology[EB/OL].[2011-09-10].http：//wenku.baidu.com/link？url=eD7LJ5i4-3keeLiiU7gho4X0_SpPEZoNimVI2HHJoo-8QJK2qPxpMimzuzbEBFgGI_5HTBmp43KXBeNc4dJX5YJAO8FEaKZYQLJxFuhYrmS.

[4]Utilizaing Cross-Campus Collaboration to Imporve the Assessmen of Information Literacy[EB/OL].[2012-10-28].http：//libraryassessment.org/archive/2012.shtml.

[5]The Information Literacy Test Manual[EB/OL].[2010-10-18].http：//www.madisonassessment.com/uploads/ILT%20Test%20Manual%2010.pdf.

[6]关守义.克龙巴赫α系数研究述评[J].心理科学，2009（32）：685-687.

[7]Classical Item and Test Analysis with CITAS[EB/OL].[2009-05-20].http：//www.google.com.hk/url？sa=t&rct=j&q=test%20sample%20distractor%20analysis&source=web&cd=3&ved=0CDgQFjAC&url.

[8]娜日，吴晓伟，吕继红.国内外信息素养标准研究现状与展望[J].图书情报工作，2010（2）：32-35.

[9]黄丹俞.跨媒体信息素养的概念、特点及对图书馆的意义[J].图书情报工作，2013（7）：56-60.

[10]王立非，江进林.全国商务英语考试的设计与信效度研究[J].外语与外语教学，2011（6）：35-40.

[11]考试成绩评价的区分度、信度、效度等概念[EB/OL].[2012-05-17].http：//www.doc88.com/p-537791702815.html.

（编校：严真）endprint

美国信息素养评估实践表明，科学标准的测试工具是基础和前提。国内目前暂无标准的用户信息素养测试工具箱，所以我们应在信息素养能力标准构建的基础上，着力于研究应用工具，从而构建工具雏形，然后通过试点，对测试工具不断改进和完善，并通过测评工具完美体现评价目标，最终实现工具的标准化。在此过程中，测试内容的信度和效度分析尤其重要，因为信息素养测评是否适宜大规模推广和应用，重点就在于对其信度、效度和难度的测算，检验相关指标是否能达到测试标准[10]。托福考试、HSK考试（中国汉语水平考试）、英语四六级考试等这种大规模的能力和知识水平测试均应用各种方法进行相关测算和检验，信度均达0.9以上[11]，而UW项目也应用各种数据分析法对测试内容进行分析和检验，让测评信度达到0.8以上，这为国内今后信息素养评估实践提供了有益的借鉴。

参考文献：

[1]Information Literacy Competency Standards for Higher Education[EB/OL].[2000-01-18].http：//www.ala.org/acrl/standards/informationliteracycompetency#ilassess.

[2]金国庆.信息社会中信息素养教育概述[J].图书情报工作，1995（6）：52-54.

[3]Information Literacy in science and technology[EB/OL].[2011-09-10].http：//wenku.baidu.com/link？url=eD7LJ5i4-3keeLiiU7gho4X0_SpPEZoNimVI2HHJoo-8QJK2qPxpMimzuzbEBFgGI_5HTBmp43KXBeNc4dJX5YJAO8FEaKZYQLJxFuhYrmS.

[4]Utilizaing Cross-Campus Collaboration to Imporve the Assessmen of Information Literacy[EB/OL].[2012-10-28].http：//libraryassessment.org/archive/2012.shtml.

[5]The Information Literacy Test Manual[EB/OL].[2010-10-18].http：//www.madisonassessment.com/uploads/ILT%20Test%20Manual%2010.pdf.

[6]关守义.克龙巴赫α系数研究述评[J].心理科学，2009（32）：685-687.

[7]Classical Item and Test Analysis with CITAS[EB/OL].[2009-05-20].http：//www.google.com.hk/url？sa=t&rct=j&q=test%20sample%20distractor%20analysis&source=web&cd=3&ved=0CDgQFjAC&url.

[8]娜日，吴晓伟，吕继红.国内外信息素养标准研究现状与展望[J].图书情报工作，2010（2）：32-35.

[9]黄丹俞.跨媒体信息素养的概念、特点及对图书馆的意义[J].图书情报工作，2013（7）：56-60.

[10]王立非，江进林.全国商务英语考试的设计与信效度研究[J].外语与外语教学，2011（6）：35-40.

[11]考试成绩评价的区分度、信度、效度等概念[EB/OL].[2012-05-17].http：//www.doc88.com/p-537791702815.html.

（编校：严真）endprint