基于内容分析法的阅读素养评估项目国内研究综述*
——以PISA、PIRLS和NAEP为例

2022-03-08 06:01常李艳
图书情报研究 2022年1期
关键词:文献评估体系

刘 婧 罗 岚 常李艳 余 航

(1.南京邮电大学管理学院 南京 210003;2.南京大学信息管理学院 南京 210023;3.南京大学金陵学院信息科学与工程学院 南京 210089)

阅读是人类认识世界的基本方式之一,在互联网飞速发展的现代社会,阅读更是人类获取信息、融入社会的重要途径。联合国科教文组织在1972年发布的《学会生存》报告中指出“终身学习”和“终身教育”的概念,在国际上得到了广泛的关注,进一步揭示了学习是永无止境的,要注重培养终身阅读的能力[1]。党中央对阅读高度重视,自十八大报告中提出“开展全民阅读活动”之后,全民阅读的理念多次被写入党代会报告、政府工作报告、“十四五”规划纲要等重要文件中。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中指出要完善我国社会公共文化服务体系,推进公共图书馆、文化馆、美术馆、博物馆等公共文化场馆免费开放和数字化发展;深入推进全民阅读,建设“书香中国”[2]。由此可见,发展和推广全民阅读已经成为国家文化发展重要战略之一。

为了评估学生的阅读素养水平,国际上出现了很多以阅读素养为重点评价内容的大型教育质量监测项目,如:国际学生评估项目(The Program for International Student Assessment,简称PISA)、国际阅读素养进展研究(Progress in International Reading Literacy Study,简称PIRLS)和国家教育进步评价(National Assessment of Educational Progress,简称NAEP)等。2002年开始国内出现了有关阅读素养评估项目的研究文献,2009年中国上海首次参与PISA 测试,推动了国内的阅读教育与世界接轨,此后相关研究文献愈加丰富。对各阅读素养评估项目的介绍,包括其历史演变、空间分布、热点问题和发展趋势等[3][4][5],还包括各评估项目间的测评框架、评价指标的对比研究。为了多视角、系统性深入了解国内对国际阅读素养评估项目的研究进展,有必要对近二十年来的相关文献进行系统的分析和综合。本文选择PISA、PIRLS 和NAEP 三个国际上具有影响力的阅读素养评估项目的国内研究文献,经过收集与整理,采用内容分析法深入梳理研究现状,以期为后续研究者提供参考。

1 “阅读素养”概念界定

阅读能力是指反思能力和以阅读为工具实现个人和社会目的的能力[6]。1991年,IEA 在开展阅读素养研究过程中提出了“阅读素养”的概念,丰富了阅读能力的内涵,从此阅读素养受到学者的广泛关注。国际上著名的阅读素养评估项目PISA、PIRLS 和NAEP 都对阅读素养的概念进行了界定,如表1所示。

表1 PISA、PIRLS 和NAEP 评估体系中阅读素养概念界定

随着互联网技术的进步和普及,传统的纸质阅读已经不能满足人们的需求,数字阅读逐渐成为阅读的新形式。Leu等对数字阅读进行了探讨,指出数字阅读的重要性,认为数字阅读能力在于超文本内容的理解而不仅仅是阅读工具的使用,数字阅读素养也可称为信息素养[9]。国际上的阅读素养评估项目也对测评框架进行了补充与改善,PISA 在2009年为了更好地预测学生未来的阅读水平,增加了电子阅读评估的内容[10];PIRLS2016 在测评体系中增加了ePIRLS 阅读素养评价内容,即基于电脑的在线阅读评价,用来测试学生的在线阅读能力[11]。

我国学者对阅读素养概念的研究相对较少,大多是围绕国外的概念界定,结合我国的实际情况进行分析总结。牛丹丹等基于PISA、PIRLS 和NAEP 三个阅读评估项目对于阅读素养定义的具体内容进行比较分析,据此充实了“阅读素养”的内涵,总结后将阅读素养定义为“基于与身心发展特点相结合的不同阅读阶段,掌握阅读知识和策略,形成阅读能力,发展阅读情感与兴趣,实现个人目标与社会参与”[12]。

2 研究设计

2.1 数据来源与数据处理

本研究对中国知网(CNKI)期刊论文数据库中的文献进行整理和分析。在中国知网(CNKI)期刊数据库“高级检索”条件下,分别以“PISA”、“PIRLS”、“NAEP”、“阅读”为关键词组合在篇名中进行检索,文献发表日期选择2002年1月1日至2020年12月31日,共获得559 篇中文期刊文献,首先剔除会议综述、新闻报道等76 篇文献后,继续对剩余文献的摘要和关键词进行阅读,剔除内容为科学素养、信息素养以及主题不是阅读素养评估方面的文献214 篇,最终得到文献内容以阅读素养评估项目为主的期刊文献269篇,作为本研究内容分析的样本。

2.2 研究方法

内容分析法是定量与定性结合的分析方法,它以定性的问题假设作为出发点,通过对文献内容的定量分析,找出能反映文献内容的一些本质又易于计量的特征,将用语言表示的文献转换为用统计数字描述的资料,并从统计数据中得出定性的最终结论,以达到对文献内容更深刻、更精确的认识[13]。首先,通过对检索到的相关文献进行分析整理,对不同的类别编码,形成了初步的编码方案,如研究对象、研究方法、研究主题等。其次,编码工作由两名编码者随机抽取30 篇论文对其中的四个指标进行独立编码,来增强编码者之间的可靠性。最后,两轮编码后,编码方案中的四个指标的Kappa 值均大于0.84,说明两名编码员的标注结果达到了可接受的一致性(Kappa值均大于0.75 表示一致性较好)。

2.3 研究维度

研究维度主要包括文献年代分布、研究对象、主要研究方法、研究主题4 个方面,其中研究对象可以分为中小学生、大学生、职校生和其他四个类别;主要研究方法有评价阅读素养测评体系、比较阅读素养测评体系、借鉴阅读素养测评理念和方法、分析阅读素养测评结果四个类别;主要研究主题的一级编码有理论研究、应用研究、影响因素研究三个维度,每个维度又可以进一步划分为若干个二级编码。其中对文献年代发布、研究对象和主要研究方法这三个方面以定量分析为主进行分类统计,主要研究主题则使用定性分析方法来划分类别。本文的研究维度如图1所示。

图1 阅读素养评估项目研究维度结构图

3 结果分析

3.1 期刊文献年代分布

根据期刊文献发表年代分布数据可以清晰直观地了解该领域内各主题的动态发展过程,并在此基础上预测相关课题的研究发展趋势[14],如图2所示。

图2 PISA、PIRLS 和NAEP 阅读素养评价期刊文献年代分布图

从图2中可以看出,我国阅读素养测评的研究文献最早可以追溯到2002年,2002-2007年间相关文献量较少,我国阅读素养研究尚处于初步探索的阶段,这个阶段的研究大部分都集中在关于阅读素养评价项目的体系概述方面,旨在向国内介绍国际上有影响力的教育监测项目,以期从国际阅读素养测评项目的理念中汲取对我国阅读素养培养有益的部分。2010-2012年间,2010年、2012年这两年阅读素养测评的文献量都出现了一次较明显的增加,特别是2012年高达28 篇,这是因为2009年中国内地首次参与PISA 测试以及2011年中国内地首次参与了PIRLS 阅读素养测试,并且在2007年、2009年、2011年都有NAEP 测评在美国举办,所以国内有关阅读素养测评理念、框架和测试结果的分析文献随之增加。2013-2017年间论文量有所减少,表明阅读素养评价研究发展处于波动阶段。2018-2020年间,研究处于稳定发展阶段。2018年国内有关阅读素养研究达到顶峰,文献量33篇,这是由于2018年PISA 测试以阅读素养测评为主,使得阅读素养测评框架、影响因素、测评结果等都受到了广泛的关注,意味着国内对于阅读素养测评的研究不仅愈加普遍,而且研究的深度也越深,学者的研究重点也逐渐从简单的项目介绍转向反思和应用层面。

3.2 研究对象统计

对研究对象分析可以了解该领域内研究热点的目标对象,从而了解研究的受众群体。通过文献阅读和分类后,发现目前有关阅读素养测评的文献的研究对象主要包括中小学生、大学生、职校生等(见表2)。

表2 PISA、PIRLS 和NAEP 阅读素养评价相关文献研究对象分类表

从表2可以看出,在269 篇阅读素养测评研究文献中,以中小学生为研究对象的文献数量最多,占比高达89.59%,这是由于PISA、PIRLS 和NAEP 阅读素养测试的测试对象都是中小学生,这些评价项目的测评框架、内容等都契合中小学生的阅读能力测评要求。国内学者对于PISA、PIRLS 和NAEP 阅读素养测评的研究更倾向于分析中小学生的阅读素养情况,而针对大学生和职校生阅读素养培养的研究相对较少,需要加深和拓展。其他类别的文献量有21 篇,占总数的7.81%,主要有两种:一种是概述性文章,介绍分析PISA、PIRLS 和NAEP 阅读评价项目的测评框架、理念和实施方法以及测评体系未来的发展趋势;另一种是根据阅读素养评价体系剖析对我国教育评价的启示,旨在提高学生的阅读素养水平。

3.3 研究方法统计

教育研究方法是决定教育研究深度与研究质量的决定性因素[14]。通过对研究样本进行整理分析后,从研究手段来看,将其细分为评价阅读素养测评体系、比较阅读素养测评体系、借鉴阅读素养测评理念和方法、分析阅读素养测评结果4 个方面。评价阅读素养测评体系是指对PISA、PIRLS 和NAEP 三种评价项目的阅读素养测评体系进行介绍剖析,包括PISA、PIRLS 和NAEP阅读素养测评对阅读素养概念的界定、阅读试题编制、阅读文本的选择、阅读评价指标以及调查问卷分析等,有对阅读素养测评体系进行整体分析的,也有对某一个方面进行具体分析的。比较阅读素养测评体系又可以分为两类,第一类是不同国际评价项目的阅读素养测评体系的比较,分析不同项目的特色,旨在为我国的教育提供借鉴;第二类是将PISA、PIRLS 和NAEP 的阅读素养测评体系与国内阅读测试进行比较,旨在反思国内阅读测试存在的不足,为我国未来阅读测试的改进提供参考。借鉴阅读素养测评理念和方法包括使用阅读素养测试方法,结合国内实际情况重新编制,针对特定群体进行测试,借此研究学生的阅读能力水平。分析阅读素养测评结果是指对中国学生参与PISA、PIPLS 和NAEP 测试的结果数据进行分析,将其与国际的测评结果进行比较,指出我国学生存在的不足,为今后的改进提供数据支持。笔者对269 篇文献的研究方法进行分类、整理后,得到表3。

表3 PISA、PIRLS 和NAEP 阅读素养评价相关文献研究方法分类表

根据表3,有145 篇文献(53.90%)通过对PISA、PIRLS 和NAEP 的阅读素养测评框架和调查问卷详细分析,从中挖掘阅读理论研究的最新成果,是主要的研究手段。57 篇文献(21.19%)对国际或国内学生参与评估的结果进行分析,国内参与学生主要集中在北京、上海、广东和江苏地区。34 篇文献中有侧重于国际阅读素养测评体系之间比较研究的,也有与我国的考试评价体系进行比较研究的。33 篇文献是对借鉴阅读素养测评理念和方法进行研究的。综上,国内阅读素养评估项目的研究手段较单一,将国内外评价体系进行比较研究相对较少。

4 研究主题

对阅读素养测试文献的研究主题进行分析,可以了解国内学者在阅读素养评价领域的研究重点,以及各个研究主题的发展现状,由此发现当前研究存在的不足[15]。本文对检索得到的269篇文献进行分析整理后,按照研究主题将这些文献划分成3 个大类,对每个主题的详细说明见表4。

表4 PISA、PIRLS 和NAEP 阅读素养评价相关文献研究主题分类表

在表4的基础上对每一个研究主题进行细分。

4.1 理论研究

269 篇检索到的文献中,关于理论研究的文献量较少,共21 篇,占比7.80%,主要是对三种阅读素养评估项目的内容特点进行介绍,包括对阅读素养概念的界定、测评框架的介绍以及评估项目发展变化的分析(见表5)。

表5 理论研究主题分类表

(1)理论概述

理论概述的文献有14 篇(5.20%),其中对完整的评价体系进行研究的文献有12 篇,而分析和界定阅读素养概念的文献仅有2 篇。理论概述部分大多是对PISA、PIRLS 和NAEP 阅读素养测评体系进行详细的介绍,侧重理论方面的描述,以期能对国际阅读素养评估项目的学习、改进与完善阅读教育评价体系提供参考依据。亓永平早在2002年就对PISA 进行了介绍,揭开了PISA 的研究序幕,主要包括PISA 的概念、背景、特点、评价内容、实施方法和评价结果等方面[3],罗德红等结合实例分析比较了PISA、PIRLS 和NAEP 对阅读素养概念界定的异同,指出国内义务教育质量监测应该借鉴其中有益的部分[6]。

(2)发展变化

对阅读素养评价体系的发展变化概括分析的文献有7 篇(2.6%),侧重于将最新的框架与之前的评价框架进行比较,重点分析更新变化的部分,为国内教育界及时关注与调整阅读教学内容,学生更快的适应国际阅读测评的要求提供参考。张所帅通过阅读IEA2015 在官网发布的PIRLS2016 评价框架,与2011年的框架比较后发现,2016年的评价框架有了4 个新的变化,使其更加符合现实需要[11]。

4.2 应用研究

由表6,应用研究为主题的文献量最多,共208 篇,占77.33%,主要是基于PISA、PIRLS 和NAEP 评估项目对国内教育教学的策略与建议,应用研究主题又可划分为6 个主题:阅读评价、考试改革、教材编制、课程改革、教学策略和阅读推广。

表6 应用研究主题分类表

(1)阅读评价

阅读评价为研究主题的文献有48 篇,占比17.84%。这类文献基于三种阅读素养评估的测评框架、试题编制、文本选择和问卷调查等,对我国相关研究提出改进建议,例如我国阅读评价体系要注重对电子阅读能力的测评、拓宽阅读测评的多样性、增加对背景因素的调查研究等。例如,杨清对PISA、PIRLS 和NAEP 的阅读素养评价的核心概念、测评框架以及实施环节进行分析后,指出国外的阅读评价更加追求贴近学生的真实阅读,据此提出阅读评价改革可以从试题设计、评分标准和问卷调查三个方面考虑[16]。

(2)考试改革

考试改革为主题的文献有43 篇,占比15.99%。该主题侧重对比分析了PISA、PIRLS和NAEP 和我国大规模考试的阅读试题后,从材料选择、问题设计、阅卷程序几个方面对我国大规模考试评价改革提供建议,主要关注阅读开放题的设计和多样化文本材料的选择。申宣成从试题数量、问题和指导语、试题难度和评分标准等方面对比分析了PISA2009 阅读试题和2009年上海中考语文试题的异同,以开放题的设计为主进行分析,为中考语文开放题的设计提供了参考[17]。

(3)教材编制

将教材编制作为研究主题的文献仅有10 篇(3.72%)。林其雨通过分析PIRLS 选文的主要标准和特点,指出要增加教科书中实用类文本和非连续性文本的比例以便更好的发挥选文的价值,为小学语文教科书选文的设计提供启示[18]。除了教材文本选择之外,也有学者借鉴PIRLS 测评框架提出改进教材课后练习题的建议,从而对学生的文本学习程度有更准确的把握。

(4)课程改革

课程改革为研究主题的文献有50 篇,占比18.59%,也是当前的研究热点之一,主要是探讨如何通过课程改革适应时代潮流、促进学生发展,提出实现基础教育质量提升、体现教育的公平的举措,如合理安排课程、明确教学内容、营造积极课堂环境等。余闻婧基于PISA2015 测试结果分析了我国学生的阅读素养,发现学生阅读方式单一等,为了提高学生的阅读素养水平,提出课程改革的一些建议,如教师可以通过以智性重新编排课程,丰富课堂的阅读教学方法[19]。

(5)教学策略

教学策略改善为研究主题的文献量最多,51 篇(18.96%),表明学者对教学策略改进的重视。王晓华基于PISA2018 测试结果数据库与学校数据库,从学校平均社会经济文化地位指数(ESCS)、所处位置以及性质三个维度分析了不同学校教学策略和阅读成绩之间的关系,以期得到改进学校阅读教学策略的方法[20]。对教学策略的应用研究除了学校视角,大多数是从教师的角度来讨论的,比如,教师要正确引导学生掌握阅读方法、拓宽阅读途径、培养批判性阅读能力,从而帮助学生高效阅读,提升阅读素养水平。

(6)阅读推广

阅读推广为主题的文献仅有6 篇,占2.23%。在阅读推广的应用研究中,多数是从图书馆视角寻求更有效的阅读推广策略,但是阅读推广仅仅靠图书馆是不够的,还需要学者进一步探讨拓宽阅读推广的渠道及丰富阅读推广的活动等。吴志鸿以PISA 和PIRLS 这两个国际性学业评估项目为例,探讨了图书馆对未成年人阅读推广活动中应承担的使命、责任和变革,积极响应全球教育理念的转变[21]。

4.3 影响因素研究

阅读素养影响因素的研究文献有40 篇,占比14.87%,主要探讨影响学生阅读表现的因素,相关研究分为两类:单因素研究和多因素研究。

(1)单因素研究

由表7,单影响因素研究的文献仅有13 篇,占4.83%。单因素阅读素养影响的研究主要考虑了学校资源、教师支持、家长参与、信息技术等单因素与学生阅读素养成绩之间的关系。陈纯槿等基于PISA2012 中国上海、中国香港、韩国、日本和新加坡学生的测试数据,分析信息技术应用对学生数字化阅读成绩的影响,以期能准确把握两者之间的关系[22]。

表7 影响因素研究主题分类

(2)多因素研究

对多个影响因素进行分析的研究文献有27篇,占比10.04%。多因素研究是指综合两种或两种以上影响的维度,探究这些不同维度的影响因素对阅读素养水平的共同作用和交互影响。影响学生阅读素养的因素不是单一的,多因素研究要比单因素研究的文献内容更加丰富。多因素研究的视角主要有国家与社区、家庭、学校、课堂、学生特征与态度,探讨这五种因素的不同组合对阅读素养的影响作用。廖琴等基于PISA2018 中国四省市测试数据,从学生、学校两个层面探讨了学生情感认知和支持、教师资源数量和质量对学生阅读素养的影响[23]。

5 总结与建议

综上所述,本文从论文发布年代、研究对象、研究方法和研究主题四个维度梳理了2002-2020年国内对PISA、PIRLS 和NAEP 阅读素养评估项目相关研究的发展脉络和研究热点。研究主题包括理论研究、应用研究和影响因素研究三个方面,应用研究的文献量最多,其中课程改革、教学策略、阅读评价及考试改革是大多数学者关注的重点;影响因素研究侧重多因素的组合影响研究;理论研究以评价体系研究为主。结合时代背景和研究现状,提出以下几点思考和建议。

(1)拓宽研究对象

目前我国阅读素养评估项目的研究大多是针对中小学生的,对大学生和其他特殊学生的研究寥寥无几。而阅读不仅仅是中小学生的使命,阅读素养已经成为一个人终身学习、个人发展乃至民族进步息息相关的基本要素,因此研究应该进一步拓宽研究对象,从国际阅读素养评估项目入手,深度挖掘其评价理念,为大学生和其他特殊学生的阅读素养培养和评价提出一些建议。

(2)加强国际测评项目与国内评价体系的比较研究

阅读素养评估项目研究的文献中,大多是国际阅读素养测评体系的评价研究,将其与我国现有的阅读评价体系进行比较分析的较少。由于PISA、PIRLS 和NAEP 都是国际评估项目,并不一定十分切合中国学生的实际,所以仅从这些测评项目分析中获得对我国基础教育的启示是不够的。应加强国际阅读评估项目与国内评价体系的比较,结合中国学生的实际,不断发展与完善国内阅读素养的评价体系,从评价视角为国内阅读教育的发展与学生阅读素养培养提供很好的参照。

(3)注重结合信息时代背景开展研究

信息技术飞速发展,5G、大数据、人工智能等技术的进步越来越深地影响着人们的学习和生活,阅读领域亦是如此,传统的纸质阅读已经不能完全满足人们的阅读需求,电子阅读逐渐成为大众获取信息、了解世界的重要途径。目前,针对数字阅读素养评价的研究较少,且研究深度有限。从2009年起,PISA、PIRLS 和NAEP 的阅读素养测评体系都逐步增加了数字阅读素养的测评,如ePIRLS、PISA2018 数字阅读测试等,都顺应了时代对信息素养的要求。因此,数字阅读素养测评方面的研究应与时代背景相结合,阅读素养的提升需在掌握一定的信息和通信技术知识的基础上,理解和操作设备及应用程度,具备复杂信息分析、综合、整合、解释电子信息文本的能力。

猜你喜欢
文献评估体系
Hostile takeovers in China and Japan
第四代评估理论对我国学科评估的启示
构建体系,举一反三
Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph
The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges
The Role and Significant of Professional Ethics in Accounting and Auditing
评估依据
“曲线运动”知识体系和方法指导
立法后评估:且行且尽善
资产评估法:能否终结“多龙治水”