基于知识图谱的国内增值评价研究现状及热点分析

曹雨清, 马 力

(湖北大学师范学院, 湖北 武汉 430062)

中共中央、国务院2020年印发《深化新时代教育评价改革总体方案》(以下简称《总体方案》),提出“改进结果评价,强化过程评价,探索增值评价,健全综合评价”[1]。这是首次在国家政策中明确提出“增值评价”,表明我国已认识到增值评价的重要作用,并指出关于增值评价的研究需持续推进与完善。增值评价的本质在于从学生某段时间里的进步程度和变化来开展评价,判断学生自身、教师、学校等在学生成长中发挥的作用,是一种发展性评价。目前,越来越多的学者积极探索这一主题,形成了较为丰富的研究成果。为勾画我国增值评价研究的现状,准确把握研究进展,本文基于文献计量和知识图谱对已有增值评价文献进行系统梳理,为后续学者在增值评价领域研究提供切实的学术参考和借鉴。

1 研究设计

1.1 数据来源

以CNKI数据库为数据源,文献来源设置为北大核心期刊和CSSCI期刊(含扩展版);选择“主题”检索,检索条件为“增值”并含“评价”或者“增值”并含“评估”或者“教育”并含“增值”或者“TVAAS”。截止到2022年1月31日,共检出317篇文章。为保证数据准确率,人工清洗收集文献,剔除报告和会议类文章及与本文内容不相关文章,最终得到有效文献245篇。

1.2 研究工具

研究采用文献计量法,用客观数据揭示文献的数量特征和变化规律,绘制科学知识图谱呈现研究发展情况。借助可视化工具CiteSpace 5.7.R1分析所选文献,同时利用Excel等软件处理数据,探寻该领域研究现状及热点。

2 研究结果与分析

2.1 年度载文量分析

如图1所示,我国增值评价研究在北大核心期刊和CSSCI期刊(含扩展版)中的载文量整体呈增长态势(2021年因收录文章时间限制未作统计)。2003—2010年,年度载文量呈缓慢增长趋势,伴随有小范围波动。2011—2018年,年度载文量在14篇左右浮动,发展稳定。2019—2020年,年度载文量呈指数式增长,《总体方案》肯定了增值评价的重要地位,打响了促进增值评价迅速发展的关键一枪。国家政策的顶层规划为学术界增值评价的理论与实践研究提供了依据,进一步促进了文献数量的剧增,预测未来关于增值评价的文献数量会继续增加。

图1 年度载文量

图2 作者合作图谱

2.2 作者分析

根据普莱斯定律确定核心作者,计算出发表2篇及以上作者为高产作者。我国增值评价研究高产作者共20人,共发文52篇,占总样本文献的21.22%,说明高产作者的发文量有待进一步提高。如图1所示,作者间关系较为分散,整个合作网络的密度(D=0.0048)较低。总体上我国增值评价研究作者间合作程度不高。除少数作者间存在合作发文情况外,多数研究者是单独发文,核心作者群尚未形成。

2.3 机构分析

对增值评价研究的发文机构进行分析,得出发文机构共有146个。计算出发文量在5篇以上的机构是高产机构,共有6个机构属于高产机构(表1),共发文75篇,占总发文量的30.61%,发文量不到样本总量的一半,说明没有形成核心发文机构群;图谱密度较低(图3),表明机构间合作不紧密。北京师范大学发文量最多,作者发文量较多的边玉芳教授任教于该大学,反映出北京师范大学是增值评价研究的领军机构,且高产作者具有带动作用。

表1 高产机构发文量

图3 机构合作图谱

2.4 研究内容分析

根据关键词共现网络聚类表(表2)可知,目前关于增值评价的主题分类比较丰富,主要分布在“#0增值评价”“#1美国”“#2中小学”“#3综合评价”“#4新时代教育”等领域,涵盖了目前我国增值评价研究的各个方面,反映出研究的核心议题。

表2 关键词共现网络聚类

1)引入增值评价概念,明确价值意义 聚类“#0增值评价”中的关键词有“增值”“学校效能”“发展性评价”“教育公平”等,突显出了增值评价的内涵、特征、功能和意义等。增值评价理论和实践研究已有长时间的发展,但其概念尚未统一界定。桑德斯认为,增值评价是通过追踪学生在一段时间内学业上的变化,在控制其他影响学生学业成绩因素基础上构建统计分析模型以衡量学生相对进步情况,从而考察教师或学校对学生学业成绩影响净效应的一种评价方式[2]。萨丽·托马斯认为,增值评价是建立在学校可增加“价值”到学生学习成就的假设上,“增值”指学校所加在学生身上,使其学习成绩超过期望成绩的额外部分[3]。辛涛将增值评价定义为在不同时间点追踪学生学业成绩,利用统计分析方法对学业成绩变化情况进行分析的一种评价方法,且分离出学生性别、家庭背景、教师学历、班级规模等其他因素对学生成绩的影响[4]。笔者认为“增值”有两方面内容:一是由教师或者学校为学生发展带来超过预期成绩的额外部分,即学生经一段时间教育活动后的学习成绩增长情况;二是将教师或者学校对学生学业成绩的影响与学生原有成绩水平、家庭因素等其他不受学校和教师控制的因素分离,对一段时间内学校或者教师为学生发展带来的“净效应”进行评价。关注学生在几次测试中纵向成绩变化,系统分析学生所处学习环境和其他方面因素影响是增值评价突出特征,根据学生学习起点和过程判断学生相对进步幅度。

分析关键词得出我国研究重视增值评价所起到的意义和作用。在增值的视角下对学校效能进行评价不是关注学校的升学率,而是关注学校发展的进步,能体现出公平性[5]。增值评价以“把脉诊断”的方式来改善学校管理效能,在一定程度上起到了提高学校办学水平的作用[6]。教育行政部门根据增值评价的结果客观地判断各学校的效能,从而合理地分配教育资源,缩小校际差距,促进教育公平。另外,增值评价有助于充分发挥教育评价的导向作用,转变不科学的评价导向。高校教师的增值评价是以分析学生学习成果为依据,将教师的重心转移到教学,解决高校教师评价中出现的“重科研、轻教学”的问题[7]。增值评价弥补了传统评价方法的主观性弊端,在一定程度上保证了教师绩效考核的客观性与公平性[8]。我国已有研究对增值评价概念、内涵以及价值作用等进行探讨,从而革新教育评价的理念,促进我国教育评价的发展。

2)借鉴国外实践经验,结合国情反思 聚类“#1美国”包含的关键词有田纳西州、增值模型等,表示我国学者对美国增值评价研究的探讨,并且深入分析不同的增值模型。随着美国“不让一个孩子掉队”政策的出台,教育问责制开始不断革新。田纳西大学的增值研究和评价中心收集学生几年的测验成绩、学生和教师以及学校的其他背景信息等数据来构建数据库,使用多变量响应模型来计算具体的增值,对学校和教师为学生学业进步的贡献做出判断[9]。路易斯安那州采用增值责任制对教师培养项目有效性进行评价,将教师所带学生的实际成绩与基于多种协变量预测的成绩相比较,从而对教师培养项目的有效性和教师效能做出相应评价[10]。英国兰开夏郡开展学校效能增值评价项目,通过学生多门学科成绩、学习态度以及家长和教师态度的反馈,尽可能为学校效能提供精准公平的测量[11]。除了深入了解国外实践经验外,我国学者也认识到田纳西州增值评价系统在应用中存在问题,如增值模型、数据库没有公开,评价结果未接受同行的审阅[12]。可见我国学者在深入了解国外经验的同时,也以审慎的态度分析存在的问题。

国外已形成多种增值评价模型,如田纳西模型、获得分数模式、协变量校正模型,但学者们对最优模型没有形成统一的看法[13]。由于协变量类型不同,不同区域采用的增值模型具有差异性[14]。20世纪80年代末期,多水平模型技术的发展与完善为增值评价提供精确可信的分析方法[15]。杰夫瑞认为增值评价模型的选择会影响评价的结果,这使得评价结果的可信度受到挑战[16]。模型可能出现内置统计偏差的影响而造成误差,因此需要结合教育情景建立起合适的模型,确保收集资料的准确性,减少内生误差。

由于区域的差异性以及其他因素的影响,不同地区所采用的增值评价方法可能不同,结论具有一定的地域性。因此我国学者在借鉴学习国外增值评价的实践经验后,要结合中国的教育情境,形成适合中国本土教育特点的增值评价体系。增值模型在我国教育情境中有所调整,如利用较为简单的简易式百分等级成长模型来进行增值分析[17]。

3)聚焦国内相关实验,探索实施路径 从聚类“#2中小学”中可以看出,增值评价在我国基础教育中的应用,聚类“#3综合评价”“#4新时代教育”突显出了增值评价的时代性,从这三个聚类可以看出增值评价在我国的实践探索与创新发展。我国一些学校或地区已经开展增值评价的试点工作,如北京市积极开展增值评价的探索,形成了以学业水平测试和高考成绩为数据基础的学校增值性评价项目[18]。除了评价学生的认知水平,增值评价的内容逐步走向多元化,发展为学生成长全要素评价,如道德评价等。上海市建平中学改变传统的依赖教师主观臆测的道德评价方式,借助过程性、实证性数据,建构以价值增值为导向的学生德育评价的运作机制[19]。重庆市巴蜀小学通过不同年度数据的对比来分析教师专业发展的增值部分,从而激活教师发展的内驱动力[20]。可以看出增值评价已经在我国展开多方面的实践,大多为区域性探索。

研究者们对个体各方面的“增值发展”研究,大多采用李克特量表等自评报告法或者标准化测验来收集数据,借助简单的分数差值法来分析数据。自评报告法能获得学生在学习过程中的感受、经验等方面的数据,其信效度容易引起质疑。标准化测验能收集到客观的数据,但情感等非认知层面的学习成果较少涉及,不能区分出不同专业学生学习成果的异质性[21]。当前研究已经关注到“增值”的内涵,但是缺乏先进的数据收集方法和有效的数据处理方式,存在简单控制变量、数据分析模型有差异等问题。综上所述,增值评价在我国的实验探索有以下特点:一是北京、上海、重庆等地区开始探索增值评价,大多属于小范围或者局部区域性事件;二是适用范围扩大,从单一的学业成绩增值评价延伸至学生发展的全要素评价,促进学生的多元发展;三是缺乏有效的数据收集方式,在数据处理上存在一些问题。

2.5 研究前沿分析

从关键词时区图谱(图4)可以看出,关注美国增值评价研究领域的变革和围绕我国“四个评价”展开探索是研究的前沿话题。

图4 关键词时区图谱

1)对美国增值评价变革进行深度研究 增值评价中所需学生学业成绩离不开各种标准化测试,这就意味着增值评价与学生成绩紧密相关。教师评价与学生考试成绩挂钩具有矛盾性,既需学生考试分数,但又不能完全依赖某一次考试成绩[22]。近年来,美国田纳西州利用学生成长档案袋评价模式和课堂观察,为教师提供公正合理的评价[23]。课堂观察相当于对教师教学过程评估,收集教师在具体课堂中的教学表现数据。课堂观察面临高昂费用、工作效率低及观察员培训等挑战,如何确保课堂观察行之有效并发挥作用是美国后续评价实施焦点[24]。课堂观察在我国教育评价中也有运用,为教师在动态教学实践中提供可统计的数据[25]。由此看出,美国增值评价并没有被看作“万能药”,而是在实践中进一步发展、完善。

2)围绕我国“四个评价”展开探索研究 《总体方案》提出的“四个评价”是我国教育评价改革的新部署。其中,增值评价是教育评价改革的重要内容,并且用“探索”来修饰增值评价,意味着其理论发展和实践探索需进一步深入。另外,结果评价、过程评价、综合评价以及增值评价都有独立的评价价值,同时也存在交叉整合关系,要整合“四个评价”不同评价功能[26]。增值评价是过程评价的具体表现,是改进结果评价的一种探索途径[27]。不能单独就增值评价谈增值评价,要将“四个评价”融为一体[28]。教育评价是一项复杂系统的活动,增值评价与其他评价方法相结合是未来教育评价发展的一个趋势。

3 结论与建议

3.1 研究结论

本文对2000—2020年我国增值评价研究的文献进行计量分析。主要结论如下:第一,在载文量上,增值评价研究领域研究呈增长态势;第二,在研究主体上,大批学者和机构投入增值评价的研究,高产作者能起到带动作用,但是核心作者群和核心发文机构群尚未形成;第三,在研究内容上,增值评价概念需辨析,一些实证研究中将增值评价“简单化”,即考虑学生纵向发展,但在影响因素控制和数据收集与处理等方面存在粗浅处理倾向。增值评价在我国发展晚于国外,从国外研究中得到启示能够为我国增值评价实践探索提供有益参考;第四,在研究前沿上,一是关注美国增值评价变革进行深度研究,二是围绕我国“四个评价”展开探索研究;第五,在研究地理范围上,已有研究主要是国内增值评价小范围实验,未形成较大规模。

3.2 研究建议

1)加强研究者和研究结构之间的合作。我国增值评价研究合作情况有较大上升空间,后续研究中需打通合作交流渠道,发挥优势力量,形成核心作者群和核心机构群,增强研究的整体性和系统性,促进增值评价研究学术繁荣与发展。

2)结合教育政策,丰富研究内容。近期一些文件的出台为增值评价研究指引新的方向。由教育部等六部门在2021年3月发布的《义务教育质量评价指南》,提出注重结果评价与增值评价相结合,关注学生发展的发展水平和学校办学工作水平的进步程度[29]。《总体方案》中提到“四个评价”,未来研究要考虑如何促进增值评价与原始分数、综合评价、过程评价和结果评价相结合,从而形成更客观科学评价结果。

3)构建模型可靠的增值评价体系。现有增值评价模型存在指标多、结果复杂等问题,未来可以探索合理的评价指标,构建适合我国学生且易被教育实践工作者理解和接受的评价模型。教育大数据在收集追踪数据资料方面有显著优势,可以追踪学生在不同时间段的各类数据,并且能将数据整合起来,因此建立增值评价数据追踪系统、将教育大数据与增值评价深度融合是未来增值评价研究必须攻克的难关。

4)夯实增值评价开展的实践支撑条件。逐渐建立实施增值评价的支撑和保障条件,如利用统一常模测试获取可比性数据、构建国家级或省级测试成绩追踪数据库、培训评价人员以正确解读增值评价的结果等。逐渐扩大增值评价实践范围,需更多大规模且具代表性的实证研究,进而为增值评价在我国发展提供强力定量研究证据。研究者要加强与一线教育工作者或地方教育主管部门联系,使理论与实践相结合,让增值评价更好服务于教育实践。