大数据支持下学生综合素质评价模型的构建研究

方远豪 章赛凤 罗力强 王晶晶 韩孟羽

摘要：综合素质评价应用于教育场景虽然在一定程度上变革了教育评价的方向，但在实践中也存在一些困境，如数据采集单一、评价结果割裂、评价缺乏立体化与整体性等。为突破这一困境，本文结合大数据技术，构建立体全面的中小学生综合素质评价体系，从整体性出发对学生的素质发展进行综合评价。

关键词：大数据；综合素质评价；核心素养；层次分析法

中图分类号：G434  文献标识码：A  论文编号：1674-2117（2024）10-0071-05

问题的提出

尽管综合素质评价已在大部分中小学得到落实，但从其开展评价工作的实际效果来看，现有的中小学综合素质评价方式虽然已经从教师主观评价向学生量表自评过渡，但仍然以主观性评价和总结性评价为主。学术界和教育界普遍采用量表或阶段性分数来从不同维度评价学生的五育表现，但缺少对学生发展的立体化评价以及综合素质整体表现的评价。随着大数据、人工智能技术的发展，基于多模态数据的采集与分析实现追踪学生的成长记录，但如何将不同维度的数据转化为对学生综合素质的整体性评价是实现学生综合评价的关键环节。因此，本研究采用层次分析法构建学生综合素质评价体系，以期为学生综合素质的整体性评价和立体化评价提供思路。

研究现状

1.学生综合素质评价指标体系研究现状

研究表明，中小学综合素质评价体系主要包括中国特色的综合素质评价体系和源自联合国经合组织的核心素养评价体系。我国学者对核心素养评价体系进行本土化后，面向我国中小学生发布了《中国学生发展核心素养框架》。学生综合素质评价的研究存在三个阶段：①研究之初，以学生的学业成绩作为学生综合素质评价的主要内容。②随着素质教育理念的深入，开始聚焦于五育体系或核心素养体系单一视角的评价。③随着学生综合素质评价研究的深入，学术界开始关注两者融合的复合型视角评价，即构建既能体现学生五育水平，又能考核学生未来发展基本素养的评价指标体系。

2.学生综合素质评价范式的研究现状

对于如何精准评价学生的综合素质，讨论集中在两个方面：①数据采集方式。在评价实践中，存在着数据维度不全面、采集方式主观化的问题，其表现为关注总结性评价，忽视发展性评价；注重主观性评价，忽视客观性评价。实践表明，综合素质评价数据采集体量较为庞大，数据采集渠道较为复杂，因此对数据采集方法提出了更高的要求。②评价方式的探讨。刘志军等指出综合素质是分项评价还是综合评价，需要在认识层面进一步思考。[1]其原因在于对综合的概念存在争议，一种观点认为综合是融合了各种能力与素养的复合体，另一种观点认为综合属于一种可测量的能力。综合素质评价目前仍处在探索的初级阶段，因此其概念没有得到明确的定义。[2]综上所述，本研究认同第一种观点，即综合素质评价应是面向学生全面能力的评价，因此需要挖掘不同评价维度间的内在关系，对学生的发展进行立体化评价。

学生综合素质评价指标体系的基本框架

1.数据采集模型

目前，综合素质评价实践的数据采集局限于学生的学业成绩、体测成绩以及量表采集，数据采集的覆盖面较小，无法精准评价学生的综合素质。教育大数据可以实现外显数据的采集，通过模型转换，完成内隐数据的分析。然而，我国大部分学校虽然已经建设了智慧校园，但已有的基础设备尚无法实现所有数据的智能化采集与分析，且基于外显数据的采集无法全面分析学生的心理状态，因此需要使用间接采集与伴随式数据采集相结合的方式全面采集学生的行为与心理数据。伴随式数据采集即通过系统、设备对学生的行为数据进行采集；间接采集则是通过测试、量表、同伴评价、教师评价等方式采集信息。综上所述，本研究构建了学生综合素质的数据采集模型，如图1所示。

2.综合素质评价模型

综合素质和核心素养都是时代发展对学生发展提出的要求，其结果均是为了推动学生全面而个性化地发展。[3]从两者内涵来看，综合素质（以“五育融合”为代表）聚焦于学生在学习成长过程中的基本能力与学业表现，是学生成长发展中的基础性成分；核心素养聚焦于学生在未来发展的重要能力与必备品质，是学生自我发展中的必要性成分。[4]因此，从内容复杂度而言，核心素养比综合素质更全面。此外，核心素养聚焦于学生的能力，无法给出直接的评价，需要采集学生在不同维度的行为表现构建相应的评价模型，对学生的核心素养进行赋值评价。[5]综上所述，本研究在中国学生发展核心素养框架的基础上，融合五育评价采集的数据模型，从教育实际出发，构建了核心素養视域下的综合素质评价体系，具体内容如上页图2所示。

指标体系的权重计算

1.层次分析法

计算科学合理的指标权重是对学生综合素质进行评价的关键前提。权重的计算方法包括熵权法、层次分析法、均值法等。学生综合素质评价是一个多目标决策问题，因此需要将各子维度数值通过一定的算法转化成为综合的数值，由此从多目标决策问题转变为单目标决策问题，而层次分析法融合了量化分析与质性分析，多目标决策问题转化为不同层次的单目标决策问题，质性问题转变为量化计算问题[6]，适用于综合素质评价指标权重的计算。

2.问卷调研

本次调研的对象均为教育学类研究生，包括中小学一线教师、大学教师、教育系在读博士、教育科研机构（如教育科学研究院、教育技术中心等）研究人员。

（1）专家积极性系数

专家积极性系数反映调研对象对本次调研的积极性。学术界普遍认为量表回收率70%以上代表专家积极性系数达到了较高的水平，本次调研共发出量表30份，收回量表30份，回收率为100%，表明专家积极性系数较高。

（2）专家权威系数

相关领域内权威专家给出的结论一般具有较高的可信度。专家权威系数反映在学生评价的研究领域内，调研对象是否具有权威性，同时反映了本次调研结果的信度与合理性。专家权威系数（Cr）通过专家熟悉程度（Cs）和判断依据（Ca）来计算：Cr=（Cs+Ca）/2。

其中，专家熟悉程度是指调研对象对研究内容的了解程度，一般采用量表收集。做出判断的依据是指专家对问卷做出回答的影响因素，包括相关理论、实践经验、文献阅读和个人直觉，对应量化赋值如表1所示。专家权威系数越大，表明调研结果可信度越高，学术上认为Cr≥0.7即表明调研结果可信度高。本次调研的专家熟悉程度（Cs）为0.7455，判断依据（Ca）赋值后结果为0.7873，专家权威系数（Cr）为0.7664，表明本研究的调研结果可信度较高。

3.学生综合素质评价指标权重的计算

层次分析法计算权重的步骤如下：

（1）构建层次结构模型

根据文献调研，确定3個一级指标、6个二级指标及19个三级指标。

（2）构造判断矩阵

为了精准得出矩阵中各个指标的权重，需要在同一层级各指标之间进行两两互比，判断哪个指标更为重要以及重要的程度。本研究采用9级比例标尺计算权重，判断矩阵的赋值规则如下页表2所示。

根据调研的结果，构造n阶判断矩阵Aij（nxn）。以构造的其中一个判断矩阵为例，如下页表3所示。判断矩阵需满足以下条件：①Aij>0；②Aij=1/Aji；③Aii=1。

（3）层次排序一致性检验

为了判断本研究所构建的矩阵是否满足具有完全的一致性，需要对层次的排序进行一致性检验。其步骤如下：

①指标一致性（CI）的计算。对矩阵归一化处理后，得到判断矩阵的特征向量，其次计算最大特征根λmax。计算公式如下所示，其中A为判断矩阵，（AW）i表示AW的第i个元素。

在得出最大特征根后，计算指标一致性，计算公式如下所示，其中n为判断矩阵的阶数。指标一致性的值越小，表明判断矩阵的一致性越高。

②一致性比率（CR）的计算。若一致性比率的值小于0.10，表明判断矩阵的一致性较高。计算公式如下所示。

本研究共构造300个判断矩阵，经计算所有矩阵的一致性比率均小于0.10，表明层次排序一致性检验结果良好。以一级指标构造的判断矩阵为例，层次总排序的一致性检验结果如表4所示。

（4）计算指标权重

本研究采用几何平均法对学生综合素质评级权重进行计算，结果如表5所示。其具体步骤为：

①计算判断矩阵每一行各因素的乘积。

②每一行的乘积开m次方，m为判断矩阵的阶数。

③通过公式计算得到各指标的权重，计算公式如下所示。

结论与讨论

本研究依托大数据环境，在中国学生发展核心素养框架下构建学生综合素质评价指标体系，同时采用层次分析法对指标的权重进行计算。总体而言，自我发展最为重要，社会参与次之，文化基础最小。结合已有的研究成果和新时代的教育理念，该结果具有较高的合理性。

在6个二级维度中，在各自一级维度中占比最高的分别是责任担当、人文底蕴和学会学习。随着素质教育的提出，培养学生责任担当的任务成为学生发展素养的重中之重。就人文底蕴与科学精神的重要性排序而言，刘庆昌从理论层面论证了人文底蕴的重要性大于科学精神。[7]本研究从数据层面验证了这一结论。从权重上看，学会学习与健康生活的权重相近，表明两者的重要性差异较小，两者相辅相成。在19个三级维度中，在各自二级维度中占比最高的是道德行为、问题解决、人文积淀、科学理解、心理状态和学习策略。该结论与已有的研究较为匹配，同时验证了其科学性。

需要指出的是，本研究认为量化分析（为学生的综合素质提供客观的评价）可以作为学生整体表现的参考指标，但不否认主观评价的作用。数据为教育决策者提供参考而不是取代决策。综合素质评价应是量化评价与主观评价之间的结合。本研究提出的综合素质评价框架作为教师对学生发展评价的一个参考，结合教师对学生的主观认知，提供更加立体化的画像，从而使得学生综合素质评价更具完整性与立体性。

综上所述，本研究对综合素质评价的研究现状与实践困境进行了梳理，在此基础上借鉴学生发展核心素养框架，融合五育评价构建了综合素质评价指标体系，并通过层次分析法计算各指标的权重，同时对计算结果的合理性进行了分析与讨论。结果表明，综合素质评价指标体系的权重较为合理，可以为学生综合素质的诊断与预测提供参考依据。同时，本研究也存在一些不足，如：评价对象面向中小学的学生，需要进一步细化；权重调研的专家数量有限；未能开展大量的综合素质评价，因此需要进一步地研究与验证。在今后的工作中，为了更好地验证综合素质评价指标体系的信效度，本研究要将评价工具应用于学生综合素质一线评价，实现对评价指标体系的验证与迭代优化，不断修正相关指标与权重等，最终形成完整、成熟的中小学生综合素质评价指标体系。

参考文献：

[1]刘志军，袁月.初中学生综合素质评价的现实困境与破解之道[J].中国考试，2021（12）：32-38.

[2]董秀华.综合素质评价实施过程中的共识、争议与隐忧[J].教育发展研究，2020，40（22）：28-41.

[3]张红霞，侯小妮.综合素质与核心素养辨析[J].上海教育科研，2020（05）：15-19.

[4]柴唤友，陈丽，郑勤华，等.学生综合评价研究新趋向：从综合素质、核心素养到综合素养[J].中国电化教育，2022（03）：36-43.

[5]程龙.综合素质评价对学生发展核心素养评价的启示[J].现代教育管理，2019（12）：36-42.

[6]王佑镁，李宁宇，南希烜，等.基于层次分析法的数字阅读素养测评指标体系建构研究[J].现代远距离教育，2022（04）：23-31.

[7]刘庆昌.人文底蕴与科学精神——基于《中国学生发展核心素养》的思考[J].教育发展研究，2017，37（04）：35-41.

作者简介：方远豪（1995—），通讯作者，浙江万朋数智科技股份有限公司产品经理，硕士研究生，研究方向为教育大数据。章赛凤（1996—），硕士研究生，杭州市拱墅区教育研究院研究员，硕士研究生，研究方向为教育评价。罗力强（1996—），硕士研究生，华南师范大学附属小学信息技术教师，研究方向为教育信息化。王晶晶（1995—），硕士研究生，海口市教育研究培训院教研员，研究方向为教育评价。韩孟羽（1996—），硕士研究生，浙江万朋数智科技股份有限公司产品经理，研究方向为智慧课堂。