基于多维评价模型的考试评价系统设计

万丹 汪洁

摘要：文章基于高中学业水平考试的历次考试数据，通过对各学科评价维度和指标相关数据的科学分析，构建了一个基于多维评价模型的考试评价系统，详细阐述了系统的总体架构、各个模块以及它们所具备的功能，并对系统未来的发展方向进行了展望。

关键词：高中学业水平考试；考试评价系统；多维评价模型

中图分类号：G434 文献标识码：A

文章编号：1009-3044（2024）10-0061-03

《深化新时代教育评价改革总体方案》明确指出，要坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价，充分利用信息技术，提高教育评价的科学性、专业性、客观性。因此，对考试进行科学全面的评价是非常重要的[1]。当前的考试评价系统主要从单一的成绩难易度或成绩分布等角度对考试进行评价，缺乏对考试的多维评价分析[2]。上海市教育考试院自2016年起开始进行对考试评价的分析研究，并不断完善和优化考试评价方案。基于多年的經验，院方设计了基于多维评价模型的高学业水平考试评价系统，该系统包含以下4个维度的评价分析：1） 深入学科内在知识结构，根据命题开发维度进行评价分析；2） 对成绩数据进行全面系统的评价分析；3） 结合试卷结构进行评价分析；4） 针对市、区、校、班、学生进行多层次的评价分析。通过考试评价系统对高中学业水平考试进行科学全面的评价，可以保证考试能够更科学有效地评估教师和学生，并为提高教学质量、了解学生学习情况等提供科学的参考依据。

1 系统总体架构

为了准确评估各学校和学科的教学质量状况，研究通过考试评价系统对历年的考试数据进行综合汇总、分析和监测。评价系统的设计以学科为基础，利用上海市教育考试院对高中学业水平考试各学科所设定的评价维度和指标对应的相关数据进行科学分析，以评价个人、班级、学校、区域和全市的教学质量状况[3]。考试评价系统的总体架构由4个层次组成，包括基础设施层、数据资源层、应用支持层和门户层。在这个架构下，系统遵循标准规范体系，并在信息安全体系的保护下实现协同运行，详见图1。

1） 基础设施层主要建立评价系统的网络环境和运行环境。通过服务管理系统、安全系统、网络系统、存储系统等硬件设备的支持，为评价系统提供安全保障、网络联通、服务运行和数据存储等基础设施支持。

2） 数据资源层负责采集和存储本系统中的数据信息，如考生信息、教师信息、单位信息、试卷信息和成绩数据等。数据按照统一的接口规范进行汇总，并进行数据清洗，然后按照存储框架进行归档。最后，通过数据挖掘手段进行数据分析。

3） 应用支撑层提供一个开放的框架，具有良好的可扩展性，为应用系统提供数据交换功能。应用支撑层的设计和开发将遵循各类规范标准，以便在应用支撑层上快速、高效、稳定地构建系统。此外，应用支撑层还提供评价分析服务、学业报告发布服务以及丰富的图表展示服务等，实施数据分析和数据挖掘的具体工作。

4） 系统门户层主要提供统一的登录入口、CA认证服务、用户及权限管理、网站管理等功能。此外，门户层还提供强交互的可视化评价结果、成绩查询和评价报告下载等功能，以便用户能够方便地访问系统。

2 系统模块及功能

考试评价系统由6个子系统组成，包括用户权限管理子系统、数据归档管理子系统、评价分析子系统、数据发布子系统、日志管理子系统和数据查询子系统[4]。这些子系统通过各自的功能和整体的协作，实现了评价分析系统中考试信息录入、成绩数据清洗与汇总、评价分析图表生成、分析数据查询和评价分析报告发布等完整的业务闭环。同时，系统还提供基于市、区、校、班级、学生等不同角色和权限的用户管理和日志管理功能。所有子系统的数据表都集中在同一个数据库中进行维护，各系统可以通过数据库访问进行数据交互。

2.1 用户权限管理子系统

通过统一身份认证对接实现用户的登录和身份认证，为系统用户提供统一认证和单点登录的无缝访问模式。系统支持通过文件导入、在线录入和接口调用等方式同步考试数据、考生名单数据和成绩数据，实现与现有平台的对接。角色权限模块支持对用户角色配置管理、操作权限配置管理和功能菜单管理等。数据字典模块包括对系统中各指标的配置和维护，例如能力目标管理、知识内容管理和题型管理等。在考虑到评价维度和评价标准的发展和改进的前提下，灵活的评价指标配置功能是应对标准和业务变化的前提。

2.2 数据归档管理子系统

该子系统以大数据为核心建设内容，实现了考试数据的统一存储和管理。它建立了统一的数据采集标准和存储模块，并为评价分析和数据服务提供上行数据服务。这使得各平台的数据可以按照统一的形式进行组织，不同来源的数据就可以融合互通。系统采用基于HTTPS的加密数据传输协议，确保系统的安全性和保密性。在密码传输和数据传输过程中，增加了加密环节，保证数据无法被恶意侵入和破解。

2.3 评价分析子系统

评价分析子系统基于考试数据设计了丰富、详细的统计报表。报表采用统计表和多种形式的统计图表等直观方式展现，帮助用户对群体和个体的学科质量进行专项及历史跟踪，并提供参考数据以研究群体和个体的发展情况。主要功能包括成绩数据挖掘和多维评价模型设计、个性化评价指标配置、评价分析算法构建等[5]。

2.4 数据发布子系统

数据发布子系统将评价分析子系统的分析模型数据通过丰富多样的图表展示形式发布，生成高质量的评价报告供外部查看。评价报告可以按市、区、校、班、学生形成多级报告，在符合用户权限规则的前提下进行查看。报告内容包括高中学业水平考试各科目的参考统计、成绩统计、成绩段分布情况，以及知识内容和能力目标的得分率情况，并提供市或区的平均参考值。这些报告可供学科老师、学校和管理机构进行自我评价。此外，对于学生个体，还提供评价维度和指标上的分析总结报告，客观地反映学科学业情况，帮助学生了解个人的优势和不足，以便进行有针对性的学习和提高。

数据发布子系统具備图形化的报表设计能力，并可以在PC、平板、手机、大屏等多种终端设备上自适应展示。系统支持多种图表组件库，包括柱形图、折线图、饼图、面积图、散点图、气泡图、雷达图、甘特图、环形图等。系统还支持决策报表设计功能，采用组件化操作理念，根据不同层级和角色的管理人员需求设计不同数据粒度的仪表盘展示，包括领导层面关心的宏观数据和业务操作人员关心的关键指标和明细数据等。系统生成的各类评价报告具有较强的可读性，图表丰富，并且界面美观。

2.5 日志管理子系统

日志管理子系统包括系统日志管理、用户操作行为日志和发布系统用户访问统计。它可以查询数据操作的日志轨迹，并通过日志轨迹进行数据监管，以满足后期的追溯和审查需求。系统会生成系统日志来记录数据获取、产生和变化的过程，并长期保存。对于用户在线操作的行为，也会进行详细记录，包括用户、时间、操作行为和操作内容等信息。

2.6 数据查询子系统

基于已发布的业务数据，该系统提供统一的数据查询服务。它支持各级各类用户（如主管部门、学校、教师、学生）进行评价报告单的查询和打印等功能。同时，系统提供面向第三方应用的数据对接服务，并可以配置数据导出字段，支持多种数据格式的导出，如报名数据、成绩数据和分析数据等。

3 多维评价模型

评价分析子系统利用大数据存储与分析技术，建立起系统科学且高性能的评价分析体系。通过深入的数据挖掘和多角度多方面的数据分析，该系统能够根据考试数据生成多维度的统计分析结果[6]。

3.1 基于知识内容和能力目标的评价分析

基于课程标准的教学目标，评价分析子系统以知识内容和能力目标为基础进行评价分析。每个科目根据课程标准确定了2～5个知识内容或能力目标。

1） 以知识内容的不同知识点为线索，归纳出相应的考试题目。通过评价系统的数据统计分析，评价分析子系统能够分析学生对知识内容各个知识点的掌握情况，同时对市、区、校、班级等不同层级的知识内容得分率进行总体分析和对比分析。

2） 以能力目标的不同能力组块为线索，归纳出相应的试题。通过数据统计分析，评价分析子系统能够评估学生在各个能力目标上的达成情况，同时对市、区、校、班级等不同层级的能力目标得分率进行总体分析和对比分析。

基于评价系统对知识内容和能力目标的分析，可以直观地了解科目的知识内容和能力目标的达成情况。通过命题开发维度的评价结果，可以提供指导性建议，改进教学和评价各个知识内容和能力目标考察的平衡性和针对性。

3.2 总体考情评价分析

考情分析是对不同科目、不同区域和学校的考试成绩进行全面的统计分析，能够较好地反映各区域和学校的教学质量和学习水平情况。该分析可包括以下几个方面：总体分析、区域成绩对比分析、分数段统计、等级段统计、成绩形态分布和科目均分排名等。主要指标包括考试人数、最高分、最低分、平均分、标准差、区分度、合格率、优秀率、各分数段人数及占比、各等级段人数及占比、众数、中位数、超均率、峰度、偏度和四分位数等。

通过总体考情评价分析，可以准确了解各科目的教学情况和学生的掌握情况。这为各类教研活动提供了科学的依据，满足了用户在教学质量监控和教学研究等方面的需求，为改进教学、进一步提高教学质量提供了基础。

3.3 基于试卷结构的评价分析

基于试卷结构的评价分析需要导入各科目试卷的每个小题的题型、分值、参考答案、主观题或客观题、能力目标、知识内容等数据。评价系统结合成绩数据和试卷结构数据进行以下几个方面的分析：

1） 小题分析：评价分析子系统对各个小题的得分率、满分人数、满分比例、失分人数、失分比例、难度和区分度指标进行分析和评价。

2） 题型分析：针对不同题型的覆盖题量、覆盖分数、得分率、满分人数、满分比例、失分人数、失分比例进行分析。

3） 全卷分析：评价分析子系统针对各科目的满分、平均分、试题难度比例、信度、效度、区分度和区分度比例进行分析。

4） 卷面作答分析：评价分析子系统对每个选择题不同答案的选择人数及比例进行统计分析。

评价结果可以帮助教师调整教学方案和试题，帮助学生了解自己对知识的整体掌握情况，从而更好地进行教和学的活动。

3.4 多级评价分析

基于以上的评价分析内容，系统可提供面向市、区、校、班级的多级评价报告。报告内容包括各科目学业水平的参考统计、成绩统计、成绩分布情况统计、知识内容得分率统计和能力目标得分率统计等。同时，系统还提供了全市或各区的平均参考值，供学科老师、学校和区教育局进行自我评价。

此外，针对学生个体，系统提供了评价维度和指标的分析总结报告，客观地反映学科学业情况，帮助学生了解个人的优势和不足，以便进行有针对性的学习和提高。

4 总结与展望

考试评价系统基于四层架构和六个子系统的设计，实现了对考试数据的信息化统计分析。通过采集、存储和关联分析考试数据，该系统发掘和利用了数据资源的潜在价值，并为主管部门、学校、教师和学生提供了多级考试评价分析报告。系统基于多维评价模型，主要对考试、考生和教育教学三个方面进行评价。丰富的分析模型、评价指标和可视化呈现使考试评价系统更加全面、科学和客观，为其广泛应用奠定了坚实基础。

基于系统的数据模型和可扩展特性，可以在后续的系统迭代或与其他系统的接口中不断丰富新的算法模型、数据标准和评价分析方法。同时，要继续探索和实践以“四个评价”、服务“五类主体”为基础的工作。在考试评价系统的基础上，建立起“评价—反馈—改进”的良性循环机制，及时准确地向各类主体反馈评价结果，并帮助他们正确理解和使用评价结果。要以持续改进为核心，通过评价结果的反馈促进考试质量的提升，促进考生个性化发展，促进教育教学的精确改进，最终实现立德树人的根本任务，培养德智体美劳全面发展的社会主义建设者和接班人[7]。

参考文献：

[1] 关丹丹.深化教育考试评价改革推进中国式考试现代化[J].中国考试，2023（1）：15-20.

[2] 罗文，易子钦.基于经典测量理论的考试评价研究与信息系统构建[J].信息与电脑（理论版），2018（13）：82-83.

[3] 张琳，吴军.数据库原理及应用课程考核评价方式探讨[J].电脑知识与技术，2022，18（13）：141-143.

[4] 王潇磊.高职院校教务管理系统的设计[J].电脑迷，2017（9）：49-50.

[5] 陈小姣，曾彩霞.无纸化考试系统质量评价体系的构建与应用[J].湖南邮电职业技术学院学报，2022，21（3）：103-105，116.

[6] 魏勍颋，邹宏，左有遊.基于HMM模型的网络课程学习过程多维评价研究[J].软件导刊，2020，19（5）：247-251.

[7] 郑新俊，田国良，黄飞虎.基于Data Fabric的多模数据管理方法[J].华东师范大学学报（自然科学版），2023（5）：164-181.

【通联编辑：张薇】