基于DS/AHP模型的学生综合成绩评估体系设计

马文俊 黄楠 蒋运承 詹捷宇

摘要：针对当前大学课程的教学评估在对学生综合成绩评估时存在的三个问题：（1）过于强调期末的成绩，而忽略了学生的其他评估指标，如学科基础、进步程度等;（2）无法处理课堂表现缺失或课后作业和实验设计的成绩的不确定性;（3）缺乏对学生进步程度的评估手段。针对以上问题，面向计算机科学与技术专业，提出了基于DS/AHP模型的多属性综合评估体系，分别从多因素融合、不确定数据处理、进步程度的指标衡量三个角度阐述了如何结合多个方面对学生的学习状态进行综合分析，从而达到提高学生学习积极性和合理评估学生的学习状况的目的。

关键词：学生综合成绩评估;DS/AHP模型;教学评估

中图分类号：G642.0     文献标志码：A     文章编号：1674-9324（2019）39-0001-04

如何科学合理地综合评估学生的学习状况以激发学生的学习兴趣，实现个性化培养，促进学生的全面发展，一直以来都是教学实践的重点。然而，现有的学生综合成绩评估方案，主要是以学生的考试成绩为核心，利用平均绩点来评估学生的学习表现。[1]因此，在实际的教学课程中，现有的学生综合成绩评估方案存在如下的问题：（1）过于强调学生的考试成绩，没有从多个方面综合评估学生的学习能力。（2）在大班教学中，由于学生数量过多、老师精力有限和实验设计多人共同完成等原因，部分学生的课堂表现、作业情况、实验设计主要依赖老师的主观判断，缺乏客观标准，从而容易导致师生矛盾。（3）缺乏对个体学生基础条件差异的现实以及学生在学习过程中所付出的努力程度等的有效评估，很难对基础较差和吸收能力慢的学生起到促进作用。为此，我们将引入DS/AHP模型，给出进步程度的指标衡量方法，利用多准则决策理论对多个评估指标（如学科基础、进步程度、平时成绩、期末成绩等）进行综合分析，构建学生综合成绩评估体系，从而达到全面评估学生学习状况、增强学生学习效果和推动学生个性化发展的目标。在本文中，我们以计算机科学与技术专业的学生综合成绩评估为例，考虑如何构建基于DS/AHP模型的学生综合成绩评估体系。

一、基于教育数据的DS/AHP模型构建

DS/AHP方法是Beynon等人[2]利用D-S证据理论[3]结合进AHP层次分析方法[4]，用于解决不确定信息下的多准则决策问题。具体而言，利用DS/AHP模型，决策者需要做两组知识判定：各准则的权重和给定准则下决策者对某组抉择的偏好程度。然后，基于这两组知识判定，决策者将利用以下步骤对各抉择进行排序：

确定决策目标，相关准则集合，备选抉择全集θ和层次分析图;

对于每一个准则，根据评估比较，赋予某些抉择集一个正数值，即相对排序值;

基于权重判断赋予各准则相应权重值ω，其中ω∈（0，1];

对于每一个准则，根据下列公式赋予某一给定抉择集的mass函数：

利用Dempster组合规则去结合每个准则下的mass函数并获取最终抉择评估;其中，对于n个mass函数结合，其规则为

当需要决策排序时，可利用可传递信度模型（TBM）[5]将mass函数转换成pignistic概率（BetP）。其中pignistic概率分布公式如下：

其中，|A|表示抉择集合A所包含的元素数量。

根据DS/AHP模型的相关介绍，我们对当前的学生综合成绩评估体系从以下两个方面进行优化：多因素教学评估及不确定信息处理，进步程度的指标衡量。

二、多因素教学评估及不确定信息处理

在教学中，评价一个学生的综合成绩往往需要结合多个方面的因素考虑。同时，不同因素对其学习状态的评估比重亦有所不同。正因如此，我们需要考虑多层次的多因素教学评估，更合理地衡量学生的学习状态。

此外，对于某些因素而言，我们并不一定能够得到每个学生的评估数据，这时候，我们需要考虑缺失信息的处理问题。例如，在一个人数庞大的班级中，课堂表现往往是通过点名和课堂提问相结合，在有限的上课次数中，老师不可能做到把每个同学的名字点到，更不可能提问到每一个学生。因此，学生的上课表现就存在了部分信息缺失。传统做法往往结合学生的期末考试或作业表现权衡学生的课堂表现，然而这几者并不存在相关性，很可能一个学生期末考得很好，但是平时作业都不完成，上课表现很差，还缺勤。因此，传统做法存在很大的主观性。又例如对于大班教学，由于工作量等原因，对于学生作业情况不可能每次都仔细分析，对于部分作业可能仅仅检查其完成程度，因此，也会存在信息缺失问题。

針对以上两个问题，利用DS/AHP模型可以很好地解决。这里，以数据结构这一门课程作为案例进行说明。

1.显然，该课程的决策目标是对学生的综合成绩进行排序，相关准则包括课堂表现、作业情况、学习基础、进步程度、实验设计和期末成绩，抉择全集假定为4个学生θ={A，B，C，D}。同时，假定同学A的课堂表现不确定;B的作业表现不清楚;D的考勤情况有所缺失;B和D的实验设计是一起做的;C是转专业过来的，因此进步程度无法确定。根据以上信息，可以构建层次分析图如下所示：

2.对于每一个准则，根据各抉择集的表现情况如表1所示（其中，“-”表示数据缺失，而对于学习基础和进步程度的具体评估方法将在第3章节提及），利用以下公式把赋值映射到标准标度[1，6]区间上，即相对排序值：

相对排序值=标准标度最低值+（标准标度最高值与标准标度最低值之差）*（给定抉择表现-最低表现值）/（最高表现值与最低表现值之差） （5）

例如，对于课堂表现中，假定进步程度的最低表现值为1，最高表现值为6，其他各准则最低表现值为60，那么，学生B的相对排序值为1+（6-1）*（75-60）/（100-60）=2.875。同理，可得各准则下各抉择集的相对排序值如表2所示。

3.基于权重判断赋予各准则相应权重值ω。显然，期末考试和实验设计相对比较重要，同时我们要需要充分考虑学生的平时表现。此外，进步程度在很大程度上反映了学生的学习能力，因此也需要侧重考虑。至于考勤情况，则略微考虑。

根据以上原则，可以赋予各准则权重值如表3所示。这里需要注意的是，区别于传统DS/AHP模型，我们允许权重之和不等于1。而这预定是基于以下原因：（1）在DS/AHP模型里，各准则的评估融合是基于Dempster组合规则，因此，权重之和不等于1并不影响最终结果。（2）权重之和不等于1更有利于数据的动态更新，这意味着新的准则加入并不需要改变原有计算结果。

4.對于每一准则，根据mass函数的计算公式可得表4。

5.利用Dempster组合规则去结合每个准则的mass函数并获取最终评估如下所示：

m（{A}）=0.197，m（{B}）=0.189，m（{C}）=0.326，m（{D}）=0.274，

m（{B，D}）=0.009，m（{Θ}）=0.005。

6.利用可传递信度模型（TBM）将mass函数转换成pignistic概率（BetP）如下所示：

BetP（A）=0.198;BetP（B）=0.195;BetP（C）=0.327;BetP（D）=0.28。

根据以上模型，可以得出各学生在数据结构课程的排名如下所示：

C>D>A>B。

即C在数据结构课程中的综合表现最好，D次之，A再次之，B最差。

显然，从以上案例分析可以发现DS/AHP能有效地处理学生评估中所碰到的多因素融合、缺失数据处理、共同成绩处理等问题。

三、进步程度的指标衡量

在上一章节的案例分析里，我们提出了一个在当前学生评估系统里很少涉及的因素——进步程度。显然，同样的学科成绩，对于不同学生而言，其付出的努力程度肯定有差异。就拿计算机专业来说，城市地区的学生可能基本在初高中就接触了编程，而农村的学生可能连电脑的接触时间也不多。类似的，转专业的或者来自教育资源不足地区的同学有可能在刚接触新专业相关课程时要比一般同学更吃力一点，这时候，忽略他们自身的进步程度，很容易导致这些学生产生自我怀疑：“我这么努力了，为什么还学不好？”从而产生厌学情绪。

因此，如果单单考虑考试成绩而忽略学生在学习过程中所付出的努力程度和自身学习水平的提高，很难对基础较差和吸收能力慢的学生起到促进作用。所以，我们建议在学生综合成绩评估里引入进步程度这一指标作为衡量因素之一。在本章节，我们将给出进步程度的衡量方案。

首先，进步程度的衡量依赖于老师对学生学习基础的了解。因此，一般而言，对于进步程度衡量可以通过与这门学科对应的子学科，也就是基础学科的考试成绩，进行对照（对于大一的相关课程，我们可以进一步考虑学生的高考相关成绩作为推算）。例如，某学生在人工智能学科的进步程度，依赖于它的两门基础学科：离散数学和概率论。显然，根据这两门学科与人工智能基础相关情况，我们可以设定对应的权重。例如，离散数学所占权重为0.7，概率论为0.3。类似的，离散数学和概率论作为人工智能的基础学科，在教学安排上必然是先于人工智能课程的开设，对于上过的学生而言，易得其在这两门基础学科的期末分数。根据以上相关因素，我们可以给出进步值的一般公式，如下所示：

例如，A学生离散数学的期末分数为80，概率论的期末分数为70。而人工智能的期末考试为90分，那么根据上述权重，易得其进步值为■=13。显然，该进步值的衡量允许部分子学科的期末成绩未知。例如，如果某门学科的进步值衡量与某门选修课有关，但某学生没有选取这门选修课，那么在进步值计算中，该学生的进步值并不会因此而降低。此外，如果所有子学科的期末成绩未知，那么，进步值就是缺失的。而这点，显然也是DS/AHP模型所允许的。另外，我们还需要利用公式（5）把赋值映射到标准标度[1，6]区间上，获取进步值的相对排序值。在上述A同学的例子中，假定最高进步值为40，最低进步值为0，可得A学生的进步值的相对排序值为1+（6-1）×（13-0）/（40-0）=2.625，

但是只是用进步值的相对排序值衡量学生的进步程度是不够的。例如，一名学生从60进步到75分和另一名学生从90分进步到100分，如果只是用进步值的相对排序值来比较，前一名学生进步程度更高。但是高分段的学生进步空间是小于低分段学生的，同时比起低分段，高分段获取相同数值所付出的努力是更大的，因此，我们需要根据高级学科的分数引入转换标度的概念，更好地衡量学生的进步程度，即

进步程度=进步值的相对排序值×转换标度（7）

下面，我们给出一种转换标度，以更好地衡量学生的进步程度，如下所示：

转换标度=0.5+max{（分数-60）/40×0.5，0}（8）

根据公式（8），我们可以发现，高级学科考试成绩越高，其转换标度越高，这也有助于进一步鼓励学生获取更好的期末考试成绩。在上述A同学例子里，人工智能期末考试得90分对应的标度为0.875，因此，A同学的进步程度为2.3。

四、结语

本文针对现有的学生综合成绩评估体系所存在的缺陷：（1）过于强调期末的成绩，而忽略了学生的其他评估指标，如学科基础、进步程度等;（2）无法处理课堂表现缺失、作业情况和实验设计的成绩不确定性等问题;（3）缺乏对学生进步程度的评估手段，利用DS/AHP模型和新提出的进步程度衡量标准，给出了新的学生综合成绩评估体系。该体系分别从多因素融合、不确定数据处理、进步程度的指标衡量三个角度阐述了如何结合多个方面对学生的学习状态进行综合分析，从而达到提高学生学习积极性和合理评估学生的学习状况的目的。在未来工作中，我们一方面需要关注学生对该体系的使用反馈，记录该体系下学生的反应和实际的评估效果，并总结经验进一步对该体系进行改善，另一方面对体系所涉及的算法进行优化，提高该算法在大规模的实际应用中的效率。

參考文献：

[1]刘丰林，曾山，孟三爱，等.大学生综合素质模糊评价体系研究[J].学校党建与思想教育，2014，（12）：90-92.

[2]Beynon M，Curry B，Morgan P.The Dempster-Shafer theory of evidence：an alternative approach to multicriteria decision modelling[J].Omega，2000，28（1）：37-50.

[3]Shafer G.A mathematical theory of evidence[M].Princeton University Press，1976.

[4]Saaty，T.L.The Analytical Hierarchy Process[M].McGraw-Hill，1980.

[5]Smets，P.The transferable belief model[J].Artificial Intelligence，1994，66（2）：191-234.

A Student Comprehensive Performance Evaluation System Based on DS/AHP Model

—Taking Consider the Subject of Computer Science as an Example

MA Wen-jun，HUANG Nan，JIANG Yun-cheng，ZHAN Jie-yu

（School of Computer Science，South China Normal University，Guangzhou，Guangdong 510631，China）

Abstract：In this paper，we focused on three issues about the high school student comprehensive performance evaluation that cannot address by the traditional method.（1）They will give too much attention to the final grades，while ignoring other assessment factors of students，such as subject foundation，the effect of hard working，and so on.（2）They cannot handle the situation that the lack of class performance or the uncertainty of the homework scores and experiments design scores.（3）They cannot evaluate the effect of hard working of the students.In order to address these issues，in this paper，by considering the subject of computer science as an example，we propose a multiple attributes comprehensive evaluation system based on DS/AHP mode.In this system，we discuss how to combine different factors to evaluate the students' performance by three aspects.Finally，we show that such system proposed in this paper indeed can improve the student performance in class and give a reasonable way to evaluate the study situation of the students.

Key words：student performance evaluation system;DS/AHP method;teaching evaluation