高校设计类课程作业评定方法比较研究

李月恩

（山东建筑大学，山东 济南250014）

研究评价问题，作业评价通常是最常用的也是最广泛的一种应用场景。在作业评价上，伴随着教学模式改革的推进，作业评价方式较多，研究也较多。马秋华等[1]指出构建旨在促进学生全面发展的作业发展性评价体系是推动基础教育课程改革的关键点，每一位教师在学生作业发展性评价体系的建立上都应放眼考试评价改革经验和整合传统考试评价文化，并立足本校情，因校制宜，融各种评价方法为一体。付肖娟等[2]认为，教师在作业批改中应该有情感和价值因素的注入，作业不仅是一种评价尺度，更是一种指导学生进一步学习的指挥棒。这说明，作业评价要科学和公平。易中等[3]研究中发现：在大学建筑类专业学习的过程中，对于学生作业的综合评价指标过于笼统，用一些比较模糊性的概念来评价所指向的设计方案，在面对复杂的设计方案的时候，还是需要将各种指标进行分类，这就形成了模糊综合评价方法，评价指标属于不同的层次，评价从低到高建立多个目标和层次的多级分类评价，这样使得评价方案更准确地反映设计者的水平。焦建利[4]以创客课程评价学生的7种方法为基础，给出了定量和定性综合应用的案例，实际过程中效果良好。

在评价中，学者们不局限于传统的评价思路和方法，评价创新研究也较多，如陶雄军[5]结合多年的本科建筑设计课程教学经验，通过实际分析，归纳出相对评价法、差异点评法、互动点评法等建筑设计课程课堂作业点评方法。严宏君[6]在教学中，从学生的实际情况开发出总体性评价方式，这样的评价方式便于对每一位学生的教学档案进行跟踪分析。

在评价方法研究领域，很多专家也做出了比较深入的分析，尤其是在一些基金项目、科研课题以及重要的科研事业上的评价工作。比如：吴述尧[7]的研究集中在同行评议方法在科学基金项目管理绩效评估中的应用；马强等[8]介绍了德尔菲法、层次分析法、集结方法等在同行评议中的应用；王芳等[9]为探讨解决同行评议在科技项目立项评审环节存在的问题，将负向评价思想引入同行评议，构建负向半定量评审方法，以期有效解决现行科技项目立项评审中的问题。不过，在杨翠[10]的研究中也曾认为，同行评议虽然被广泛应用于科研或各种评审中，但该制度仍然存在某些不足。吴浩[11]认为，同行评议作为我国目前重要的科技评价方法之一，在具体实践的过程中受到了一些学者的质疑。在研究中，作者提出了新的评价方法，并指出评价方法需要运用一定的外部环境，评价方法的发展也需要在实践中不断完善。

一些学者借鉴新的评价尺度和方法，例如王伟等[12]通过比较同行评议法和层次分析法(AHP)，针对两种评估方法的优缺点，在确定评价目标的前提下，提出基于同行评议和层次分析法的模型，通过选择参与评估的专家，确立评估指标体系和权重，由决策者做出最后决定，给出评定结果。该模型采用定性和定量相结合的方法，综合多种方法进行评估，通过此法能够进一步提高评估的客观性。与产品设计创新评价相关的设计评价的定量研究比较深入，很多方式可以借鉴，如魏巍等[13]的研究，针对跨学科研究评价给出了新的方法。盛怡瑾等[14]使用文献调研法和网站调研法对所关注对象进行评价，提高了评价的准确性、公平性、一致性，能够有效控制时间，对增强评价和关注成本的综合方法进行了一定探索。宁连举等[15]提出面向产品价值评价指标体系评断方法，具体是利用层次分析法确定产品该模型的具体权重，对其进行实例说明和验证。华尔天等[16]也从产品创新的角度，分析了用户需求特征，构建用户需求体系，明确产品创新评价要素及其影响因素，并在此基础上提出了产品创新评价模型，创新评价策略与实现方法。刘晓敏等[17]从产品设计创新的角度，采用一种基于发明问题解决理论(TRIZ)和约束理论(TOC)的产品创新集成及评价过程模型，根据实际建立的产品形态学矩阵，并集成一种层次分析法与加权计分法的评价策略来评价所建立的模型，最终确定出最优的产品设计方案。罗建设等[18]通过质量功能布置定性描述技术特征之间的相关影响关系，建立功能模型分析技术系统存在的标准，利用价值工程理论的价值评价尺度对各类问题进行分析并确定最终的产品创新方向。相关研究成果比较丰富。近年来，一些学者也在探索新的课程评价方法，赵莉香等[19]通过构建科学的课程目标形成评价基准,综合并改进当前国内外创新学习效果评价方法,对学生在整个课程学习中的效果进行测量和评定。龚力[20]提出了一种结合有效匿名集合及概率图模型的匿名性评估方法。

本文通过借鉴同行评议的方法，在课程评价中，评价者对于被评价人的项目研究结果给出评定的分数，从不同的统计角度对评价者给出的成绩进行分析，具体的方法是采用典型的6种同行评议和1种专家判断模型，通过对比这7种模型，具体分析何种评价模式更具有科学性和合理性以及最大的区分度。

1 同行评价方法

1.1 专家评价法

面对很多课程的评价，按照常规课程考试的模式，试卷方式是主要的方式，面对一些作业类别的作业则是需要进行作业评价，典型的评价方式是将评价指标细化，按照每个层次加权评分，常规的模版如表1所示。这种方法看着非常合理，然而在正式评定过程中，通常选择几位老师根据学生的情况，分别给定成绩，然后算出平均值，最后作为学生的成绩。评价流程如图1所示。

表1 典型项目评价表

图1 学生作业评价基本流程

最终学生的成绩采用计算采用式（1）：

式中，n为参与评价的专家数目，am则是每一位专家给出的分项成绩。

1.2 同行评议

同行评议的方法比较多，本文研究分为2种情况，共6种方法，分别是：第一种情况：匿名情况下有3种：①全体成员参与评定；②小组代表评定；③小组加权（平均）评定。第二种情况：实名情况下有3种：①全体成员参与评定；②小组代表评定；③小组加权（平均）评定。

根据6种分类情况，匿名与实名通常会有不同的评定分数，之所以分为2种情况，主要是为了研究人为因素以及相关的科学评价外因素干扰程度。在评价过程中，由于参与评价个体差异、所处外在环境不同，就会依赖于定性分析，定量评价方法则易产生评价与实际情况相互干扰的问题。在本次研究中将展开较为详细的分析。

根据评价方式，其中所需的数学计算公式比较简单，全体成员参与评定计算方法为式（2）：

式中，n为参与评价同行人数，bi则是每一位同行给出的评定成绩。需注意的是，在同行评价中，每位同行评价所给出的最高分值不宜过大，依据教学经验，本文认为5~20分为宜，在案例研究中，分数最高值为10分。小组代表评定采用的计算方式与式（2）相同，只不过n的选择对象不同。

同样道理，对于小组加权（平均）评定的计算方式，则稍微复杂一些，主要计算过程如下式（3）：

此计算为各成员对于被评价项目所给出的成绩，式中p意味着这个小组有p位成员，他们代表某个团队。然后需要计算小组的平均值，将这个平均值作为小组给出的基础成绩，用式（4）表示。

最后加和所有小组的成绩，然后取平均，用算式（5）表示：

式中，n为参与评价的小组数目，p则是每一小组参与给出的评定成绩的人数。匿名与实名在数据采集和数据统计上的方法一致，计算过程一样。

2 被评价课题研究内容及工作

2.1 被评价问题描述

基于本学期课堂教学“产品设计开发”的内容制定，主要训练学生开展基于市场需求的设计开发活动，通过模拟真实产品开发流程以及产品设计过程，培养学生的理性设计思维和产品创新、评价、多学科交流、团队协作等方面的能力，掌握和理解产品设计的流程和方法，提高学生应对高难度并行、系统化产品设计题目的解决策略和方法。课题研究项目为：无人领域的智能机器人设计开发。本课程教学学时为40学时，课程采用设计理论与实践相结合的方式进行。

2.2 被评价项目（设计）情况

本项目围绕无人机的设计开发展开，项目分为5个小组，分别是创意组、市场组、信息组、制造组、财务组。每个小组的工作情况通过PPT的形式做课堂汇报，各工作组态度认真，项目推进过程中经过多轮的评审，最后的工作汇报均达到课程预计要求。

2.3 被评价项目同行给出的测评成绩

（1）全体同学给出的成绩。依据每个小组做出的课程作业的答辩情况，每一位同学对这个小组的工作做出评价，对本小组回避，获得如表2的统计数据，其中缺省部分为回避事项。

表2 全员参与的同行评价数据记录

（2）小组代表给出的成绩。一般情况下，小组代表给出成绩是最常用的一种同行评议方法，如果选择的评价者具有专业水平，这种方式就成为专家评价法，小组代表在评价中回避自己小组，只给与另外4个小组成绩。小组代表给出的成绩如表3所示。

表3 小组代表给出的成绩

3 数据分析

在同行评议中，所有的数据采集是在同一时间获取的，5个小组完成之后，同时给出评价。这种方式可以有效避免人与人之间评价的相互影响，评价结果接近每一位参与评价的人的真实判断。经过分析，全班同学对于每一个小组的平均成绩如图2所示。通过这个数据表格，可以直观地看出：

图2 全班给出成绩的平均值

实名评价与匿名评价的确存在着差异，在本次实验数据的采集与计算中，可以看到实名评价的分数要低于匿名评价的分数，这一点与一般同行评价的常识性认识不一致。换言之，实名给出的成绩要略低于匿名给出的成绩。这说明，实名给出成绩的时候，同行评价的时候更重视自己的判断，由此可以推论，若实际评价允许，实名评价是同行大样本评价中比较好的评价方式。同时，实名评价与匿名评价对于各小组的名词排序没有影响，给出的排序顺序为：创意组＞制造组＞市场组＞信息组＞财务组。

在本次评价中，作者作为课题总的指导老师，对于各小组也给出了一个成绩，主要是从老师的角度给出的判断，评价过程中，未受到其他同学评价的影响，成绩如图3所示。

图3 指导老师给出的成绩

由图3可以看出：作者作为指导老师给出的成绩要高于全班同学给出的平均值。另外，因为指导老师给出判断的主要目的是形成区分度，所以给予小组成绩中出现了强制排序的情况。其小组排列顺序为：创意组＞信息组＞市场组＞财务组＞制造组。

从这一点可以看出，作为指导老师与全体同行判断之间还是存在很大差异。例如末位排序以及中间其他小组的排序均出现了差异，只有市场组顺序不变。

由多种评价方式给出的结果如图4所示，通过分析发现：

图4 多种评价方式给出成绩的平均值

小组实名平均的排名、小组代表匿名与其他同行评议测评的顺序不同，但首尾排序不变，差异比较大的是同行评议与指导老师成绩评定差异较大。这说明，在判断某项设计方案中，专家判断与同行（大众）判断的确存在较大差异，计算实名下全班给出成绩与指导老师给出成绩之间的偏差，如图5所示。为了方便分析，给出每种评价方式与指导老师给出成绩的偏差，计算结果如图6所示。

图5 实名下全班给出成绩与指导老师给出成绩之间的偏差

图6 各小组的不同评价与指导老师给出成绩的偏差

由此得出：指导老师给出的成绩最具有区分度，全体匿名的成绩比较平和，差距不大，小组平均的给定方式为折中方式。根据本次实验结果，可以为课程评价的选择提供合适的评定参考。通过案例分析及对比评价标准，全体评价中的实名评审给出的成绩比较低，实名评价与匿名评价排列顺序相同；指导老师给出的评价与同行评价存在明显差异，既有分值的差异，也存在排列顺序的差异；分析差异的表现形式，对表现差异的结果计算了偏差和标准差，其中发现指导老师给出的评价区分度最大。

4 结论

根据现在数据分析的结果，以后的研究可以持续进行相近数据采集和测试，尽可能减少指导老师与全体同行评价的差距。在评价后续研究可开展结合两种方法的加权计算的研究。此外，在多种评价的方式中，实名普遍比匿名的分值要高，匿名的区分度要高于实名评价，如果动态评价某项目，则会出现统计意义上的评价与专家评价会逐步趋同，这对于项目管理和产品设计管理有普遍的意义和价值。