新工科背景下教学质量评价体系构建与实证研究

沈树声　邓沿生　夏建中　邹宝平

[摘   要] 新工科建设对应用型本科院校教学评价提出了新的要求。传统的教学评价方法在确定指标权重时普遍存在主观性的问题，已无法满足当前工程教育的需要。文章综合考虑新工科的建设需求，引入综合赋权法计算指标权重，结合模糊综合评价法，提出基于综合赋权的教学质量模糊评价体系。以“地下工程施工”课程为例，研究发现：基于主观权重计算的评价结果偏高，而基于客观权重计算的结果与综合赋权结果一致，更符合实际。研究成果能为新工科背景下应用型本科院校的教学评价工作提供借鉴和参考。

[关键词] 新工科； 应用型本科； 教学评价体系； 指标体系

[中图分类号] G434            [文献标志码] A

[作者简介] 沈树声（1981—），男，浙江桐乡人。助理研究员，硕士，主要从事高等教育管理研究。E-mail：778385125@qq.com。邓沿生为通讯作者，E-mail： ysdeng@zust.edu.cn。

一、引   言

随着人工智能、大数据以及云计算等前沿科技的高速发展，新一轮科技革命和产业变革正蓬勃兴起。为了紧跟时代发展，2017年教育部正式提出新工科发展战略规划，积极推进新工科建设，先后形成“复旦共识”“天大行动”“北京指南”，为高校工程教育改革创新指明了方向 [1-3]。教学评价作为教学活动的基本环节，不仅影响教学目标的达成，更是教学改进的重要导向。针对新工科对教学评价的新要求，提出一套更加科学、合理的教学质量评价体系，对我国新工科建设与发展具有重要意义。

目前针对教学评价体系的研究多采用层次分析法（AHP）[4-10]、模糊综合评价法[11-12]等，大多数评价方法均采用层次分析法确定指标权重，即通过专家主观打分后计算得到，存在一定的主观性。基于新工科背景下应用型本科院校教学评价的特点，针对传统教学评价体系中指标权重普遍存在主观性的问题，文章通过全面分析现有的教学评价方案，选取了适用于新工科专业的教学评价指标，采用综合赋权法确定指標权重，在一定程度上避免了单独采用AHP带来的主观性，结合模糊评价法构建教学评价体系，研究成果能为新工科背景下应用型本科院校的教学评价工作提供参考。

二、传统教学评价体系存在的问题

传统教学评价体系侧重于考查学生本专业教材上的理论知识，很难适用于现阶段新工科背景下应用型本科院校培养高素质、交叉复合型卓越科技人才的需求。新工科背景下传统教学评价体系存在如下问题：

（一）评价指标没有考虑学科交叉融合性

新工科建设具有显著的学科交叉和跨界融合特征，需要高水平人才综合跨学科的知识和视角，敢于打破传统工科的思维定式，采用创新的思维模式，能够创造性地解决现实中复杂多变的工程问题。这就需要高校在传统教学评价体系的基础上，融合能反映学生学科交叉和跨界融合能力的评价指标，全面评价新工科背景下的教学质量。

（二）评级体系没有充分考虑创新实践能力

为了满足未来产业对具有实践能力和创新能力高素质复合型人才的需求，高等院校教学质量评价体系不仅要考核学生对基本理论知识的掌握情况，更要对学生所表现出来的创新能力、团队合作能力、发现问题和解决问题的能力等进行考核。

（三）评价体系没有紧跟产业发展

新工科建设意味着传统教学内容已不能满足当代产业发展的需求，在互联网时代的大背景下，科学知识也在快速迭代，应用型本科院校作为培养高素质、高科技人才的基地，其教学内容在延续传统学科基本知识和方法的同时，应涵盖必要的学科发展前沿知识，补充当代产业发展需求的新思想、新理论、新方法和新技术。

（四）评价主体缺乏多元性

传统评价通常采取学生评教、同行互评等方式进行，评价主体较为单一。新工科背景下应用型本科院校的教学评价应由多方主体共同参与，特别是产业方参与教学评价，形成以学生、教师、教学管理和产业方等多方共同组成的评价主体。这样不仅增加了教学质量评价体系的客观性，同时也可以及时了解产业需求，以便及时进行教学改进，从而保障高素质、高水平工程技术人才的培养。

三、构建教学评价指标体系

为了应对新一轮产业革命和科技变革，教育部提出了新工科的概念，其不仅具有一定的时代意义，还具有显著的引领性、交融性、创新性、跨界性和发展性等新特征。面对新工科的新理念、新形势、新特征和新挑战，传统教学质量评价方法已无法满足当前工程教育的需要。对于应用型本科院校而言，如何培养满足社会发展需求的、且具有国际竞争力的复合型高水平技术人才，如何构建新工科背景下的教学评价体系已成为当前应用型本科院校亟须解决的问题。

综合赋权法是一种将主观权重和客观权重相结合的综合赋权方法。通过AHP构建层次结构模型，并计算主观权重，采用熵权法计算客观权重，一定程度上避免了单独采用AHP带来的主观性。AHP是将复杂的多目标决策问题作为一个系统，将目标分解为不同的组成因素，进而按照因素间的关联和隶属关系分解为多指标的若干层次，形成一个具有多层次的结构模型。专家根据经验通过对每一层次的各因素构建判断矩阵，即可计算出各层次每个因素的主观权重。熵权法完全基于数据本身，根据某个指标数据的离散程度确定指标客观权重。

以新工科工程教育改革为导向，结合新工科建设的新特征和教学工作的实践经验，以多方评价、多方反馈、多样评价为基础，引入AHP方法构建层次结构模型，综合赋权法计算综合权重，设计的教学评价指标体系（见表1）共分为三层，即目标层、准则层和指标层。目标层为教学评价，作为土木工程教学评价模型的总目标；准则层共包含B1教学态度、B2教学内容、B3教学过程、B4教学方法、B5教学实践、B6教学效果等六项；指标层共包含28项，其中在B1教学态度、B2教学内容和B5教学实践中均考虑了新工科建设的要求，如C13积极融入课程思政、C26教学内容交叉性、C54实践内容紧跟产业发展等。

四、基于综合赋权的模糊评价体系

基于综合赋权的模糊评价模型在计算权重时综合考虑了主客观的情况，即采用AHP法计算主观权重，采用熵权法计算客观权重，最后综合考虑主观和客观权重计算综合权重值，既考虑了专家的主观经验，又尊重数据的客观事实，避免完全主观判断的局限。

（一）综合赋权法

综合赋权法需先利用AHP计算主观权重，首先要确定目标层、因素层和子因素层，从而构建层次结构模型；根据构建的层次结构模型，通过比较因素间的相对重要性，依据9级标示法构造每层次的判断矩阵。其次采用方根法和特征向量法，通过判断矩阵计算对应因素层各因素的权重。由于构造判断矩阵是专家凭借经验进行的两两比较，当元素较多时，很难做到判断的完全一致性，这就容易导致估计误差。因此对构造的判断矩阵要进行一致性检验，当一致性检验指标CI满足要求时，则认为满足一致性检验[13]。最后根据层次单排序的结果计算组合权重，即主观权重wjs。AHP的计算流程如图1所示。

计算出主观权重wjs后，再利用熵权法计算客观权重wjo。熵是对不确定性度量的一種方式，信息量越大，不确定性就越小，故熵越小；反之熵越大，不确定性就越大。熵值法计算客观权重首先需将指标值xij正向化处理，计算第j个指标在第i个评价项目中特征比重pij为：

归一化后即可得到评价结果向量B={b1， b2， …， bm}，基于最大隶属度原则可最终确定教学评价结果。其计算过程如下：

（1）构建评价因素集U，即为教学评价指标体系准则层和指标层中元素的集合；

（2）建立指标权重集W，即计算因素集U中各因素权重的大小，采用综合赋权法计算得到指标综合权重集；

（3）确定评价评语集V，如优、良、中、合格和不合格五级评价；

（4）计算评判矩阵R，首先确定U对V的隶属函数，再计算出各评价指标对各等级的隶属度rij；

（5）计算模糊综合评判集B，利用普通矩阵乘法，基于最大隶属度原则，得出评判集最终评价结果。

（三）基于综合赋权的模糊评价体系计算流程

（1）根据课程运行情况，结合应用型本科院校实际，确定土木工程教学评价的总目标，并建立教学评价指标体系；

（2）基于评价指标，理清指标间的联系及层次结构，邀请专家组独立地对各评价指标的重要性程度进行对比打分；

（3）依据专家打分，采用AHP和熵权法计算各指标的主客观权重，并计算最终综合权重值，得出各指标的权重向量；

（4）根据具体的评价目标要求，构建评价因素集合和评价评语集合；

（5）依据模糊综合评价模型的计算流程进行模糊计算和综合评价，得出模糊综合评判集，进行归一化处理后，即可得到最终评价等级。

五、基于综合赋权的模糊评价体系实践应用

以笔者所在学校“地下工程施工”课程为例，选择土木工程专业2019级大四学生为研究对象，为了对“地下工程施工”课程的教学质量进行评价，组织教学管理人员、教师、企业人员以及学生76名，开展基于综合赋权的模糊评价体系的实践应用研究。本次评价中采用的教学质量评价标准共分为五个等级，即优秀、良好、中等、合格、不合格。

根据教学管理人员、教师、企业人员和学生的评分和专家打分结果，取待定系数a和b均为0.5，可得到准则层教学态度、教学内容、教学过程、教学方法、教学实践和教学效果共六个维度的主观、客观和综合权重值，如图2所示。

从图2可以看出，B4和B5的主观和客观权重相差较大，相差约3～4倍。如果单独使用主观或客观权重进行评价，均可能会造成评价结果与实际不符的情况。因此，综合赋权方法既能在一定程度上减少人为判断的主观性，又能考虑数据本身的内在性质，能更真实地反映各影响指标的权重。基于综合赋权结果，得到准则层（B1、B2、B3、B4、B5、B6）各指标的评价结果分别为：[0.000 0.000 0.282 0.599 0.119]、[0.000 0.132 0.208 0.405 0.256]、[0.000 0.000 0.057 0.178 0.765]、[0.003 0.004 0.049 0.164 0.781]、[0.000 0.000 0.443 0.163 0.394]、[0.000 0.156 0.333 0.511 0.000]。

根据各准则层指标的评价结果可知，本学年“地下工程施工”课程在教学实践环节评价结果为中等，仍有改进空间。结合计算得到的综合权重值，即可得到最终“地下工程施工”课程的教学质量评价结果为[0.001 0.052 0.248 0.357 0.343]。基于最大隶属度原则，即可确定2022年度“地下工程施工”课程的教学质量评价结果为“良好”。

如果单独采用主观和客观权重进行计算，可得到教学质量评价结果为[0.000 0.050 0.276 0.336 0.339]和[0.001 0.054 0.221 0.378 0.347]，按照最大隶属度原则，可得到评价结果分别为“优秀”和“良好”。可见，基于主观权重计算，其最终评价结果偏高。基于客观权重的计算结果与综合赋权结果一致，更符合实际。

六、结   语

基于综合赋权的新工科背景下教学质量评价体系能综合考虑各评价指标的主观和客观权重，采用层次分析模型将教学质量评价问题分解为两个层次，即准则层和指标层，并引入模糊数学的方法，构建基于综合赋权的教学质量评价体系。针对新工科背景下应用型本科院校高素质、交叉复合型卓越科技人才的培养需求，提出的评价体系同时考虑了课程交叉融合和创新能力方面的考核，且具有良好的可操作性和可信度，为新工科背景下教学质量评价和改进提供了可行方案。

[参考文献]

[1] 钟登华.新工科建设的内涵与行动[J].高等工程教育研究，2017（3）：1-6.

[2] 林健.引领高等教育改革的新工科建设[J].中国高等教育，2017（Z2）：40-43.

[3] 吴爱华，侯永峰，杨秋波，等.加快发展和建设新工科，主动适应和引领新经济[J]. 高等工程教育研究，2017（1）：1-9.

[4] 周晓晶，于晓秋.基于层次分析法构建实践教学质量评价模型[J].内蒙古农业大学学报（社会科学版），2011，13（4）：163-165.

[5] 徐薇薇，吴建成，蒋必彪，龚方红，高校教师教学质量评价体系研究[J]. 高等教育研究，2011，32（1）：100-103.

[6] 黄小芳，黄红武.省域应用型本科教育质量监测评价多元化主体结构的建构[J].中国高等教育，2020（Z1）：55-57.

[7] 张新昌.构建地方高校课堂教学评价体系[J].中国高等教育，2019（19）：43-45.

[8] 张璐鑫，韩芸，张海涵.以“评学”为重心构建高校课堂教學质量评价体系[J].大学教育，2022（3）：237-240.

[9] 郑谦，汪伟忠，赵伟峰，胡月英. 应用型高校实践教学质量评价指标体系研究[J].高教探索，2016（12）：36-40.

[10] 李爽，刘紫荆，郑勤华.智能时代数据驱动的在线教学质量评价探究[J].电化教育研究，2022（8）：36-42.

[11] 白建光，屈冉，李海军.基于模糊层次分析法的新工科实践教学效果评价[J].高教学刊，2019（21）：6-9.

[12] 李五洲，汪基德.基于模糊综合评价法的MOOC适切性研究——以“现代教育技术”课程为例[J]，电化教育研究，2016（12）：60-66.

[13] 梁军，赵勇.系统工程导论[M]. 北京：化学工业出版社，2013.

Construction and Empirical Study of Teaching Quality Evaluation System under the Background of Emerging Engineering Education

SHEN Shusheng，  DENG Yansheng，  XIA Jianzhong，  ZOU Baoping

（School of Civil Engineering and Architecture， Zhejiang University of Science & Technology，

Hangzhou Zhejiang 310023）

[Abstract] The construction of emerging engineering education has put forward new requirements for the teaching evaluation in application-oriented undergraduate colleges. The traditional teaching evaluation methods are generally subjective in determining the weights of indicators， which can no longer meet the current needs of emerging engineering education. Comprehensively considering the needs of the construction of emerging engineering education， this paper introduces a comprehensive weighting method to calculate the indicator weight， combines the fuzzy comprehensive evaluation method and proposes a fuzzy evaluation system for teaching quality based on comprehensive weighting. Taking the course "Underground Engineering Construction" as an example， it is found that the evaluation results calculated based on subjective weights are higher， while the results calculated based on objective weights are consistent with the results of comprehensive weighting， which is more in line with the reality. The research results can provide reference for the teaching evaluation of application-oriented undergraduate colleges under the background of emerging engineering education.

[Keywords] Emerging Engineering Education; Application-oriented Undergraduate; Teaching Evaluation System; Indicator System

基金项目：浙江省教育科学规划2023年度一般规划课题“新工科背景下后疫情时代混合式教学质量动态评价指标体系研究”（课题编号：2023SCG334）