基于层次分析法—熵权法的教学实验室评价体系构建

田 夏

（上海交通大学教务处，上海200240）

0 引 言

高校教学实验室以培养学生实践能力、创新能力和提高教学质量为核心，是培养学生综合能力的重要场所［1］。高校教学实验室建设投入是国家高等教育投入的重要组成部分，教学实验室的建设质量对我国高等教育内涵式发展具有重大影响［2］。

1995年7月原国家教委印发了关于高等学校基础课教学实验室评估办法及评估标准表，全国743所普通高校的4 977个基础课教学实验室完成了自评估工作，2 883个教学实验室进行了省级评估，2 803个教学实验室合格达标，各级政府投入资金13．7亿元［3］。该次评估体系指标包括“体制与管理”“实验教学”“仪器设备”“实验队伍”“环境与安全”“规章制度”等6个方面39项具体要求。但1995年的考核办法仅为合格性评估，且指标反馈基本是“全或无”的评价，部分指标完全依赖专家的主观评价，全国近5 000余个教学实验室的评价显示通过率高、评审质量不佳、缺乏持续改进等弊端。2004年教育部发布《全面实施2003—2007年教育振兴行动计划》，提出“进一步深化高校教学改革，建设一批示范教学基地和基础课程实验教学示范中心”，2005年5月教育部发布《关于开展高等学校实验教学示范中心建设和评审工作的通知》，正式启动国家级实验教学示范中心建设，并对建设目标、建设内容、评审指标等作出明确规定［4］。实验教学示范中心的评审与考核包含教学、队伍、管理、信息化、设备与环境、成果与示范六大类指标，六大类指标虽有权重分布，但在实际评审过程中，各种数据完全依赖评审专家的主观判断，评审难度较大，也存在评审效率低下的问题。2017年，教育部发布《关于提交2017年度国家级实验教学示范中心年度考核报告的通知》，要求对全国901个国家级实验教学示范中心进行“5年定期评估”，但评估方式和具体的评估指标并未公布。

由于教学实验室以人才培养为目标，涉及指标多元，产出难以量化，导致目前针对教学实验室评价的研究较为零散，缺乏系统、操作性强的评价体系［5-6］。仅有的评价指标也源自2005年教育部的评价指标，该评价指标操作性不强，评定方式完全依据主观性评定，缺乏一定的模型支撑。国内现有的教学实验室评价模型相关研究也较少：中国石油大学（华东）物理实验教学中心构建了面向学生、教师、实验技术人员的多元化定量考核体系，该体系从教学、科研、成果等多维度对实验中心进行考核，体系全面但完全依赖于考核组评分且评分指标较多，操作起来较为困难［7］。湖南省食品科学技术实验教学示范中心依据领导听课与检查、学校和学院督导团听课、学生对实验课的意见反馈、同行教师听课与评议、教学文件检查进行评估，该评价方式局限于教学层面，体系性尚有欠缺［8］。科学合理的教学实验室评价体系有助于激发各实验室人才培养动力，并解决高校教学实验室考核评价的实际问题。

1 基于层次分析法——熵权法的教学实验室评价体系构建

1.1 评价体系的建立

将目标层A进行分解，分解为若干准则层B（1级指标），再以准则层为目标分解实施层C（2级指标）的各项因素指标，构建评价体系。结合教育部对教学实验室的考核要求并结合多位实验实践教学专家意见，采用德尔菲法，依据客观性、科学性、代表性的原则，制定准则层指标（1级指标）6项、实施层指标（2级指标）19项，评价体系如图1、表1所示。

图1 高校教学实验室评价体系

表1 教学实验室评价指标分解

1.2 混合模型构建

层次分析法（AHP，Analytic Hierarchy Process）是由美国运筹学家发明的一种科学决策的方法，将复杂的目标层进行分解，通过一系列的比较评判确定各评价指标重要性的量度，具有较好的数学模型支持，广泛用于科学决策、系统规划、考核评估等多个领域，该方法的优势在于能明确准则层与目标层的关系以及确定各评价指标权重［9-10］。

熵的概念最早由Clausius于1865年提出，之后信息论之父C．E．Shannon在1948年将熵的概念引入信息领域，利用“信息熵”作为衡量信息紊乱程度的测度。熵的概念从宏观上反映了系统在微观状态下的不确定性程度，熵权法是一种客观赋权的方法，通过客观排序真实反映指标的实际情况，根据各项指标的差异程度，利用信息熵对各指标初步给定的权重调整实现动态赋权、确定权重，优点是不受主观因素的干扰，对系统的评价较为公正客观，同时较为简便［11］。

层次分析法与熵权法联合使用多应用于工程、金融等领域的评价模型中［12-15］。研究将层次分析法与熵权法结合使用，构建混合评价模型应用于教学实验室评价。由于1级指标较少且较为固定，参考教育部对于教学实验室的明确要求和考核导向，准则层对目标层（1级指标）权重宜采用层次分析法，由各实验实践教学专家参考教育部分类要求确定；目标层（1级指标）内涵丰富，实施层指标（2级指标）较多且变化性较强，宜采用熵权法动态筛选各项2级指标数据取得，具有可调整、效率高、易操作、避免主观性的优点，可以高效大批量实施评价。本研究中，准则层对目标层（1级指标）权重确定采用层次分析法赋权，措施层对准则层（2级指标）权重采用熵权法赋权，最后结合准则层和实施层运算得出各实验教学示范中心评分。

1.3 准则层对目标层（1级指标）权重分析——层次分析法

（1）确定要素集。U 为目标层，U1，U2，…，Um代表1级指标，为准则层；U11，U12，…，Umn代表2级指标，为实施层。

将目标层U分解为准则层，准则层分解为实施层：

根据评价体系通过目标分解，实验教学示范中心准则层为U1～Umm项。m项准则层分别分解为若干实施层。

（2）构建判断矩阵。使用成对比较和专家咨询法来构造判断矩阵，A ＝（aij）m×m，比较1级指标Um之间的相对重要性，标度值由Saaty的1～9值法决定。

（3）一致性检验与一级指标权重确定。通过计算可得出各一级指标的权重wi，i＝ ｛1，2，…，m｝，带有偏差的最大特征值为λmax。计算一致性指标CI，CI＝（λmax－m）／（m －1），式中m 为一致性矩阵具有的最大特征值。

一致性比率指标为CR＝CI／RI，RI为判断矩阵的平均随机一致性指标，当CR＜0．1时，认为层次分析排序的结果有满意的一致性，即权数的分配是合理的。剔除未通过一致性检验（CR≥0．1）的判断矩阵，采用权重算术平均法综合各位专家意见，计算准则层对目标层U（1级指标）的权重集合。

1．4 实施层对准则层（2级指标）权重分析——熵权法

（1）构建原始化矩阵和标准矩阵。每一1级指标下的所有2级指标采用熵权法进行判定。在某个1级指标下，n个2级指标，p个被评价对象，构建原始化矩阵和标准矩阵：

对判断矩阵B＝（bij）p×n进行归一化处理，归一化后的标准矩阵：

（2）计算信息熵。根据标准矩阵B′＝ （bij′）p×n，计算各指标的熵值，熵值用Ej表示，Ej＝－bijln bij／ln n，j＝ ｛1，2，…，n｝。

（3）计算实施层对准则层（2级指标）熵权。得到第i个1级指标下面的2级指标的权重为

1．5 权重最终确定

综合1级指标权重、2级指标权重，计算出各评价对象各最终的考核评价值

其中，l＝ f（i，j，p），表示标准化矩阵B′中第p 个中心第i个1级指标下第j个2级指标对应的元素值。

2 基于层次分析法——熵权法的教学实验室评价体系实证

我校共有本科实验教学实验室32个，分布在20个院系，承担全校本科生实验实践教学任务，其中9个大型教学实验室（中心）承担了全校70%的实验实践教学任务（约120万人时），体量上具有一定的代表性。同时9个大型教学实验室（中心）基本涵盖了理科（物理、化学）、工科（机械、电子、工程训练、工程力学、材料）、生命科学（生命、农业）学科，也具备一定的学科代表性。通过数据统计和深度访谈，对所需的19项基础数据进行搜集，根据2017年各教学实验室的数据，采用层次分析法-熵权法混合评价模型进行实证。

2.1 数据处理

2.1.1 采用层次分析法，确定1级指标的权重

根据构建的指标体系，确定各1级指标权重判断矩阵。本研究采用专家访谈（德尔菲法），收集8位教学实验室主任和实践教学专家对指标权重判断的问卷调查与实际建议，采用层次分析法对判断矩阵进行数据处理。现以其中1位专家的判断为例说明，依据该专家经验判断得出教学实验室评价1级指标的判断矩阵（见表2）。

表2 某一位专家的判断矩阵

*矩阵中数字越大，说明行要素比列要素越重要，最大数字为9；最小数字为1，表示同等重要。倒数表示相对不重要程度，其中1／9表示最不重要。

矩阵归一化处理后计算1级权重为

（0．030，0．133，0．251，0．462，0．062，0．062）

进行一致性检验

所有8位专家判断矩阵均通过一致性检验，最终对选取的8位专家的指标权重值进行算术平均值计算1级权重。

2．1．2 采用熵权法，确定2级指标权重

根据熵权法，计算各1级指标下若干2级指标的熵权原始数据矩阵（bij）p×n，再经过标准化处理，标准化的熵权矩阵（bij′）p×n。计算9 个评价对象，实验环境1级指标下3 项2 级指标的熵权矩阵（bij′）9×3（见表3）。

计算实验环境1级指标下3项2级指标的信息熵Ej，Ej为（0．569，0．769，0．771）。

最后，计算得到该1级指标下各个2级指标的权重（0．486，0．260，0．254）。类似地可以得到其他5 个1级指标下的各项2级评价指标权重。

2．1．3 综合1级指标、2级指标权重计算评价得分

综合1级指标权重、2级指标权重，得出教学实验室考核指标总权重（见表4）。

结合标准化数据B′，计算出各评价对象最终考核得分Sp（见表5）。

表3 实验环境1级指标下3项2级指标的熵权矩阵bij′

表4 教学实验室考核指标体系与权重

2.2 评价体系的结论与分析

2.2.1 整体结论与分析

评价体系在实际操作中可以给每一所教学实验室具体综合评价，对参评对象进行总体排序，同时也能给出各评价维度的评价意见和各教学实验室需要进一步提升的方向。以电子电工实验中心评价结果为例，电子电工实验中心在9个被评价的教学实验室中排序第二，各项指标均高于均值，其中教学服务、信息化开放对整体评价贡献度较大，但师资保障和教学成果两个维度处于整体中等水平，有进一步提升空间（见图2）。

表5 教学实验室综合评价表

图2 评价分析反馈结果图

2.2.2 1级指标评价分析

根据层次分析法的1级指标评价与权重分布，发现专家对于教学服务、师资保障、实验环境3个维度较为关注，这3个维度构成教学实验室的保障性指标；对于成果与研究、信息化开放、示范辐射作用关注度和权重分配较弱，这3个因素构成教学实验室的激励性指标。我国处于高等教育大众化时期，教学实验室的基本软硬件（保障性指标）对于教学实验室作用基础，成果与研究、信息化开放、示范辐射作用（激励性指标）未来的作用将逐步提升，同样指标体系作为一个开放的体系，也可以依据不同时期对教学实验室的不同定位和不同要求进行权重调整。

2.2.3 2级指标评价分析

基于熵权法的2级指标评价可以给予各被评价对象诊断性分析，确定各被评价对象后续质量提升的方式。以整体排序第一的被评价对象——工程训练中心为例，在1级指标“成果与研究”上落后于其他教学实验室，通过分析2级指标评分发现，该中心在教学论文、教学成果上存在较大不足，也是制约该中心后续进一步发展的“短板要素”。

3 对两种评价体系的思考

3.1 基于层次分析法——熵权法的教学实验室评价体系优点

（1）与评价要求结合紧密。本评价体系指标和1级权重的确定由实验实践教学专家参考教育部相关规章和要求完成，可以保证评价体系的评价指标与教育部的指导性要求相结合，具有一定的规范性，可以满足考核主体的考核目标。同时层次分析法相较于传统的指标权重确定方法，更具有专业性和科学性。

（2）考核评价的效率性。效率性是实行大范围、大规模考核的重要考虑因素，高效率低成本的考核评价体系可以大幅度节省人力物力。近20项2级指标使用熵权法完全基于各教学实验室数据客观评价，对评价多数量的教学实验室具有很强的优势，同时也能兼顾数据统计周期问题，避免实际评价实施过程中专家再度主观介入，省时省力。

（3）动态性与开放性。层次分析法的指标权重确定是一个动态的过程，根据不同“成长周期”的教学实验室，考核的侧重点和要求不同，层次分析法的动态性解决了传统的僵化考核体系的弊端。熵权法确定指标权重具有较好的开放性，各2级指标数量可以随着评价要求增加和动态调整，但并不降低评价的效率。

（4）持续改进性。考核评价的基本作用在于质量提升和纠偏，基于层次分析法与熵权法的评价体系能明确判断被评价对象各考核指标高低，便于评价者及时反馈给被评价对象，避免传统评价体系缺失持续改进环节的弊端。同时评价模型可以在各1级、2级指标维度筛选出“榜样标杆”，更适合教学实验室对标建设和标准化制定。

3.2 基于层次分析法——熵权法的教学实验室评价体系不足与改进

（1）差异化实验室的评价不完善。本评价体系对于评价不同层次、不同学科的教学实验室区分度不够，不能完全体现差异化评价。后续可以考虑针对不同类型、不同学科的教学实验室赋予不同的1级指标权重，以适应不同学科类别教学实验室的考核评价。

（2）科学考评的维度有待提升。2级指标的熵权法判定完全基于客观数据进行相对性评价，绝对性评价有所缺失，且不同年度的评价数值缺乏纵向可比性。此外，评价中仅参考客观数据无法鉴别数据的真实性，也无法进行多方位多角度评价。本评价体系适合大规模、大范围的初步评价，复评和精细化评价还需要与专家主观评价结合起来，使评价更为有效。