我国国防特色学科人才培养效果评价体系研究——基于FAHP-BP方法

董 章 郑晓齐

1 前 言

高校作为国防科技人才的主要培养基地，在国防建设中扮演着极其重要的角色。为国防科技工业创新发展提供人才及技术支撑，是高校的一项重要职能［2］。在新发展阶段和新发展格局下，高校培养新型国防科技人才的一个重要途径就是加强与国防相关的学科建设，特别是抓好国防特色学科建设。在国家层面，教育部、工业和信息化部、国防科工局等部门已经采取大量措施来支持国防特色学科建设和发展，如通过条件建设支持国防特色学科发展、通过科研计划支持国防特色学科开展研究工作、通过设立国防重点学科实验室等创新基地支持国防特色学科发展［3］。各高校作为相对独立的个体，若能积极配合国家政策进行国防特色学科建设，特别是补足其中相对弱势的学科，在国防特色学科人才培养的过程中更具针对性、目的性，将对提升我国国防科技水平，推动国防建设产生深远影响。

然而，对于如何评估国防特色学科人才培养效果的好坏以及如何加强国防特色学科人才培养的针对性、目的性等问题，目前暂无一个明确的尺度或标杆，国防特色学科的建设及人才培养水平仍存在一定的提升空间。为了对国防特色学科建设的成效进行公平准确的评价，建立一套客观、合理、实用的国防特色学科人才培养效果评估指标体系及其对应的评估方法，是十分有必要的。

本文的研究目标是为考核国防特色学科人才培养效果提供综合评估体系。具体的，本文提出了国防特色学科人才培养效果评估指标体系，将模糊层次分析法（FAHP）和BP神经网络组合模型应用于国防特色学科人才培养效果评估，充分利用模糊数学能较好解决模糊的、难以量化问题以及神经网络非线性映射的优势，通过模糊层次分析法获得初定指标权重，然后利用BP神经网络对评价指标权重进行优化，使得评估结果更加科学、客观。同时，以第二批国防特色学科为例，进行综合评估，并分析评估结果，提出相关建议。

2 文献综述

2.1 国外人才培养评价指标体系构建的相关研究

国外（以美、英为例）的学科评价体系建设体系体现出以社会机构为主的特点，政府、高校在学科评价中起到发起及协调的作用。各国的学科评价体系也都有较大的不同。

李燕（2018）［4］对美国社会机构开展的学科评价进行了研究比较。在这些评价中最具影响力的为USnews。USnews评价指标体系具有以下显著特点：一是选择如学术声誉、学生选择等共性特征；二是将学科输入环节评判为最重要的标准；三是减小因规模、数量的变化对评判结果的影响；四是在调查过程中，注意声誉的影响；五是赋予教学质量以较高的权重。

朱明（2015）［5］对于英国影响较大的三类学科评价进行了比较研究：第一，科研水平评价（RAE）；第二，以QAA为代表的学科教学水平评价；第三，以THE为代表的分学科领域的评价。其中THE对商业和经济学、计算机科学、教育学等11个学科领域进行排名。在结构上，THE是选择了若干关键性指标的综合性水平评价，具有较强的国际可比性。在内容上，THE强调教学在学科建设中的重要性，并将教学指标的权重提高。RAE的排名结果将作为国家财政拨款系数的评价制度，RAE设置了三个一级指标（学科声誉、研究环境、研究成果），采用水平等级制，强调学科活力和发展潜力，注重成果的创造性、领先性，并以研究经费为直接导向。QAA以确保高等教育方面的投资价值为目的，将学科领域的教学供应水平作为评价标准，并集中于教学质量和学术上，是一种学校自评和外部评价相结合的评价形式。其主要从课程设计、内容与组织、教学以及评价、学生成绩、对学生支持和指导、学习资源、质量管理和提升等方面出发，进行量化评价并赋分，只有达到了一定的分值才可进行资助拨款。

Buela-Casal（2007）［6］从学术排名方法论的发展角度出发，在选择标准上，确定了五个不同的标准。同时，Gualberto Buela-Casal选择了包括US News在内的四个国际大学排名。把四个不同排名在同一高校、同一学科上的排名情况进行了指标频率和权重比较分析，结果表明，虽然四个学科排名在指标选择上不尽相同，在排名上的差异很大，甚至许多指标都是独特的，但无论在哪个排名中，大学学术人员的研究能力和科学研究的生产力等指标都发挥着重要作用。

2.2 国内人才培养评价指标体系构建的相关研究

在国内，有不少学者提出了建设学科评价体系时应遵循的原则，并构建了自己的学科评价体系。在指标的选择上，国内学科评价通过选定学术队伍、人才培养、科学研究、硬件条件等一级指标，并将一级指标继续划分为二级指标、三级指标。在指标权重的确定方面，通常以层次分析法为主，结合最小二乘法、平衡计分卡以及全面质量管理等方法。

（1）国内人才培养评价指标选择

古瑶（2007）［7］指出高校学科建设评价指标体系主要涉及的三方面指标：资源投入、成果产出和环境协同。资源投入主要反映高校在知识资源、人力资源、财力资源和平台资源等四个方面的投入情况。成果产出主要反映在人才培养以及科研成果等方面的数量和质量。环境协同要求在构建学科评价体系时除设置量化的指标之外，还应重视学术创新氛围。

郑志翔（2011）［8］一共设置了五项一级指标（教学条件、师资队伍、社会声誉、学生质量、建设目标）和19项二级指标。郑志翔提出在确定特色专业的指标权重时，不能照搬综合性高校的学科评价，而是根据学科的具体特点来设定不同的权重，并选用AHP（Triantaphyllou，1998）［9］法来确定各级权重。

张泉泉（2016）［10］建立了以项目决策、投入、实施、项目绩效为一级指标的绩效评价指标体系。并引用了数据包络分析方法，对部分高校的资金使用绩效进行了时间序列和横截面分析。

（2）国内人才培养评价指标权重确定

古瑶（2007）［7］采用层次分析法（AHP）来确定各个指标的权重，并进行一致性检验，对于可直接获取的数据（如科研经费、发表论文数等），进行数据处理和重要度比较。对于无法直接获取客观指标的数据，采取专家打分和问卷调查的方式进行度量。此外，增设特色建设加分项，提高独特性学科的地位，鼓励高校结合实际，建设特色学科，打造自己的竞争优势。

万莉（2016）［12］采用4 项一级指标、11 项二级指标、50 项三级指标构成的指标体系，涵盖了人才培养、科学研究和社会服务等方面。采用了BSC的管理理念，把客户、内部运营、财务、学习与成长等4 个维度列为了一级指标，并进而细化产生出含二级和三级指标的体系。引入全面质量管理( TQM)，将四个维度细化为二级三级指标，定量定性交叉考虑，构建适应于不同学科门类和层次的高等学校学科评估体系。

2.3 文献评述

总结国内外学科评价及评价体系，存在以下不足：

（1）缺乏对特色学科的重视

虽然综合性的学科评估对于能对高校的整体水平做出较为客观的反映，但却缺乏对特色学科的重视，体现出个性不足的缺点。由于学科评估的导向性，寻求一套适用于所有学科的评价指标体系，并将其作为高校办学质量的评判标准和财政拨款的重要参考，会使高校针对评估指标进行针对性的“学科建设”，使学科评估本末倒置。为尽可能避免学科评估的导向型带来的弊端，在构建评估体系时，应充分考虑不同学科的特色。

（2）指标权重的确定不够客观

现有学科评价常常采用层次分析法（AHP）来确定各级指标的权重并进行比较。但是单纯的层次分析法存在的弊端，要检验评估矩阵的一致性会非常困难，特别是在某一层次评价指标很多时（大于四个），就很难保证层次分析法的思维一致性。在上述列举的论文中，选定的一级指标数目往往大于四个，二级指标则接近20个。因此，在学科评估中，仅使用层次分析法并不能对学科水平进行非常客观的评价。

3 研究方法与数据

3.1 研究框架

本文采用基于模糊层次分析法与BP神经网络法相结合的评估方法，该方法充分利用模糊数学能较好解决模糊的、难以量化的问题以及神经网络的非线性映射能力的优势，有效避免评估过程中受过多主观因素影响，保证评估结果的客观性。

3.1.1 模糊层次分析法（fuzzy analytic hierarchy process，FAHP）

模糊层次分析法是一种以模糊数学隶属度为理论依据的综合性评价方法，具有系统性强、结果清晰的特点，能较好地解决难以量化的、模糊的问题，适合解决各类非确定性问题。该方法的核心思想为将定性评价问题转换为定量评价问题，并利用模糊数学对受到多个因素制约的客体对象做出一个总体性评价（王杰，2012［13］）。层次分析法作为一种定量与定性相互结合的评估方法，虽然其具有系统性强、思路清晰、方法简便等特点，但其仍存在一定的缺陷，例如在判断矩阵的一致性时会存在一定偏差，以及一致性检验的标准目前仍缺乏相关科学依据。因此，模糊层次分析法利用模糊数学的优势来弥补层次分析法的不足，引入模糊判断矩阵概念，并通过模糊一致性矩阵进一步降低专家主观因素的影响。

3.1.2 BP神经网络（Back-propagation Neural Networks，BPNN）

BP神经网络算法是目前应用最广泛的神经网络，利用误差反向传播算法训练多层前馈神经网络。BP神经网络的学习记忆能力和自适应能力强大，这得益于其由大量处理单元互联组成的非线性、自适应的信息处理系统。BP神经网络的一个优点是省去了预先训练固定模型的步骤，要获得较为理想的预测结果，只需学习训练样本，而后积累经验知识。BP神经网络是由输入层、隐藏层和输出层三部分组成，构成多层前馈感知器网络。图1为包含两个隐藏层的神经网络结构。

图1 BP神经网络结构

3.2 国防特色学科人才培养效果评估指标

3.2.1 国防特色学科人才培养效果评价维度划分

通过国防特色学科人才培养效果评价维度的划分，从不同视角做出构建指标体系的分析，为构建科学、客观的高校人才流动绩效评价体系框架打下基础。至2017年，国防科工局共在53所高校布局了280个国防特色学科点［3］。调研参考相关文献，本文从学术队伍、科学研究、学生培养三个维度，构建三维立体的国防特色学科人才培养效果评价指标体系。

（1）学术队伍

高等教育的价值核心，是人才培养质量和学科建设水平。对于人才的培养，离不开学术队伍的支撑。学术队伍一级指标，涉及教学、科研两大部门，涵盖全校教学与科研人员。其中，包括高层次人才、正高级职称学者数、副高级职称学者数、博士生导师数、硕士生导师数、专职教师及研究人员总数、省部级及以上教学名师数6个二级指标。

（2）科学研究

高校的特色学科的科学研究水平，直接能够反映出该学科的反展现状与水平。其中，科学研究一级指标下包含科研基础、获奖与专利情况、学术研究、科研经费4个二级研究指标。同时，为了能够更好的反映出各学校学科中学者的学术研究水平，将学术研究二级指标，再次细分为论文数、专利数、项目数、学者职称以及学者科技创新活跃度5个三级指标，由这5个三级指标进行加权求得最终学术研究二级指标的得分。

（3）学生培养

学生的学习与成长是学校人才培养和科学研究的基础，作为高校最基本任务和核心使命，可以直观反映学科发展的潜力。将人才培养的过程和人才培养的结果共同纳入考核指标中，保证终结性评价与形成性评价并重，才能真正反映人才培养的质量（张东明，2020［14］）。学生培养包含授予博士学位数、授予硕士学位数、硕博留学生数、赴境外交流学生数、在读本科生数5个二级指标。

3.2.2 国防特色学科人才培养效果评估指标

评价指标体系是一个由不同环节构成的整体系统，各环节之间相互联系，相互制约，不可分割。故本文依据国防特色学科人才培养效果评估指标确定原则与维度划分，最终确定了学术队伍、科学研究、学生培养3个一级评价指标，围绕每个一级指标，又根据不同属性内涵，细分为16个二级指标，其中学术研究二级指标下包含5个三级指标。指标体系如图2和表1所示。

图2 国防特色学科人才培养效果评估指标体系

表1 学术研究指标细分

3.3 国防特色学科人才培养效果评价指标体系权重确定

3.3.1 权重方法介绍

本文提出了基于模糊层次分析法与BP神经网络法相结合的评估方法，首先通过模糊层次分析法获取先验样本，然后使用先验样本训练BP神经网络模型，最后利用神经网络模型非线性计算的优势，进一步优化指标权重，将定量与定性相结合，得到最终各指标的权重，进行评估。评估指标权重获取过程如图3所示。

图3 基于FAHP-BP神经网络的国防特色学科人才培养效果评估模型

3.3.2 权重计算过程

（1）指标权重初定

首先建立模糊互补判断矩阵，其次要建立模糊一致性矩阵，而后利用模糊一致性方法，确定各指标权重值。

①建立模糊互补判断矩阵

通过专家调查问卷的形式，对各层次的各个指标因素进行两两之间相对重要性的判别比较，采用“0.1-0.9”标度法表示其相对重要程度，从而构造对应指标的模糊互补判断矩阵。

相关数学符号规定如下：

记两个比较因素为ai和aj；元素相对于的比较标度为rij,0≤rij≤1；则有rij表示aj相对于ai的比较标度，且rij=1 - rij。

记对应的模糊互补判别矩阵为R=(rij)n×n，n表示该层次指标元素共n个。对各元素比较判断标度rij的取值规定，见表2所示。

表2 “0.1-0.9”标度取值及含义

②确立模糊一致性矩阵并计算指标权重

设模糊互补判别矩阵R=（rij）n×n，对矩阵按行求和：

进行数学变换：

得到模糊一致性矩阵。

模糊一致性矩阵满足以下特性：

（1）rij=0.5表示自身相比同等重要。

（2）rij+rij=1，说明元素i和元素j相比较的重要性，与元素j和元素i相比较的重要性，恰好互补。

在模糊一致性矩阵的基础上，计算得到各指标因素的初定权重：

③数据集制定

为了消除指标数据量纲的影响，需要将指标数据进行归一化处理，本文采用最大值-最小值归一化处理方法，将指标数值先映射到［0,1］,然后乘以100，使得指标得分取值范围为［0,100］，转换方法如下所示：

利用样本各指标数据构建神经网络数据集，将各指标数据作为神经网络输入层的输入，利用各指标初定权重计算出样本指标的线性加权值作为样本输出标签，如公式6所示。同时，将数据集划分为训练集、验证集和测试集，各占比70%、15%、15%。

④BP神经网络模型评估指标权重的优化

为进一步避免模糊层次分析法中不同专家的主观随意性及其偏好对指标权重的影响，提高评价指标权重的可靠性和客观性，故利用BP神经网络的非线性映射能力进一步优化指标权重。

1）BP神经网络模型的构建

将BP神经网络应用于国防特色学科人才培养效果评估，只需把评估指标的实际数据值作为BP神经网络的输入，将相对应的FAHP评价结果当作BP神经网络的目标输出值，用足够多的样本进行训练，直到神经网络模型收敛，便可得到国防特色学科人才培养效果评估模型。具体结构设计如下：

I.网络层数确定。研究表明三层的BP神经网络结构可以实现任意的非线性映射，因而本文选择典型的3层BP神经网络模型。

II.节点数的设计。输入层节点数，即评估指标体系的指标数量，等于12；输出层，即评估的结果，等于1；隐藏层节点数，则需要根据实验而确定，本文模型隐藏层节点数设置为3。

2）BP神经网络指标的权重计算

利用已训练好的BP神经网络模型输出所得到的各层节点权重，可计算出优化后的各评估指标权重，具体计算如下：

4 结果与讨论

本文以第二批国防特色学科人才培养效果评估为例，获取第二批国防特色学科布局名单中高校的相关评估指标数据，利用模糊层次分析法实现指标权重的初定，构建数据集，训练BP神经网络模型，得到最终的国防特色学科人才培养效果评估模型。

4.1 国防特色学科人才培养效果评价-以大数据信息共享平台的军工人才评价为例

4.1.1 大数据下的国防特色学科数据收集整理

本文实验数据来源于科搜的大数据信息共享平台以及高校官网，将大数据进行整合处理，获得第二批国防特色学科人才培养指标数据，数据真实可靠。数据为截止到2021年的最新数据，并利用公式（4）和公式（5）对数据进行归一化处理。

第二批部分国防特色学科方向布局名单如表3所示。

表3 第二批部分国防特色学科方向布局名单

4.1.2 基于第二批国防特色学科人才培养效果评估的指标体系

第二批国防特色学科人才培养效果评估的指标体系与本文提出的评估指标体系一致，具体指标如下所示：

表4 第二批国防特色学科人才培养效果评估的指标体系

4.1.3 评价结果

（1）调查问卷设计

在使用模糊层次法进行权重初定时，需要以调查问卷的形式，对各层次的各个指标因素进行两两之间相对重要性的判别比较，采用“0.1-0.9”标度法表示其相对重要程度，从而构造对应指标的模糊互补判断矩阵。

向全国国防教育领域相关专家共发放45份调查问卷，回收有效问卷40份。调查问卷设计如下所示，表格中同一行中左边指标相对于右边指标进行比较，对符合选项的列中进行勾选。一级指标权重确定调查问卷如表5所示，二级指标类似，由于篇幅关系在此省略，结果备索。

表5 一级指标重要性比较权重确定

（2）专家信息统计

填写调查问卷专家共45人，分别从性别、年龄、所属机构等方面对专家进行信息统计，结果如下图4.1、4.2、4.3、4.4、4.5 所示。

性别统计：

图4 专家性别统计

年龄统计：

图5 专家年龄统计

最后学位统计：

图6 最后获取学位统计

所属机构：

图7 专家所属机构信息统计

工作角色：

图8 工作角色信息统计

（3）指标权重初定

首先建立模糊互补判断矩阵。根据调查问卷结果，对各指标的打分结果取平均值，计算得到4个模糊互补判断矩阵，分别为R，R1，R2，R3，具体得分备索。

最后在模糊一致性矩阵的基础上，通过公式（3）得到各层指标初定权重向量。

（4）指标权重优化

1）数据集确定

利用初定权重计算出样本指标的线性加权值作为样本输出标签，构建出神经网络需要的数据集。将我们得到的数据集，按照相关比例划分为训练集、测试集和验证集，其中的训练集包含600条数据，测试集和验证集分别包含200条数据。

2）训练BP神经网络模型

采用三层前馈神经网络结构，输入层节点数为16，隐藏层节点数为3，输出层节点数为1。设置最大训练回合数epoch为1000，学习率为0.005，批处理batch size为3。在训练回合结束时，使用验证集进行测试，若模型在验证集上的平均误差小于0.001，则提前结束训练，防止继续训练出现过拟合现象。经过实验，BP神经网络在训练完成第42轮时，满足结束条件，在验证集上测试平均误差为,在测试集上测试平均误差为0.0513。

3）BP神经网络指标权重计算

利用公式（12）可计算出优化后的各指标权重，本文所提出的组合模型中，BP神经网络模型的作用是对模糊层次分析法得到的初定权重进行进一步的优化，降低专家主观因素对权重确定的影响，因此通过训练后的神经网络模型的指标权重，应与初定权重接近，这样也会增加神经网络模型的可解释性和合理性。经过多次试验后，最终模型优化后的指标权重如表6所示。

表6 国防特色学科人才培养效果评估指标及权重

（5）评估结果

利用训练好的BP神经网络模型，得到各指标对应的权重值，可计算出各高校的国防特色学科综合评估得分，具体得分备索。

4.2 实证研究

本文针对国防特色学科人才培养效果评价问题开展了20人次的专家访谈，访谈对象包括高校领导、高校教师、国防单位及企业的领导等，每次访谈时间在40分钟左右。访谈中，各位专家对国防特色学科人才培养的现状、本文的评价体系以及发展建议等都作出了评价，为我们的后续工作提供了资料和参考。

受访者普遍对国防特色学科人才培养效果评估指标体系给予较高评价。人才培养最直观的结果就是学生数量，学生数量多才能广育人才。要培养国防特色学科人才，就必须要尽快提升人才培养的质量，满足行业发展对人才的多样化需求（张建卫，2021［15］）。而要想培养人才，需要拥有高水平的科研队伍，对于学生的科研、教学工作都有重要意义。通过科学研究状况，可以评价人才培养的水平。这三者相辅相成，共同构成了人才培养效果评价体系。本文对于这三个方面细致地划分了指标，比较全面。一位高校教师说：“对于科学研究这块，你们划分得很好。特别是学者科技创新活跃度这个指标，在以往类似的评价体系中是少见的，是很好的补充。”

专家们对本文的评价指标权重普遍表示认同。正因为学术队伍、科学研究、学术培养这三方面相辅相成，所以权重都不低于30%。学术队伍以及学生培养的各指标重要性相近，所以权重相对平均，其中高层次人才数和授予博士学位数都是各自方面中最重要的，权重也是最高的。在科学研究方面，学术研究包含了论文总数、专利总数、学者职称等等，是最重要的指标。科研经费是科研活动的基础，第二重要。科研基础包含国家重点实验室等，是科研活动的平台，第三重要。获奖和专利情况对于人才培养的重要性排名最末。

受访专家还就各高校在国防特色学科上的得分情况作出了评价。哈尔滨工程大学表现突出，各学科得分均超过了60分。一位国防单位领导称赞道：“哈尔滨工程大学作为工信部直属高校，秉承哈军工‘工学并举’的教育思想和‘理论联系实际’的优良作风，培养了一批又一批的留得住、用得上、干得好的国防科技工业人才。”中北大学在各科平均分在59分左右，各科表现较好，其中材料学科比较突出，已进入ESI全球排名前1%。其他高校各学科发展情况还相对不理想。

5 结论与政策建议

本文针对我国国防特色学科人才培养效果研究，提出了我国国防特色学科人才培养效果评价体系的构建方法。通过模糊层次分析法和BP神经网络进行指标权重计算的评价，最终确定国防特色学科人才培养效果评估指标及权重。

同时，以第二批国防特色学科人才培养效果评估为例，对我国国防特色学科人才培养效果评价体系进行了验证。实验中FAHP法初定权重：学术队伍（0.34）、科学研究（0.333）、学生培养（0.327）；BP神经网络权重：学术队伍（0.34）、科学研究（0.333）、学生培养（0.327）。可见，在进行国防学科建设时，应至始至终以提高和保证人才培养的质量为目的，因为学科建设水平的高低与人才培养质量的好坏直接且密切相关。

在对国防高校的学科建设研究中发现，目前部分高校在学科建设过程中，还存在以下不足：第一，不同高校之间的国防学科建设水平存在差异，且在部分学科领域差距较大。国防特色学科平均得分方面，哈尔滨工程大学与北华航天工业大学的得分差距在20分以上。在控制领域排名中，哈尔滨工程大学与沈阳理工大学的得分差距则超过了30分。第二，同一高校的不同学科建设之间存在不平衡的现象，存在明显的弱势学科。以材料、信息、机械、控制四门公共国防特色学科为例，控制领域及信息领域评估结果较好，材料领域与机械领域明显处于弱势。在高校的发展以及学科建设过程中，受资金、人才等因素影响，不同高校之间的建设水平会存在差异，众多学科发展中总会存在个别弱势学科，这对于我国国防科研的开展、国防人才的培养以及全方位提高我国国防实力会带来一定的不利影响。

通过结论分析，本文提出以下几点政策建议：

首先，要做好学科建设与人才培养评价体系的迭代优化。学科评价对学科建设具有重要的指导作用，此外，学科建设评价也是学科建设活动的重要组成部分，能够有效的评价高校学科建设状况。无论是学科建设的运行还是最后的效益都需要学科评价的指导。学科建设评价还能对未来学科的发展情况、未来可能的研究方向、以及如何配置学科建设资源等问题做出解答,就如何提高学科建设和人才培养的质量和效益给出方案（赵坤，2004［16］）。因此要调控学科建设发展，就需要构建出构建一套完整的、符合学科特色且能够充分考虑的社会经济发展情况的学科评价体系。

其次，在未来国防学科建设及人才培养过程中，应该适当给予弱势学科一些重视，为其创造发展空间，补足短板。应该紧扣国防这个关键词，坚持以国家政策为导向，通过自身学科的发展促进国防事业的发展。应该充分认识学科建设与国防人才培养的重要性，并在此基础上做好学科建设与人才培养的联动机制，促进高校国防学科建设的开展，为国家、为社会输送更多的人才，为祖国的国防事业添砖加瓦。

最后，在国防特色学科评价方面，应通过学科评价引导资源配置方向，引导高校学科建设的方向，改变学科建设时只注重规模、总量的做法。通过开展学科评价活动，促进高校形成学科竞争力，以利于更好地承担人才培养、科学研究和服务社会等职能。同时要做好学科建设与人才培养评价体系的迭代优化，构建一套完整的、符合学科特色且充分考虑学科发展环境的学科建设评价机制，更好的指导国防特色学科建设的高效有序开展。