基于OBE的物流类本科专业评价指标体系

甘卫华，苏 雷，李大媛

（华东交通大学 交通运输与物流学院，江西 南昌 330013）

1 引言

本科专业综合评价工程由辽宁省发起并成功实施，作为以评促教、以评促建的重要手段，对于本科教学水平评估、学科建设评估、专业建设来说有着重要的意义。江西省教育厅于2016年开始了全省第一轮本科专业评价工作，200个本科专业的评价于2019年全部完成。但目前本科专业评价基本使用一套通用的专业评价指标体系，一级指标、二级指标维持不变，仅在个别观测点进行了微调。各专业有其个性，如果用一把尺子衡量所有类型的专业是不合适的，导致专业建设难免趋同。

物流类专业（包括物流管理、物流工程、采购管理、供应链管理等）是我国于2000年开始设立的本科专业，在教育部招生目录中属于新兴专业，具有异于其他专业的应用性、实践性强等特点。专业建设是人才培养的重要依托，如果不能构建具有物流类特色的专业综合评价指标体系，那么物流类专业建设必然与其它专业建设趋同，培养出的人才必然不能契合物流业高质量发展的需求。

反向设计理念，即基于产出的教育模式（Outcome-based Education，缩写为OBE），随着我国2016年加入《华盛顿协议》后，OBE逐渐成为我国高等教育推行的核心理念。

过去我国本科生培养目标设计的标准是正向设计，即从构建课程体系出发，进行教学设计达到课程教学目标[1]。主要是让教师知道该教什么、怎么教，课程体系的构建是基于严格的学科规划，遵循各个专业设置和归类的原则，使得教育的模式具有确定性、封闭性、静止性，过于强调知识结构的系统性而忽视了专业实践场景的现实需求[2]。因此，传统的基于正向教育培养出的人才难免只能“适应”社会、行业以及人才自我发展的需求，而难以实现“满足”[3-4]。

现在，随着我国加入《华盛顿协议》，本科生培养目标设计的标准转换为反向设计理念，即让学生清楚自己要成为什么样的人？该学什么？怎么学？对此国内学者进行了一系列的反向设计教育研究，如：张竞，等剖析印度Infosys公司校园联系计划的主要内容，分析其教育合作模式能够取得巨大成功的主要因素，提出了IT专业培养模式的反向设计思路[5]。李志义，等进行了基于反向设计思想围绕毕业要求的教学大纲的设计[6]。蒋丹，等以反向设计为原则，确定工程专业的课程学习预期成果，并设计了相应的教学改革方案[7]。张丽萍，等利用AHP方法构建了高等职业院校专业的评估指标体系[8]。

本文基于OBE理念，以国家一流本科专业建设为目标，解析物流类本科专业发展的正确方向和着力点，并结合Hadamard乘数、信息灵敏度法和AHP，重构更加符合“产出”需求的物流类本科专业评价指标体系。

2 研究步骤

本文研究主要分为两步，首先是围绕国家一流本科专业建设要求，将其落实为专业建设的战略方向和着力点；依据专业建设的战略和着力点，进行物流本科专业评价指标体系的设计。

在评价指标体系构建过程中，首先，对专家进行访谈，对访谈记录进行词频分析。以江西省开展的第一轮本科专业评价为例，深入剖析江西省高校物流专业本科评价指标（见表1），指出其不足，初步重构新的指标体系[9]。其次，在层次分析法框架下，设计问卷收集专家的意见数据，利用Hadamard乘数方法聚集专家意见并构造指标评价的正互反判断矩阵，从而计算指标体系各级指标的权重。最后，对新旧指标进行对比分析，解读新旧指标体系的主要差异。

表1 江西省第一轮本科专业评价指标体系

3 基于语义分析的物流类本科专业建设要求

为了确定物流本科专业建设着力点，围绕国家“双一流”建设的目标，首先解析物流本科专业发展的战略方向，为专业评价指标体系的构建引航。

3.1 物流本科专业相关各方访谈设计

第一步，针对各方与物流本科专业关系分别设置访谈题目；第二步，选择各方单位的3-5名专家进行访谈；第三步，访谈结束后，对访谈记录进行词频分析，根据词频分析结果总结物流本科专业建设着重需要提升的方向。

词频分析过程中，为了统计便利和保证分析结果信息的完整性，将相似词汇处理为同一词汇。访谈活动的词频排名前三的词汇汇总结果见表2。

表2 物流本科专业相关各方访谈结果词频统计

从表2看出，在“选择物流类本科专业就读的原因”的访谈中，“就业”受到的关注度最高，“就业率”、“就业待遇”、“就业稳定”是被提及最多的词汇，除此之外，实习机会也受到一定关注。在“对物流本科毕业生的期待”的访谈中，被提及最多的词汇集中于专业能力、沟通能力、职业道德、组织能力和创新思维等方面，反映了用人单位对物流本科毕业生能力与素质方面的期待。在对“被访谈者专业的相对优势”的访谈中，被提及最多的词汇是就业质量、就业面、知识新兴。就业相关词汇共被提及22次，占比61%，说明就业情况是专业自信的重要支撑。在对“被访谈本科高校物流专业的优势”的访谈中，被访谈高校师生对自己院校的自信具体体现为对“师资力量”、“就业质量”和“实验设备”三点。在对“被访谈高职院校物流专业的优势”的访谈中，院校师生对自身的财会和编程能力，以及实验条件比较自信，也有人认为就业率是其优势。

3.2 指标重构基本依据

总体来看，为了能适应社会需求、保持竞争力，物流本科专业当前的发展应该着力于学生专业能力、学生团队能力（协作、沟通与组织能力）、学生创新能力、学生品德素质、专业师资力量、实验设备条件、实习机会、课程体系、就业率和就业待遇11个方面，这些方面可归属于提升学生能力与素质、改善环境与资源、提升就业质量三大战略方向，而发展着力点和战略方向即评价指标体系重构的基础，见表3。

表3 物流类本科专业发展着力点

4 重构物流本科专业评价指标体系

根据上节的结论，可将物流专业发展战略方向浓缩为物流评价指标体系的一级指标，对应的发展着力点整理为二级指标，而三级指标作为二级指标的观测点，以《江西省普通高校物流工程与管理类专业本科评价指标体系》为参考，结合相关文献、行业规则等选取、提炼和补充。

通过对江西省现有的物流指标体系的考察和全国范围内相关文献（包括政府公文、学术文献等）的阅读，选取、提炼和补充后，得到24个三级指标，见表4。选取、提炼和补充三级指标的相关依据见表5。

5 评价指标体系的权重设计

5.1 计算方法

初始指标体系建立后，需要对其进行赋权。指标的赋权研究有主观赋权（专家调查法、德尔菲法、层次分析法等）和客观赋权法（因子分析法、熵权法等）。客观赋权法面向客观数据差异性，客观世界的概率复杂性往往导致其赋权结果稳定性差，不同客观方法赋权结果差异大，公信度较低；主观赋权法直接面向包含了理性和知识的代表性意见，评价结果稳定性和代表性优于客观赋权法。本文选用层次分析法（AHP）进行初始指标体系的赋权[10-11]。

表4 重新设计物流本科专业评价指标体系

表5 三级指标观测点选取相关依据

在AHP赋权框架中，应用信息灵敏度方法进行问卷样本筛选，以及Hadamard乘数法构造判断矩阵。信息灵敏度是一组数据的标准差与均值的比值即相对离散系数，用以衡量一组正态数据的信息含量，可以用信息灵敏度进行异常样本的识别，删除失效样本。本文将样本的信息灵敏度定义为样本有效性指数Ci，Ci的有效性区间取[0.05,0.95]，即样本有效性指数介于0.05-0.95之间则认为该数据样本不是异常样本，予以保留，否则予以删除。Ci的计算公式为：

其中：Ci表示样本i的样本有效性；

xij表示样本i在第j个题目的评分；

n表示题目个数。

在问卷填写过程中，专家的匆忙评分或情绪波动等因素，会造成选项评分异常整齐、异常离散的状况，通过“样本有效性”可以筛除该类样本。

Hadamard乘数是矩阵之间做元素乘积的一种运算，见式（2），该运算与求和方法相比，能强化较小的值对运算结果的影响，利于实际问题中防止整体数据的过度“乐观”，见表6。取专家意见样本的Hadamard乘数的几何平均适用并便于简化专家意见进而构造判断矩阵。

其中：a表示A专家的评分情况，b表示B专家的评分情况。

表6 Hadamard乘积低值强化效应示例

5.2 专家意见收集与判断矩阵合成

5.2.1 意见数据收集。基于初始指标体系的24个观测指标，制定Likert五级问题量表，问题打分规则为：“非常重要”5分、“重要”4分、“一般”3分、“不重要”2分、“可忽略”1分。整个专家意见征询过程中，遵守匿名性原则，使用网络问卷单独向每位专家发送问卷和接收反馈结果。调查对象囊括物流相关高校的专家、物流企业重要岗位负责人或领导者，共回收问卷45份，问卷回收率为100%，获取到含45条数据集，没有数据缺省。

对量表的有信度检验，通常用克劳伯克（Cronbach）Alpha系数来表示，克劳伯克通常介于0和1之间，数字越高相关性越高，反映出量表的信度越好，量表工具的性能越佳。统计界普遍确立的Alpha系数下界为0.7；专家权威系数、判断系数、熟悉程度计算参照吴建新等（2014）计算方法。

依据专家意见数据集的问卷信度测试结果见表7，数据样本的信度系数在0.7以上，说明该调查具有良好的性能；专家判断系数值0.86、专家熟悉程度系数值0.83、专家权威系数值0.85、专家协调系数值0.347，专家组的权威性、积极性、协调性良好。

表7 专家咨询意见的各项系数检验表

5.2.2 数据样本筛选和判断矩阵合成。经过样本有效性计算，来自专家45份意见的样本中，共有40个样本被排除在异常样本之外，是有效样本，可以利用。

按照层次分析法的标准规则，判断矩阵应基于1-9标度的互反数专家打分表，打分表的分值体现了专家对指标之间重要性比较的判断。本文利用专家对指标的意见数据来构造判断矩阵，将指标重要程度对应分值之间的正值差区间与判断标度对应，见表8。

通过对专家评分数据进行Hadamard乘数后取几何平均，得到23个指标的综合得分，见表9。

表8 专家意见评分正值差区间与判断矩阵标度对应表

表9 各级指标的综合得分

结合表9的综合得分和表8的专家打分标度划分原则，除B层指标B2、B7、B8之下仅一个C层指标外，构建各层次的指标相对上级指标的判断矩阵，以C层指标C1-C6相对于B层指标B1的判断矩阵和B层指标B1-B4相对于A层指标A1的判断矩阵为例，见表10、表11。

表10 C1-C6相对于B1的判断矩阵

表11 B1-B4相对于A1的判断矩阵

现实中，形成的判断矩阵并不能保证具有完全一致性，需对人们思维判断一致性程度进行一致性检验。一致性比例为CR，计算方法见式（3），其检验公式为当C.R.＜0.1时，认为判断矩阵具有满意的一致性；否则，判断矩阵不具备一致性，应重新构造判断矩阵。

其中 CI（Consistency Index）为一致性指数，RI（Random Index）为平均随机一致性指标，取常用标准值，见表12。各层次的判断矩阵一致性检验结果见表13，各矩阵CR值均小于0.1，各判断矩阵具备一致性。

表12 平均随机一致性指标

表13 判断矩阵一致性检验结果

5.3 指标体系赋权

层次分析法中，通常用和积法、方根法、特征向量法求取权重，采用特征向量法求得各判断矩阵的特征向量归一化结果，见表14。

表14 各判断矩阵特征向量归一化结果对应于指标的值

得到各层指标对应上层指标的相对权重，就可以计算每层指标的绝对权重，也即综合权重，依据式（4），无论指标层级的数量，知道任意层次指标的绝对权重和知道任意层次指标的相对权重，就能对整个指标体系进行赋权。某个指标的绝对权重是从该层次往上，包括该指标在内的每层次与该指标同类指标的相对权重的乘积。

其中βi表示i指标的绝对权重，表示i指标在N层次中同类指标的相对权重。通过上式表达的权重关系即可得出初始指标体系的整体赋权方案，见表15。

表15 新的物流本科专业指标体系的最终赋权方案

6 物流本科专业评价指标体系前后对比

重新设计的指标体系相比于第一轮江西省本科专业评价指标体系有明显的优点，见表16。

一是：专注考察人才培养资源和培养能力，而舍弃了对生源人数、录取线等的考察，精简了评价项目，便于评价工作实施。

二是：与学生密切相关的教学资源与环境、就业质量等评价因素的指标等级上升且权重加大，学生成为考察的中心，成为“主角”，这符合国家“双一流”学科建设等政策的号召。

三是：突出评价学生“实践能力”成果和实践机会等因素，契合物流本科专业发展“以提高实践能力为重点”、“保证本专业对应工种实训教学需要”、“要掌握现代物流知识、了解大数据及智慧物流产业，掌握物流业务操作技能”的特点。

四是：基于行业和专业发展需求设计，符合物流行业发展需要，能够正确引领物流本科专业的建设。

表16 物流本科专业评价指标体系前后对比

7 总结与展望

“双一流”建设时期，主张不断挖掘学科的“社会服务性”，根据社会对应各要素的需求进行学科教育模式的变革，在这样的背景下，反向设计思路相比于传统设计思路，更为合理和先进。本科专业综合评价根本上是为了引导专业的正确前进方向，以与学科产出密切联系的各方的需求和期待为起点，才能够正确把握专业发展的战略方向和建设着力点，设计出更契合专业发展步伐和要求的评价指标体系。本文是运用反向设计方法，确立“产出导向”的物流本科专业评价指标体系，将来可以考察检验其在第二轮的本科专业评价工作中的效果，为国家一流专业建设发挥作用。