基于STEAM-AHP的双语课程学习效果多尺度评价方法研究

张美玲，袁 泉

(桂林电子科技大学北海校区经济与管理学院，广西北海，536000)

一、引言

随着新一代人工智能、“互联网+”、区块链和大数据等高新科学技术的快速发展，世界各国的工业界面临着脱胎换骨的“工业4.0”产业升级。在“一带一路”倡议和“中国—东盟”经济圈深度合作与发展的推动下，中国对外招商引资和中国在外投资建设的活跃度增强，跨国公司的国际贸易额迅猛增长。[1]在国际化深度合作的背景下，为了高效地处理对外业务，各行各业对既精通专业学科知识又熟练掌握英语交际能力的高层次复合型人才需求量急剧增长，目前已出现供不应求的断崖式缺口。[2]为了培养更多符合市场需求的应用型国际化人才，国内大多数高等院校在不同专业开设了中英文双语课程教学。经过多年的探索实践，我国本科高校双语课程目前已呈现出“遍地开花”之势。[2]然而，许多本科高校在实施双语课程教学过程中仍存在很多问题，尤其是如何有效评价学生的学习效果是双语教学实施的共性难题。大多数高校双语教学考核评估方法和量化标准陈旧单一，难以科学有效地评估学生的学习效果，大多是结果评价，缺乏过程评价。[3]这一方面挫伤了学生的学习积极性，另一方面导致学生只注重短期目标(期末考试成绩)，而不顾对将来发展有利的长期目标，阻碍了双语教学的发展。

因此，本文提出了一种基于STEAM多尺度评价指标和层次分析法的评估新方法，该方法兼顾长期目标和短时期望、结果指标和过程指标，帮助双语教师更加有针对性地开展教学设计和改进教学方法，从而有效促进双语课程教与学质量的双向提升，为国家输送更多具有国际化交际能力的复合型高层次人才。

二、基于STEAM-AHP的双语课程学习效果评估模型

为培养“强基础、重应用、善管理”的复合型国际化人才，打破传统的“一卷定天下”的单一化考核模式，本研究提出了一种多尺度评价指标和层次分析法相结合的评估方法。首先，基于平衡计分卡理念设计了包含专业科学知识能力、团队协作能力、工程实践能力、主观能动性和管理能力的五大核心评价指标的STEAM模型，对双语课程学习效果进行多尺度综合评价。其次，引入层次分析法(analytic hierarchy process，AHP)算法对STEAM模型的五个评价指标构建层次模型并确定各评价指标的权重。最后，通过教师对以上五个指标以百分制评分，计算得出加权总成绩，以此量化学生对该双语课程的学习综合效果。建立的STEAM-AHP多尺度评估模型如图1所示。

图1 基于STEAM-AHP的双语课程学习效果多尺度评价模型

(一)平衡计分卡

平衡计分卡[4](balanced score card，BSC)是由Kaplan等人提出的一种将短期目标和长期目标、过程评价和结果评价结合起来的综合绩效评价体系。BSC与传统的过分关注短期行为而牺牲长期目标的绩效评价体系不同，旨在建立“实现战略制导”的绩效管理系统，即将组织的战略具体落实到BSC四个维度的具体评价指标和目标值，实现绩效考核及其改进、战略的实施与不断调整，从而保证企业战略得到有效执行。BSC虽然最初被提出时主要用于企业的绩效管理，然而其多维度评价指标的有效平衡理念已在其他多个领域得到应用和借鉴。[4]因此，本研究将该理念引入中英文双语课程教学的学习效果综合评价体系构建中，从影响双语课程教学的学习效果评价的众多指标中遴选出五个关键性指标，分别为科学知识、团队协作、实践操作、积极主动性和管理能力五个维度，并将这五个指标作为层次分析法的准则层，每个准则层包含一系列子指标。

(二)层次分析法

层次分析法将决策分析者的定性经验值与主观判断输入模型进行数量化处理，使决策分析更科学合理化。[5-6]首先，AHP把要决策的问题按支配关系进行分层，构建一个层次结构模型；其次，将各层的指标因素两两比较其相对重要性，构造判断矩阵，求得本层各因素对上层因素的权重值；最后，确定各个因素相对重要性的顺序，按顺序作出决策。

将影响双语教学的学习效果的因素按照短期目标和长期目标、结果指标和过程指标进行合理的分类，将准则层分为科学知识、团队协作、实践操作、积极主动性和管理能力五个维度，每个准则层包含一系列的子指标。如表1所示，依据判断的标度对每层各因素两两比较其相对重要性构造判断矩阵，求出各因素的权重值并排序比较，从而确定双语课程五个维度的权重值，对学生的学习效果进行定量评价。

表1 判断的标度

三、基于STEAM-AHP的双语教学质量评估模型的建立和应用研究

(一)构建双语学习效果质量评估评价指标体系

本文以供应链管理双语课程为例，说明STEAM-AHP在双语课程学习效果考核中的具体应用。通过大量的企业调研，了解用人单位对学生能力指标的关注度，与同行的专家讨论和参考文献后对影响双语学习效果评价的各种因素进行归纳和分析，剔除影响微小的因素，遴选出对双语学习效果有显著影响的因素。为便于模型的构建，本文依据层次分析法的特点，即目标层(P)、准则层(S、T、E、A、M)、指标层，从五个准则层面构建双语课程学习效果评估指标体系，每个准则层指标又包含一系列子指标，从而形成了双语教学学习效果评估指标体系，该指标体系如图2所示。

图2 双语教学学习效果的评价影响因素层次结构图

(二)构造判断矩阵

判断矩阵是依据判断标度，对各层的两两元素进行重要性比较所构建的矩阵，如表1所示。本文主要是向校企合作的企业相关专家及实行双语教学的兄弟高校专家发放问卷。向广西五所开设双语课程的高校的15名相关教师发放调查问卷15份，向长三角地区校企合作的企业相关的专家(含人力资源部)、MBA课堂发放问卷55份。共发放70份问卷，回收有效问卷61份，根据回收的问卷结果整理分析后构造判断矩阵。

(三)层次单排序和一致性检验

层次单排序是依据构建的判断矩阵计算本层对上层各因素的权值，即满足BW=λmaxW的特征根和特征向量，其中B为判断矩阵，λmax为矩阵B的最大特征根，W为特征向量，其分量Wi就是对应的权值。运用一致性指标CI检验判断矩阵中各个元素重要程度的有效性和一致性，定义：CI=(λmax-n)/(n-1)；当CI=0时，说明判断矩阵中各元素的重要性程度之间是有效的，判断矩阵具有完全一致性，CI值越大，说明越不符合要求。运用随机一致性比率CR检验判断矩阵是否符合要求，定义：CR=CI/RI，若CR<0.10，说明此判断矩阵具有满意的一致性，否则，就需调整。RI的取值如表2所示。

表2 平均随机一致性指标

表3得到影响因素的相对权重分别为：W0=(0.505,0.067,0.25,0.133,0.045)，λmax=5.25，CI=0.0493，RI=1.12，CR=0.044<0.10，说明所得的权重是合理的。

表3 影响因素的判断矩阵及权重

表4得到科学知识S指标下S1、S2的相对权重为：W1=(0.8，0.2)，λmax=2，CI=0，RI=0，CR=0.00<0.1，故通过一致性检验。由专家对其进行打分而整理得出的结果，以下4个判断矩阵同理可得：第一，团队协作T指标下T1、T2的相对权重为：W2=(0.8，0.2)，λmax=2；第二，实践操作E指标下E1、E2的相对权重为：W3=(0.25， 0.75)，λmax=2；第三，积极主动性A指标下A1、A2的相对权重为：W4=(0.875，0.125)，λmax=2；第四，管理能力M指标下M1、M2的相对权重为：W5=(0.8，0.2)，λmax=2；上述的判断矩阵进行一致性检验得：CI=0，RI=0，CR=0<0.1，即都通过一致性。

表4 科学知识S指标下的各指标判断矩阵及权重

(四)具体应用实例

下面以供应链管理双语课程的期末考核为例说明如何使用STEAM-AHP评价模型。例如，李同学的期末供应链管理专业知识考核92分，专业英语应用考核88分，小组合作成绩90分，团队分工协作考核优秀90分，项目案例设计80分，供应链系统实操考核75分，课堂主动积极回答问题(回答9次，回答10次为满分)得90分，课后积极提问(提问8次，提问10次为满分)得80分，自我管理能力很强，从不迟到旷课，考勤100分，项目管理能力考核95分，那么李同学的供应链管理双语课程期末各模块的考核成绩(保留整数)分别为：科学知识92×0.8+88×0.2=91分，团队协作90×(0.8+0.2)=90分，实践操作80×0.25+75×0.75=76分，主动积极性90×0.875+80×0.125=89分，综合管理能力100×0.8+95×0.2=99分，则该学生的供应链管理双语课程综合评价成绩为：91×0.505+90×0.067+76×0.25+89×0.133+99×0.043=87分。

四、STEAM-AHP在双语课程学习评价中的应用效果和意义讨论

(一)平衡短期目标与长期目标，引导学生向长远目标努力

考核评价指标是学生努力的方向，只有引领方向正确，学生才能向着正确的方向努力，这也是学习效果考核评价的初衷。在传统的教学质量评估中，考核指标往往比较单一，只关注短期目标[3]，即学生的考试成绩，而对将来发展更有利的方面却忽略不计。本文依据平衡计分卡的理念，既考虑了短期目标即课程的知识考核，又考虑了长期目标：团队协作、实践操作、积极主动性、管理能力，平衡了短期目标和长期目标、结果目标和过程目标，这样避免了以往考核中只关注短期目标的问题，有助于引导学生向着对未来更有益的长远目标努力。

(二)减少主观评价与客观事实的偏差

在实际操作中，双语课程的学习效果考核有较多的主观因素，各高校往往给予教师一定的决定权，教师则根据自身的知识水平、经验等主观确定考核评价指标的权重，这种主观性的做法往往导致评价权重设置不合理，评价结果不合理。运用AHP可以实现定性分析和定量计算相结合，使定性模糊的因素通过科学计算分析，提高评价的合理性。

(三)教师更加科学合理评估学习效果

基于STEAM从五个维度进行全方位、全面、全过程考核，既关注短期目标，也注重长期目标的引导和发展，有助于考核评价更加科学合理。本文对各考核评价指标的权重设置采用主、客观赋值相结合的原则，实现优势互补。本文首先依据平衡计分卡的理念，在此基础上提出了基于“STEAM”学习效果评价指标体系，即从科学知识、团队协作、实践操作、积极主动性和管理能力这五个维度全面考核评价；然后运用AHP构造判断矩阵，定性分析和定量计算，科学合理地确定各个指标的权重；最后，加权算出学生的综合成绩。这就使双语教学质量评价因素实现眼前和长远相兼顾，过程和结果双考虑，定性定量相结合，从而有助于提高评价的系统性和科学性。