基于三角模糊层次分析法的航海类专业MOOC质量评价研究

李 军 成 利

（武汉船舶职业技术学院，湖北武汉 430050）

我国是贸易大国，也是航运大国，航运业承担着我国对外贸易90%的运输量和国内贸易50%的运输量[1]。在推动航运业可持续发展进程中，航运人才是重要力量，航海职业教育是不可缺少的重要环节。当前我国有近54万高级船员服务于国内外船东，在船船员的职业培训一直是航运界关注的话题，如何提高培训质量，满足船员个性化学习要求，是航海类职业院校近年来思考的重要课题，MOOC 的发展为解决此类问题提供了契机，航海职业院校纷纷开发建设MOOC，但大量重复建设的MOOC 存在同质化、低质化现象。为保证MOOC 质量，建立合适的MOOC 质量评价体系，构建科学合理的评价模型，帮助提高MOOC 质量显得尤为重要。

1 MOOC质量评价文献综述

经过文献检索，发现现有MOOC 质量评价都是在网络课程、精品课程质量评价的基础上发展起来的，主要有实验法、观察法、分析法和指标体系评价法等，指标体系评价法客观性好、容易操作，近年来已成为众多学者研究的对象。部分学者在运用指标体系评价法时，注重评价指标体系的构建，陈永平[2]构建了传统教学、MOOC与SPOC相结合的教学质量评价指标体系；部分学者不仅注重评价指标体系的构建，还确立各层指标权重，童小素等[3]借鉴网络课程评价标准，综合各方面因素建立MOOC 质量评估指标体系，并应用层次分析法确立指标权重；张岩等[4]构建了层次分明、结构清晰的MOOC 质量评价体系，并用Matlab 软件计算各个指标权重；部分学者不满足上述研究，引入模糊综合评价数学模型对指标体系展开评价，李加军等[5]学者构建了3 层结构的MOOC 质量评价指标体系，利用层次分析法确定各层指标权重，应用模糊综合评估模型对MOOC 质量进行综合评估；赵馨蕊等[6]建立了大学物理MOOC 质量评估指标体系，并用模糊综合评价法对3 所大学的大学物理MOOC 进行综合评判；还有部分学者借鉴了工程领域的综合评价方法，建立起多种类型的综合评价模型，姚凯[7]应用层次分析法构建MOOC质量评价指标体系，并用Vague集的相似度量法建立了评价模型；岳进等[8]设计多层次的MOOC适切性评估指标体系，以区间数理论为基础采用群决策法建立了MOOC适切性评估模型。

综上所述，学者们在运用指标体系评价法时，普遍先建立评估指标体系，然后用层次分析法计算指标权重，再应用各种类型的综合评价模型进行评价，得出一个量化评价结果，但是研究的深度仍然不足。当对两个指标衡量重要性时，层次分析法并没有考虑专家在知识、阅历及经验上的差异，专家赋值过于绝对，忽视了指标权重和指标值的不确定性因素，影响评价结果的科学性、合理性。

鉴于此，本研究引入模糊数学理论改进层次分析法，运用三角模糊层次法TEAHP 确定指标权重，相较于层次分析法不仅充分考虑了专家赋值的模糊性，还省略了判断矩阵一致性检验程序，促使群决策法具有良好的容错性，如此评价的结果才更为科学、合理。

2 MOOC质量评价指标体系的构建

构建科学、合理的评价指标体系是开展MOOC 质量评价的基础，评估指标的遴选和构建除了需要考虑教育部颁布的《网络课程评价规范（CELTS-22）》，还需借鉴国内外学者对MOOC质量研究的优秀成果。陈永平等[2]学者将“课程设计”、“课程运用”、“课程教学”“课程学习”和“课程管理”作为一级指标，下设20 个二级指标，一级指标的设置仅考虑了“教”的维度；童小素等[3]将“课程内容”、“教学设计”“学习支持”列为一级指标，下设26个二级指标，二级指标过多，评价时容易丢失指标信息；李加军等[5]将“教学评价”、“教学过程”、“导航设计”“课程内容”作为一级指标，下设16 个二级指标，从“教”与“平台”两个维度设置一级指标，缺少“学”的维度，指标设置不甚全面；赵馨蕊等[6]将“教学队伍”、“教学目标”、“教学方法”、“教学内容”“教学活动”、“教学评价”作为一级指标，下设16 个二级指标，一级指标较多并且仅以“教”的维度设置，指标设置不合理；姚凯[7]将“课程内容”、“界面设计”、“课程管理”、“教学设计”、“媒体技术”作为一级指标，下设23 个二级指标，二级指标较多，结构不合理；岳进[8]等将教学内容、教学方式、评价方式和技术手段作为一级指标，下设20 个二级指标，一级指标设置没有考虑学生学习感受。

综上，以上学者以不同视角构建的MOOC 质量评价指标体系，具有极大地参考价值，但是也存在评价指标层次不清晰、结构不合理、覆盖不全面、重视“教”、忽略学习体验和平台设计、没有考虑专业特点等问题。为此，为提高航海类专业MOOC质量，经过咨询MOOC 开发专家和比较现有评价指标优缺点，构建一套航海类专业MOOC 质量评价体系，如图1所示。

图1 航海类专业MOOC质量评估指标体系

该指标体系从教师、学生和平台三个维度对MOOC 质量进行评价，遴选的指标充分考虑了学校属性、专业特点和学生的学习体验，该指标体系按照指标属性不同，具有三层结构特征，分别由3个一级指标、11个二级指标和29个三级指标组成。

对MOOC进行质量评价，需要确定评价等级，本研究将MOOC 质量优劣划分为5 个等级，分别为优秀、良好、中等、及格和待提高，对应评价集为Z=｛Z1，Z2，Z3，Z2，Z5｝。为了适于三角模糊层次分析法和群决策的MOOC质量评价模型，需对评价等级进行量化处理，“优秀”、“良好”、“中等”、“及格”和“待提高”对应的量化区间分别为：[100，90]、（90-80]、（80-70]、（70-60]和（60-0]。

3 基于TFAHP确定指标权重

MOOC 质量评价指标体系为多维度、多层次体系，并且各级评价指标都属于定性指标。传统的层次分析法确定指标权重时，没有考虑专家在知识、阅历和经验上的差异，过于绝对，认为因素之间相对重要性只有一种情况。本研究引入模糊数学理论改进层次分析法，运用三角模糊层次分析法（TFAHP）计算指标权重，相较于层次分析法（AHP）更加充分考虑了专家赋值的模糊性，有效弥补了传统的AHP在模糊决策上的缺陷。

3.1 三角模糊数和TFAHP的基本原理

由于三角模糊数能够有效地表达难以用精确数值描述的信息，因此，在解决不确定多属性决策和不确定性评价问题时，三角模糊数应用广泛。设M为实数域R上的一个模糊数，当M的隶属函数（从R到[0,1]上的连续映射）满足

那么M就是一个三角模糊数，即为M=[l,m,u],其中l 为下限值，m为中值，u为上限值。因为层次分析法无法计算模糊型评价指标的权重，因此，在层次分析法的基础上逐渐演化成三角模糊层次分析法（TFAHP），两者基本原理类似，主要区别为TFAHP 用三角模糊数代替实数构造判断矩阵，以三角模糊数运算法则计算权重，计算结果用三角模糊数形式呈现，最后，转换为实数权重。

步骤1：邀请MOOC开发专家对k层n个指标进行两两比较，并用三角模糊数赋值，当专家给出模糊判断后，就可构建模糊判断矩阵:，其中和uij分别为三角模糊数的悲观值、可能值和乐观值，多名专家的模糊评判结果可以运用三角模糊数运算法则求平均值作为综合三角模糊数。

步骤2：依据三角模糊数定理：

其中i，j=1,2,3…n，计算第k层第i个指标的综合模糊权重，同理也可以求出同一层第j个指标的综合模糊权重。

步骤3：依据三角模糊数定理：

步骤4：根据三角模糊数定理：

将三角模糊数权重转化为实数权重，最后归一化处理得到第k层指标权重Wk。

3.2 评价指标权重的确定

依据上述介绍的TFAHP 计算指标权重的方法。首先在广泛征求MOOC开发专家基础上构建MOOC 质量一级评价指标三角模糊数判断矩阵，如表1所示。

表1 一级评价指标三角模糊数判断矩阵

接着运用三角模糊数运算法则求平均值得综合三角模糊数判断矩阵，然后根据公式（2）求出一级指标综合三角模糊数权重，再依据公式（3）（4）求得一级指标实数权重WU=（0.25,0.60,0.15）。同理可以得到二级指标实数权重和三级指标实数权重，如表2所示。

表2 各级指标实数权重

4 基于TFAHP和群决策的MOOC质量评价模型

前面构建了MOOC 质量评价的多属性、多层次指标体系，应用TFAHP计算出三级指标的三角模糊数权重和实数权重，下面将三角模糊数、AHP和群决策理论相结合，构建基于TFAHP和群决策的MOOC质量评价模型，具体步骤如下：

步骤1：在广泛征求MOOC 开发专家基础上，构建MOOC质量评价指标体系。

步骤2：依据TFAHP 方法及步骤构造评价指标三角模糊数判断矩阵，依次计算MOOC 质量评价指标体系中的k 层指标三角模糊数权重和实数权重Wk。

步骤3：邀请y名由MOOC开发专家和学生组成的评价团队，然后请评价团队根据评语集对k 层的第i 个指标进行评价，如果有x名专家认为第i个指标属于评语等级Zh，则其隶属于评语等级Zh的隶属度为：，其中i=1,2,3…n，h=1,2,3…5，如此可以求得第k层所有指标隶属度，再归一化处理就可以建立第k层模糊评判矩阵。

步骤4：求出k层全部指标的权重Wk和建立起k层模糊评判矩阵Rk后，根据矩阵的乘法运算法则Sk=Wk⊗Rk就可计算k 层指标评价结果，逐层向上计算直到最终结果S。

5 实例验证

下面以某高职在超星平台建设的某专业课程为例，实例验证基于三角模糊层次分析和群决策的MOOC评价模型的科学性、合理性和实用性。

邀请MOOC 开发专家和学习该MOOC 的学生代表组成100 人的评价委员会。首先对第三级指标相对于评价集的符合性进行定性评价，然后依据MOOC质量评价模型的步骤3，用群决策的方法将定性评价转化成隶属度，再归一化处理即可建立第三级指标模糊评价矩阵。如表3所示：

表3 三级指标模糊评价矩阵

根据MOOC质量评价模型步骤4，在求得三级指标实数权重和建立三级指标模糊评价矩阵的基础上，用矩阵乘法运算计算出评价结果，三级指标评价结果如下：

三级指标评价结果也是二级指标隶属度，同理可以求得二级指标评价结果，如下：

6 分析评价结果

最终评价结果量化值为：Su⊗D'=77.9，对应“中等”等级，完全符合实际情况，该课程在2021年度学校组织的评审中荣获校级精品在线开放课程，但是距离省级精品在线开放课程有一定差距，距离国家精品在线开放课程有很大差距。

同理，除了对最终评价结果进行量化分析外，还需要对各级指标评价结果进行量化分析，方便建设者准确地了解MOOC 建设的优点和不足，从而发扬优点改进不足，提高MOOC 建设质量。其它各级指标评价结果量化值及评价等级，如表4所示。

表4 各级指标评价结果量化值及评价等级

由表4 可知，“新颖性”指标量化值为“72.26”评价等级为“中等”，其原因在于课程内容陈旧，与现代化的智能柴油机脱节，不能体现近几年船舶智能柴油机的科研成就；“主持人”量化得分“77.39”评价等级为“中等”，其原因在于主持人为非双师型教师，虽然学历较高，但是硕士研究生毕业后一直在学校任教，未曾到航运企业实习，实践经验不足，另外主持人为讲师职称，在本专业科研能力方面略显不足；“教学方法”得分“73.48”，究其原因，在于课程团队教师在授课时较少采用项目驱动教学法，多采用传统授课法，传统教学法已经无法激励学生学习兴趣；“教学内容”得分“72.81”，主要原因在于教学内容中缺乏航海文化元素，缺乏利用文化育人，培养学生人文素养的环节；“学习任务”量化得分“76.22”，被评为“中等”，其原因在于教师安排的学习任务较单一，除了课后作业、视频浏览外，缺乏辅助材料的学习，单元测试也缺乏；“生生协作”评分“76.37”，评级“中等”，其原因在于教师授课内容理论偏多，较少安排实验环节，学生缺少互相协作操作大型船舶设备的机会；“学情反馈”得分“78.99”，评级“中等”，课程团队在超星平台建设课程，虽然平台能自动计算作业、测试完成率、及格率，包括每道题正误率，但是课程团队较少审阅这些数据，不能及时反馈学情，无法形成正反馈；“存在感”得分“72.76”，得分较低，究其原因主要在于学生在学习圈存在感较低，一方面学生缺乏学习主动性，交流的主动性，另一方面教师跟学生交流沟通较少，导致学生存在感低；“满意度”得分“76.67”，评级为中等，表明仍有一部分学生学完后对课程不甚满意，需要课程团队后期与学生加强沟通，了解原因查找不足；“深层次思考”得分较低“70.76”分，主要在于课程服务的对象为在职船员，普遍缺乏深度学习能力，缺乏知识迁移能力，因此该项目得分较低，后期需加强学员学习能力培养；“解决现实问题能力”评分“70.86”，得分较低，在于学员在成长过程中，家长着重文化学习，缺乏生活体验，导致学员专业知识不能与日常生活中需要解决的问题结合在一起；“学习导航”得分“76.89”，评级“中等”，在于超星学习通平台为新开发的网络学习平台，虽然基本功能齐全，但是在菜单布置、导航设计方面还有不符合人机工程学的地方；“颜色搭配”得分较低“70.67”，究其原因在于超星学习通网页设计方面不注重颜色搭配、画面沉闷，不符合视觉习惯，学习者长期学习会感觉视觉疲劳；“特色功能”得分最低“66.46”，评级及格，虽然超星学习通平台基本功能健全，能满足教师开发课程及学员在线学习基本需求，但是与国外主流网络学习平台比较，仍然缺乏“个人学习空间、学习痕迹追踪、笔记功能”等特色功能，虽然具备防作弊功能，但是使用效果不佳，需要后期完善。

7 结语

MOOC 质量评价是促进MOOC 质量提高的重要手段，本研究针对MOOC 质量评价指标所具有的多属性、多层次、不确定性和模糊性特点。首先采用三角模糊数和层次分析法相结合的方法计算出MOOC质量评价指标的三角模糊数权重和实数权重，解决了以往层次分析法计算指标权重模糊性不足的缺陷，然后提出运用群决策的方法计算指标隶属度，构建模糊评价矩阵，最后构建了基于三角模糊层次分析法和群决策法的MOOC质量评价模型。实例验证了MOOC质量评价模型的科学性、合理性和可操纵性，为解决类似的多属性、多层次、不确定评价问题提供了一个新的思路和方法，也为提高航海类专业MOOC建设质量提供理论依据。