基于模糊综合评价法的大学物理MOOC教学质量评价

赵馨蕊 周雨青 瞿林云 张志红

(1东南大学生物科学与医学工程学院，江苏 南京 210096； 2东南大学物理学院，江苏 南京 211189)

1 大学物理MOOC教学质量评价指标体系

MOOC作为一种新型的在线学习模式，近年来备受师生、学者关注，它拓展了教学时空，促使教与学的方式发生重大变化，给传统高等教育模式带来了巨大影响，各学科争相开设MOOC课程，以“中国大学MOOC”平台为例，截至2018年1月，提供MOOC的院校多达136所，课程数量1055门，涉及工学、理学、经济管理、文学历史等诸多学科。大学物理作为高等院校理工科普遍开设的一门重要基础课程，大学物理MOOC纷纷登上MOOC舞台，仅“中国大学MOOC”平台就包括49门大学物理课程，分别来自北京理工大学、同济大学、东北大学、东南大学、山东大学等18所全国著名院校。

面对众多大学物理MOOC，学习者如何选择优质课程，教师如何提高课程质量，开发商如何完善平台建设是亟待解决的问题。笔者在“基于层次分析法的大学物理MOOC教学质量评价指标体系的建构”[1]中，从大学物理课程教学基本要求出发，在借鉴国内外MOOC评价指标体系的基础上，征求了来自东北大学、东南大学、吉林大学、山东大学、同济大学5所高校的15位大学物理MOOC教学领域专家意见，并采用层次分析法确定指标权重，建构了以关注MOOC教学活动为主要目标的教学质量评价指标体系，其结构如表1所示(其中W表示对应指标项的权重，例如W1=0.17表示一级指标“教学队伍”在所有指标集合中的重要程度为17%)。

表1 大学物理MOOC教学质量评价指标体系

续表

2 模糊综合评价

模糊综合评价法的基础是模糊数学，其方法就是把待考查的模糊对象以及反映模糊对象的模糊概念作为一定的模糊集合，建立适当的隶属函数，并通过模糊集合论的有关运算和变换，对模糊对象进行定量分析。在对大学物理MOOC教学质量的评价中，某些评价因子带有一定程度的模糊性，没有十分明确的界限和清楚的外延，不存在精确的肯定与否定，因而对大学物理MOOC教学质量采用模糊数学的方法进行综合评价，将更接近实际情况。

此次调查的目的是为了真实地了解大学物理MOOC的教学状况，为优质大学物理MOOC的评选提供依据，为教学提供改进意见。本次调查选取“中国大学MOOC”平台上的3门大学物理课程，分别为同济大学《大学物理1：力学、相对论》、山东大学《大学物理-力学和热学》、东南大学《大学物理专题：振动与波、光学、热学、量子物理》。参与问卷调查的学生共计183人，其中同济大学80人，山东大学37人，东南大学66人。现以同济大学学生问卷为例，构建模糊综合评价，详细步骤如下文。

2.1 建立评价因素集、目标分配权重集、评语集和数值集、隶属度子集

2.1.1 建立评价因素集

根据表1得到的评价因素集如下：

2.1.2 建立目标分配权重集

在文献[1]中已用层次分析法得到各级指标权重，表1中亦有标识：

其中W1={W11,W12,W13}={0.31，0.41，0.28}，此处不一一列举。

2.1.3 构造评语集和数值集

2.1.4 构造隶属度子集

“隶属度”就是一个元素属于一个集合的程度，用0～1闭区间上的任何一个实数表示。

隶属度子集Ri=ri-1，ri-2，…，ri-5

Ri指评价因素中第i个指标对应评语集中的每个V1，V2，…，V5的隶属度，

其中j=1,2,…,5

2.2 三级模糊评价

首先，每个学生对表2中5个因素所属的等级分别进行判断，当某一因素属于某一等级时，就在相应的方格内划“√”，表2是一位学生的判断结果。

将表中划“√”者记为1，空格记为0，就形成了一个矩阵：

然后，将80名学生的评判结果汇总，统计结果如表3所示，其中表格中的数值代表选择相应选项的人数。

由此可得80名学生对《大学物理1：力学、相对论》“教学方法与手段”维度的评判结果矩阵为：

由此可构造出80名学生“教学方法与手段”维度下二级指标“教学方法”的隶属度与隶属度子集：

其中j=1,2,…,5

现以表3中的三级指标项“C321移动学习”为例，80名评价者中有29名评价者认为“移动学习”可达“优秀”等级，则C321移动学习的优秀等级隶属度r321-1=29/80=0.3625，同理可得C321移动学习的良好等级隶属度r321-2=24/80=0.3000，C321移动学习的中等等级隶属度r321-3=0/80=0.0000，C321移动学习的及格等级隶属度r321-4=9/80=0.1125，C321移动学习的良好等级隶属度r321-5=18/80=0.2250。

表2 同济大学某学生“教学方法与手段”维度的判断结果

表3 同济大学80名学生“教学方法与手段”维度的判断结果汇总

因此，得到80名学生“教学方法与手段”维度下二级指标“教学方法”的模糊评价矩阵：

进行模糊矩阵的复合运算：

将隶属度子集与相对应的指标权重进行模糊矩阵的复合运算后即可得到“隶属度评判值”。

“教学方法”的隶属度评判值B32=0.4340,0.2220,0.1560,0.0800,0.1080

同理，可算得“教学手段”的隶属度评判值B33=0.4750,0.3800,0.0525,0.0650,0.0275

“教学设计”的隶属度评判值B42=0.3515,0.2211,0.1759,0.1059,0.1456,

“教学资源”的隶属度评判值B43=0.5320,0.2250,0.1328,0.0552,0.0550

“教师活动”的隶属度评判值B51=0.4434,0.2840,0.0889,0.0712,0.1125

“学生活动”的隶属度评判值B52=0.6200,0.3800,0.0000,0.0000,0.0000

“作业测评”的隶属度评判值B61=0.4281,0.1204,0.2993,0.0774,0.0749

“课程测评”的隶属度评判值B62=0.2332,0.4090,0.1570,0.0150,0.1858

2.3 二级模糊评价

以表3为例，演示二级模糊评价过程。由“教学方法与手段”维度的评判结果矩阵可得二级指标“教学媒体”的隶属子集R31={0.4875,0.2500,0.1625,0.0750,0.0250}，结合“教学方法”与“教学手段”的三级模糊隶属度评判值，构造80名学生对“教学方法与手段”维度的二级模糊矩阵：

进行模糊矩阵的复合运算：

“教学方法与手段”的隶属度评判值B3=0.4610,0.2744,0.1289,0.0743,0.0614

同理，可算得“教学队伍”的隶属度评判值B1=0.5900,0.0000,0.4100,0.0000,0.0000

“教学目标”的隶属度评判值B2=(0.2934,0.2766,0.1965,0.1469,0.0866)

“教学内容”的隶属度评判值B4=(0.3997,0.2130,0.1064,0.0534,0.2275)

“教学活动”的隶属度评判值B5=(0.5123,0.3214,0.0542,0.0435,0.0686)

“教学目标”的隶属度评判值B6=(0.3287,0.2676,0.2267,0.0456,0.1314)

2.4 一级模糊评价

由上述运算结果构造同济大学80名学生对《大学物理1： 力学、相对论》教学质量评价的一级模糊评价矩阵：

同济大学MOOC教学质量的隶属度评判值B=0.4281,0.2221,0.1885,0.0632,0.0981

2.5 评价结果的处理

2.5.1 总程度分析

总程度系数为

这表明，同济大学开设的MOOC《大学物理1：力学、相对论》教学质量总评分为7.7052，该系数属于“良好(7.50～8.49)”等级，可以认为该MOOC的教学质量良好。

2.5.2 各因素程度分析

有时不仅需要从总的方面来了解大学物理MOOC教学质量对于“优秀、良好、中等、及格、待提高”的隶属程度，还要了解各个因素对于“优秀、良好、中等、及格、待提高”的隶属程度，这可以通过各因素程度分析来实现。

计算各因素程度系数的公式为：

ei=RiD′

在这里，ei表示第i个因素的程度系数；Ri表示判断矩阵R中第i个因素对各等级的隶属度；D′表示等级参数的转置矩阵。

仍以同济大学《大学物理1： 力学、相对论》为例，其各个因素的程度系数分别为：

同理可得e2=7.4218，e3=7.9764，e4=7.0921，e5=8.1390，e6=7.4031。

可将各因素的程度系数用矩阵E表示为

这表明，同济大学《大学物理1： 力学、相对论》的教学在教学队伍方面属于良好，在教学目标方面属于中等，在教学方法与手段方面属于良好，在教学内容方面属于中等，在教学活动方面良好，在教学评价与反馈方面属于中等。

限于篇幅，文中不再一一列举山东大学与东南大学模糊综合评价过程，此处直接给出结论。

山东大学： 总程度系数e=7.2150

教学队伍程度系数e1=9.2500

教学目标程度系数e2=7.4875

教学方法与手段程度系数e3=7.8150

教学内容程度系数e4=7.3000

教学活动程度系数e5=7.8225

教学评价与反馈程度系数e6=7.6300

这表明，山东大学《大学物理-力学与热学》的教学质量总体水平处于中等阶段，在教学队伍方面属于优秀，在教学目标方面属于中等，在教学方法与手段方面属于良好，在教学内容方面属于中等，在教学活动方面良好，在教学评价与反馈方面属于良好。

东南大学： 总程度系数e=8.0700

教学队伍程度系数e1=9.2500

教学目标程度系数e2=8.1150

教学方法与手段程度系数e3=8.1025

教学内容程度系数e4=7.3725

教学活动程度系数e5=8.2875

教学评价与反馈程度系数e6=7.4125

这表明，东南大学《大学物理专题：振动与波、光学、热学、量子物理》的教学质量良好，在教学队伍方面属于优秀，在教学目标方面属于良好，在教学方法与手段方面属于良好，在教学内容方面属于中等，在教学活动方面良好，在教学评价与反馈方面属于中等。

同济大学、山东大学、东南大学3所高校MOOC教学质量模糊综合评价汇总见表4。

3 分析与评价

上述评价结果与以下的实证性分析相一致，这也说明了模糊综合评价法是适切的。

3.1 教学队伍

文章选取的3所高校均为985、211工程重点建设高校，均设有物理学一级学科硕士点，物理学一级学科博士点与博士后科研流动站，拥有博士及以上学历的教师人数众多，师资力量雄厚，专业优势突出。在本文所选取的3门MOOC中，除山东大学课程团队不足5人外，同济大学与东南大学团队均为5人以上，且团队教师教学经验丰富，多位教师教龄超过10年，3所高校的MOOC主要负责人均为副教授及以上职称(其中山东大学与东南大学主要负责人为教授职称，同济大学主要负责人为副教授职称)。课程团队分工明确，3所高校均有专门教师负责课件制作、录像摄影与答疑解惑，其中同济大学与东南大学有教师专门负责后期制作，山东大学与东南大学有教师专门负责课程编制、平台维护与数据统计。

综上可见，高校凭借专业优势和人才优势努力打造精品大学物理MOOC，3所高校的“教学队伍”维度均达到良好及以上等级。

3.2 教学目标

教学目标是关于教学将使学生发生何种变化的明确表述，是指在教学活动中所期待得到的学生的学习结果。在教学过程中，教学目标起着十分重要的作用，教学活动以教学目标为导向，且始终围绕实现教学目标进行。所以，教学目标既是教师教学活动的导向标，也是学生学习活动的指路灯。教学目标应做到科学合理，难度适中，充分考虑学生的身心发展水平和先前知识水平。教学目标的传递应明确清晰，在课程开始前向学生介绍课程的知识模块和知识结构，使学生了解课程总目标与各章节学习目标，教师通过使用“知道、理解、运用、分析、综合和评价”等词汇描述不同程度的知识掌握情况，使学生明确自身应在何种程度掌握各知识点，避免盲目学习做无用功。教学目标还应遵循多样化的原则，包括知识目标、技能目标与情感目标3个维度，教师应多方面进行教学目标设计，引导学生全面发展。

由模糊综合评价可得同济大学“教学目标”e2=7.4218，山东大学e2=7.4875，均属于中等等级，东南大学e2=8.1150，仅刚达到良好等级。3所高校MOOC在此项得分均不高，原因归咎于教学目标仅存在于教师的教案和课程设计中，并未在MOOC平台公告栏或课程视频中向学习者传递，导致学习者无法清晰掌握学习目标，难分轻重缓急。

3.3 教学方法与手段

教学方法与手段包括教学媒体、教学方法与教学手段。学习者大多认为MOOC网页界面简洁，页面导航清晰，MOOC授课视频画面清晰流畅且色彩得当，MOOC板书和PPT字迹清晰，排版工整，便于观看。在本次选取的3门大学物理MOOC中，山东大学与东南大学均采取录像抠图技术和动画板书相结合的视频制作方式，画面精美，画质清晰流畅；同济大学采用多媒体实体课堂近景录像方式制作授课视频，让学习者仿佛身临课堂，其画质与音效较前两所高校MOOC虽略有差距，但仍可满足学习者学习需求。

表4 3所高校MOOC教学质量模糊综合评价汇总

学习者们大多认同大学物理MOOC的教学方式符合移动学习的特点，学习者可以随时随地观看授课视频，可以自行调整学习进度反复观看视频，亦可在线提交作业，在线完成测验并且与老师、同学进行在线讨论。学习者认为相较于传统课堂，在MOOC学习中，老师能够灵活运用启发式、讨论式等多种行之有效的教学方法，因为相较于传统课堂的课时局限，MOOC能够拓展教学时空，使师生在课下通过网络进行更充分、更自由的讨论，以东南大学《大学物理专题：振动与波、光学、热学、量子物理》为例，课程共4个单元，分别为“振动与波(5讲)”“光学(4讲)”“热学(3讲)”“量子物理(1讲)”，每讲均由课前思考、授课视频、课后讨论3部分组成，如图1所示。以“第一讲：单摆和复摆周期公式的有趣讨论”为例，这一讲的课前思考如图2所示，在课前思考中，教师提出了几个问题：单摆的理想化条件，单摆周期公式的推导以及复摆周期公式的推导。这几个问题看似是简单的练习题，实则帮助学习者回顾先前知识，提醒学习者学习该章节前应掌握哪些基础知识，做好何种课前准备，通过启发学生思考的方式，激发学生学习兴趣，让学生带着问题进入“单摆和复摆周期公式的有趣讨论”中。每讲均设有课后讨论，如图3所示，MOOC结合移动教学的特点，将课堂时空在网络上进行拓展，教师可充分运用启发式、讨论式等多种灵活多样的教学方法。

3.4 教学内容

教学内容包括课程概述、教学设计与教学资源3个模块。从课程概述来看，课程概述应提供课程内容简介，教师和教学团队介绍，考核方式、学分认证的相关要求，应说明学习该课程前，学习者所应具备的基本物理知识和运算技能。由问卷调查可见，同济大学与东南大学此项得分偏低，山东大学得分较高，比较3门课程的课程概述即可找出原因，山东大学课程概述(图4)内容详实，包括了课程主要内容，课程组成模块，单元测试与课后习题，课程成绩的组成，课程合格要求等，而同济大学与东南大学仅简要介绍了课程模块，成绩组成及课程合格分数。此外，山东大学充分利用公告栏，自开课至期末课程团队共发布公告25次，提醒学习者新课程发布时间，鼓励参与讨论，提示学习进度，测试截止时间提示等，使学生更有效地投入学习。

图1 东南大学《大学物理专题：振动与波、光学、热学、量子物理》课程界面

图2 “第一讲：单摆和复摆周期公式的有趣讨论”的课前思考

图3 “第一讲：单摆和复摆周期公式的有趣讨论”的课后讨论

图4 山东大学《大学物理MOOC-力学和热学》课程概述

在教学设计上，3所高校所设计的MOOC为4～9周不等，每周2～5讲，每讲视频时长10～20分钟，多数学生反映这样的课时安排科学合理，节奏适当，使学习者感觉既不紧张也不懈怠。通过问卷调查得知，课前或课中，多数教师明确告知学习者该章节的知识结构和框架以及学习的重难点所在，但鲜有课程团队做教学前测，以获取学生的专业背景、知识结构以及学习需求等信息，且少有课程团队通过教学前测，向学生提供个性化教学辅导和学习指导。

大学物理MOOC所囊括的教学资源有教学视频资源，视频辅助资源(包括PPT及文字课件，拓展阅读材料和推荐参考书目)，教学练习资源(包括课后作业，单元测试和期中、期末测试)。被调查者均认同3所高校的MOOC教学视频制作完善，知识点讲授清晰，授课内容丰富精彩，结构科学合理，山东大学与同济大学的每讲课程均配有文字版PPT可供下载，每单元后均设有单元测验与作业，东南大学仅设有单元测验。

3.5 教学活动

教学活动包括两个方面，分别是教师的教学活动和学生的学习活动。教师的教学活动包含教师的课堂组织活动，教师的举止姿态和教师在问答互动中的表现。经调查，学习者认同在新的课程开始时，教师有一段精彩的课程导入，这段课程导入可能是案例、物理现象、图片或影像，这使学习者感到有趣并受到启发，授课时，教师讲课富有条理且重点突出，讲课内容富有科学性，教学节奏控制得当且张弛有度，教态自然大方，举止得当且语言富有感召力。在MOOC讨论区中，学习者提出的问题多在3～5天内可得到教师或助教的解答。

学生的学习活动包括课程访问情况、课程学习情况与在线交互情况。同济大学的MOOC吸引了10186人参与学习，是3所高校中的参与人数之最，学习者共观看视频7085次，观看演示文稿2047次。山东大学MOOC共3993人参与，共观看视频5683次。东南大学MOOC吸引5847名学习者观看视频2420次。3所高校凭借杰出的学术地位和教育影响力吸引了大批的学习者，超过两万名学习者选择大学物理MOOC，但仔细分析即可发现，3所高校的视频观看总次数虽高，但观看次数逐渐递减，由开课时的千百人下降到十几人。图5为同济大学《大学物理1： 力学、相对论》MOOC授课视频观看人数趋势。

图5 同济大学《大学物理1： 力学、相对论》29个授课视频观看人数趋势

图5中，横坐标表示同济大学《大学物理1： 力学、相对论》中所包含的29个授课视频，纵坐标表示每个视频的观看人数。由图5可知，观看人数从最初的882人逐渐减少至40人，虽偶有增加，但增加人数远不及减少的学生数，总体仍呈下降趋势。经分析，前两周是学生数锐减时期，自第三周下降趋势逐渐放缓，这表明，参加该门课程的学习者(从未参与学习即弃课的除外)，在前两周通过尝试观看一至两次授课视频，来判断该门课程是否与自己的学习需求和学习兴趣相符合，如不符合，学习者多选择弃课，如符合，学习者将选择继续学习。前两周过后，选择继续学习的学习者进入正式学习阶段，在这一阶段仍会出现弃课现象，观看人数高峰值多出现于每周第一节课或新知识点的第一节课，与之前相比较，这一阶段学习者弃课的原因可能是缺乏自我约束或外部激励，课程难度增大，难以跟上教学进度等。因此，课程团队在进行课程研发时，前两周的授课视频应以基础知识为主，注重激发学生的学习积极性和学习兴趣。两周后，教师应持续关注学生的学习参与情况，注重每周第一节课的视频质量，以新单元第一节课为统领，引导该章节的学习，鼓励学习者在线互动，鼓励坚持不懈。教师还应了解学生的学习进度，适时调整教学节奏，为学习困难的学生提供帮助和辅导，为学有余力的学生提供拓展和训练，以此提高学习者持续学习的能力。

“中国大学MOOC”平台的每门课程均设有“讨论区”，“讨论区”下又设有老师答疑区、课堂交流区和综合讨论区3个子版块。从3所高校的发帖数量来看，同济大学的讨论区无疑是最活跃的，经统计，同济大学《大学物理1：力学、相对论》的MOOC讨论区共有367个主题，4592条评论，其中教师参与的主题有142个。东南大学与山东大学在线讨论情况稍显逊色，东南大学共21个主题，301条评论，山东大学27个主题，仅58条评论。可见，教师的参与度可以一定程度上带动学生的讨论积极性，学生的积极性又能感染教师的教学热情，教学相长，互相促进。

3所高校在“教学活动”指标项的评分均达到良好等级，但仍存有分差，东南大学以8.2875分稍领先于同济大学8.1390分，作者分析，尽管同济大学在问答互动与在线交互两项指标上占据优势，但是课程辍学率较东南大学更高，东南大学所讲授的“大学物理专题”不是对物理知识点的讲授，而是通过把教材上的知识点与息息相关的历史、生活、工程和科学实例相结合，让学习者在轻松有趣的学习中体会物理的妙趣。因此，东南大学MOOC的知识讲解、课程访问次数、视频观看次数均达到了较高的等级。

3.6 教学评价与反馈

教学评价与反馈分为作业测评和课程测评。3所高校每单元均设置单元测验，单元测验多为5～8道选择题、填空题，山东大学与同济大学每单元还设置作业，作业多为3道应用计算题，采用同伴互评的形式，考查学生综合运用与解决问题的能力，作业设计难度适中，批改及时。同济大学设置单元测试与单元作业各9次，其中1153人参与过单元测试，42人参与过作业，仅30人单元测试得分及格。山东大学设置单元测试8次，参与人数551人，13人及格，设置单元作业4次，53人参与，8人合格。由此可见，尽管选课人数较多，但是参与测试人数不足，合格人数少。调查了解到，同济大学推荐有兴趣的同学参与MOOC，但不做强制要求，MOOC成绩亦不计入实体课堂期末总成绩，山东大学尽管将此MOOC作为SPOC学习资源，但SPOC为小班教学且人数较少，校内并未做大规模宣传。相对而言，东南大学情况稍显乐观，4次单元测试的参加人数为196人，其中合格人数为136人，这归功于东南大学教师的宣传和动员，教师鼓励本校学生积极参加MOOC学习，并将MOOC学习情况作为期末评分的依据，学生投入度高，学习效果较好。

MOOC的课程总成绩遵循过程性评价和总结性评价相结合的原则，3所高校的MOOC课程总成绩占比和分数线如表4所示。

表5 三所高校大学物理MOOC总成绩组成

经问卷调查发现，学习者认为MOOC的作业与测试侧重于考查学生的阅读理解题目的能力、计算能力和思维能力，但鲜有考查学生的创新能力，这要求教师在设置题目时要摆脱传统课堂纸质考试的出题思维，利用网络学习的优势和MOOC学习特点，提出新问题，发掘新模式。

尽管选课人数众多，但是课程完成率却不甚理想。同济大学MOOC的10186名学习者中有628人参加期末考试，经综合测评后15人达优秀水平，24人合格，不合格人数达589人，课程合格率(课程合格人数与选课人数之比)仅0.37%。山东大学MOOC的3993名学习者中有362人参加期末考试，经综合测评后4人达优秀水平，6人合格，课程合格率0.25%。类似地，东南大学MOOC的5847位学习者中209人参与期末考试，10人优秀，52人合格，课程合格率1.06%。

4 结语

由模糊综合评价可知，3所高校各有千秋。同济大学凭借一流的师资和口碑吸引上万名学习者，教师在授课过程中积极参与讨论，师生互动充分，讨论学习氛围浓厚。山东大学课程画面制作精美，课程概述详尽，公告栏更新及时，能够提醒学习者合理安排时间并完成阶段学习任务。东南大学的大学物理专题课程以其新颖的课程内容，一上线就吸引了五千多名学习者，尽管课程需要学习者具备一定的物理基础知识，入学门槛较高，但仍取得了较高的课程完成率。

尽管现有大学物理MOOC的师资团队精良，教学媒体高端，但仍走不出学生弃课率高、课程结业率低的窘境。笔者认为，优质课程是吸引学生眼球的法宝，如何保持学习者的学习兴趣和学习热情是提高视频观看率和课程完成率的重中之重，开发内容新颖且契合网络碎片化、移动化学习特征的课程是课程团队的工作核心。传统课堂的照搬照抄势必无法跟上网络学习的步伐，课程团队应在课程设计下功夫，把握学生的学习规律，课程前两周以基础为主，重在带领学生进入学习节奏，激发学生的学习兴趣，每周第一节课应起到总领一周课程的作用，注重在逐步深入学习的同时，关注学生的学习动态，适时调整教学节奏。同时，为加强教师与学生、学生与学生之间的联系，鼓励交流讨论，课程团队可利用微信公众号、微信群等网络平台发布课程信息和阶段提示，这相较于传统邮件更具快捷有效，此外授课教师积极参与讨论亦可激发学习者学习热情，保持课程学习连贯性。

鸣谢： 感谢同济大学王祖源教授、倪忠强教授，山东大学刘建强教授，东南大学董科教授对本文的支持与指导！