刘晓琴, 戴桂君, 代显华
(1. 成都学院 期刊中心, 四川 成都 610106; 2. 宜宾职业技术学院 教务处, 四川 宜宾 644003)
基于AHP的高校多媒体教学有效性指标的权重确定
刘晓琴1, 戴桂君2, 代显华1
(1. 成都学院 期刊中心, 四川 成都 610106; 2. 宜宾职业技术学院 教务处, 四川 宜宾 644003)
多媒体教学有效性指标权重赋值关乎多媒体教学有效性的评价。通过问卷调查和统计获得多媒体教学有效性指标的权重,然后在此基础上运用层次分析法计算出多媒体教学有效性指标的最终权重,经检验具有相当的一致性,在实践中为评价多媒体教学有效性提供一种科学手段。
多媒体教学; 教学有效性; 层次分析法; 权重计算
在信息化的今天,多媒体教学在高校教学得到了广泛应用,传统“黑板+粉笔”的教学方式已经寥寥无几。多媒体教学作为一种现代教学手段,与传统的教学手段相比,确实具有突出的优势,能在一定程度上提升教学效率。在实际多媒体教学中,由于受各种较为复杂的认知或评价技术,如评价指标、权重赋值以及计算方法等制约,直接影响了多媒体教学成效的评价客观性。其中多媒体教学有效性指标权重赋值与计算研究是摆在面前的一个重要的课题。本文在层次分析法(analytical hierarchy process,AHP)理论指导下,在对权重探讨基础上,根据一定的调查数据,对多媒体教学有效性指标的权重赋值与计算,为有效评价多媒体教学成效提供服务。
1.1 AHP
“层次分析法是将与决策有关的元素分解成目标、准则、方案等层次。”[1]其主要特征是“合理地将定量决策与定性决策结合起来,按照心理规律和思维规律把决策过程数量化、层次化。”[2]它是20世纪70年代初由美国著名运筹学家匹兹堡大学的萨蒂(Thomas L Saaty )教授研发后提出来的,适用于多评选标准的复杂决策。该方法以决策主体的定性分析和逻辑判断为主要依据,建立判断矩阵并通过一系列数学方法计算出指标的权重,从而为评价提供科学依据[3]。AHP具有如下特点[4]:
(1) 系统性。AHP方法的思想基础与系统分析的原则是一致的。系统分析的思想要求把评价对象看作一个整体,系统中的每个因素都是相互联系、相互影响的,共同达到整体的效应。除此之外,系统分析思想要求把系统分清层次。任何复杂系统都具有一定的层次关系,弄清楚系统中各个因素之间的层级关系,有助于决策者将复杂问题简单化。
(2) 简便性。运用AHP对事物做出评判,简便、迅速、易操作。当今社会节奏快,决策者对决策的速度要求越来越高,而一些繁复的决策方法费时、费力、费钱,不具有令人满意的实用价值。
(3) 准确性。AHP丰富的数学原理为该方法的准确性提供了基础,结合决策者个人或集团的阅历、经验、智慧使决策更加可靠。AHP可以给人们提供满意的决策或最优决策。AHP灵活、简便,使其应用范围十分广泛,广泛应用于能源系统分析、城市规划、经济管理、科研评价等。
1.2 权重与赋值
权重(weight)一词出自数理统计学,《现代汉语词典》对权重的解释:“评价体系中某一指标的相对重要程度。”[5]在同一级指标中每项指标对上一级指标及对于总目标的实现所作的贡献是不同的,每一项指标在指标体系中的地位和作用是不同的,即各项指标的重要性不同。因此,权重是一个相对的概念,指标体系中所有指标的权重集组成了权重体系[6]。在具体的决策和评价问题中,权重应是体现指标重要性程度的数值[7]。每个指标都有一个与之对应的权重,权重值介于0和1之间,并且同一级指标体系下,所有指标的权重之和等于1。给指标体系赋予权重即“赋值”,才能使指标体系评价客观、科学。确定权重赋值的过程就是对指标重要性程度进行评价的过程,合理确定权重赋值对评价结果十分重要,在指标体系确定后,需要对每一个指标权重赋值。同一组指标,如果赋予不同的权重值,会产生截然不同甚至相反的结论。
根据计算权重时原始数据的来源不同,确定权重赋值的方法有主观赋值法、客观赋值法。每一种方法都不是尽善尽美的,都有其局限性。首先,主观赋值法如德尔菲法、层次分析法等,其赋值数据主要由专家根据较为长期经验判断给予赋值,优点是专家可根据实际问题,合理确定各指标之间的排序,缺点是经验的局限性有时较大。其次,客观赋值法,其赋值数据来源于科学的调查研究所取得的实际数据,如主成分分析法、因子分析法等。优点在于不需征求专家的意见,数据具有绝对的客观性,缺陷在于由于调查或分析的局限性,有时确定的权重与实际并不相符甚至相悖。但是,为了保证赋值的科学性,无论运用哪种方法来确定权重赋值,都应遵循3个基本原则[8]:
第一,客观性原则。权重应能充分反映出被评对象的自身特点和主要内容,即要根据各指标在整体中的客观地位和实际作用,确定各指标的重要性,并依次分配不同的权重。
第二,整体性原则。即整个指标体系是一个具有内在逻辑关系的系统,所有指标的权重构成一个权重体系,每个指标对系统都有贡献,以整体最优化为出发点,合理分配权重。
第三,导向性原则。即在遵循客观性原则的基础上,有意识地将重要或核心指标权重设定得明显高于一般指标的权重。
本文选择层次分析法作为确定高校多媒体教学有效性指标权重的主要方法。
根据主观赋值法和赋值3原则,多媒体教学有效性指标权重的确定,首先采用调查问卷方式来确定权重结果,然后在调查数据的基础上运用层次分析法来确定多媒体课件、多媒体教学过程、多媒体教学效果的一级指标权重。
2.1 多媒体教学有效性指标的确定
多媒体教学有效性是指借助多媒体计算机与多媒体课件进行教学,达到预期教与学目标的程度。在多媒体计算机条件下,判断多媒体教学有效性的核心指标就是多媒体课件有效性和学生的进步和发展。多媒体课件有效性是决定多媒体教学有效性的重要因素。另外多媒体课件与课堂教学过程是一个不可分割的整体,多媒体教学过程是一个动态的教学组织过程,多媒体教学能否实现预期的效果,除了课件本身的有效性外,课堂上教学组织也起着重要的作用。多媒体教学过程也是影响多媒体课堂教学质量的重要因素。多媒体教学有效性决定了3个维度的有效性:多媒体课件、多媒体教学过程及多媒体教学结果有效性。多媒体课件的有效性可以分为6个一级指标:教学内容、教学设计、可用性、技术性、信息呈现及文档材料的有效性。多媒体教学过程的有效性可以分为4个一级指标:教学内容、教学能力、教学组织及媒体使用有效性。多媒体教学结果可以分为2个一级指标:课堂教学结果及课程教学结果有效性[9]。
多媒体教学课件有效性得分=教学内容得分×权重+教学设计得分×权重+可用性得分×权重+技术性得分×权重+信息呈现得分×权重+文档材料得分×权重;
多媒体教学过程有效性得分=教学内容得分×权重+教学能力得分×权重+教学组织得分×权重+媒体使用得分×权重;
多媒体教学结果有效性得分=课堂教学效果得分×权重+课程教学效果得分×权重,其中一级指标得分是其下所有二级指标得分乘以各自权重的总和;
最后,多媒体教学有效性得分=多媒体教学课件有效性得分×权重+多媒体教学过程有效性得分×权重+多媒体教学效果有效性得分×权重。
在实际多媒体教学评价中,将听课者的打分(0~100分)和权重代入上述公式,最后即可得出该门课多媒体教学的有效性评分,然后根据以下标准划分级别:优秀(90≤总分≤100),良好(75≤总分<90),合格(60≤总分<75),不合格(总分<60)。对于评估结果为良好及合格的,应将评估结果和意见及时反馈给授课教师,以利于改进与加强;对评估结果为不合格的授课教师,可视其程度采取培训等处理办法。
2.2 多媒体教学有效性指标权重调查
关于高校多媒体教学有效性指标体系的权重的问卷调查,共发放问卷 100 份,回收有效问卷 95份,回收率为 95%,调查对象包括高校的普通教师50人、教学督导6人和学生44人。请被调查者根据经验判断,对每个指标的重要性在“1”“3”“5”“7”“9”5个数值间给出相应的数值(数值越大表示指标越重要)。对调查问卷中每项指标的得分求平均数(结果四舍五入),得出如下结论。
在影响“多媒体教学课件”的6个一级指标中:教学内容要求得8分,教学设计要求得8分,可用性要求得4分,技术性要求得4分,信息呈现要求得6分,文档材料要求得5分。在影响“多媒体教学过程”的4个一级指标中:教学内容要求得6分,教学能力要求得9分,教学组织要求得7分,媒体使用要求得5分。在影响“多媒体教学效果”的2个一级指标中:课堂教学效果要求得8分,课程教学效果要求得9分。被调查者认为“多媒体课件”“多媒体教学过程”“多媒体教学效果”3个维度重要性不分上下,可以据此均给它们分配权重为1/3。
3.1 多媒体课件有效性各指标权重计算
第一,根据多媒体课件权重的调查结果构造、填写判断矩阵,见表1。
表1 多媒体课件有效性各指标权重计算:构造判断矩阵
第二,计算各列之和,见表2。
表2 多媒体课件有效性各指标权重计算:计算各列之和
第三,各个值除以该列的总和,填入对应位置,见表3。
表3 多媒体课件有效性各指标权重计算:各个值除以该列总和
第四,计算各行的平均值,即为对应指标的权重,见表4。
表4 多媒体课件有效性各指标权重计算:计算各行平均值
第五,一致性检测。
λmax=(35/8×8/35)+(35/8×8/35)+
(35/4×4/35)+(35/4×4/35)+(35/6×6/35)+
(7×1/7)=6
CI=(6-6)÷(6-1)=0
CR=0÷1.24=0
CR小于 0.1,表示具有相当的一致性,前面计算的权重值成立。在影响“多媒体教学课件”的6个指标中,教学内容的权重是8/35(0.226),教学设计的权重是8/35(0.226),可用性的权重是4/35(0.114),技术性的权重是4/35(0.114),信息呈现的权重是6/35(0.171),文档材料的权重是1/7(0.143)。
3.2 多媒体教学过程有效性各指标权重的计算
第一,构造、填写判断矩阵,见表5。
表5 多媒体教学过程有效性各指标权重计算: 构造判断矩阵
第二,计算各列之和,见表6。
表6 多媒体教学过程有效性各指标权重计算: 计算各列之和
第三,各个值除以该列的总和,填入对应位置,见表7。
表7 多媒体教学过程有效性各指标权重计算: 各个值除以该列总和
第四,计算各行的平均值,即为对应指标的权重,见表8。
表8 多媒体教学过程有效性各指标权重计算: 计算各行平均值
第五,一致性检测
λmax=(9/2×2/9)+(3×1/3)+
(27/7×7/27)+(27/5×5/27)=4
CI=(4-4)÷(4-1)=0
CR=0÷0.9=0
CR小于 0.1,表示具有相当的一致性,前面计算的权重值成立。在影响“多媒体教学过程”有效性的4个指标中,教学内容的权重是2/9(0.222),教学能力的权重是1/3(0.333),教学组织的权重是7/27(0.259),媒体使用的权重是5/27(0.185)。
3.3 多媒体教学结果有效性各指标权重的计算
第一,构造、填写判断矩阵,见表9。
表9 多媒体教学结果有效性各指标权重计算: 构造判断矩阵
第二,计算各列之和,见表10
表10 多媒体教学结果有效性各指标权重计算: 计算各列之和
第三,各个值除以该列的总和,填入对应位置,见表11。
表11 多媒体教学结果有效性各指标权重计算: 各个值除以该列总和
第四,计算各行的平均值,即为对应指标的权重,见表12。
表12 多媒体教学结果有效性各指标权重计算: 计算各行平均值
第五,一致性检测
λmax=(17/8×8/17)+(17/9×9/17)=1+1=2
CI=(λmax-n)÷(n-1)=0
CR=CI÷RI=0
CR小于 0.1,表示具有相当的一致性,前面计算的权重值成立。在影响多媒体教学效果有效性的2个指标中,课堂教学效果的权重为8/17(0.471),课程教学效果的权重为9/17(0.529)。
综上,假设每个一级指标下的二级指标的权重相当,并将一级、二级指标的权重代入指标表,形成高校多媒体教学有效性指标体系,包含多媒体课件指标体系表、多媒体教学过程指标体系表、多媒体教学效果指标体系表,结果见表13、表14、表15[9]。
表13多媒体课件指标体系表
一级指标指标内容权重二级指标指标内容权重目标要求教学内容35/8科学性1/5教学内容正确知识点1/5关键知识点讲解透彻练习1/5习题质量高,练习方式多样化学习评价1/5能提供及时的评价与反馈开放性和可扩充性1/5内容丰富,使用者自主选择可以更新教学设计8/35课堂定位1/6学习对象和基础要求明确学习动机激励1/6能用多种策略激发学习动机教学目标1/6清晰明确学习向导1/6必要的学习指导组织结构1/6符合课程的内在逻辑体系和学生的认知规律教学交互1/6师生交互和生生交互可用性4/35导航1/6清晰明确链接1/6准确,无死链程序响应1/6及时准确定位1/6内容定位帮助1/6有效,易懂插件1/6带有课件运行时所需要的现有播放平台不支持的
表13(续)
一级指标指标内容权重二级指标指标内容权重目标要求技术性4/35可控性1/4可以控制多媒体信息的呈现可靠性1/4兼并易用,可以处理意外中断兼容性1/4可以跨平台使用素材品质1/4图片清晰,视频清晰,音频无噪音信息呈现6/35媒体选择有效性1/2与学科专业内容有机结合,各种媒体协调使用页面合理1/2教学内容、层次表现分明文档材料1/7技术文档资料1/2文字/分镜头脚本规范,技术报告完整学习辅导1/2提供学习的辅助材料
表14多媒体教学过程指标体系表
一级指标指标内容权重二级指标指标内容权重教学内容2/9教学内容与目标结合,反映课程大纲,教学内容深度和广度1/2理论和实践结合,介绍学科前沿1/2教学能力1/3语言、文字表达1/4讲授过程条理性,逻辑性1/4讲授知识性和学术性结合1/4因材施教1/4教学组织7/27课堂组织管理状况,控制教学过程,教学过程时间分配1/3学生主体性发挥,教学方式选择,激发学生兴趣1/3课堂气氛营造1/3媒体使用5/27教师操作媒体的熟练程度1/2媒体选择合理性,媒体选择适当性,媒体使用合理性1/2
表15多媒体教学结果指标体系表
一级指标指标内容权重二级指标指标内容权重课堂教学效果8/17学生喜欢该课程程度,学生想上该课程程度1/3师生之间、学生之间互动性1/3学生课堂提问状况,学生作业完成量,学生作业正确率1/3课程教学效果9/17理解或掌握课程基本科学观念、知识和技能1/3掌握学科逻辑结构和分析方法1/3结合学科科学观念、知识和技能,初步能够独立、有效解决问题1/3
多媒体教学有效性指标体系是一个具有多层次、多指标且层次之间、指标之间相互联系的复杂系统。各指标的相对重要性各不相同,难以科学地确定各指标的权重。层次分析法具有系统、简便及准确的特点,成为确定指标权重的一种简捷方法[10]。本文在调查的基础上确定每个一级指标的分值作为原始数据,再使用层次分析法计算出一级指标的权重,体现了主观性与客观性相结合。
成都学院全国多媒体课件大赛校内选拔赛的评选就是参照“多媒体课件指标体系表”(表13),我校已连续8届组织教师作品参加此项赛事,均取得较好的成绩。全国多媒体课件大赛由教育部教育管理信息中心主办,在全国高等学校中有着广泛的号召力和影响力,是国内多媒体课件领域最高等级的权威赛事。另外在我校举办的优秀教师评比活动中,其中“多媒体课堂教学评选”一项依据高校多媒体教学有效性指标体系进行评比,取得了较好的效果,也得到了被评教师的广泛认可。多媒体教学有效性指标体系在实际运用过程中较好地解决了多媒体教学有效性评估的问题,为广大高校教师在教学过程中, 更进一步充分地、恰当地利用多媒体技术进行教学提供参考。
References)
[1] 刘玉娟,孙晓颖,温泉,等.层次分析法在虚拟实验教学评估中的应用[J].实验室研究与探索,2010,29(10):300-302,325.
[2] 袁永辉.XG学院高职教师绩效考核体系研究[D].石家庄:河北经贸大学,2014.
[3] 贺东风.物流系统规划与设计[M].北京:中国物资出版社,2006:64.
[4] 刘新宪,朱道立.选择与判断:AHP(层次分析法)决策[M].上海:上海科学普及出版社,1990:6-8.
[5] 中国社会科学院语言研究所词典编辑室.现代汉语词典 [M]. 6版.上海:商务印书馆,2012:1076.
[6] 许茂祖,张桂花.高等教育评估理论与方法[M]. 北京:中国铁道出版社,1997:25.
[7] 叶义成,柯丽华,黄德育.系统综合评价技术及其应用[M].北京:冶金工业出版社,2006:29.
[8] 刘俊英,刘佑铭.资费调整与决策管理研究[M].北京:中国经济出版社,2013:153-154.
[9] 刘晓琴.高校多媒体教学的有效性研究[D].成都:四川师范大学,2010.
[10] 牛建军,吴甫超.层次分析法在确定体育课教学评价指标权重分析[J].体育科学研究,2009,13(4):93-94.
Determination of weight for effectiveness index of universitymulti-media teaching based on AHP
Liu Xiaoqin1, Dai Guijun2, Dai Xianhua1
(1. Journal Center, Chengdu College, Chengdu 610106, China;2. Teaching Affairs Office, Yibin Vocational and Technical College, Yibin 644003, China)
The effectiveness index weight assignment of the multi-media teaching is related to the evaluation of the multi-media teaching effectiveness. Through the questionnaire survey and statistics, the weight of multi-media teaching effectiveness index is obtained, and then the final weight of multi-media teaching effectiveness index is calculated by the analytic hierarchy process (AHP). The test shows that it has the considerable consistency, providing a scientific means to evaluate the effectiveness of multi-media teaching in practice.
multi-media teaching; teaching effectiveness; analytic hierarchy process; weight calculation
G431
A
1002-4956(2017)10-0176-06
10.16791/j.cnki.sjg.2017.10.044
2017-05-16
四川省教师教育研究中心课题“高职教学质量评价的新视角——学生学习性投入调查研究” (TER2015-013);2015年成都学院校基金项目“高校多媒体教学有效性指标体系研究”(2015XJR21);宜宾职业技术学院课题“高职学生课堂学习投入现状及影响因素调查研究”(ybzysc15-20)
刘晓琴(1982—),女,江苏盐城,硕士,实验师,研究方向为教育与教学管理、编辑理论与实务
代显华(1971—),女,四川名山,硕士,研究员,成都学院期刊中心主任,主编,研究方向为教育与教学管理、期刊建设.
E-mail:595478169@qq.com