基于层次分析法的《实验针灸学》教材评价指标体系构建

赵雪,刘阳阳,王秀云,郭义

(天津中医药大学,天津 300193)

·针灸教学·

基于层次分析法的《实验针灸学》教材评价指标体系构建

赵雪,刘阳阳,王秀云,郭义

(天津中医药大学,天津 300193)

教材评价在教学研究和教学活动中具有重要价值。该文以《实验针灸学》教材评价指标体系的构建为例,探讨了层次分析法用于教材评价的过程和方法,确立了《实验针灸学》教材适用性评价的3个层次、4个维度和20个评价指标,并对指标层的各子项目进行了权重赋值,以此为基础研制了评价量表并开展了初步评价,以期为中医类教材评价工作提供参考。

教材评价;层次分析法;评价指标;实验针灸学;教育,针灸

教材是教学活动的基本要素之一。评价教材在教学过程中是否适用,对于甄别教材水平、总结经验与不足、推动教材改革、指导后续教材编写等都具有重要价值[1]。中医类教材在使用过程中,同样需要开展常设性的教材适用性评价工作,其实质是价值判断,即通过对中医类教材的科学性、有效性、使用效果等进行综合分析,形成对教材总体价值的认知。这种认知在以往多依靠教师经验、教材比对、学生反馈等途径形成一定的感性认识,尚没有相对稳定、客观、规范的定量评价工具。笔者以2012年出版的全国中医药行业高等教育“十二五”规划教材《实验针灸学》(第9版)为例,探索了构建这一评价工具的一些思路和方法。

1 评价指标体系的构建思路

评价指标体系的构建是开展评价的基础。因此在制定教材适用性评价工具时,应首先构建相应的评价指标体系。

一般来说,评价指标体系应包含评价指标、指标权重和评价标准三个系统。由于教材评价是要获得对教材的价值判断,而教材的价值体现在其能否实现教育目标及实现的程度上,因此,教材的评价指标体系应与相应课程的教育目标相契合。不同课程由于其教育目标不尽相同,教材的评价指标体系也会存在差异,这种差异可能体现在具体评价条目的不同,也可能体现在指标权重的变化,而评价标准应是一个相对稳定的系统。

国内外已有一些教材评价工具,如针对基础教育阶段的教材,美国科学促进协会“2061计划”采用等级量表从内容和教学分析两个方面分别设置了评价标准[2];英国苏克萨斯方案使用了“引言、描述性分析、教材使用、评估、具体情境提示”5个评估维度;比利时的教材评价体系包含了“外观、内容、结构、可读性、插图、学业评价、教材使用”[3];国内有学者认为教材评价指标应至少包含“知识、思想、学习主动性、编写水平、与教师和学生水平匹配程度以及教材特色”6个维度[4]。20世纪90年代起,教育部组织国内著名高校的专家学者策划及编写了各专业的高等教育系列教材,为了不断提高教材编写质量,也曾组织专家设计了一个包含内容质量、编校质量和印刷质量的3级22项教材评价指标体系[5]。随着高等教育教学理念的发展,“以学生为中心”“以能力为中心”“以活动为中心”也成为了教材评价的新方向[6-8]。

上述评价工具在一定范围内具有科学性、实用性和可操作性,但对于具体学科教材、具体评价使用者及评价目的,由于评价时的侧重点不同,评价指标也应有所区分。《实验针灸学》教材评价指标体系的构建,是在遵循现有评价工具的基本要素上,结合其自身学科特点和学生学习目标而综合确立的。

2 评价指标体系的构建方法

笔者在既往开展的复杂系统评价方法研究中,应用层次分析法(Analytic Hierarchy Process,AHP)开展了一些探索性工作,如对国家标准《针灸技术操作规范》临床适用性的评价、国医堂运行情况的评价等[9-10]。AHP是对定性问题进行定量分析的一种决策方法[11-13],20世纪70年代由美国匹兹堡大学T.L.Saaty教授提出。其基本步骤是①依据评价目的,将目标进行层次性分解;②对同层指标的重要性进行定性描述,建立两两比较判断矩阵;③计算各元素的权重,由此建立出评价模型[14-16]。

与一般的定性分析方法相比,AHP的优势在于,它将研究对象作为一个系统,通过分解、比较、综合的思维方式进行决策,将多目标、难以全部量化的决策问题转化为单目标问题,通过两两比较确立各层次中每个因素对结果的影响程度,因此尤其适用于对多层次、多要素的复杂问题进行分析。在《实验针灸学》教材适用性评价指标体系的构建中,笔者同样应用了这一方法。

2.1 评价指标的确立

《实验针灸学》课程的教育目标,是培养学生对针灸作用理论、作用原理和作用规律的现代科学内涵的认识,将其内化为学生的针灸科研素养,激发学生持续学习终身学习的动力,这三方面是知识→思维→态度层级递进的关系。围绕这一教育目标,笔者在教材评价指标中设置了如下4个维度,①知识维度,主要是从教材内容的选择编排上,考察其能否体现针灸现代研究取得的重要成果和学科发展前沿,与学生先验知识和认知规律是否相匹配,与相关学科能否有效衔接等层面的问题;②思想维度,主要从教材的思想内涵上,考察其思想性、人文性、文化性是否有助于学生建构科研思维模式,形成基本的科研素养,包括实事求是的态度、批判性思维、沟通能力、协作能力等;③动力维度,主要从情感态度上,考察教材是否有助于激励学习,如激发兴趣、有助自学、启迪思维等;④编排维度,主要从教材的编制水平上,考察教材编写质量,如排版形式、图表呈现、装帧印刷等。

据此笔者建立了《实验针灸学》教材评价指标池,上述4个维度作为一级指标,即准则层指标;各维度中细化的评价内容作为二级指标,即具体的指标层条目,结合专家咨询、研讨等方法,确立了《实验针灸学》教材适用性评价的3个层次、4个维度和20个评价指标(如图1所示)。

图1 《实验针灸学》教材适用性评价指标池

2.2 指标权重的计算

2.2.1 建立两两比较矩阵

采用1～9标度打分法,对评价指标各层次中的元素进行两两比较,建立成对比较判断优选矩阵。详见表1。

表1 各层次评分标准

例如,在教材评价指标体系中,准则层由内容安排(B1)、思想内涵(B2)、激励学习(B3)和编制水平(B4)构成。如认为内容安排(B1)比编制水平(B4)稍重要,则其比例标度为 3,由此得到准则层子目标成对比较判断优选矩阵,详见表 2。同理,可得到指标层子目标成对比较判断优选矩阵,详见表3～表6。

表2 准则层子目标成对比较判断优选矩阵

表3 B1指标层子目标成对比较判断优选矩阵

表4 B2指标层子目标成对比较判断优选矩阵

表5 B3指标层子目标成对比较判断优选矩阵

表6 B4指标层子目标成对比较判断优选矩阵

2.2.2 计算权重系数

参照“用电子表格(Excel)实现层次分析法(AHP)的简捷计算”[17]一文中的方法,将上述矩阵输入Excel,计算出各层次指标的权重系数,详见图2。

具体实现方法以H3单元格为例。

①F3中输入公式“=B1*B2*B3*B4”,下拉公式,得到“F4:F6”区域数值;

②G3中输入公式“=F3^(1/m)”,此处m=4,下拉公式得到“G4:G6”区域数值;

③G7中输入公式“=SUM(G3:G6)”;

④H3中输入公式“=G3/$G$7”即可。

同理得到指标层各子目标的权重系数,将其进行归一化处理后,得到各指标权重系数,详见图3。

从计算出的权重系数可以看出,评价的 4个维度权重之比大约为 4:1:3:2,即内容安排对于评价教材价值的贡献度最大。

图2 权重系数

图3 各层次指标的归一化权重系数

2.2.3 一致性检验

在计算归一化权重系数后,应检验所计算的权重系数是否符合逻辑,通常使用一致性指数 CI。一般认为,当CI＜0.10时,可能无逻辑混乱,即计算所得的各项权重可以接受。一致性指数的计算公式为:,其中,

具体实现方法如下。

①在I3中输入公式“=B3*H$3＋C3*H$4＋D3* H$5＋E3*H$6”,下拉公式即得到“I4:I6”区域数值;

②在J3中输入公式“=I3/H3”,下拉公式至J6;

③在J7中输入公式“=AVERAGE(J3:J6)”得到最大特征根λmax;

④CI值处输入公式“=(J7－m)/(m－1)”,此例m=4,即得到CI=0.0622。

由于CI＜0.10,可以认为,前面3中所赋予的权重系数是可接受的。

同理得到B1～B4指标层的CI分别为0.0034、0、0和0.0316,均小于0.10,即上述计算的各项权重均符合逻辑,可以接受。详见图4。

2.2.4 计算组合权重系数

将指标层和其所属准则层的归一化系数相乘,即得出各个评价指标的组合权重系数,将其由高到低排列,详见图5。

图4 一致性检验

图5 指标层各子项目的组合权重系数

2.3 评价标准及试评结果

表7 各项指标调研得分

基于上述评价指标体系,笔者设计了《实验针灸学》教材适用性评价量表,对二级指标进行了具体描述,设置了5级评价标准(见附表)。借“十三五”规划教材编写会之机,在全国开设《实验针灸学》课程的院校进行了初步调研,以天津中医药大学调研结果为例，根据每项指标好评率计算出综合评分指数 GI,其计算公式为(其中 Pi为第 i个评价指标测量值,m为评价指标的个数),各项指标得分详见表7。

将各项指标得分相加得到《实验针灸学》教材适用性综合评分指数为 89,说明该教材适用性良好,基本得到了各院校的肯定。

3 讨论

指标组合权重排序结果表明,对于《实验针灸学》教材而言,最为重要的维度是内容安排方面,其次是激励学习方面。其中认知规律性、教学适应性和理论科学性是保证教材适用于教学的重要前提,也是匹配课程教学要求、实现专业培养目标的基础保障,故在所有指标中所占权重最高,这也是符合预期的。其次在于启迪学生思维、强化知识运用和提升学生能力方面,这与本学科的特点和课程主要任务密切相关。由于本课程是传统针灸学与现代科学相结合的学科,培养现代化针灸人才是其重要任务之一,这就要求通过课程的学习,使学生具备针灸科研基本素养,具备发现问题、分析问题和解决问题的能力,提高创新实践能力,这是衡量教材适用性的重要方面。教材结构、学术先进性、与相关学科的衔接和教材思想内涵等也是评价教材时应重点考量的问题。而在提升学生兴趣、有助学生自学等方面,单一纸质化教材可能有其局限性,基于网络平台的各类数字化教学资源将有助于在这方面予以拓展。

本次研究表明,运用层次分析法构建《实验针灸学》教材适用性评价指标体系是可行的,能够为中医类其他教材的评价工作提供一定方法学参考。但针对不同课程,应根据课程教育目标,具体问题具体分析。如基础类教材,像《中医基础理论》《经络腧穴学》等,其知识维度的评价指标权重可能要有所增加,对概念性知识、陈述性知识等也可有针对性地进一步增设二级指标;而对于偏重临床的学科,如《中医内科学》《针灸治疗学》等,在原理、认知策略等方面的学习目标会有所加大,另外也会涉及到医患沟通、人文关怀等情感态度方面的问题,在教材的评价中也应有所考虑。

[1]邝丽湛.教材评价的本质及其价值分析[J].教育研究,2002,(7):33-36.

[2]张颖.美国“2061计划”教材评价工具简介[J].课程教材教法,2009,29(3):82-85.

[3]王晓丽.国外教材评价:基本特征、发展趋势及启示[J].课程教材教法,2016,36(9):107-113.

[4]高凌飚.基础教育教材评价体系的构建问题[J].科学大众,2007,(5):12-15.

[5]周义军.关于建立高校教材评价体系的思考[J].现代出版,2011,(3):24-26.

[6]刘景超.高校创新教育教材评价体系的构建研究[J].当代教育论坛,2012,(5):34-37.

[7]王敏,刘俊.基于 B/S架构的高校教材测评系统实现[J].科教文汇(上旬刊),2015,(10):128-130.

[8]袁峰,赵立民.高校教材网络化管理的创新与实践[J].中国管理信息化,2010,13(1):67-70.

[9]齐蕊,王娜娜,李桂兰,等.运用层次分析法评价针灸技术操作规范标准的临床适用性[J].标准科学,2013,(3):59-63.

[10]刘佳佳,李桂兰,郭义.浅析构建国医堂运行评价指标体系的必要性[J].标准科学,2014,(2):33-35.

[11]董君.层次分析法权重计算方法分析及其应用研究[J].科技资讯,2015,13(29):218,220.

[12]刘莹昕,刘飒,王威尧.层次分析法的权重计算及其应用[J].沈阳大学学报(自然科学版),2014,26(5):372-375.

[13]霍海峰,温鲜.层次分析法在教学评价中的应用[J].科技视界,2012,(28):48-49.

[14]邓雪,李家铭,曾浩健,等.层次分析法权重计算方法分析及其应用研究[J].数学的实践与认识,2012,42(7):93-100.

[15]Li AT, Lin JW. Constructing core competency indicators for clinical teachers in Taiwan: a qualitative analysis and an analytic hierarchy process[J].BMC Med Educ,2014,14:75.

[16]徐晓敏.层次分析法的运用[J].统计与决策,2008,(1):156-158.

[17]先锋.用电子表格(Excel)实现层次分析法(AHP)的简捷计算[EB/OL].中国科技论文在线 www.paper.edu.cn/2013-3-7.

Construction of Evaluation Index System for the Textbook ofExperimental Acupuncture-moxibustion ScienceBased on the Analytic Hierarchy Process

ZHAO Xue,LIU Yang-yang,WANG Xiu-yun,GUO Yi.Tianjin Universityof Traditional Chinese Medicine,Tianjin300193,China

Textbook evaluation is of great significance in teaching studies and activities. By taking the establishment of evaluation index system forExperimental Acupuncture-moxibustion Scienceas an example, this article discussed the process and method of adopting the analytic hierarchy process for textbook evaluation: 3 levels, 4 dimensions, and 20 evaluation indexes were developed for the evaluation ofExperimental Acupuncture-moxibustion Sciencetextbook, and each component of the indexes was assigned weight, based on which, a scale was established and preliminarily evaluated, in order to provide reference for the evaluation of the textbooks of traditional Chinese medicine.

Textbook Evaluation; Analytic hierarchy process; Evaluation index;Experimental Acupuncturemoxibustion Science; Teaching, Acupuncture-moxibustion

R245

A

2017-01-18

附:《实验针灸学》教材适用性评价量表

一级指标 二级指标 描述 好 较好 一般 较差 差1.认识规律性 符合认知规律,取材恰当,深度适宜2.教学适应性 与专业培养目标和课程教学要求相匹配内容安排3.理论科学性 正确阐述本学科的科学理论和概念4.结构系统性 结构严谨,完整体现学科体系5.学术先进性 反映本学科最新的研究成果和学术发展动态6.内部协调性 章节层次清晰,内容编排合理,彼此协调7.外部协调性 与其他相关学科配合协调思想内涵8.思想性 符合辩证唯物主义和历史唯物主义思想9.人文性 体现对人文精神、科学精神和科学态度的倡导10.文化性 弘扬优秀文化11.激发兴趣 能够调动学习兴趣,激发求知欲激励学习12.有助自学 内容便于自学,有助引导新知识的构建13.启迪思维 能够启发思维,引导主动思考和积极探索14.强化运用 以问题解决、推理和应用等形式强化知识运用15.提升能力 能够促进创新能力和实践能力的提升16.文字编写 用词准确,语言流畅,叙述生动,易读易懂编制水平17.图表绘制 图表清晰、准确、美观18.图文搭配 图文搭配合理,图表有助于解释文字、加深理解19.版式设计 版式规范统一,层次分明,色彩和谐,可读性高20.装帧印制 装订牢固,纸张质量好,印刷清晰

10.13460/j.issn.1005-0957.2017.09.1152

1005-0957(2017)09-1152-07

天津中医药大学本科课程建设项目(2017KC-A10)

赵雪(1983—),女,讲师,博士,Email:zhaoxue0216@126.com

郭义(1965—),男,教授,Email:guoyi_168@163.com