运用Delphi法构建形成性考核与总结性考核相结合的流行病学课程考试评价指标体系

吴鑫 戴文杰 刘爱忠

摘要：论文运用Delphi法咨询32名专家的意见，构建了流行病学课程考试评价指标体系，并确定了各指标的权重。研究结果表明：专家们非常重视本项研究，专家意见的可信度高，结果可信。最终有2项一级指标（形成性考核及总结性考核）、8项二级指标（案例分析、研究设计等）、19项三级指标（是否缺课等）纳入了流行病学课程考试评价指标体系。该量化体系可为其他院校流行病学及其他课程考核提供参考。

关键词：Delphi法;形成性考核;总结性考核;流行病学;评价指标体系

中图分类号：G642.0     文献标志码：A     文章编号：1674-9324（2016）42-0060-04

流行病学作为预防医学中一门重要的基础学科及方法学，具有很强的理论性及实践性。然而，近年来各种突发公共卫生事件的发生，充分暴露出我国公共卫生人才现场调查研究和应急反应能力不强等问题[1]。因此，作为教育工作者，有必要进行反思及研究，进行相应的教学改革和考试改革，以培养出适应新形势下疾病预防控制的高素质公共卫生应用型人才。

作为高等教育教学改革的切入点，考试改革对推进高校教学改革，培养高素质应用型人才具有十分重要的导向作用。最新一篇《流行病学》课程考试改革的研究提出采取课堂案例讨论（20%）、流行病学现场调查（30%）结合期末理论考试成绩（50%）综合考试模式评价学生成绩，可全面提高学生的综合能力和整体素质[2]。然而，该考试改革方案缺乏科学的考核量化标准，实际应用可操作性不强[2]。为此，本研究将利用Delphi法构建形成性考核与总结性考核相结合的流行病学课程考试评价指标体系，完善流行病学成绩评定方法，推动流行病学教学改革，为培养高素质应用型的公共卫生人才奠定基础，并为其他医学院校考试改革提供参考。

一、对象与方法

（一）对象

选择在流行病学、卫生统计学等相关领域工作达10年以上的32位专家组成专家咨询组。

（二）方法

1.第1轮专家咨询。在前期研究工作及参考国内外资料[3-6]的基础上，结合我院实际情况，自行设计专家咨询表，形成第1轮专家咨询表。咨询表以电子邮件的形式寄予所咨询的专家，并建议专家以电子邮件形式进行回复。问卷内容主要包括：（1）本次调查的研究背景、研究目的。（2）专家基本信息表。主要包括专家姓名、职称、从事专业和从业年限等。（3）填表说明及要求。（4）考试改革指标评价表。由2个一级指标、8个二级指标及38个三级指标构成。每一个指标评价分为5部分内容，即备选指标、评价内容、重要性程度、熟悉程度和判断依据。并设置修改意见栏，专家可增设指标，亦可对备选指标提出修改意见。

2.第2轮专家咨询。结合专家意见和统计学结果对第1轮问卷进行修改、删减与补充，形成第2轮专家咨询表。问卷内容包括：（1）对第1轮专家意见的反馈。（2）问卷填写说明及要求。（3）考试改革指标评价表。每个条目的重要性评价标准同第1轮，并附上第1轮的统计结果（指标重要性评分的均数和标准差），供各位专家参考并再次作出判断。（4）请各位专家对一级指标及二级指标的权重进行分配。

3.指标赋值方法。参考有关文献[7]对咨询指标的重要性程度、熟悉程度及判断依据进行赋值。

4.指标分析方法。（1）专家积极程度：由专家咨询表的有效回收率来表示。（2）专家权威程度（Cr）：由专家对咨询问卷中各指标重要性程度做出判断的依据（Ca）及专家对各指标的熟悉程度（Cs））2个因素决定，计算公式为Cr=（Ca+Cs）/2。（3）专家意见的集中程度：由各指标的专家意见得分均数和满分比共同反映。（4）专家协调程度：由各指标评价结果的变异系数和专家意见一致性系数表示。一致性系数是指专家组中各专家彼此间对每项指标给出的评价意见是否存在较大分歧，用ω表示。ω值介于0—1之间，ω值愈大，表示一致性愈高[8]。

5.指标删选标准。以重要性赋值均数>3.50，满分比>20%，且变异系数<20%为筛选标准，结合统计结果和专家意见筛选条目[9]。

（三）统计分析

运用Epi Data 3.1录入数据并建立数据库，应用Excel2010和SPSS18.0软件进行分析。用频数、构成比、均数、变异系数等指标描述专家基本情况、专家积极程度、专家意见集中程度、专家协调程度，用卡方检验检验Kendall协调系数（ω）的统计学差异，设检验水准α=0.05。

二、结果

（一）咨询专家基本情况

共有31位专家完成了2轮咨询，分别来自加拿大渥太华大学、华中科技大学、中南大学、第四军医大学、新疆医科大学、西安交通大学、包头医学院、南华大学、广东药学院、湖南师范大学、河北联合大学、沈阳医学院、厦门大学、潍坊医学院。其中男性22人，占71%，女性9人，占29%;平均工作年限为（25.80±6.34）年;教授职称21人，占68%，副教授职称7人，占23%;学科涉及流行病学、卫生统计学、生物化学与分子生物学、临床医学等。

（二）专家积极程度

第1轮专家咨询，发出咨询表32份，回收31份，回收率为97%;第2轮咨询表发放至参加第1轮咨询的31位专家，回收率100%。说明专家们非常重视本项研究。

（三）专家意见的集中程度

第1轮德尔菲咨询法调查，在确定的38项三级指标中，得分均数在3.5分以上的指标有36个，占总调查指标的95%;满分比为20%以上的指标有31个，占总调查指标的82%。根据第1轮专家反馈意见，在第2轮咨询中新增加2项三级指标，在40项备选三级指标中，得分均数在3.5分以上的指标有31项，占总调查指标的78%，满分比为20%以上的指标有21项，占总调查指标的53%。

（四）专家协调程度、权威程度

在第1轮德尔菲法咨询中，变异系数在20%以下的三级指标有13项，占总调查指标的34%;在第二轮德尔菲法咨询中，变异系数在20%以下的三级指标有26个，占总调查指标的65%。第1轮咨询的协调系数ω=0.27，p﹤0.0001;第2轮咨询的协调系数ω=0.74，p﹤0.0001。第2轮咨询的协调高于第1轮。本次咨询中，31位专家的权威程度均值为Cr=0.86。

（五）形成性考核与总结性考核相结合的《流行病学》课程考试评价指标体系的初步建立

咨询专家对2项一级指标及8项二级指标的权重进行了分配，其中2项一级指标的权重和为1，形成性考核下属的6项二级指标的权重和为1，总结性考核下属的2项二级指标的权重和为1。对确定的二级指标依据专家对其的权重分配大小进行归一化权重分配，并对确定的三级指标依据专家对其的重要性评分进行归一化权重分配。根据筛选标准，最终确定了2项一级指标、8项二级指标及19项三级指标（具体见表1）。

三、讨论

Delphi法，即德尔菲法，又称为专家评价法。是通过采取匿名的方式广泛征求专家意见，经过反复多次的信息交流和反馈修正，使专家的意见逐步趋向一致，最后根据专家的综合意见，从而对评价对象做出评价的一种定量与定性相结合的预测、评价方法[10]。本课题咨询专家成员均在其工作岗位工作10年以上，专家的权威程度均值为0.86，说明本次调查的专家具有丰富的理论与实践经验，本研究的咨询结果可信。2轮咨询的一致性系数均有统计学意义，第2次咨询的一致性系数ω=0.74，表明本次研究专家意见协调性好。

自20世纪90年代末我国各大高校开始施行课程考试改革以来，形成性考核已然成为课程考核的一部分，结合总结性考核，共同构成了现行的高校课程考试体系[11]。然而，在多数高校的课程考试中，形成性考核的比重只占综合考核的20%—30%，而总结性考核所占比重为70%—80%。这种在课程考核中过于侧重总结性考核的考核方式，可能会导致学生“高分低能”的现象，促成学生养成不良的学习习惯，如：不注重平时的知识积累，完全依靠在期末考前短期突击、死记硬背书本知识来应付考试等。这将限制人才的发展，使得高校难以培养出适应社会发展的创新性应用型人才。再者，形成性考核形式单一，多数课程考核只包括课堂考勤、平时作业等，难以全面评价及培养学生的综合素质[12]。

在国内，以往绝大部分高校《流行病学》课程考核以期末闭卷考试为主，后来，刘继斌提出在流行病学课程考试中，应充分考虑对学生流行病学综合能力的评价，加大对实践教学各环节考核的力度，适当增加各类实践课考试成绩在总成绩中所占比重。虽然也有某些高校在《流行病学》考核中增加了对实践能力（案例分析和现场流行病学调查）的考核，且在最终的《流行病学》成绩评定中占50%的比重，但因考试改革方案缺乏科学的考核量化标准，可操作性不强，难以有效推行[2]。并且，形成性考核形式单一，难以达到反馈教学、提升学生自主学习的能力。

本研究旨在建立一套科学的流行病学课程考试量化体系，提升学生的综合素质，推动流行病学教学改革。本次考试改革的特色主要体现在以下几点：（1）将Delphi法引入流行病学考试改革，建立科学的考试量化标准。（2）充分体现形成性考核的作用，为教学提供反馈信息，促使教师有针对性地教学;帮助学生调整学习策略，提升学生的综合素质及知识运用能力。（3）引导学生自主学习、深入学习。本研究引入了案例讨论和研究设计的评价指标，促使学生多阅读课外资料（论著或国内外相关文献），培养学生信息获取、分析问题、解决问题等的能力。（4）注重实践操作。加入了案例分析、研究设计、期末实验考核等指标，旨在促使学生养成流行病学及数理统计学的思维模式，培养学生的实践操作能力、语言表达能力及归纳总结能力。

目前，各大高校流行病学课程考核中形成性考核方式在综合考核中所占比重不尽相同。为降低课程综合考核对总结性考核的依赖度[12]，真正体现形成性考核的作用，我们认为本次流行病学课程考试改革将是一次有益尝试，可为其他院校流行病学及其他课程考核提供参考和借鉴。这套考试评价指标体系将在实践中进一步得到检验。

#案例讨论：即将一个班的学生分为几个小组，任课老师为每个小组分配不同的讨论主题，各小组根据讨论主题自选案例，在讨论课上报告，以学生报告的案例为基础，任课老师组织全班学生一起展开讨论。

参考文献：

[1]王重建，向浩，柳东如，等.我国突发公共卫生事件应急体系人才培养的思考[J].中华医学杂志，2007，87（35）：2455-2457.

[2]刘娅，叶运莉，胡晓璞.《流行病学》课程考试改革初探[J].科技资讯，2011，（03）：201.

[3]梁秋实.德尔菲法在高中生写作能力评价中的应用[D].沈阳：沈阳师范大学，2008.

[4]邢禾，何广学，刘剑君.德尔菲法筛选结核病防治知识调查指标的研究与预试验评价[J].中国健康教育，2006，22（02）：91-95.

[5]Al-Kadri，H M，Al-Moamary，M.S.，Roberts，C.，et al.Exploring assessment factors contributing to students' study strategies：literature review[J].Med Teach，2012，34 Suppl 1：S42-S50.

[6]Black P，Wiliam D.Assessment and classroom learning[J].Assess Educ，1998，5（1）：7-14.

[7]熊明洲，韩雪，刘爱忠，等.男同性恋性取向成因影响因素Delphi法分析[J].中国公共卫生，2014，30（11）：1421-1424.

[8]孙振球，徐勇勇.医学统计学[M].第4版.北京：人民卫生出版社，2014.

[9]王军，田岳凤，张俊龙，等.德尔菲法构建中医学专业基础模块课程考核评价指标体系[J].中国中医药现代远程教育，2014，12（20）：146-148.

[10]李惠艳，李秋洁，郑守华，等.应用德尔菲法构建护士长管理能力指标体系的研究[J].护理学杂志，2011，26（01）：7-9.

[11]吴昌提，林菊芳，陈宁红.国内外形成性评价述评——兼评开放教育形成性考核十年[J].现代远距离教育，2009（03）：66-69.

[12]林志强，张旭日.我国高校考试方式与考试制度改革研究[J].河南社会科学，2011，19（06）：136-138.

Application of Delphi Method to Establish Evaluation System of Epidemiology by Combining Formative Assessment with Summative Assessment

WU Xin，DAI Wen-jie，LIU Ai-zhong

（Department of Epidemiology and Health Statistics，School of Public Health，Central South University，Changsha，Hunan 410078，China）

Abstract：Two rounds of Delphi survey were adopted and thirty-two experts were invited to do the consultation. Then the evaluation system was established according to the selective standard and the suggestions of experts. According to the results of the consultation，two primary indexes，eight secondary indexes and nineteen indexes were included in the evaluation system. Experts attached great importance to this study and the results of the research were credible. The established evaluation system of epidemiology based on the Delphi method can provide reference for other medical school in evaluating students grades of epidemiology or other curriculums.

Key words：Delphi method;formative assessment;summative assessment;epidemiology;evaluation system