高媛 陆奥帆 魏雪峰 刘德建 黄荣怀
【摘 要】德尔菲法是一种定性与定量相结合的研究方法,采用匿名方式来征询专家意见,通过反复征询、归纳、修改,最后使专家成员组的意见趋于一致。文章阐述了德尔菲法的发展历史、关键特征、实施步骤和应用领域,通过分析其在中国地平线项目中的应用范例,提出了德尔菲法在今后教育学领域中应用改良的方法和建议。具体地说,德尔菲法可以通过多种方式进行改良:增加桌面研究环节能够补齐专家组的背景知识;通过在线投票的方式收集专家的反馈意见能够加速意见一致性的进程;增加案例征集环节能够深化研究结果,将研究和应用更紧密地结合起来。改良后的德尔菲法可应用于教育长期发展趋势预测、教育政策和规划制定以及教育各项指标体系确立等诸方面的研究。
【关键词】 德尔菲法;地平线报告;高等教育;预测;评价
【中图分类号】 G420 【文献标识码】 A 【文章编号】 1009-458x(2018)5-0009-6
引言
德尔菲法是一种结构化的沟通技术或沟通方法,适用于没有精确研究资料的问题研究(Dalkey N & Helmer O, 1963),有利于实现决策的科学化和民主化,常被应用在预测和评价研究领域。20世纪50年代至90年代,这一方法曾一度盛行于西方公共政策等领域,后来又扩展到其他研究领域。国内对德尔菲法的研究起步较晚,在20世纪70年代才引进和应用,且较少应用于教育研究中。
国内对德尔菲法的研究主要集中在德尔菲法本身,对德尔菲法的具体应用及成效涉及较少。本文在介绍德尔菲法的关键特征和应用领域的基础上,提出了改良的德尔菲法,并以其在中国地平线项目①中的应用为例,详述了德尔菲法在教育中的应用。改良和创新后的德尔菲法更易掌握,尤其是与互联网结合使用,将有利于其更为有效地应用于实际调研中,提升教育研究的科学性。
一、德尔菲法概述
(一)德尔菲法介绍
德尔菲法开始于冷战初期,用于预测技术对战争的影响(Custer R L, Scarcella J A, & Stewart B R, 1999)。20世纪50年代,兰德公司在实施德尔菲项目②的过程中,奥拉夫·赫尔默等人创建了德尔菲法(Rescher N, 1998)。德尔菲法着重于通过非面对面的互动来整合各方面专家的意见,避免团体参与可能带来的负面影响,为科学决策提供参考。Linstone与Turoff(1979)将德尔菲法定义为在团体构建沟通交流的方法,在整个沟通过程中将参与者对议题的讨论限制在一定范围内,让成员针对一项复杂的议题进行充分、有效的讨论。德尔菲法本质上是采用背对背的通信方式来征询专家组成员的意见,经过反复征询、归纳、修改,最后使专家组成员的意见趋于一致。
(二)德尔菲法的关键特征
德尔菲法的基本特征有四点:① 匿名性,整个研究过程的专家完全是在匿名或背对背的情况下交流思想和信息的,匿名是德尔菲法最重要的特点;②一致性,德尔菲法的主要目的就是通过一系列的互动交流来获得规模较大的专家团队的意见;③反馈性,专家组成员们的交流是通过回答组织者的问题来实现的,可以在任何时候修改自己前期的意见;④统计性,德尔菲法的每一轮预测反馈都采用统计方法对专家们的预测和判断意见进行科学的综合,并以定量指标来预测结果。
(三)德尔菲法的实施步骤
林振春(1992)将德尔菲技术的实施过程划分为十一个分步骤,我们将其简化为六个步骤。
步骤一:确定研究主题。研究者需要确定研究主题、研究方法等,明确为什么要在该项研究中使用德尔菲法,明确研究目的,以及确定如何运用德尔菲法获得研究结论。
步骤二:选择回答问卷的专家组成员。在德尔菲法中,专家扮演着十分重要的角色,因而挑选的专家应有一定的代表性、权威性,通常选取15-30人。
步骤三:编制问卷并发放问卷。首份问卷要包括作答说明、受访者基本资料、问题陈述三个部分的内容。由于问卷大都是开放性问题,因而可以通过举例的方式来给专家解释如何作答。
步骤四:回收问卷与分析。在寄送问卷10-15天之后,可以清点回收到的问卷。再对回收到的问卷进行分析和整理,剔除不需要的题目,保留有价值的题目,作为下一轮问卷设计的基础。整理专家们有异议的题目等,后续反馈给专家。
步骤五:编制下一轮问卷与发放。此轮问卷包括三个部分:①上一轮问卷的分析结果;②专家对结果提出意见;③专家可对结果进行优先排序的标号。需要注意的是,通常德尔菲法可进行多次的问卷调查,直到专家们对所有的议题都达成共识并不再提出新的异议之时,就可进入最后一轮问卷调查。
步骤六:分析问卷及撰写结果报告。整理专家反馈的最终结果,将其作为撰写研究报告的资料。
(四)德尔菲法的应用领域
德尔菲法目前主要应用于以下四个领域:①预测领域。Gordon和Helmer(1964)编写《长期预测研究报告》,采用了德尔菲法来评估未来一段时间科学技术发展的趋势。同时,它也成功应用于高精度的业务预测(Basu S & Schroeder R G, 1977)。②政策制定領域。从20世纪70年代开始,德尔菲法应用于公共政策制定领域。如今各国政府已广泛认同德尔菲法在社会、学术界中的价值,特别是在诸如技术政策等快速变革的领域(Hilbert M, Miles I, & Othmer J, 2009; 张黎辉, 等, 2016)。③医学领域。德尔菲法在医学中的应用最早开始于护理工作方面的应用。例如,Mitten-Lewis(2000)对于澳大利亚的护士面临的技术和能力问题的研究以及中国协和医科大学护理学院对护理专业岗位任务分析和护理专业人才培养标准及规格的研究(李俊漪, 等, 2004)。在中医领域方面,德尔菲法的应用主要涉及中医病因病机、症候分布特征、病症诊断标准以及临床病症诊治等方面(郭倩倩, 2013; 王至婉, 等, 2011)。④教育领域。德尔菲法在教育中应用的领域主要包括学生的创新实践平台建设质量、就业竞争力等有关平台质量建设的评价和学校竞争力评价等指标体系的构建(袁勤俭, 等, 2011; 孙红莉, 等, 2015; 朱淼, 2016; 王升, 2011)。
二、德尔菲法在中国地平线项目中的应用
(一)德尔菲法的改良
对于德尔菲法的创新与改良主要体现在两个方面。一方面,经典的德尔菲法一般分四轮进行,而改进的德尔菲法不必拘泥于咨询的次数,只要专家意见达成一致,即可终止专家咨询,使调研流程更为灵活,也节省了传统德尔菲法邮寄问卷所耗费的时间。另一方面,目前互联网飞速发展,在线德尔菲系统也乘势而出。在线德尔菲系统是指基于计算机网络在线进行德尔菲预测的新的德尔菲法。在拉丁美洲创建eLAC行动计划而开展的五轮德尔菲法就是基于网络的德尔菲法,它被认为是目前在发展中国家开展的史上最广泛的在线参与政策制定的案例(Hilbert M, Miles I, & Othmer J, 2009)。在整个研究过程中,与传统德尔菲法一样,改良的德尔菲法也保持了匿名性特征,专家以匿名方式登录在线平台进行发言。改良后的德尔菲法应用的典型案例是地平线项目,下面将以中国地平线项目为例介绍改进的德尔菲法的应用。
(二)改良的德尔菲法在中国地平线项目中的应用
美国新媒体联盟关注国际范围内新兴技术在教育教学中的应用及发展趋势。自2004年起,新媒体联盟每年发布《地平线报告》,阐述未来五年内可能会对教学、学习产生重大影响的新兴技术、重要挑战和关键趋势(张屹, 等, 2012)。新媒体联盟发布的《地平线报告》主要面向全球教育领域的一线教师和专家学者,但还不能完全清晰地反映新兴技术在中国教育中的应用情况。因而,为了更好地预测新兴技术在中国教育实践中的重要进展和应用趋势,北京师范大学智慧学习研究院与美国新媒体联盟合作,开展了中国地平线项目的研究(包括2016年的基础教育地平线项目和2017年的高等教育地平线项目)。
在中国地平线项目实施过程中,采用了改良的德尔菲法(见图1)。具体来说,专家使用了基于计算机的(或基于网络的)德尔菲法,在维基平台(china.nmc.org)上展开在线协作讨论,通过多轮讨论和投票提出未来五年教育技术的应用态势。下面将详述德尔菲法在中国地平线项目的每个阶段中的具体应用。
1. 专家遴选
在德尔菲法应用的过程中,专家组的建立是一项核心任务。若专家组中的成员人数过少,则会限制专家的学科领域的代表性;若专家数过多,会加大调查工作、数据收集、数据处理、数据分析的难度。中国地平线项目遵循公平、公开、公正、科学、规范的原则,从地域分布、来源类别、职位层级和学校级别四个维度进行遴选,充分考虑专家的职业操守、学术造诣、行业影响及其承担工作的能力,最终选取了多位(基础教育地平线项目65位,高等教育地平线项目85位)专家,涵盖了教育管理部门、高等院校领导、高校装备实验系统、教育技术学科、教育信息化行业企业、教育信息化工作机构、电教馆等不同层级的专家学者,他们均在各自领域研究数年,具有丰富的理论知识和实践经验,也都具有一定的领域代表性和权威性,能够最广泛地代表全国基础教育或者高等教育相关机构及从业人员的意见。
2. 桌面研究
桌面研究阶段是指专家组成员在维基网站(china.nmc.org)上围绕拟定问题而展开系统的文献回顾,进行先前知识的储备。在中国地平线项目中,专家组成员在维基网站平台上对研究者提供的内容进行系统的文献回顾,所涉及的内容包括与中国基础教育和高等教育新兴技术应用相关的文献、新闻报道、博客、研究课题及其他相关材料,并非一些引导性的言论和意见。尽管我们选取的项目专家均是所在领域的权威,但他们却来自基础教育或高等教育不同的机构,例如装备实验系统、教育信息化行业企业、全国不同学科的不同院(学)校等,所在领域的专长侧重点不尽相同。通过文献回顾,专家的背景知识和对于最新信息的了解会更加广泛、全面、平均。专家组成员需要对已经应用的新兴技术进行探讨,同时也要对尚未得到应用的技术进行“头脑风暴”。通过阅读大量与拟定问题相关的文献资料,专家组成员可以更好地把握研究的主题,补充与研究主题相关的背景知识,在后续的讨论中可以给出更为专业的观点与建议。
桌面研究阶段是中国地平线项目应用德尔菲法的创新之处,传统的德尔菲法并不会针对研究问题给所有的专家提供相应的文献,以此来补齐他们的背景知识水平。在这个阶段里,專家会在wiki上签名,可以对背景材料进行补充,分享自己阅读过的其他文献材料等。
3. 回答研究问题
回答研究问题是指专家组成员在文献回顾的基础上,在维基网站上针对地平线项目的主要研究问题进行讨论,发表自己的意见与见解,最终协商出的结果将应用于下一阶段的投票。本次项目组共列出了四项研究问题:其一是探讨未来五年内中国基础教育(2016年地平线项目)或高等教育(2017年地平线项目)教育技术的重要发展。地平线项目的维基网站列出了包括消费者技术、数字化策略、学习技术、互联网技术、社交媒体技术、可视化技术、使能技术等七大类几十种具有潜在教育应用价值的新兴技术,并提供每一项技术对应的词条简介,列出几个提示性问题激发专家委员会的“头脑风暴”,以此加深专家们对每项技术的了解。其二是引导专家组成员对技术清单中漏掉的新兴技术进行相应的补充。其三是专家组成员需要判断未来五年内中国基础教育/高等教育新兴技术应用趋势。其四是专家组成员需要判断中国基础教育/高等教育未来五年内在新兴技术应用中面临的主要挑战。
在这个环节中,需要专家组成员对这四项研究问题做出全面、系统的回答,发表自己的看法,专家组成员可以加入佐证自己观点的与所预测趋势相关的文献资料及网页链接地址,以供其他专家阅读参考。传统德尔菲法的协作讨论是借助研究者作为中间媒介来实现的,研究者对之前收取的问卷进行阅读、分析、汇总,再给予专家反馈,专家则可以继续对反馈来的意见进行相应的评述,直至意见趋于一致。相比之下,在线德尔菲系统的互动性更强,专家组成员针对具体研究问题在线发表不同的见解和经验,并可以针对他人的评论再给予反馈意见。改良的德尔菲法减少了研究人员的媒介作用,允许专家组成员之间更为直接的交互,并将所有反馈意见与交互过程完整地记录于在线平台之上,一方面有利于专家组成员在彼此交互的过程中扩展自己的思路,另一方面减少了研究人员在研究过程中对于反馈意见的主观归纳和筛选,一定程度上保证了原数据的真实性和客观性。专家们可在规定时间内随时登录账户修改自己的意见,确保其对于研究问题本身以及其他专家意见的深入思考。在中国基础教育和高等教育地平线项目中,此过程持续25天的时间,之后将关闭更改系统,保存所有在线工作数据。
最终,项目组将专家讨论的内容,按照技术进展、应用挑战和重要趋势汇总整理,确保涵盖专家的集体智慧,专家提到的建议都包含在清单中且不重复。在中国地平线项目中,改良后的德尔菲法不拘泥于意见反馈的次数,而是在一定时间段内鼓励专家尽可能多地讨论并发表意见,直至最终达成一致意见。
4. 在线投票
在线投票是指专家使用在线投票的方式将在线讨论阶段的结果中的问题进行优先级的排序以及维度的划分(时间维度或难度维度),投票采用在线方式开展,嵌入到维基网站上。专家组成员可通过多轮投票方式对中国基础教育/高等教育技术重要进展、加速中国基础教育/高等教育技术应用进程的关键趋势和阻碍中国基础教育/高等教育中技术应用的重大挑战三个问题进行排序,并按照时间维度归入不同类别。针对每个问题,根据得票数确定入选地平线报告的主题。在线投票这个环节在整个德尔菲法中占有重要的地位,依据多位专家投票的结果从而确定了未来研究发展的方向和趋势。传统的德尔菲法是专家组成员经过多轮讨论得出最终的结果,多为质性数据;采用在线投票的方式将质性数据体现出来的核心观点用投票的方式再次进行量化的验证,使得结论更加准确。这个方法适用于覆盖范围广、地域比较辽阔、涉及专家层级多的大规模调查。
5. 案例收集
案例收集是在应用德尔菲法收集和分析数据的基础上新增加的一个环节,是对德尔菲法的创新。案例收集是在尚未公布专家投票结果的前提下,面向基础教育/高等教育相关机构征集新兴技术应用典型案例,并将案例按照不同主题进行分类。案例评审委员会建立科学合理的评审标准,负责案例评审工作。本次中国地平线项目我们收集了47份案例,经过初审、复审等程序后最终确定了21份案例,案例涉及拟解决的教育教学问题、新兴技术介绍、新兴技术与教学的融合方式等几个主题。此次收集到的案例50%是集中在中国高等教育技术的1-2年的短期趋势中, 41%是集中在2-3年的中期趋势上,在3-5年未来长期的趋势上那些技术的应用还比较少,只占到9%,说明此时该项技术并没有得到普及,这与我们的投票结果是一致的。
案例收集一方面可以用来验证投票结果,在未公布投票结果之前收集到的案例可以凭借其主体的重要性与投票得出的最终结果做对比印证,理论与实践得以统一;另一方面对在线投票阶段选出的项目进行具体的深入的剖析,对前阶段排序产生的中国基础教育/高等教育技术重要进展领域中的各个项目起到支持补充的作用,更加具体和详实地向读者展现技术在教学和学习中的具体应用方式、应用效果及创新性。通过这个环节,德尔菲法收集到的最终一致的专家意见得到深入和具体的阐述和演绎。
总体来说,德尔菲法在中国地平线项目中的应用,是该方法借助互联网技术的一次重要改良与创新,为教育领域大规模、大范围的预测研究提供了良好的范例。除了秉持德尔菲法严格的专家遴选和多轮专家背对背讨论之外,其主要的创新点在于:第一,全程基于维基平台展开在线协作讨论,解决了传统德尔菲法需要邮寄问卷等流程复杂的问题,摒弃了传统的四轮反馈机制,提升了时效性,同时也使数据更加透明、公开;第二,中国地平线项目增加了桌面研究和在线投票两个阶段,通过桌面研究阶段补充和加深专家组关于主要研究议题的背景知识,使专家意见更为专业和准确;采用多轮投票收集更为准确、一致的专家意见,加速了一致性的进程,使德尔菲法兼具定量和定性的双重内涵;第三,在征集专家组的一致意见时,还采用案例征集,以此验证并深化研究结果,将研究和应用更紧密地结合起来。
三、反思与建议
改良后的德尔菲法是实施较大规模教育研究的一个创新性举措,但也存在一些不足,我们对此进行了反思并给予了相应的建议:
其一,改良后的德尔菲法立足于开放的在线交互平台,专家可以自由地登录平台来回答问题、讨论交流。这种完全开放的形式比起传统德尔菲法中由研究员主导的四轮意见征集来说缺少了统一的节奏。由于没有统一的要求,可能导致专家登录系统的时间、次数、付出的劳动和精力不太平均。在今后的研究中,建议進一步完善专家激励和管理机制,以确保较为一致的参与度。例如,可以在平台后端设置每一步骤的起止时间,以此达到统一轮次的效果;可以通过研究员的媒介作用,通过邮件群组等方式来建议每位专家登录平台的时间和次数。
其二,尽管桌面研究阶段的文献材料选自时下最新的文献、简报、热点新闻等,尽可能地做到公正客观,但难免在材料的选取过程中可能会有一些倾向性的引导。在今后的研究中,桌面研究材料的挑选应该基于更加规范性的搜索模式,如在确定年代范围、关键字、主题后,在受众最大的数据库中进行检索,以此保证材料的客观性、平等性。
其三,尽管在线德尔菲法在技术上秉持匿名性,将专家登录方式设置为匿名,使其在无法获知彼此的真实身份的情况下在线交流, 然而,任何直接在线交流方式都可能因为讨论的内容而泄露其身份。建议未来的研究者能够设置更多的在线交流规范、分析交互过程(魏雪峰, 2017),确保改良的德尔菲的匿名性。同时,研究人员也要对发言内容进行有效监测,及时对包含个人信息的发言进行删减。
近年来德尔菲法主要应用于直观预测领域,评估一段时期内科学技术发展的趋势,进入制定公共政策的相关领域,把风险分析直接结合到社会所面临的复杂问题(如环境、保健、运输等)的处理模式的管理科学领域等,其在教育研究中的应用还非常有限。本文对于该方法在教育领域中的应用提出如下建议:
其一,在研究类别上,德尔菲法可以应用于教育发展领域的长期趋势预测、教育政策的制定和规划、各种评价指标体系的建立等。在进行一些科学发展的研究中,需要对未来一段时间后的科技发展或者是教育发展的前景进行相关的预测。在制定科技长期发展规划、国家教育政策法规时,需要汲取和吸纳领域内不同专家的意见和观点,或在研究中需要对评价指标进行确定和维度划分。这些常用的定性、定量的方法不足以解决问题,需要聚集来自不同专业领域的有权威影响的专家,通过集体的研究经验和文献知识积累,以背对背的方式进行讨论,提供他们自己的观点和建议,能够对相关问题提出相应的理论依据和价值判断,从而可以提升整体规划的应用价值,得出更具有科学性、客观性的结论。
其二,在具体应用上,要根据教育研究内容的实际情况对德尔菲法进行创新。可以借助互联网采用在线德尔菲系统征询专家组意见;可以增加文献回顾部分,以此来补充专家团队的背景知识;可以在德尔菲法应用中加入其他方法(如投票、案例分析等)对最终讨论的结果进行印证。
德尔菲法是一种有效的综合评价技术,在广泛征询专家意见的基础上,经过多轮的信息反馈与交流,使意见逐步趋于一致,得到一个比较一致且可靠性较高的结论,研究过程得到了充分的讨论,更具有科学性。目前来看,德尔菲法应用前景十分广泛,广泛应用于市场预测、技术预测、方案比选、社会评价等众多领域,也已取得成效。对于解决教育研究中的复杂问题,如教育政策影响、技术在教育中的应用趋势等(魏雪峰, 2017),具有重要借鉴意义。本文以中国地平线项目的德尔菲法应用为例,阐述了德尔菲法在教育研究中应用的范围以及方法。通过对中国地平线项目中德尔菲法的应用范例进行分析,进而提出了今后德尔菲法在教育研究中对应用的改良意见。
[参考文献]
郭倩倩. 2013. 运用改良德尔菲法对可手术乳腺癌分期辩证规范化的研究[D]. 广州:广州中医药大学.
李俊漪,白玫,刘华平,等. 2004. Delphi法在护理岗位任务分析及人才需求预测研究中的应用[J]. 护理管理杂志,4(6):35-37.
林振春. 1992. 德尔菲法[J]. 台北:民意学术专刊:168.
孙红莉,蒋鑫. 2015. 基于德尔菲法的远程教育成本分析框架的构建[J].河北广播电视大学学报,20(2):53-57.
王升. 2011. 高校本科教学团队建设水平评价指标体系的构建研究[D].南京:南京农业大学.
王至婉,李建生,余学庆,等. 2011. 慢性阻塞性肺疾病急性加重期症候诊断的专家问卷调查分析[J]. 中国危重病急救医学,23(9):518-522.
魏雪峰. 2017. 问题解决与认知模拟——以数学问题为例[M]. 北京:中国社会科学出版社.
袁勤俭,宗乾进,沈洪洲. 2011. 德尔菲法在我国的发展及应用研究——南京大学知识图谱研究组系列论文[J]. 现代情报,31(05):3-7.
张黎辉,李小丁,刘黎明,等. 2016. 用德尔菲法判断我国未来核能发展趋势的研究[J]. 核安全,15(3):72-78.
张屹,朱莎,杨宗凯. 2012. 从技术视角看高等教育信息化——历年地平线报告内容分析[J]. 现代教育技术,22(4):16-20.
朱淼. 2016. 应用德尔菲法构建高校继续教育培训项目评价指标体系的研究[J]. 医学教育管理,2(02):449-453.
Basu S., & Schroeder R. G.(1977). Incorporating judgments in sales forecasts: Application of the Delphi method at American Hoist & Derrick. Interfaces, 7(3): 18-27.
Custer R L., Scarcella J. A., & Stewart B. R.(1999). The modified Delphi technique-A rotational modification. Journal of Career and Technical Education,15(2).
Dalkey N., & Helmer O.(1963). An experimental application of the Delphi method to the use of experts[J]. Management science, 9(3): 458-467.
Gordon, T. J., & Helmer-Hirschberg, O. (1964). Report on a Long-Range Forecasting Study. Report on a long-range forecasting study.
Hilbert M., Miles I., & Othmer J.(2009). Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi. Technological Forecasting and Social Change, 76(7): 880-896.
Linstone, H.A. & Turoff, M.(1979). The delphi method: Techniques and applications. 3rd Edition, Addison-Wesley, Boston.
Mitten-Lewis S.(2000). Australian nurse educators identify gaps in expert practice. Jcontin Edu Nurs, 31(5),224-231.
Rescher N.(1998). Predicting the future: An introduction to the theory of forecasting. SUNY press.
作者簡介:高媛,博士;陆奥帆,在读硕士;魏雪峰,博士,副教授;刘德建,教授级高级工程师;黄荣怀,本文通讯作者,博士,教授。北京师范大学智慧学习研究院(100875)。
责任编辑 郝 丹