杨 烁,余 凯
(北京师范大学教育学部,北京100875)
近二十年以来,循证政策(Evidence-based policy,EBP)越来越为西方发达国家所推崇,它强调将科学研究与实践密切结合,整个政策制定、执行、评估和改进的生命周期都应建立在严谨可靠的证据链基础上,以帮助人们对政策、计划和项目做出明智的决策。这种新的政策制定理念也在实践中充分体现出了它的优势。[1]2002年,美国的《不让一个孩子掉队法案》(No Child Left Behind Act,NCLB)反复强调“基于科学的研究”,从法律层面强化了教育科学研究在教育政策制定中的核心作用。作为较早将循证作为其教育政策制定和实施路径的国家,美国在教育政策循证研究方面积累了丰富的经验。本文将系统介绍美国教育政策研究领域中的循证研究与实践,并在此基础上探讨其对我国教育政策研究与制定的有益启示。
循证的概念源于西方国家临床医学领域所形成的“循证医学”(Evidence-based medicine,EBM))。20世纪七八十年代,西方临床医学领域的专家指出许多临床诊治措施缺乏足够的证据,甚至存在错误,[2]倡导临床工作者应充分利用那些可获得的、已经证明可靠的临床研究成果,并强调利用随机对照试验不断收集新的数据,为临床治疗实践提供可靠有效的依据。1996年,牛津大学循证医学中心主任David Sackett教授及其同事在《英国医学》杂志上正式提出循证医学的概念,认为循证医学是“谨慎地、清晰地、明智地采用当下最佳证据来决策病人的治疗方案,在这一过程中将医生个体的临床经验与系统研究的最佳外部临床证据相结合”[3]。循证医学的应用和推广,很好地促进了医疗卫生服务质量和效率的提高。
正是基于循证医学的成功实践,循证的方法和理念,特别是它所倡导并要求的严格标准——随机试验,在进入21世纪后迅速为人们尤其是政府组织所认可,并将之推广到公共管理、政治学、教育学等众多社会科学领域,教育政策领域中的循证研究也是在这一背景下兴起的。[4]
面对社会公众对自身利益的诉求、教育预算持续增加和资源有限的现实状况,再加上长期以来美国联邦政府对教育研究的质量和影响力有着强烈的不满,鉴于循证理念在临床医学领域的成功实践,美国联邦政府重视随机对照实验研究,并将其作为众多教育决策依据的重要来源之一。
2002年,美国的《不让一个孩子掉队法案》要求联邦政府将更多的经费投入到证据为本的研究和项目中去,规定联邦政府资助的研究项目,必须以“科学研究为基础”。在该法案中,多达110处提到“基于科学的研究”[5],在法律层面强化了循证理念在美国教育政策制定中的地位。同年,《教育科学改革法案》(Education Science Reform Act,ESRA)设立了教育科学研究院来开展高质量的科学研究、促进教育发展,该机构明确其目标为“把教育转变成一种以证据为基础的工作领域,使决策者在决定采取某项涉及广大学生的改革计划或教育实践之前能够经常性地得到最有效的研究和数据支持”并且“开展和支持科学有效的研究活动”。2015年,美国总统奥巴马签署的《每一个学生成功法案》(Every Student Succeeds Act,ESSA)也明确期望科学研究要在教育计划、政策和实践决策中发挥作用。[6]此外,诸如美国的综合学校改革质量中心(Comprehensive School Reform Quality Center,CSRQ)、最佳证据百科(Best Evidence Encyclopedia,BEE)、坎贝尔协同研究中心(Campbell Collaboration)、循证政策联盟(Coalition for Evidence Based Policy,CEBP)等各种官方、半官方或民间组织机构[7],都投入了大量的资金和人力来致力于循证研究,开展了一系列关于教育的准实验和随机控制试验,以期获得改善学生学业成绩、学习品质和学习能力以及提高教师专业发展等的真实可靠的证据[8],为美国教育部等教育主管部门的决策提供了有效的参考和改进建议。
凡是谈及循证政策研究,作为其关键和核心的证据是任何研究都不能不重视的因素。证据不同于普通的数据和信息,它往往是易见的、清晰的和可理解的[9],是经过科学加工后能够使得其政策目标变得更加具体、可实现的数据或信息[10],通常具有高度的科学性、系统性、全面性和有效性等特征[11]。证据的来源十分广泛,不仅包括国内外科学研究的成果、现存的数据,还包括决策者、研究者和利益相关者的知识经验、咨询建议以及对先前政策的评估意见,也包括有前景的实践经验等。
对于循证政策中证据的类型,有的研究者按照证据的性质将其划分为描述性资料、分析性资料、评估性资料和政策分析预测。[12]美国教育部则将证据按照其方法的严格程度划分了六个等级,构建了证据等级金字塔(见图1),这六个等级分别为随机实验、准实验研究、前后对比研究、相关研究、个案研究、传言或掌故。[13]根据证据的级别高低分级,将可获得的最高级别的证据作为最佳证据;如果可获得的最高级别证据缺失,则采用次之的证据,以此类推。[14]从这个等级分类来看,较好的证据来源无疑是科学研究的成果,其中最重要的证据莫过于实验研究。因此,我们可以将证据分为实验研究、非实验研究和实践经验三大类。
(1)实验研究是一项给予被试某种干预措施,并测量这项干预措施是否带给被试行为上变化的研究。实验研究可以分为随机实验和准实验两类,其区别主要在于参与者是否被随机分配并使用不同干预手段。在评价实验研究时最重要的是要仔细检查研究的三个方面——随机分配、对照组以及实验前后测的变化。
(2)非实验研究不涉及研究者实施的干预或者某种处理,通常包括等级金字塔中的前后对比研究、相关研究、个案研究等。研究者往往进行观察、测量或者描述一种现象,然后回顾已有研究来找到产生某种条件的原因,或者是用来描述态度、信念和行为的调查。
(3)除了严谨的研究证据,教育决策者也要考虑从其他渠道获得的证据,包括决策者、专家和利益相关者的经验、洞察、信念以及其他成功实践的经验等。这些证据具有外在性、组织性、间接性等基本属性,对管理决策产生着导向作用。因此,这也是决策过程中不可忽视的证据。
图1 证据等级金字塔
虽然我们可以将证据划分为实验研究、非实验研究和实践经验三种类型,但并不是所有的研究都能够成为循证政策中的证据。美国《不让一个孩子掉队法案》将“基于科学的研究”明确定义为“一系列应用严格的、系统的、客观的程序来获得与教育活动和教育项目相关的可信的和有效的信息”的研究。如果从广泛的定义来讲,“基于科学的研究”应该包括如下方面:(1)使用可以进行观察或实验的系统方法;(2)进行严格的数据分析,以证明已有的假设或验证结论;(3)使用多种方法获得可靠、有效的数据;(4)优先采用实验或准实验设计来进行评估;(5)确保研究的可重复性;(6)研究结论能够被同行评审的杂志所接受或者被独立的第三方专家组通过严格、客观和科学的审核所批准。
此外,在将其他成功实践经验作为证据之前,教育行政部门或决策人员往往需要考虑一系列的问题。例如:(1)这些实践的背景与当前决策环境相似吗?(2)参与者是否具有相似性?(3)新的干预措施与当前存在的其他问题是否匹配?(4)整个执行过程是否清晰?策略是什么?时机如何选择?有相应的指导手册吗?(5)在实施改革时需要何种支持和专业知识?是否需要特殊的经费支持?是否需要新的人员?(6)政策具体的结果、影响、产出是什么?为什么可以被借鉴?由谁评估的?(7)对于政策的执行和成功可能存在哪些障碍?
美国教育部智库、教育科学研究院院长格罗夫·J·怀特赫斯特博士曾说:“教育领域的科学研究应该像其他行业研究一样处于核心地位。换句话说,科学研究的核心地位在教育领域的重要性就如同它在医药领域一样。我们应该充分相信,如果我们重视教育科学研究并创造机制鼓励以证据为本的教育实践,我们将看到发生在教育领域的进步和变革如同我们在医药和农业领域看到的一样如此巨大。”[15]这段话十分形象地表明了美国联邦政府对教育研究的重视,以及对其能为教育政策服务的期许。
学术期刊集合了众多科学研究的成果,是循证政策中证据的重要来源。为了保证研究的科学性和严谨性,美国众多期刊也越来越强调循证在研究中的重要性。因此,美国教育政策研究对于循证的要求可以从其教育类和政策研究类期刊的投稿指南和收录论文类型中直接体现出来。本研究选取《美国政治科学评论》(The American Political Science Review,APSR)、《社会研究和公共政策分析》(Analyses of Social Issues and Public Policy,ASAP)、《教育评估与政策分析》(Educational Evaluation and Policy Analysis,EEPA)、《教育管理季刊》(EducationalAdministrationQuarterly,EAQ)、《教育研究评论》(Review of Research in Education,RRE)、《教育政策》(Educational Policy,EPX)、《教育财政和政策》(Education Finance and Policy,EFP)、《政策研究杂志》(Policy Studies Journal,PSJ)、《国家政治与政策季刊》(State Politics&Policy Quarterly,SPPQ)、《管理学习和教育研究》(Academy of Management Learning&Education,AMLE)、《规划教育和研究杂志》(Journal of Planning Education and Research,JPER)和《政策分析和管理杂志》(Journal of Policy Analysis and Management,JPAM)等12种收录在SSCI中的期刊,首先对这些期刊的投稿指南进行文本分析,然后选取《教育管理季刊》(EAQ)和《教育评估与政策分析》(EEPA)这两种教育政策领域最有影响力的期刊,对其2002年-2017年刊登的论文类型进行可视化分析。
对于研究的科学性,约翰·霍普金斯大学的数据驱动教育改革中心曾指出,除了研究设计的质量,研究的其他方面也应该给予考虑,例如:研究持续的时间长短、研究结果能否被复制、研究成果是否发表在同行评审杂志上等。因此,本研究首先对12种学术期刊的投稿指南从研究的可复制性、同行评审等方面进行汇总和关键词提取,然后将这些关键词按照“公开透明原则、证据充分原则和其他原则”进行分类,最后根据12种期刊的投稿指南是否满足这些原则进行比对。由表1可以看出,12种SSCI期刊最为看重的几项要求分别是:要公开研究涉及的数据集、研究方法、研究工具、资料收集及分析过程等,论文要有足够的佐证材料,要具有可重复性并接受同行评审。可见,美国教育类及政策类期刊普遍重视循证在研究中的价值,任何研究的结论及建议都要有充分的证据进行佐证。
表1 美国部分教育类学术期刊投稿指南的循证要求
鉴于《教育管理季刊》(EAQ)和《教育评估与政策分析》(EEPA)这两种学术期刊在教育管理和教育政策研究领域的重要地位和影响力,本研究进一步对两种期刊2002-2017年刊登的学术文章从研究方法方面进行可视化分析。经过筛选,去除书评、编辑材料等类型的文章,EAQ和EEPA分别收集到375篇和358篇学术性文章。
本研究首先将文章按照实证研究和思辨研究进行分类。由于教育研究方法分类繁杂,为使研究结果更加清晰,笔者在国内外研究者的分类基础上,对教育研究中各研究方法的内涵或特征进行概括(如表2所示)。然后,利用制图工具绘制折线图进行可视化操作,图中的虚线代表文章数量的总体趋势。
从图2和图3可以看到,在EAQ和EEPA这两种期刊中,实证研究均占据了主要地位,并且从总体上而言,仍处于上升趋势;相反,思辨研究数量较少,且处于下降趋势,尤其是EEPA刊登的思辨性文章更少。然后,如图2和图3所示,2003年左右是两种期刊实证性文章数量上涨和思辨性文章数量下降趋势的开端。可见,美国2002年颁布的《不让一个孩子掉队法案》中强调的“基于科学的研究”对学术期刊产生了一定的影响。
表2 教育研究方法的内涵或特征
图2 2002-2017年EAQ收录论文类型比较图
图3 2002-2017年EEPA收录论文类型比较图
此外,笔者在对EEPA的文章类型进行分类分析的时候,发现该期刊刊登的文章中,在实证研究中量化研究是最主要的,如图4所示。2010年之后,量化研究中的实验研究数量也呈现波动上升的趋势①,且在历年刊登文章中所占比例也有明显的提升。EEPA作为教育政策研究领域最为权威的学术期刊之一,其刊登文章的类型也体现出了美国教育政策循证研究中对实验研究的倾向和重视,这跟《不让一个孩子掉队法案》和美国教育部公布的证据等级金字塔所强调的证据类型是一致的。
图4 2002-2017年EEPA实证研究类型比较图
通过对12种教育类和政策类学术期刊投稿指南和发文类型的分析,可以看出美国教育类研究,尤其是对教育政策的研究均将循证作为一项重要的原则,学术期刊对稿件的要求不仅涉及研究数据集、研究工具、数据分析过程的公开,更对文章结论所依据的佐证材料的充分性、准确性和完整性提出了严格的要求,这些要求对教育研究质量的提升直接产生了积极的影响。另外,实证研究在美国教育类权威学术期刊中占据了主要地位,并且刊登实验研究的数量也不断增加,这不仅从客观上体现了美国教育研究提高自身质量的努力,也反映出其力图扩大自身影响力的追求。因此,美国教育政策循证研究的发展可以为美国教育政策的制定、执行和改进间接地提供高质量的证据,一定程度上为保障美国教育政策的科学性、合理性和有效性做出了贡献。
随着我国教育改革的不断深化,教育主管部门为应对暴露出来的“教育资源不均衡”“择校热”“校外辅导”等种种问题,采取了一系列措施并制定了相应的教育政策。但由于教育政策制定和执行环境的动态复杂性,部分政策并没有取得预期的效果,并造成人、财、物等资源的浪费,引起公众的不满情绪。面对越来越复杂的政策制定环境和公众媒体对政策质量的高要求,如何使教育政策制定得更加科学,使政策执行实现预期效果,也成为目前我国教育行政部门面临的重要问题。美国循证政策的理念以及对教育政策循证研究的重视为我国教育政策的制定和研究提供了有益启示。
美国组织决策大师赫伯特·西蒙认为,人的理性是有限的。这就意味着决策者在做出决策时,往往会受到信息、时间、技术等外部因素及其自身的认知等内部因素的影响。教育政策的制定是一个需要人不断做出理性决策的过程,而人在缺乏必要信息的情况下,做出的判断和预测难免会有所偏颇。循证政策理念是教育政策发展的新趋势,它强调将科学研究与实践密切结合,教育政策的制定要有据可依,这在一定程度上避免了“拍脑袋”决策的盲目性和随意性,提高了教育政策的质量。因此,我国教育研究人员和教育行政部门都要树立循证政策的理念,在教育政策研究和政策制定中,重视循证的重要作用,一方面要提高教育研究的质量和严谨性,另一方面要促进教育政策的科学性和有效性。
充足的证据是政策制定的前提。2014年2月,教育部印发了《中国特色新型高校智库建设推进计划》,明确提出高校智库应为“推进教育现代化”提供智力支撑。2017年10月,党的十九大再次旗帜鲜明地指出要加强中国特色新型智库建设。这充分体现出我国政府对教育研究的重视,并致力于将教育研究成果转化为政策依据。但就目前而言,高校智库成果转化不畅、服务政府能力不足是我国新型高校智库发展面临的困境之一[20],证据不足仍成为我国各类教育政策制定过程中的突出问题[21]。因此,我国政府应积极学习国外智库建设的有益经验,在加强教育智库组织体系、经费保障等方面建设的同时,构建开放式的成果推广机制,促进科研成果的转化和应用,为教育政策的制定提供高质量的证据,不断增强高校智库的影响力。
证据是循证政策的核心。证据通常来源于实证研究,以实验研究为最佳。但近二十年来,思辨研究仍是我国教育研究的主要方法,实证研究虽呈现逐年上升趋势,但比例很小。[22]有研究者对2001—2011年1073篇教育类文章进行分析发现,有60.7%的研究通篇无明确的资料收集方法,此外还存在没有抽样程序和方法说明、问卷信效度报告严重缺失等一系列不规范行为。[17]循证研究相对不足的现状限制了我国教育政策制定所依据的证据数量和质量。因此,我国应鼓励教育和教育政策研究领域开展循证研究,针对教育实践中存在的问题,运用多种手段全面搜集和分析数据,使研究结论有据可依。同时,我国还应进一步规范教育类学术期刊的运行,在投稿指南中强调“公开透明”“证据充分”等循证原则,规范审稿程序,严格遵循基于证据的审阅标准,从整体上提升我国教育研究的科学性和权威性。
注释
①为避免误解,在这里需要说明,本文中的实验研究属于量化研究的一种,为了凸显EEPA对实验研究的重视,特意将实验研究从量化研究中抽取出来呈现,以便对比说明。