政治学实验的简化与推广:一种理论检验型准实验的概念设计

2021-06-15 19:28张杨宋雄伟
党政研究 2021年3期
关键词:政治学实验设计研究者

张杨 宋雄伟

〔摘要〕政治学实验以其对因果关系的强解释力,在西方政治学界得到了广泛的应用。但目前,在国内开展政治学实验尚存在一定的局限。本研究结合中国实际情况,从提高“可行性”、强化“有益性”、降低“干扰性”三个方面,尝试优化了政治学实验的概念设计,探讨性地提出了一种创新的理论检验型准实验研究设计思路。这种准实验研究方法在设计逻辑上与标准的实验研究相同,能够通过主动干预生成研究所需要的基础数据,同时降低了受试样本随机分配的控制的标准,提高了实验的可行性。这种简化的准实验方法虽然不能替代标准的实验研究,但是可以通过合理的设计,在已经确定内部有效性的前提下,补充和拓展外部有效性;或者在定性因素已经确定的情况下,进行进一步深入的定量分析,为研究提供可靠的实证论据。

〔关键词〕

实验政治学;准实验;实验研究法;中国政治学

〔中图分类号〕D0 〔文献标识码〕A 〔文章编号〕2095-8048-(2021)03-0070-11

一、导言

实验政治学兴起于20世纪中期。在诞生初期,实验研究法被认为不合适用以进行政治学研究〔1〕。经过多年的发展,实验研究法以其独到的优势,在学术界受到了众多研究者的支持〔2〕。与常用的非实验研究法相比,实验研究法的优势在于,能够通过人工合成难以自然观测的变量,或隔离干扰变量,对因果机制进行“点对点”的强检验。近年来,西方政治学界采用实验研究法的文献数量,始终呈上升态势。在中国,实验政治学受到的关注也逐渐增加。有学者从方法论的角度,总结了西方学术界实验政治学的发展历程以及近年来的议题分布〔3〕,探讨了实验研究法对中国政治学发展的意义及发展前景〔4〕。这一类介绍性研究,充分强调了政治学实验的优势。但在国内学术界,实际开展实验的研究依然较为稀少。因此我们可以初步推断,国内的政治学实验可能存在某些局限和不足,或许是实验研究法作为一种研究方法本身的问题,也或许是这种在西方发展起来的研究方法,在中国的政治学学术环境中“水土不服”。

基于以上现状,本文将着重探讨政治学实验的局限何在,为什么在国内鲜少有人能够实际开展政治学实验,以及是否有可能适当调整政治学实验的概念设计,使之能够匹配当前中国政治学发展的实际需求等问题。从这些问题出发,本研究首先分析了国内政治学实验的局限和实施的难度;之后从方法论的角度,梳理了经典政治学实验的设计逻辑;在此基础上,进一步结合国内的实际情况,探讨性地提出了一种创新的准实验研究概念设计。

二、政治学实验的局限

1.实验的基础数据生成:“主动干预”和“随机分配”两大要素

实验研究(experimental research)与其他非实验究(non-experimental research)最大的区别在于基础数据的生成方式(data-generating process,简称DGP)。在非实验的研究方法中,研究者不需要控制基础数据的生成。这种自然生成的数据被称之为观测数据(observational data)。而实验研究要求研究者系统地干预数据生成过程。在人为干预下生成的数据,被称之为实验数据(experimental data)〔5〕。

目前政治学范畴中的实验研究,通常被分为三种类型:实验室实验(laboratory experiment)、田野实验(field experiment)、调研实验(survey experiment)。〔6〕其中田野实验也被译作现场实验。

第一种类型,“实验室实验”最能充分体现实验研究的“主动干预”要素。在实验室中,能够制造或模拟大部分现实中不容易观测到的现象,进而能够将待验证的假设,通过主动干预的方式进行“人工合成”,并加以验证;或者人为地隔离屏蔽干扰变量。因此,优秀的实验室实验通常能够充分保证研究结论的内部有效性( internal validity)。

第二种类型,“田野实验”则与实验室实验相反,田野实验在真实世界中进行,通常不额外设置边界条件和限制。但是实验过程的受控程度显著降低。实验者对受试对象的干预的手段、方向,都明显受到了限制。此外,由于真实世界的复杂性,缺乏实验室实验的人为限制和隔离,干扰变量和共线性问题显著增加,从而导致因果关系的明确性降低,结论的内部有效性被削弱。

第三种类型,“调研实验”,即充分强化了“随机分配”这一要素。首先通过低成本的问卷,建立足够规模的受试者群体。之后,通过调整问卷的措辞一类的方式,间接干预和控制受试者的行为。显然,这种干预的力度比实验室实验和田野实验更弱。如果说,田野实验是干预的手段和方向受限,那么调研实验则是对受试者干预的“力度”不足。

综上,本研究认为,有效的“主动干预”和科学的“随机分配”,是政治学实验能够产生出高质量基础数据的两大核心要素。上述三种基本的实验类型,可以根據对这两种要素的偏重进行分类,如下表所示:

上述三种实验类型并没有绝对的优劣之分。从方法的性能上看,实验室实验通常以“强化人为操作”的方式强化内部有效性,田野实验以“尽量应用自然条件”的方式保留外部有效性(external validity)。调研实验则有利于以较低的成本组建足够大的受试样本,从而强化随机分配。三者各有利弊。究其根本原因,是研究者难以同时保证“科学随机分配”和“有效的主动干预”这两大要素,并由此在一定程度上产生了实验研究方法本身的性能局限。

2.人类是否可以作为实验对象:政治学实验的学术伦理局限

政治学的实验研究法,有时难以避免面临伦理道德的问题:“人类是否可以用来做实验”。学者米格拉姆(Milgram)用电击研究人类为什么服从权威的实验〔7〕,以及著名的斯坦福监狱实验〔8〕,都被认为是学术伦理的典型反面教材。

机构审查管理委员会(Institutional Review Boards,简称IRB)就是为了审查实验研究是否符合伦理标准而设立的。在实验政治学发展较好的美国,很多高校和医疗机构都有设置,此外还有部分IRB是独立机构。在中国,类似的机构在高校和研究机构中并不是标配。什么样的实验能做,什么样的实验不能做,并没有一个统一的标准。因为没有标准,所以在实际操作的过程中,很难得到许可并顺利开展实验。在反复商榷和沟通的过程中,研究者可能会逐渐失去耐心放弃做实验,转而尝试其他的研究方法。

凡是以人类为研究对象的实验研究,理论上都应该遵循三个伦理原则:尊重、有益、公平。〔9〕贝尔蒙特报告(Belmont Report)建立了一个更细致的框架,规定了人类被试的权利以及研究者的责任〔10〕,包括受试者有权免受伤害、有权了解研究过程、有权了解风险、有权拒绝、有权退出、有权避免强制参与等。

政治学的实验通常不会存在生理上的伤害,但是“欺骗”是常见的,可能会对受试者造成心理上的伤害。盖勒(Geller)界定了研究中采用的三种欺骗类型:隐式欺骗(implicit deception,受试者完全不知道自己被研究);技术欺骗(technical deception,受试者知道自己被研究,但是不知道自己所进行行为究竟有什么意义)以及角色欺骗(role deception,受试者知道自己被研究,但是不清楚其他参与者是受试者还是实验者的同谋)〔11〕。目前国内也并没有统一的规范能够清晰地界定哪种欺骗可以使用,哪种需要限制使用。

当然,欺骗本身是手段而不是目的,欺骗是干预的一种类型。换而言之,并不是一定要用欺骗和伤害,才能对受试对象施加主动干预。好的实验设计追求避免“有害的干预”,追求 “可控的干预”。有学者认为,通过合理的设计,实验者和受试对象的合作也是完全有可能实现双赢的。〔12〕这也是其他研究者,对政治实验“有益性”的探索。

3.实验法与其他政治学实验研究方法的兼容与互补

多年来,实验政治学的支持者和反对者,围绕上述问题展开的争论也从未停止。比如,其中一种反对的观点认为,政治学实验动辄采用复杂无比的数学模型,很多模型是“为了复杂而复杂,为了方法新颖而新颖”〔13〕。但事实上很多定量研究方法也会采用复杂的数学模型,并不是政治学实验独有的问题。另一种常见的批评是,政治学实验的结论只注重内部有效性,缺乏外部有效性。但是事实上,有什么样的研究方法完全不需要在内部和外部有效性上做平衡和取舍呢?相对的,一些偏激的政治学实验的支持者则认为“非实验”的政治学研究脱离实际。典型的比如格伯(Gerber)等人认为,政治学缺乏经验检验的理论过剩,后续的研究者又在这些缺乏验证的理论的基础上,继续开发更多的新理论,所以这一类理论都没有说服力〔14〕。因此必须要用做实验的方式,实际验证这些理论是不是真的可靠。如此循环往复,对学科发展无益。

法无定法。研究方法是为研究目的服务的,很难说哪种研究方法是完美的“万能钥匙”。研究方法只是工具,研究者能否恰当地使用这种工具才是关键。以实验为例,并不是因为“做了实验”就一定具备强有力的内部有效性,而是因为设计了“优秀的实验”才能实现。不同方法之间的差异不应该成为相互攻击的对象,相反应该成为互补的空间。实验研究与其他研究方法的关系同样如此。

学者李强认为,实验方法在中国政治研究领域实践应用存在重大进步,但是也可以说是研究者们正在以不尽完善的方式进行初步尝试〔15〕。实验法作为方法论的前景,在于其与其他研究方法存在或隐或现的交叉和互补。实验法融合其他研究工具,一方面提高自身解释力,另一方面也完善其他研究方法〔16〕。所以,不应该“为了实验而实验”,除了完成实验研究本身之外,还需要考虑如何让实验在不影响“社会常态”前提下,体现有益性,实现可持续的发展。

综上所述,本文从实验研究法的方法论、实验研究的伦理以及实验研究法与其他方法的兼容互补三个层面,初步探讨了国内政治学实验的困境。在此基础上,本研究认为,应该从提高“可行性”、强化“有益性”、降低“干扰性”三个方面,优化政治学实验的设计。因此,本研究探讨性地提出一种创新的实验研究设计思路,即:理论检验型的准实验研究。我们将从设计理论基础、设计理念、应用举例等几个方面,围绕该创新方法,依次进行说明。

三、设计的基础和依据:经典的实验研究与准实验研究

通常来说,经典的实验设计有两种基本逻辑〔17〕。理论驱动型实验(theory-driven experiment)和经验驱动型实验(empirically driven experiment)。前者以人為开展实践的方式验证理论,后者主要以差异法(method of difference)为基础,探索新的现象和关系。典型的理论驱动型实验,比如著名的自由落体实验。重复实验也是一种典型的理论驱动型实验。能否进行重复实验,也是理论效力的重要证明。多次的重复实验,也可以用来尝试突破理论的现有适用范围,进一步拓展研究结论的应用空间。〔18〕

与理论驱动型实验相反,经验驱动型实验对理论的需求并不是十分强烈。早期的实验设计思路完全采用了米尔(Mill J S.)的差异法逻辑,强调在实验开始之前,设置两个尽可能完全相同的初始条件,然后引入某项单一差异变量,观察结果〔19〕。之后,费希尔(Fisher R A.)通过对差异组和控制组的随机分配,引入零假设,对差异法实验进行了逻辑上的重新构建。用较弱的似然规律,取代了米尔的绝对准则〔20〕。相比米尔的直接验证,费希尔虽然在逻辑上绕了个弯,但是显著降低了控制的标准,简化了对初始条件的要求,使实验的可行性得到了明显的提升。

准实验研究(quasi-experiments)则是对实验研究作了进一步的简化。这种研究方法在设计逻辑上与实验研究完全相同,但是再次降低了控制的标准。不对受试对象进行随机组合,直接采用原始群体开展实验。同时在对照组设置上也比实验设计的限制宽松,比如不相等控制组前后测设计(nonequivalent control group design:两个受试小组差异比较大)或单独样本前测后测设计(separate-sample pretest-posttest design:同一小组受试前后状况作对比)等方式〔21〕。

准实验的控制标准和实施成本通常都低于实验研究,这让实验的可行性得到了一定程度上的提升。另外,由于直接采用了原始群体作为实验对象,准实验的外部有效性比实验研究略强。因此,准实验通常不被用来进行“大而全”的研究,而是用来深化研究某些非常具体的问题。比如已经确定内部有效性的前提下,补充和拓展外部有效性,或者在定性因素已经确定的情况下,进行进一步深入的定量分析。典型的研究,可参考学者徐林和凌卯亮通过准实验设计,检测宣传教育和经济激励对居民生活垃圾分类的促进作用〔22〕。在该研究中,经济激励会促进居民进行垃圾分类是已知的边界条件。所以该项研究并不是探讨定性的问题,而是进一步探讨这两个已知的自变量具体起了多大的作用。以检验理论的性能来看,准实验研究可以被视为一种冒烟手枪式检验(smoking-gun tests:看到嫌犯手中冒烟的枪,可以很大程度上确定他就是凶手,但是没看到他手中冒烟的枪,却并不能证明他就是清白的)。通过这种类型的检验,理论能够得到很强的确证,但是没有通过检验,也并不能使理论受到多少怀疑。〔23〕

四、一种理论检验型准实验的概念设计

基于上述的理论基础,本文尝试提出一种理论检验型的准实验设计,其主要思路在于:以真实世界为环境开展实验,不对受试对象采取严格的随机分组。直接采用原始样本,以不相等控制组前后测设计或单独样本前测后测设计的方式,设置相对合理的实验组与对照组。这种准实验强调研究者的亲身参与和实践操作,重点关注和强化实验者对系统主动施加的干预对因变量的影响。在尽可能保证实验严谨性和科学性的同时,充分强化实验的可行性与有益性。

1.设计理念:“你要知道梨子的滋味,你就得变革梨子,亲口吃一吃。”〔24〕

在这种理论检验型的准实验设计中,研究者需要以真实世界中的事件或人群作为研究对象。理想状况下,最好是能够充分利用研究者熟悉的材料和场景开展实验。比如要研究实验政治学,最直接的方法就是自己尝试开展一项政治学实验。政治学实验本身的内容固然是有价值的,同时,在实验政治学研究方法论的层面上,开展实验的过程本身同样有研究的价值。假设由于实验的难度很大,或许努力尝试之后最终无法顺利开展,那么这些失败的经历依然可以作为政治学实验方法论的研究素材,至少对于发展实验政治学的工作而言,是有意义的。

举例1:研究实验政治学为何在国内难以实施

(1)从其他研究中,获得在国内开展政治学实验的主要困难ABC三项自变量。

(2)亲自尝试开展一项政治学实验,或者参与其他研究者开展的一项政治学实验,亲身验证是否确实遇到了困难ABC,并深入研究ABC三个变量之间,哪一个变量是最为显著的。研究团队为了克服ABC三个困难,分别采取了什么样的方式,花费了多少成本,最终获得了怎样的结果。

(3)研究发现,变量C是最难以克服的困难。C变量的影响如此之大,以至于最终这项政治学实验没有顺利开展,无疾而终。此外研究团队在尝试克服变量C的过程中,花费的成本甚至超过了A和B的总合。故可以得出初步结论,如果计划开展政治学实验,应该优先解决C的问题。否则即使解决了A和B,实验也无法顺利进行。

当然,上述举例中的准实验设计不能算是一个标准的政治学准实验。因为它的研究问题严格来说,并不算是“政治学”的研究问题,而是一个“政治学研究方法”的问题。此处举例的目的是为了强调这种理论检验型的准实验的“参与性”。相比经典政治学实验研究者置身事外的“实验者”角色,这种准实验设计中的实验者更像是一个亲力亲为的“实践者”。让实验者得以充分融入实验场景,以实验者和受试者双方的角度来看待问题。同时,也利于深入观察和理解其他受试者的言行,发现一些平时难以见到的现象。

2.实验的选题:让研究创造价值

该理论检验型准实验的另一个设计灵感,借鉴了中国的政策试点机制。试点机制的核心在于在远景规划和理论的指导下,进行风险可控的反复试错,最终找到合适的解决方案并进行推广。试点机制虽然不是实验,但是其本身带有强烈的实验性质。从结果上来看,也对中国改革开放以来的迅速发展做出了巨大的贡献。因此,这种理论检验型的准实验设计,也重点强调了实验的“有益性”和“可行性”。在某些情况下,通过合理的设计,很多研究本身就有创造价值的潜力。比如研究扶贫,我们可以选择分析报告,也可以选择寻找一户真实存在的贫困户,协助他开设网店销售农产品。在创造价值的同时,收集到第一手的研究材料。

举例2:研究农户电商扶贫的影响与效果

(1)从其他研究中,获得初步假设:教育程度、网络使用经验、主要经济来源、农村电商认知、电商扶贫收入效应认知、亲戚朋友电商扶贫参与意愿、政府电商扶贫相关工作、电商服務站相关工作、电商扶贫服务体系、特色农产品规模对农户电商扶贫参与意愿等因素〔25〕对农户参与电商扶贫有正向影响。

(2)寻找一户或几户贫困户作为研究对象,以上述框架对研究对象进行分析,哪些条件已经具备,哪些条件尚未具备。制定计划后,亲身参与,协助该农户参与电商扶贫,搭建网店,销售产品。采用不相等控制组前后测设计(两户差异较大的农户)或单独样本前测后测设计(同一户农户,受试前后状况作对比),并以此为基础开展准实验研究。

(3)研究发现(假设举例),“亲戚朋友电商扶贫参与意愿” 和“政府电商扶贫相关工作”两个变量,比其他变量更加显著。农户创新意愿较低,但是照搬亲戚朋友成功经验的意愿很高。只要周边存在电商致富的案例,受试农户有很高意愿模仿。网络使用、教育程度等因素,并不会形成显著的阻碍。

按照举例2的逻辑,一部分采用参与式观察法的研究,也有转换为准实验研究的可能性。对于参与式观察而言,即使存在“积极的参与式观察者”与“隐蔽的参与式观察者”的区分,参与式观察的重点依然在于“观察”而并非干预。在非必要的情况下,研究者尽量不会对环境进行扰动和干预。因此,在很多采用了参与式观察的研究中,研究者都倾向于采用隐蔽性参与式观察法,避免公开自己的身份。

但事实上无论如何隐蔽身份,只要存在交流互动,研究者就无可避免地会对观察对象施加干预和影响。假设某个企业的日常工作中,突然“空降”了一位“顾问”,这个人每天的工作就是在各个生产部门走来走去,问这问那,时不时还在本子上写写画画。一个星期之内,大概所有的同事都会开始议论这个“神秘人”究竟是来做什么的。因此,参与式观察其实很难做到理想的“完全观察者”,而是一种混合的角色“Mixed Participation”〔26〕。因此,本研究认为,与其模棱两可地将“研究者本人的介入”作为干扰变量排除,不如把这些干预作为变量,统筹起来成为研究的一部分。

3.实验的目的设置:原则上仅用于检验理论或重复实验

准实验研究设计并不能取代实验研究。针对某项研究课题,在条件允许的情况下,如果能够严谨地开展标准的政治学实验固然是最好的。但是由于政治学实验的种种局限,很多课题通常不能完全满足严谨的实验研究条件。仅仅用观察研究,又不足以得出令人满意的结论。这时就可以考虑采用这种理论检验型的准实验研究,在观察研究结论的基础上,进一步为理论提供强有力的确证。

此外,在这种准实验设计中最重要的自变量,是研究者对系统主动输入的干预。区别于实验室实验,这种准实验研究是在真实世界中开展的。换而言之,实验的边界条件完全等同于真实世界,任何一项干预,都可能对真实世界产生永久性的影响。因此,从学术伦理的角度,也有必要对研究目的进行适当的控制。故这种准实验研究的研究目的,原则上仅设定为检验理论或重复实验,而不适合用于探索某种未知的可能性。

进而言之,这种准实验设计需要尽可能地减少“实验性质很强”的干预。尽量把“既有的干预”进行有序化和系统化的处理,作为实验研究的素材使用。比如举例2中的实验,应该将扶贫(即实验)视为一项既定计划。扶贫本身的优先级高于实验。此时的实验者首先是一名真实扶贫工作者,其次才是一名以政治学实验方法研究扶贫的实验者。

4.关键变量的控制及测量

如举例1和举例2所示,相比观察研究所取得的样板数据,研究者输入的干预可以容易地实现精确的量化。比如在举例2中,开展实验的明细资金账目,就可以以成本核算的方式实现量化。量化变量的形式不局限于成本和价格,还可以考虑用时间、面积、人数等多个维度的量化指标进行衡量。

此外,相比非实验的研究方法,这种准实验的研究数据,在一定程度上可以实现实时的反馈。以此能够及时调整研究的方向和路径。类比如商业谈判,当首次提出的条件被否决时,通常依然有机会,提出其他的替代方案。或者有时也会从对方获得反馈意见。如此反复,直到双方最终达成一致。在这种实时反馈的研究情景下,研究者所得到的材料,就不仅是一份简单的“是否达成一致”的结论。而是让研究者有机会具体分析,某个关键性的条款是否真的起了作用,还是哪些条件堆积在一起共同起到了作用。从而抓住问题的核心,或至少排除一部分干扰变量。

5.实验对象的选择:控制范围内的受试对象

如上文所述,这种准实验设计中最重要的变量,是研究者团队对系统施加的干预。个人或者小团队对系统施加的干预精确可控,但是干预作为自变量对因变量的影响,有时可能确实太小,以至于无法观测到因变量的明显变化。以上特性决定了这种准实验研究方法更适合于研究某个非常具体的领域。换而言之就是一个“足够小的系统”,让自变量对因变量的影响足够显著,从而能够观测和论证。

理论上,对于宏观的大型课题,这种准实验设计也有应用的前景。但是这要求研究者或研究团队有能力调动足够的资源,并且能够承担足够的责任。在这个层面上,中国的试点政策,与这里所探讨的理论验证型准实验有一定的可比性。

举例3:以政策试点的推广为研究对象,验证政策变迁的原因

(1)从其他研究中,分析某个政策试点,以及其所属的政策子系统。研究触发政策变迁的自变量ABCD。

(2)观测一个准备推广上述试点政策的地区。在该地区中,自变量A、B、D都已经能够明显观测到,但是自变量C尚未出现。

(3)参与到该政策子系统中,尝试推动事件的发展,促成自变量C的出现。

(4)如果观测到政策变迁,可以为自变量组ABCD与因变量X的因果关系提供强有力的验证。如果未能观测到政策变迁,则考虑进一步探讨变量C的量变是否足够,或其他潜在的因果关系。

五、该理论检验型准实验的应用前景

这种理论检验型准实验的设计,始终围绕着实践和实际参与来进行。实践是人类认知世界、改变世界的重要手段。这种准实验设计的根本依据,来源于毛泽东同志的《实践论》。 在文中他提到:“通过实践而发现真理,又通过实践而证实真理和发展真理。从感性认识而能动地发展到理性认识,又从理性认识而能动地指导革命实践,改造主观世界和客观世界。实践、认识、再实践、再认识,这种形式,循环往复以至无穷,而实践和认识之每一循环的内容,都比较地进到了高一级的程度。这就是辩证唯物论的全部认识论,这就是辩证唯物论的知行统一观。”〔27〕

不难看出,在《实践论》中,明显包含了将“实践”作为一种 “具体可行的研究方法”用以探索真理、求证真理的深层含义。本研究探讨的这种理论检验型的准实验,是一种实验设计的思路,同时也可以说是一种“改造主观世界和客观世界”的实践方法。其应用的前景可以总结为以下几个方面:

1.尝试突破国内实验政治学的局限

在大量关于实验政治学的文献中,都反复论证了实验政治学和实验研究方法对中国政治学发展的积极意义。但是由于种种原因,政治学实验确实难以开展。所以,本研究探讨性地提出这种创新的准实验研究设计理念,以期降低开展实验的难度,并进一步举例探讨以这种理论检验型的准实验对因果机制进行验证的可能性。

当然,从方法论的层面上,这种准实验的研究目前仅处于概念设计阶段,各项细节尚处于不断开发之中。同时,政治学实验方法本身存在的一些争议,依然需要在将来的研究中不断尝试新的解决方法。比如政治学实验的伦理问题,在本研究提出的实验设计中,是通过强调实验的“有益性”和“可行性”的方式,尝试对经典的实验设计进行完善。比如在电商扶贫的设计案例中,我们会重点强调研究者首先是一名扶贫工作者,其次才是一名实验者。扶贫工作的优先级别高于实验,以此尽量强化对受试对象有益的干预,避免对受试对象产生伤害。

更加理想的状况,是能够由诸如机构审查委员会一类的机构进行合规评估,帮助研究者审查政治学实验是否能够实施,并统一规范实验的规则和限制。但目前这样的机构在国内并不是标准配置,当且仅当国内存在足够多的学者采用实验研究法,形成规模之后,才有可能出现。因此,本研究认为,国内实验政治学的发展更需要降低难度,优先实现数量的堆积,而并非在发展的初期就过分强调严格的方法论和操作的规范。

2.规范的准实验设计能够为试点项目的具体实施,提供方法论层面的支持

政策试点机制是一种在中国得到广泛使用的治理机制。长久以来,该机制对中国的经济发展、政策创新以及制度建设作出了很大的贡献。有学者认为,这种极具中国特色的政策创新机制,是中国不断创造经济奇迹的重要因素之一。〔28〕但是與此同时,试点机制也是一项争议颇多的热点议题。不少学者从不同的层面研究了试点机制的局限与不足。总体而言,试点机制有强烈的实验性质,但是并不等同于实验,通常被认为是一种尚处于不断开发改良中的政策工具。

关于试点机制的争议,主要包括(但不限于)下几点:一是试点中“试”的成分不足。有研究表明,超过75%的试点是由中央政府和省级政府发起的。〔29〕而基层的执行者,也将试点视为一种重要的成绩。在这种情况下,试点成为了一种“试对”〔30〕。因为地方有可能为了凸显政绩,不计代价的“强迫”试点成功,使得试点失去代表性和可复制性〔31〕。二是试点中的“试”缺乏理论的指导和系统的记录。在一些试点的运作过程中,容易观测到大量的人为干预和创新尝试,但是这些干预和尝试不见得具备足够的计划性,缺乏预案的临时调整也很常见。究竟是哪项因素导致了试点的成功或失败,只能通过事后反过来总结研究,很多宝贵的经验就这样损失了。三是以经验主义和教条主义盲目照搬试点,而不顾当地的实际情况。这种情况不一定是人们通常认为的“懒政”造成的。有时候也有可能是因为当地想要尝试的创新,缺乏理论和方法论的支持。没有理论依据的尝试不容易从“程序上”获得决策者的认可,只能转而变为“人与人”的博弈。

本研究提出的这种理论检验型准实验,为进一步优化试点机制提供了一种创新的思路。即:以实验设计的模式,为试点项目进行前期规划,避免试点项目形式化的、千篇一律的可行性研究报告。这样做的优势在于,在试点项目的前期规划中,充分将各类“变数”和“可能的试错”考虑在实验的计划中,像实验一样,形成动态的实时反馈。试点项目本身的成功固然重要,但是对于宏观层面而言,其最大价值在于收集经验,无论成功还是失败的经验都非常重要。这部分经验是判断试点是否值得推广的重要依据。因此,以这种准实验设计逻辑进行的试点项目规划,能够在方法论的层面上,提供充分的试错空间和调整计划的余地。从而避免了依靠人工决策进行无计划的临时调整,也避免了由主要负责人“个人”全权为成功或失败负责。因此,在一定程度上,避免了“不计代价试对”或“生搬硬套,压抑创新”的情况。同时也有利于试点经验和信息的真实反馈,充分规范和强化试点“试”的属性。

3.实践精神在政治学研究领域的体现

概而言之,近年来国内的政治学研究风格是非常谨慎的,这与改革开放以来,中国在实践中异常勇猛的改革和创新并不匹配。除此之外,也有不少学者认为,中国目前的政治学界普遍缺乏实证研究,尤其缺乏“有效的”实证研究。〔32〕虽说“实践是检验真理的唯一标准”已经基本形成了一项全社会的共识,但是事实上,“实践精神”在中国政治学界,乃至社科领域的体现,并不足够明显。

比如,学者孙立平提出了“实践社会学”的概念〔33〕,这一概念最早是法国社会学家布迪厄提出来的。孙立平批评布迪厄太关注结构和定量的问题,是在“用非实践的方式对待实践”,并在此基础上进行改良,提出了中国版的“实践社会学”:重点强调了社会实践是“动态过程”而不是“静态结构”,探讨了社会科学在实际中的“应用性”。实践社会学的理念和方向,毫无疑问是指向实际的。但遗憾的是,后续的一些以“实践社会学”为名的研究,主要采用的还是案例研究法,仅有个别案例采用了参与式观察。几乎没有研究主动对研究对象施加干预。如果仅仅只是观察而不操作,“只看不动手”的研究方式或许可以算是“实证”,但算作“实践”显然是比较牵强的。典型的研究,比如学者刘军奎关于群体性事件的研究〔34〕,作者在文中充分强调了实践性策略的重要性,呼吁打破思维定势和模式化套路,并且给出了制定实践性策略的方案;但是在这个基础上,却遗憾的没有能够有针对性地提供实证的证据。这从某种程度上来说,或许也是一种“用非实践的方式对待实践”。相比之下,同样是研究群体性事件的论文,张书维、王二平与周洁采用实验的方法〔35〕,选择了模拟剥夺受试者工具的场景,检验受试者是否会参与反抗行动,以此确证了“相对满意度”对群体事件的影响。这样的结论,显然更加有说服力,也更加贴近实践。

4.保证实证研究底层数据的质量

总体而言,目前政治科学的发展方向,是偏向实证研究的。学者们不再满足于从理论中继续开发理论,而是更加关注现实世界中存在的因果关系:“why and how what happens”。在这个背景下,很多强调实证的研究方法和研究框架得到了越来越多的重视。而这些强调实证的研究工具,普遍非常重视实证证据的细节。比如过程追踪法(process-tracing method),就是一种典型的“刨根问底”的研究方法。这种方法并不止步于说明自变量与因变量的相关性,而是深度挖掘包括每个中介因素的整个因果链。换而言之,过程追踪不再满足于一台运行良好的机器,而是要充分了解每一个齿轮的构造和运行状况。

对于这一类强调实证的研究方法和框架而言,数据是否真实可靠就显得非常重要。数据的可靠性和真实性,取决于是否有足够细致的底层数据,而细致的底层数据,则需要优秀的采集方法。相比采用二手数据的观察研究法和文献研究法,本研究提出的这种准实验研究法,能够在数据采集的层面上,更好地保证底层数据的质量。

六、总结与展望

自由落体实验是一项经典的理论驱动型实验。当时的伽利略想必不知道自己会成为名垂千古的物理学家,因为他在那个时候只是一名25岁的年轻数学讲师,而那个年代的权威是亚里士多德和他的自然下落速率理论(nature rate of fall)。亚里士多德认为这个参数是物体的固有属性,下落速度与物体重量成正比,与所处的媒介密度成反比。当时的所有人都对此深信不疑。

当伽利略用自由落体实验,对该理论进行了成功的证伪之后,他提出了新的假设:匀加速运动(uniformly accelerated motion)。撇开创建理论的艰难过程不提,我们这里只关注伽利略为了验证这个新理论所设计的实验。这个实验所涉及的其中一个关键变量是瞬时速度,即需要测量物体在某一瞬间的速度。以当下的技术条件,自然不是难事。但是这个参数在16世纪的条件下,是无法测量的。严格的瞬时速度测量,是在400年以后发明了雷达之后的技术。无法测量瞬时速度的伽利略,转而测量时间,再結合距离算出速度。然而,16世纪也没有秒表。惠更斯发明的世界上第一台机械钟,都是基于伽利略的钟摆运动理论才造出来的。没有秒表的伽利略找了一个大水桶,在底部焊接了一根细管,收集流出的水,然后称重,以此计算相对精确的时间。

类似的,以目前的技术水平,政治学的研究者无法精确地测量“人”以及“人的想法”这种复杂的变量。这就像16世纪的学者,无法精确的测量“瞬时速度”一样。但是研究者不应该因此而驻足不前。几百年前的伽利略或许无法预测,现代会有雷达和激光这种能够方便而精确的测量瞬时速度的工具,也无法想象计时是现代每一个人掏出手机就可以完成的简单工作。类似的,当下的我们也很难想象几百年后的未来会发生什么样的技术变革。所以,不应该因为“现在看似不可能”就放弃做实验。“理论检验型的准实验设计”能够使实验研究的“可行性”和“有益性”得到充分的强化。当理论研究足够充分,但缺乏实证验证时,不妨考虑用这种相对容易操作的准实验方法,为研究进行补充。

〔参考文献〕

〔1〕 Lowell A L. The Physiology of Politics: Presidential Address, Sixth Annual Meeting of the American Political Science Association〔J〕. American Political Science Review, 1910, 4(1): 1-15.

〔2〕 Morton R B, Williams K C. Experimental political science and the study of causality: From nature to the lab〔M〕. Cambridge University Press, 2010.

〔3〕 臧雷振.政治学研究中的实验方法——近年来的应用进展及研究议题分布〔J〕.国外理论动态,2016,(5).

〔4〕 〔13〕〔16〕臧雷振.争论中的政治学实验方法及其发展前景〔J〕.社会科学,2016,(11).

〔5〕 Rebecca Morton, Kenneth Williams. Experimentation in Political Science. 2008.

〔6〕 Rebecca Morton, Kenneth Williams. From Nature to the Lab: The Methodology of Experimental Political Science and the Study of Causality〔J〕. 2010.

〔7〕 Milgram S. Some conditions of obedience and disobedience to authority〔J〕. Human relations, 1965, 18(1): 57-76.

〔8〕 Haney C, Banks C, Zimbardo P. Interpersonal dynamics in a simulated prison〔R〕. STANFORD UNIV CA DEPT OF PSYCHOLOGY, 1972.

〔9〕 Field experiments and their critics: essays on the uses and abuses of experimentation in the social sciences〔M〕. Yale University Press, 2014.

〔10〕 Department of Health E. The Belmont Report. Ethical principles and guidelines for the protection of human subjects of research〔J〕. The Journal of the American College of Dentists, 2014, 81(3): 4.

〔11〕 Geller D M. Alternatives to deception: Why, what, and how?〔M〕//The ethics of social research. Springer, New York, NY, 1982: 39-55.

〔12〕 Loewen P J, Rubenson D, Wantchekon L. Help me help you: conducting field experiments with political elites〔J〕. The Annals of the American Academy of Political and Social Science, 2010, 628(1): 165-175.

〔14〕 Gerber A S, Green D P, Kaplan E H, et al. The illusion of learning from observational research〔J〕. Field experiments and their critics: Essays on the uses and abuses of experimentation in the social sciences, 2014: 9-32.

〔15〕 李強.实验社会科学:以实验政治学的应用为例〔J〕.清华大学学报(哲学社会科学版),2016,(4).

〔17〕 〔18〕Willer D, Walker H A. Building experiments: Testing social theory〔M〕. Stanford University Press, 2007.

〔19〕 Mill J S. A system of logic, ratiocinative and inductive: Being a connected view of the principles of evidence and the methods of scientific investigation〔M〕. Longmans, green, and Company, 1889.

〔20〕 Fisher R A. Design of experiments〔J〕. Br Med J, 1936, 1(3923): 554-554.

〔21〕 DT Campbell, JC Stanley, Experimental and Quasi-Experimental Designs forResearch(Houghton Mifflin Company, 1963), pp.432-434.

〔22〕 徐林,凌卯亮.居民垃圾分类行为干预政策的溢出效应分析——一个田野准实验研究〔J〕.浙江社会科学,2019,(11).

〔23〕 Van Evera S. Guide to methods for students of political science〔M〕. Cornell University Press, 2015.

〔24〕 〔27〕毛澤东选集:第1卷〔M〕.北京:人民出版社,1991: 287,296-297.

〔25〕 吴正祥.贫困村农户电商扶贫参与意愿及其影响因素研究——以资源枯竭型城市阜新为例〔J〕.科技与经济,2020,(2).

〔26〕 蔡宁伟,于慧萍,张丽华.参与式观察与非参与式观察在案例研究中的应用〔J〕.管理学刊,2015,(4).

〔28〕 Heilmann S. From local experiments to national policy: the origins of China's distinctive policy process〔J〕. The China Journal, 2008 (59): 1-30.

〔29〕 梅赐琪,汪笑男,廖露,刘志林.政策试点的特征:基于《人民日报》1992—2003年试点报道的研究〔J〕.公共行政评论,2015,(3).

〔30〕 Pei M. China and East Asian Democracy: Is CCP Rule Fragile or Resilient?〔J〕. Journal of Democracy, 2012, 23(1): 27-41.

〔31〕 刘军强,胡国鹏,李振.试点与实验:社会实验法及其对试点机制的启示〔J〕.政治学研究,2018,(4).

〔32〕 杨立华,李凯林.公共管理混合研究方法的基本路径〔J〕.甘肃行政学院学报,2019,(6).

〔33〕 孙立平.迈向实践的社会学〔J〕.江海学刊,2002,(3).

〔34〕 刘军奎.群体性事件:基于实践社会学视角的认识与反思〔J〕.前沿,2010,(13).

〔35〕 张书维,王二平,周洁.相对剥夺与相对满意:群体性事件的动因分析〔J〕.公共管理学报,2010,(3).

【责任编辑:刘彦武】

猜你喜欢
政治学实验设计研究者
创新实验设计 落实核心素养
李剑农和他的《政治学概论》
饿死的毛毛虫
研究者调查数据统计
实验设计巧断遗传学(下)
学习亚里士多德《政治学》中的城邦与公民思想及启示
“西学东渐”时期政治学学科发展研究刍议
年轻瘦人糖尿病增多
近十年我国政治心理学研究综述
动物激素的主要研究方法及其实验设计