过去50年来,在社会科学领域,越来越多的研究运用随机实验的方法来科学地评估某个项目或某项政策所带来的影响。如何让更多中国的基金会和NGO了解科学评估的方法和意义,让有条件的项目在实践中与研究者合作应用科学的方法评估自己的公益活动?这对于科学做公益大有裨益。
暨南大学经济学院副教授郑筱婷认为,做公益不仅需要情怀、爱心、热情、毅力和行动力,更需要科学的理念,公益组织要应用科学的方法评估自己的公益活动。
她说:政策或决策制定者往往面临着各种权衡取舍。政府或各类组织所拥有的资源与想要做的事相比,总是稀缺的。比如,提高医疗服务的报销水平可使低收入个体更敢去看病,利用医疗服务,从而改善低收入人群的健康状况,但是也可能带来医疗服务的过度利用和医疗费用的快速增长,而变成财政或企业难以承受的沉重负担。
每年中国实施大量各种类型的公益项目,这些项目的成效究竟如何,哪些项目成效显著且经济可行、可以大规模推广?中国公益项目同样也需要与科学严谨的评估与同行。
1.为什么要关心公益项目实施的成效
尽管公益人没有从公益活动中获得私人利益,往往是无私地用自己的时间和金钱去帮助他人,希望他人因为自己的帮助而更加快乐、幸福、平等和健康。但实际效果究竟如何?往往很多时候是一笔敏感的“糊涂账”。
公益项目所需要的财物和志愿者的工作时间都是稀缺的资源,稀缺的资源要投到发挥其最大作用的地方,否则容易被人诟病浪费社会资源或好心办坏事。比如,过去大学针对贫困大学生的助学金,需要本人申请、村委或居委等各级政府盖章证明、学校院系审批公示,程序非常复杂。因此经常被人诟病:大量非贫困生冒充贫困生申请资助,而真正贫困的学子却担心被同学另眼相看而不去申请。如何更精准资助贫困学子?如何让贫困学子接受帮助同时能有尊严地和其他同学一样正常生活和学习,避免贴上贫困生的标签?国内某大学改革了助学金申请和发放的方式,根据学生饭卡每餐的平均消费额来判断哪些是贫困生,并直接给哪些消费偏低影响正常营养摄入的学生饭卡直接打钱资助。这样的资助方式从受益人角度来考虑更精准更有尊严的资助方式,获得了广泛的好评。
公益项目的目的不仅在于把钱送出去,把爱心送出去,最终要真正帮助到受益人,受益人的确因此而改变。公益需要用对方所希望的方式来助人,而不是相反。助人不仅仅止于助人让自己感觉更好,最终还是为了让受益人真正感觉到了尊重、平等、温暖和关爱,而不是同情、不被尊重或不平等。受益人有无因公益项目而不同,这是公益项目评估最需要衡量的成效。
一个公益项目,如果进行了科学地评估,可科学地总结经验和教训,进而推广有效的经验,停止没有影响甚或负面影响大于正面影响的实践,使得宝贵的公益资源更好地满足社会的需求,使得公益组织本身能更好更快更稳地发展。一个科学的项目评估,不仅对于公益组织本身的发展很重要,对于宣传公益组织和扩大其影响力也有很好的效果,对于其他地区或国家公益组织的发展决策也具有重要的借鉴和参考价值。因此,科学、准确地总结中国经验,也是为人类做贡献,也是最大的公益。
2.如何科学地评估公益项目的成效
要准确评估一个项目或政策的影响,关键是和什么比较。通常,一个项目的评价是和项目实施前设定的项目目标相比较,比如服务多少个服务对象,办几次活动,开展几次讲座或出版几本书。但是,正如前所述,实施项目最重要的是改变受益人,比如使他们更加幸福、健康等等。所以我这里所指的项目评估和当前公益项目完成后进行的合规评估不是一回事。
和其他事后评估相比,随机实验的评估需要研究者在项目开始前就要搜集实验组和对照组的基线数据,比如各学科标准化测试的成绩、各种心理量表及学生及父母和学校的特征信息等等,在项目实施过程中和项目实施后对实验组和对照组需要重复搜集各种数据和信息。
我想要特别指出的是,今天的演讲旨在简要介绍、普及和辨析随机实验进行科学评估有关的最基本概念。由于实验的设计和实施需要考虑方方面面的问题,所以今天讲的内容并不计划成为随机实验评估的指导手册。对随机实验评估有兴趣的社会组织在决定对项目进行随机干预实验时,还需要和有关的研究者合作,具体问题具体分析,设计出合适的研究设计和实施方案。
3.公益组织成效评估应该注意的问题
首先,并非所有公益项目适合进行随机干预实验,不能为了追求随机实验评估而评估。比如,少量的个案辅导类项目是不适合进行大规模随机实验的。由于实验往往需要搜集大量的数据,需要受益人及其监护人了解并同意参与项目,有时还需要搜集行政数据,需要政府部门的配合,只有当受益人众多、项目也较为成熟、各方面都能互相合作时,方可以顺利实施随机干预实验。
其次,需要指出的是,大规模的随机干预实验和深入的个案研究是互为补充,而不是互相竞争的两种研究方法。个案研究对于个案的深入了解和机制分析也是实验设计和实验完成后定量分析的基础。因此,在实验设计前,研究者往往需要深入了解不同的个案。但由于个案之间存在着非常大的差异,项目对不同个案既可能带来正向的影响,也可能带来负向的影响或是根本没有影响。因此,无法以某个个案的结果来说明某个项目对总体样本的平均成效。要看政策或项目对总体的影响,需要大样本调查和评估数据来看其平均影响。
第三,科学的评估不是事后的独立第三方評估。科学的评估应当是项目的一个组成部分,实验方案的设计也是项目设计的一个部分,即科学评估是和项目同时进行的。
第四,评估的实验方案需要根据项目的实际情况和研究需要科学设计。其中,随机方法的选择非常关键。同时,在随机分组时应当避免溢出效应,影响了项目成效的正确估计。如果实验方案存在缺陷,没有搜集所需的数据,没有设计好相应的控制组和实验组,事后仍将无法准确识别出不同因素的影响。
第五,不能过度解读和扩大影响力评估的结果。基于随机实验数据得出的因果推断具有很强的内部有效性,但外部有效性有限,所得到的结论外推至其他群体和情景的时需要谨慎。
最后,在评估过程中要遵循实验的伦理规范,避免伤害实验参与者、避免改变被评估者或项目参与者的社会规范、内在动机和价值观。比如,芝加哥大学的某教授曾对中小学生做过阅读的激励实验,通过不同的方式,用金钱奖励学生阅读,比如阅读多少本书可以获得多少金钱奖励。笔者并不认同这样的项目,因为奖励阅读可能改变项目参与者的阅读动机,即导致孩子为奖励而阅读,没有奖励就不阅读了。类似项目不是引导孩子从阅读本身体验到快乐而使其喜欢上阅读,反而不利于培养孩子长期的阅读习惯。