自由目标评估：一种可行的社会服务项目效果评估法

[摘要]随着政府购买社会服务项目检核式评估的使用与发展，其无法有效评估社会服务项目实际运作效果的弊端不断显现。为探索能够补足的评估方法，本文从检核式评估法的项目假定及方法出发进行分析和讨论。在比较“目标为本评估（GBE）”和“自由目标评估（GFE）”本质内涵及方法层面之差异的基础上，本文认为“自由目标评估（GFE）”更适用于对项目的实际运作效果进行评估。为使得“自由目标评估（GFE）”更具操作性，本文以“自由目标评估（GFE）”内涵为核心，以扎根理论建构理论的逻辑及方法为指导，构建出包括“确定服务结果及其产生的原因”、“收集资料，撰写结果说明报告”、“修订结果说明报告”、“检验结果说明报告”、“分析和解释评估结果”等五个自由目标评估步骤及其详细操作方法。本文期望研究成果能够为政府购买社会服务项目效果评估提供一种可行的新方法。

[关 键 词]目标为本评估  自由目标评估  扎根理论

[基金项目]本文为国家社科基金青年项目“城市社区建设多元动力机制研究”（编号：15CSH070）;江苏省社会科学基金项目研究成果（编号：18SHD002）;“中央高校基本科研业务费专项资金资助”（编号：NO.30918013118）。

[作者简介]刘 江，男，南京理工大学公共事务学院讲师，主要从事社会工作评估研究、社会工作理论研究、社区研究。

[中图分类号]C916    [文献标识码]A    [文章编号]1008-7672（2019）04-0057-08

一、 引 言

在政府购买社会服务项目不断深入的背景下，社会服务项目评估也得到极大发展。经过积累，评估实践在内容和形式上，已经呈现出特定的模式。就评估内容而言，刘江通过对SH市六个不同类型社会服务项目评估实践，归纳出包括“项目理论评估”、“监测评估”、“影响评估”、“成本-收益评估”等四个评估方法构成的整合评估模型。就评估流程而言，尹阿雳和赵环根据深圳2009-2016年的评估实践总结出“制定评估方案及指标”、“市民政局发布评估通知”、“社工服务机构撰写并提交自评报告”、“第三方评估机构审阅自评报告及相关资料”、“第三方机构组织评估专家展开实地评估”、“第三方评估机构汇总意见，得出评估结果”、“评估结果公示”、“正式公布评估结果”等八个工作步骤。在具体操作上，通常从评价主体（指政府和第三方评估机构）的立场出发，以既定的项目计划为蓝本进行操作化处理建构评估指标，然后严格地按照评估指标和程序对服务进行检核。

检核式的评估实践本质上体现为一种“以监督为目的的监控性评估”。为了凸显公共问责性，指导检核的评估指标通常比较关注项目基础设施、项目人力配置、项目管理制度等，而对项目实际服务及专业性关注不足。因此，评估内容体现出“行政管理”取代“专业服务”的现象。这种评估实践的优点在于，它能够为评估者提供一个与项目有关的整体图式，以使得评估逻辑清晰且容易操作。其缺点在于僵化的评估指标配合以行政化的检核形式，导致评估实践忽视项目运作情境的复杂性，以及忽视项目实际运作情况和实际效果。

检核式评估面临的困境源自其背后所坚持的评估理念。检核式评估本质上属于传统的“目标为本评估（Goal-based evaluation，GBE）”。这种评估在本质上假定项目具有恒定性，不因情境和时间发展而发生变化。在方法上坚持静态主义的观点。在具体操作上坚持外部评估者使用预定的项目计划或指标体系对项目进行检核。鉴于“目标为本评估（GBE）”的局限性，应对当前评估实践困境的前提不是对评估内容、评估流程、评估指标等进行修补，而要从项目本质假定和方法两个层次进行厘定，然后再从具体操作上进行廓清。根据这一思路，本文首先以“目标为本评估（GBE）”作为分析的起点，然后引入在项目本质假定和方法上与之相对的“自由目标评估（Goal-free evaluation，GFE）”进行比较分析和讨论，最后在扎根理论的指导下提出可操作性评估步骤。本文期望通过上述三个内容之分析，在厘清当前评估实践本质内涵的前提下，建构一种新的评估方法以供补足。

二、 目标为本评估（GBE）与自由目标评估（GFE）之内涵

何谓评估？评估是用科学的研究方法对社会服务项目的设计、策划、实施和效果等方面进行的测度、诊断和评价的活动。一般而言，评估方法因评估者对项目本质的假定不同而形成较大差异。当评估者假定项目具有“可管理、运作情境稳定、所解决的问题之根源已知且有边界、目标可测量且可预测、不关注意外性结果”等特征时，通常会使用“目标为本评估（GBE）”。当评估者假定项目具有“情境复杂性、无解决问题的已知办法、目标不可控且不可预测、接纳意外性结果”等特征时，通常会使用“自由目标评估（GFE）”。与项目本质假定对应，在方法上前者坚持静态主义的观点，后者坚持动态主义的观点。

（一） 目标为本评估（GBE）

“目标为本评估（GBE）”是大多数评估者最为熟悉，也是当前最为流行的评估方法。它旨在判断项目的既定目标是否实现。评估者通常根据项目计划预设一系列指标，以检验项目实施程度如何。它假定项目内容和项目目标之间天然地存在线性联系，因此，应该自动地将这种联系纳入项目评估的范围之内。由此，测量和因果判断成为“目标为本评估（GBE）”的核心内容。這一观点在大量类似逻辑模型（logic model）、CIPP模型等指导项目设计的改变理论中体现得淋漓尽致。这类改变理论预先假定了项目按照线性逻辑发展，因此，试图将项目预期行动与预定目标按照线性因果逻辑串联起来。然后，基于线性因果逻辑对项目进行描述和判断。在这种评估中，评估者通常是外部评估者。外部评估者通常以项目预定计划作为蓝本，以逻辑模型或者CIPP模型为指导，按照输入、过程、产出、结果对项目进行描述（或操作化处理），然后按照各部分之间的因果逻辑对项目效果进行检验（或评判）。这种评估在操作上包括以下几个前后连贯的步骤：首先，以任何与项目有关的文档或资料为基础，以确定项目服务和预期目标;其次，建立项目服务与目标之间的因果联系;再次，用这个预定的因果联系检验项目运作的实际情况。由此看出，“目标为本评估（GBE）”是一种理论先行的评估。在逻辑上，它遵循了演绎的逻辑。它预先设定了项目运作的理论和逻辑，强调预定理论与项目实际情况之间的比较，并根据比较结果对项目进行评判。

事实上，“目标为本评估（GBE）”属于传统类型的评估，体现出传统评估“掌控”、“预测”、“有序”的项目假设。这种项目假设将项目视为一种简单的、静态的、线性发展的逻辑。它忽略了项目运作的情境复杂性、项目的综合性等特征。受此项目本质假定之影响，“目标为本评估（GBE）”在方法上坚持（预定计划先行的）静态主义观点。虽然借助于项目预定计划能够帮助外部评估者迅速了解项目运作的理论逻辑，但是，这种评估对于深刻理解项目实际运作逻辑（actual logic）帮助甚微。事实上，项目运作情境的复杂性可能会导致项目实际运作与项目预定计划背离。而评估者通常将预定计划之外未预期的结果处理为项目运作失败的表现。由此，“目标为本评估（GBE）”评估结果的有效性将会降低。

（二） 自由目标评估（GFE）

作为对“目标为本评估（GBE）”的补足，“自由目标评估（GFE）”主要指，评估者在不了解项目预定目标的情况下，对项目开展的评估。所谓“自由”主要指评估在理论上保持独立性，不受项目设计者、实施者、服务对象和评估结果使用者对项目目标界定之影响。所谓“目标”主要指项目运作所产生的实际结果，而非项目预先设定要实现之目标。

在项目本质假定上，不同于“目标为本评估（GBE）”，“自由目标评估（GFE）”对项目的本质假定是：第一，项目目标不是预先给定的，而需要通过实际的评估活动才能获得;第二，预定的目标只是一种语言上的修辞，并且这种修辞并不能反映项目的真实目标和项目产生的实际改变;第三，项目可能产生预定目标以外的意外性目标或结果。正是基于这些对项目本质的认知，评估者不需要预知项目预定目标是什么，进而可以从项目预定计划和目标中解放出来。评估者可以根据项目的实际运作结果对项目目标进行调整，进而实现“自由”。就“目标”而言，相较于清晰、明确、固定的预定目标，项目目标具有模糊性、不确定性。但是，这又会导致自由目标评估者在寻找项目结果时存在困难。因此，自由目标评估鼓励其评估者将有效回应服务对象需求作为项目目标，并将项目提供的服务与服务对象需求之间连结起来，而不是与项目既定目标连结。由此，全面、公平、精确的需求评估对于开展自由目标评估至关重要。评估者可以通过服务对象需求满足程度作为项目运作的实际结果，并展开评估。由此看出，与“目标为本评估（GBE）”理论先行不同，“自由目标评估（GFE）”是“服务对象为导向”的评估。

在方法上，“自由目标评估（GFE）”坚持动态主义观点。它强调评估不受预定计划和目标的影响，能够应对服务对象需求、项目资源、项目目标在项目运作过程中发生的变化。评估者必须坚持两点以避开项目预定计划和目标而实现动态性：一是不能与了解项目预定目标的工作人员交流和沟通;二是不能试图寻找项目预定目标。评估者越不了解项目预定计划和目标，就越会将注意力集中于项目所产生的实际结果，进而实现对项目的动态适应。为此，自由目标评估者需要建立一个目标监督者（goal-screener）团队。该团队作为评估者和项目上层利益相关者（如项目投资者、行政人员、管理者等）之间的中间人而起作用。其作用主要有两个：一是监督评估者试图通过项目工作人员寻找预定目标的行为;二是在评估者和项目上层利益相关者之间起到监督作用，以防止评估者与上层利益相关者之间达成合谋。通过这些方式，“自由目标评估（GFE）”提升其评估结果的无偏性。就操作逻辑而言，“自由目标评估（GBE）”目标是通过各类资料在服务与实际结果（或服务对象需求）之间建立连结。它要求评估者首先识別出项目运作的实际结果，然后通过回溯的方式确定该结果是由项目而引起。在方法上采用归纳的方法来理解和分析项目运作效果。因此，它是一种质性的、探索的、深度描述的评估方法。

“自由目标评估（GFE）”的特征决定了它必须在一定的前提下才适用。前提之一是，评估者不能预先知晓与项目有关的任何信息，保证评估者对项目预定计划和目标保持一种“无知”状态。这种“无知”可以提升评估者的独立性，进而保证评估的可靠性和公正性。前提之二是，项目上层利益相关者（如行政人员、管理者等）赞同“自由目标评估（GFE）”的理念和方法。由于“自由目标评估（GFE）”在理念和操作方法上与常用的“目标为本评估（GBE）”具有较大差异，因此，获得项目上层利益相关者认可或赞同是顺利使用该方法的重要保障。

三、 “目标为本评估（GBE）”与“自由目标评估（GFE）”之比较

根据前文分析，虽然“目标为本评估（GBE）”和“自由目标评估（GFE）”因项目本质的假定不同而导致两者存在较大差异，但是，从评估发展阶段来看两者均属于“第三代”评估，两者都以“评判”作为评估的核心特征。也即，两者均需要通过特定的方法（或方式）对项目运作的结果进行判定，并找出其原因。实际上，两类评估均属于实证主义哲学范畴。在本体论上，两者均坚持现实主义本体论，主张观察者（评估者）兴趣之外只存在唯一的现实，这个现实依据不变的自然法则起作用，多以因果的形式出现。在认识论上，两者均坚持客观主义认识论，主张观察者可以使被研究的现象外在化，并与其保持一定距离（这种状态经常被称作“主体——客体二元主义”），任何价值观都无法对之产生影响。为更加清楚地呈现这两类评估的差异，在前文分析的基础上，本文从项目本质假设、评估目的、评估方案设计、测量方法、评估者角色、评估者立场、评估结果评价等维度进行对比（见表1）。

就操作方法而言，“目标为本评估（GBE）”因为有逻辑模型、CIPP模型等改变理论做支撑而变得简洁且易操作。在逻辑模型、CIPP模型等指导下，目标为本评估者的主要工作是：（1）对项目预定计划按照逻辑模型进行操作化处理;（2）以操作化结果作为依据对项目进行检核，以最终确定项目运作效果。相较而言，“自由目标评估（GFE）”因没有固定的评估理论（或评估模型）作为指导而在操作方法上具有模糊性。因此，“自由目标评估（GFE）”需要在方法上寻求突破，以保证其具有可操作性。

四、 “自由目标评估（GFE）”操作方法

“自由目标评估（GFE）”属于结果评估，在操作方法上要求评估者以项目运作的实际结果为起点，通过回溯的方式寻找关于项目以往经验之“影响”的信息。“自由目标评估（GFE）”实质上是一种事后评估，并且是在项目运作结束之后展开的回溯性因果机制评估。其最终目标是在项目活动（或服务）与项目实际结果之间建立因果联系。Youker等人根据“自由目标评估”的内涵制定了用于指导评估实践的通用规则：（1）识别项目所产生的实际结果;（2）识别项目所提供的干预或服务;（3）确定项目干预或服务与实际结果之间的逻辑联系;（4）确定干预或服务对结果的影响是积极、消极，还是中立，及其程度。虽然这一规则为自由目标评估者指明了方向，但是，具体操作方法仍需进一步澄清。

（一） 自由目标评估与扎根理论的亲和性

前文已述，“自由目标评估（GBE）”是一种强调质性的、探索的、深度描述的评估方法，通常采用归纳法收集资料以完成评估。它要求评估者以项目既存资料作为分析起点，然后使用多个步骤来筛选资料、分析资料。最终，从众多与项目有关的资料中逐步识别项目服务与结果（或改变/需求）之间的联系。实际上，“自由目标评估（GBE）”这一逻辑和目标与扎根理论具有高度亲和性。扎根理论的宗旨是在经验资料的基础上建立理论。研究者在开始研究之前一般不做理论预设，而是直接从原始资料中归纳出概念和命题，然后上升到理论。它是一种自下而上建构（归纳）理论的方法，即在系统收集资料的基础上寻找核心概念，并在这些核心概念之间建立联系。

在扎根理论中，资料必须经过“编码”，进而建立（或探索）研究现象之间的联系。“编码”的基本原则在于对资料进行持续地比较、从中撷取主题（themes）、建立范畴（categories），进而提炼出接近真实世界、内容丰富、统合完整、具解释力的理论。编码是两项同时进行的活动：机械的资料缩减与对资料进行分析性的分类处理。Strauss与Corbin区分出三个不同的编码过程，分别是：开放式编码、主轴编码、选择性编码。开放式编码是对庞杂的资料进行分类的初步尝试中，确定主题并指定最初的编码或标签。这一过程关注的是原始资料本身，通过编码使得深藏于资料中的主题浮现。但是，这一过程并不重视建立主题之间的联系。主轴编码阶段则关注有关原因与结果、条件与互动、策略与过程的问题，并且搜寻那些彼此离得较近的类别或概念。这一阶段的主要工作有两个：其一是寻找概念或主题之间的相关性;其二是在众多质性资料与主题之间建立联系，形成类似变量与测量指标之关系网络。最后，进入选择编码环节。这一环节需要对原始质性资料和前期编码进行再次阅读和分析。这一环节主要涉及以下几个步骤：步骤一是选择性查阅说明主题的案例，并在资料搜集完成之后进行比较和对比;步骤二是发展出成熟的概念，并确定几个核心通则或观点来筹划整体性分析;步骤三是围绕核心通则或观点来组织概念或主题。

（二） 自由目标评估操作步骤

根据前文的分析，“自由目标评估（GBE）”和扎根理论在理念、操作原则等方面具有亲和性。由此，可以借助扎根理论三级编码的思路来指导开展“自由目标评估（GFE）”。值得再次明确的是，“自由目标评估（GFE）”是结果评估的一种。它关注项目的实际结果及其产生的原因。结合扎根理论建构概念（或主题）之间的关系的步骤，可以通过以下步骤完成自由目标评估。

第一步，确定项目实际结果及其产生的可能原因。这一步骤类似与扎根理论中开放编码。此步骤的主要任务是，从众多资料中确定项目实际结果和其产生的原因，并對其进行主题化或概念化。评估者和结果使用者（如项目执行者、项目资助者）共同确定可行的评估问题，用以指导资料收集。评估问题围绕项目实际结果和导致结果的可能原因进行设计（这些原因必定是项目提供过的各类服务）。就结果而言，可以通过以下问题获得评估资料：服务对象（个体、团体、社区、组织或机构）可观察的、可验证的变化是什么？或者，服务对象需求满足程度如何？就原因而言，可以通过以下问题获得评估资料：项目执行者通过什么服务而实现服务对象的变化或需求满足？

第二步，收集评估资料，撰写结果说明报告。这一步骤类似于扎根理论中的主轴编码。其主要目标是建立项目服务和项目实际结果之间的因果联系。这一步主要有两个评估任务。任务一是评估者阅读与项目有关的原始材料（如各类台账）、评估资料（需求评估报告、阶段性总结报告）、自评报告等，以识别项目实际结果以及与结果有关的各类服务。此步骤收集的项目资料既包括质性资料，又包括量化资料。待资料收集好之后，将各类服务与结果表述为因果关系的表达形式。任务二是撰写结果说明报告。结果说明报告包括两项任务：（1）清晰地描述项目服务和项目实际结果，以呈现出项目的基本形态;（2）勾勒出项目服务与项目实际结果之间的因果联系。

第三步，修订结果说明报告。这一步骤的主要目标是对结果报告说明呈现的因果关系进行进一步澄清。由于项目执行者深知项目运作的实际情况，因此，邀请项目执行者对结果报告说明进行修订能够提升评估结果的有效性。项目执行者一方面对前一步骤形成的因果关系进行检验，另一方面识别结果说明报告以外可能的项目结果以修订既成因果关系。此外，评估者需对众多不同的因果联系进行类别化处理。亦即，以既成的因果联系中的主题（或概念）为分析对象进行归纳处理，以进一步精简材料。这一步以结果说明报告为分析对象，不涉及任何与项目有关的实际资料。邀请项目执行者进行修订是为了确保因果联系具有实质合理性。

第四步，检验结果说明报告。这一步骤类似于扎根理论中的选择编码。这个步骤的目标是检验经过修订的结果说明报告（确切说是因果联系）。为提升评估资料和分析结果的可靠性，评估者需要邀请第三方独立者对修订后的结果说明报告中的因果逻辑关系展开进一步检验。根据自由目标评估的内涵，第三方评估者一方面不能与项目利益相关者有关联，另一方面不需要提前了解项目相关信息。其工作主要是从学理（或者逻辑）的角度对前一阶段的因果逻辑进行论证，以确保从项目资料中建构而来的因果联系具有形式合理性。

第五步，分析和解释评估结果。分析的主要任务是在对结果进行类别化处理的过程中识别潜在的模式。根据扎根理论的指导，为识别潜在模式，可以从三个层次展开分析：（1）对每个结果进行深度描述和分析;（2）对单个服务和单个结果之间的关系进行深度分析;（3）从系统的角度出发，对多个服务和多个结果之间的关系进行分析与综合，此时，需要在不同的主题、类别之间建立横向与纵向的浓密网络，进而确定项目运作潜在改变模式。

通过上述五个步骤，一方面可以对项目的实际效果及其产生的原因进行分析和理解，另一方面可以实现对项目知识的积累，甚至形成特定领域的项目理论（这也是扎根理论要实现的最终目标）。值得强调的是，由于“自由目标评估（GFE）”属于实证主义哲学范式，因此在评估资料收集和分析过程中要尽量强调客观性，进而保证评估结果的客观性和有效性。

五、 总结与讨论

（一） 总结

当前我国政府购买社会服务通常使用检核式评估法进行评估。这种评估方法本质上属于“目标为本评估（GBE）”。这类评估在本质上认为项目是可管理的、项目运作情境是稳定的、项目目标是可控制的。这类评估在方法上强调以事先确定的项目理论（或项目逻辑）对项目运作情况进行检验。因此，这类评估适用于对发展相对成熟、运作情境相对稳定的社会服务项目展开评估。虽然这类评估逻辑清楚、操作便捷，但是，它无法有效应对复杂情况中运作的社会服务项目。与此不同，“自由目标评估（GFE）”认为项目运作情境具有复杂性、项目过程和项目目标不可控。这类评估通常以项目的实际结果作为关注的焦点，采用动态主义的方法观，通过回溯性研究的方法展开评估。这类评估适用于对正在发展中的、运作情境不稳定，且亟待探索的社会服务项目展开评估。由于当前我国政府购买不同领域的社会服务项目发展均还未成熟，甚至很多领域的服务还处于探索阶段，因此，不宜使用结构性较强的“目标为本评估（GBE）”展开评估，反而应该以灵活性更强的“自由目标评估（GFE）”展开评估。在具体操作方法上，“自由目标评估（GFE）”与扎根理论具有亲和性，因此，可以以项目运作的实际效果为起点，然后使用“开放编码”、“主轴编码”、“选择编码”等技术从众多评估资料中澄清项目面貌、建立并检验项目服务与结果之间的因果联系。甚至可以在“自由目标评估（GFE）”之评估结果的基础上不斷积累项目知识、发展项目理论，以便最终实现社会服务项目规范化。

（二） 讨论

虽然本文将“目标为本评估（GBE）”和“自由目标评估（GFE）”视为两种不同的评估类型并从多个维度进行对比分析，但是，这并不意味这两种评估具有本质的差别。从哲学范式上看，这两类评估均属于实证主义哲学范畴。两者均坚持现实主义本体论和客观主义认识论。这两种评估均属于第三代评估。其共性是“评判”，也即对项目运作效果及其原因进行评价和判断。二者的不同之处在于对项目进行评判的方式不同。“目标为本评估（GBE）”以某种预先规定的外在标准进行评判，而“自由目标评估（GFE）”则以项目实际运作情况作为评判的标准。在相互关系上，两者不是替代关系，而是补足关系。此外，虽然基于扎根理论而形成的具体评估步骤使得“自由目标评估”的理念得以具象化，但是，依然有以下几个问题值得注意：（1）评估资料的客观性如何保证;（2）在涉及价值等问题的评估实践中，如何保证从项目资料中建构而来的因果联系的有效性？虽然这些问题在扎根理论中均有论及，但是，对这些问题的回应超出了方法本身的论域范围。由此，要将其置于评估实践的背景下进行考察，要充分考虑评估实践所面临的政治、权力、价值等因素。而这些内容也正是该方法未来研究的重要方向。

（责任编辑：亚立）

Abstract In order to explore the alternative evaluation method， this paper analyzes the essential assumptions of check-up evaluation method firstly. Then， On the basis of comparing the differences between “goal-based evaluation” and “goal-free evaluation”， this paper asserts that the “goal-free evaluation” is more suitable for the evaluation of program actual effects. Under the guidance of grounded theory， this paper constructs a five-step evaluation method， which includes： “determining the program outcome and its causes”， “collecting data and drafting outcome report”， “revising outcome report”， “examining outcome report”， “analyzing and interpreting outcome report”.

Key words goal-based evaluation; goal-free evaluation; grounded theory