效果导向的项目管理指标体系研究——基于128个残疾人服务项目评估结果的量化分析

刘 江

一、引言

在社会服务项目运作过程中，如何保证服务项目有效是一项非常重要，又比较困难的项目管理议题。在社会服务项目管理实践中，项目管理者通常非常关注项目制度设置、人员配置、成员培训、物质资源投入等项目运作的前期要素，以保证项目目标之实现。但是，在实际运作过程中，社会服务项目会因目标群体、目标问题的多样性，进而在项目理论、服务内容和服务结果等方面呈现出多样性特征。甚至，针对同一目标群体、使用同样的服务内容，也会因为项目所处情境的差异而产生不同的结果。社会服务项目的这种变异性特征给以项目效果为导向的项目管理带来困境。面对项目运作过程中的变异性特征，项目管理者难以形成一种普遍适用，且保证项目效果的管理策略。根据项目运作的逻辑，一个完整的社会服务项目至少包括前期准备、项目执行、项目评估等环节。项目效果达成与否除了受前期准备影响外，还受到项目执行过程中变异性的影响。由此，在思考效果导向的管理策略时，应该将项目执行过程中的变异性特征纳入考量，从项目执行前的静态输入与项目执行的动态过程两个角度探讨社会服务项目管理策略。

为实现上述研究目标，（1）在逻辑上，本研究将分析的焦点从某项具体的社会服务项目中抽离，转而思考深藏于项目运作背后的共通性逻辑，并以此作为建构指标体系①值得注意的是，本研究的是以项目为分析单位形成的，用于指导项目管理，进而实现项目目标的指标。的指导逻辑。（2）在内容上，本研究将项目执行前的静态投入与项目执行的动态过程同时纳入分析，并围绕这两个角度构建指标体系。

二、文献回顾及研究假设

一般而言，构建指标体系的前提是，以特定的项目理论作为指导。Shadish, Cook, Leviton 认为，“理想的项目理论能够清楚地说明为何评估实践能够在跨情境的情况下实现某种特定的结果”。②③ William R. Shadish, Jr., Thomas D. Cook , Laura C. Leviton. Foundations of program evaluation: Theories of practice. London:Sage,1991,p36.他们进一步指出，这种项目理论应该包括以下几个特征：“（1）澄清项目的服务、过程和目标；（2）有效解释服务、过程和目标之间的关系；（3）形成能够用经验性材料进行检验的假设”。③实际上，这种具有普遍性质的理论潜藏于社会服务项目运作的逻辑之中。社会服务项目开发和运作常用的“逻辑模型”（logic model）正好体现出上述项目理论之要求。

逻辑模型通常被视为一种改变理论（theory of change），用于指导项目开发和实施。④Joy A. Frechtling Logic modeling methods in program evaluation. San Francisco:John Wiley and Sons,2007,p30.在逻辑上，逻辑模型始于项目的输入，并通过项目的运作（或实施），进而实现项目所欲达到的状态（某种输出或者项目目标）。⑤Lawrence B. Mohr. Impact analysis for program evaluation. Chicago: The Dorsey Press,1988,p41.在功能上，逻辑模型通常用来识别项目输入、项目实施、项目目标，以及三者之间如何互相关联及运作的问题。⑥Millar Annie, Ronald S. Simeone, and John T. Carnevale. Logic models: A systems tool for performance management. Evaluation and program planning,2001,24(1):73-81.它能够清楚地阐释项目输入、项目实施、项目目标之间的因果逻辑。⑦Julian David A, Ann Jones , Diana Deyo . Open systems evaluation and the logic model: Program planning and evaluation tools. Evaluation and Program Planning, 1995,18(4): 333-341.它为理解项目不同要素之间如何运作，进而实现项目目标提供了一种通用的理解模式。⑧McLaughlin John A, Gretchen B. Jordan. Logic models: a tool for telling your programs performance story. Evaluation and program planning,1999,22(1): 65-72.根据逻辑模型，在社会服务项目中，通过实施具体服务（如服务A，服务B），将会获得某种特定的结果，而这些特定的结果进一步能够以项目所期望的方式对服务对象或相关问题产生影响。⑨Millar A, Simeone R S, Carnevale J T. Logic models: a systems tool for performance management. Evaluation and program planning, 2001,24(1): 73-81.基于逻辑模型所强调的因果逻辑，实现项目效果的核心就在于，确保在项目输入、项目实施、项目目标等不同要素之间建立可以检验因果联系。虽然简单明了地呈现了项目各要素之间的因果逻辑，但是逻辑模型依然存在理论上的不足。这些不足主要表现为，这种基于因果检验的逻辑“（1）是一种线性的、单向的，且决定性的方法；（2）是一种静态的方法，它容易忽略项目运作具有情境适应和演化的特征；（3）可能会因为过度关注预先设定的因果链，而忽视项目执行所产生的意外性效果”①White Howard. Theory-based impact evaluation: principles and practice. Journal of development effectiveness, 2009,1(3): 271-284.。为避免这些不足，在使用逻辑模型指导项目管理实践时，需将项目执行过程中的情境性、变异性特征纳入考量，以便于抓住社会服务项目运作过程中的动态变化特征对项目目标实现所产生的影响。

基于逻辑模型既能概括社会服务项目运作普遍性逻辑，又能指导社会服务项目进行操作化处理，还能检验社会服务项目的效果②Deborah Helitzer, Christine Hollis , Brisa Urquieta de Hernandez , Margaret Sanders, Suzanne Roybal, Ian Van Deusen. Evaluation for community-based programs: The integration of logic models and factor analysis. Evaluation and Program Planning, 2010,33(3): 223-233.等特征，本研究以逻辑模型作为指导来建构项目管理指标体系。为凸显逻辑上的简洁性，本研究将社会服务项目分成三个部分，分别是“项目输入”、“项目运作”、“项目目标”。根据逻辑模型因果联系之内涵，在建构以实现项目效果为导向的管理指标时，本研究提出以下研究假设：

假设1：项目输入各要素对项目目标具有显著正向作用。

假设2：项目运作过程各要素对项目目标具有显著正向作用。

值得进一步思考的问题是，（1）项目输入包含哪些实质内容，且这些内容对项目目标是否具有显著正向作用；（2）项目运作过程包含哪些实质内容，且这些内容对项目目标是否具有显著正向作用。就社会服务项目各部分所含要素之内容，朱晨海等人③朱晨海、曾群：《结果导向的社会工作评估指标体系建构研究——以都江堰市城北馨居灾后重建服务为例》，《西北师大学报：社会科学版》，2009(3)。根据汶川震后实务工作的研究指出，社会服务的输入包括“人力投入”、“物力投入”、“时间投入”、“经费投入”。为突破传统研究特定地区、特定领域的研究思路，以及建构一个具有普遍性质的指标体系，曲凤鸣④曲凤鸣：《政府购买社会工作服务评估体系研究》，《江南社会学院学报》，2017（2）。按照Martin提出的社会服务绩效评估的投入、过程、产出、品质及成效五个维度，提出了包含60余项指标的评估指标体系。其中，项目投入包括执行组织（包含发展规划、规章制度、服务设施等）、执行团队（含团队专业性、团队经验、配置合理性）、项目方案（含项目理念先进、项目目标、项目计划有效性等）。项目过程包括服务管理（含行政管理、规范性管理、档案管理）等。尚晓娇⑤尚晓姣：《社会工作机构服务专业化评估研究—以S市二十家社工机构评估实践为例》，华东理工大学硕士学位论文，2010年。以深圳市社会工作机构评估机制为研究对象，构建出包括服务绩效、专业服务手法、人资管理、机构内部架构、财务管理等五个二级指标。徐蕴秋⑥徐秋慧：《社会工作机构专业性评估分析—以阳光青少年事务中心为例》，复旦大学硕士学位论文，2008年。通过研究建构了包括人才队伍、财务、专业培训、机构设置、运行规范等12个指标。虽然这些研究为认识项目运作提供了一些可供借鉴的经验，但是，至少存在几个方面的不足：（1）研究方法以归纳法为主，提前假设了各维度之间的因果联系，进而忽略了对各维度（及具体指标）与项目目标之间的因果联系进行检验；（2）指标体系过于庞杂,将与项目有关的内容全部考察,降低了指标的简洁性；（3）强调项目运作过程的维度（或指标）并没有真正体现出项目运作变异性特征。

在尊重指标简洁性和项目运作变异性的前提下，本研究在综合以往研究基础上对研究内容进行如下处理：首先，项目输入包括“项目成员管理和培训”、“项目方案设计”。选择这两者作为项目输入的原因是，不论何种类型的社会服务项目，良好的管理制度、较高质素的工作人员，以及符合当时当地实际情况的服务设计都是保证项目能够良性运作的重要前提。其次，为体现出项目运作过程中的变异性特征，本研究将“项目过程跟踪和评估”设置成为重要维度。在社会服务项目中，项目目标通常因服务对象、服务主题等而存在较大差异。这种差异一方面体现出社会服务项目的特殊性，同时又给研究带来较大困境。为降低这种研究困境，本研究选用“服务对象满意度”①刘芳、吴世友、Mark：《主满意度评估:一种有效的社会工作实务评估方法》，《华东理工大学学报(社会科学版》，2013（4）。这一项目效果评估中常用的指标作为项目目标。由此，结合前文假设1和假设2，本研究将通过以下三个假设之检验来确定最终的指标体系：

假设1a：项目成员管理和培训对服务对象满意度具有显著正向作用。

假设1b：项目方案设计对服务对象满意度具有显著正向作用。

假设2a：项目过程跟踪和评估对服务对象满意度具有显著正向作用。

三、研究方法

（一）研究对象

本研究以上海市J区K评估机构2013年至2016年所评估的128个残疾人服务项目为研究对象。这128个项目的主要服务对象是残疾人，且各自内容和项目具体目标不同。其中，有残疾人能力提升的项目、有为残疾人家长提供支持的项目等。虽然每个项目的内容和项目具体目标存在差异，但是这些项目的运作均按照政府购买服务的项目标书完整运作。在项目运作完整的基础上，K评估机构根据事先设置的指标体系按照前期评估、中期评估和末期评估的工作流程，对项目运作的实际情况进行监测与评估。

（二）资料收集方法

一般而言，指标体系开发在方法上包括以下几个逻辑相连的步骤。第一步是建构与指标体系有关的理论框架，然后对其进行操作化处理，再使用定性方法收集资料，以初步确定指标内容。第二步是将前一个步骤形成的指标内容设置成调查问卷收集量化数据，并使用探索性因子分析（EFA）对量化数据进行分析。这一步骤的目标是对指标体系的结构和内容进行修订，以形成初步结构。第三步是就修订后的指标内容再次进行问卷调查，然后使用验证性因子分析（CFA）对指标的结构和内容进行再度检验及确定。

本研究在整体上使用上述指标体系开发的思路和方法，但是在具体研究过程中根据实际情况作了相应调整。具体而言，在数据收集上，通常做法是将指标制作成调查问卷，然后让受访者根据指标的重要性程度进行打分。但是，这种方法无法克服基于受访者主观经验而带来的测量偏差。为降低这种偏差，本研究在资料收集上做了两个处理：其一，评估者不是根据自己主观经验对指标的重要性程度进行打分，而是在项目评估实践过程中，根据项目运作的实际情况对每个指标进行打分（每个指标设置成1-5分，分值越高说明项目在该指标上的实际运作越好）；其二，各个指标的评估得分由至少三位评估者根据项目运作的实际情况独立打分，然后再取均值（本研究以此均值作为原始资料进行分析）。这种处理方式一方面因指标得分与项目本身建立直接联系而保证资料的效度，另一方面因多人打分而保证资料的信度。

值得进一步说明的是，本研究使用的服务对象满意度，不是服务对象根据自身对服务的感知而做出的主观评价。而是在评估实践中，评估者根据各个服务项目所收集的服务对象之满意度得分而进行的等级评定。由于128个项目的满意度介于50%—100%之间，本研究将项目所获满意度得分分成5个等级：一级为50%-60%，赋值为1分；二级为61%—70%，赋值为2分；三级为71%—80%，赋值为3分；四级为81%—90%，赋值为4分；五级为91%—100%，赋值为5分。这种评定和前述三个维度的评定方法相同，由至少三位评估者根据服务对象的满意度情况进行打分，并取均值。

（三）资料分析方法

本研究主要使用探索性因子分析（EFA）和路径分析（path analysis）进行资料分析。探索性因子分析主要用于探索基于程序逻辑模型而形成的三个维度的基本内容和结构。路径分析主要用于检验这三个维度能否促进项目目标的达成。由于本研究的三个核心变量均为包含多个观测变量的潜在变量（具体参见研究发现探索性因子分析结果），因此，本研究将潜在变量转化成因子分（factor score）后进行路径分析。

四、研究结果

（一）指标界定及内容描述

根据前文的论述，本研究指标包括“项目成员管理和培训”、“项目方案设计”、“项目过程跟踪与评估”三个维度。“项目成员管理和培训”主要指社会服务项目有针性地对其项目执行人员进行管理和培训。主要体现为拥有完善的管理制度、定期提供培训。“项目方案设计”主要指社会服务项目方案之设计要在严格的需求调研基础上展开。并且要求项目方案目标清晰、内容明确、具有可操作性。“项目过程跟踪与评估”主要指项目运作过程中，项目执行者对项目运作情况进行自查，并使用定性与定量等评估方法对项目运作进行评估与反思。并在评估结果的基础上对项目要素和运作等进行必要的调整。从三个维度的界定可以看出，“项目成员管理和培训”强调社会服务项目规范性的内容，而“项目方案设计”、“项目过程跟踪与评估”强调社会服务项目专业技术内容。表1呈现了指标的主要维度和具体测量内容。

表1 指标维度、测量内容及均值

根据表1的均值可知，“项目成员管理和培训”的3个测量内容的均值普遍较高。而“项目方案设计”和“项目过程跟踪与评估”各测量内容均值普遍较低。这一描述性结果在一定程度上说明，社会服务项目在管理和培训等规范性内容上做的较好，而对专业技术要求相对较高的“项目方案设计”和“项目过程跟踪与评估”做的相对较差。这一结果为项目管理指明了改进的方向。

（二）探索性分析结果

为探索指标的结构和信度，本研究使用探索性因子分析（EFA）对相关数据进行分析。具体而言，本研究使用主成分法及正交旋转法对原始数据进行分析。分析结果包括各测量题目的因子负荷和各维度测量题目的内在一致性程度Cronbach’s a。探索性因子分析结果如表2所示。

表2 探索性因子分析结果① 表格内部为因子负荷。表2中探索性因子分析后，每个维度下的条目与表1中每个维度下的原始条目相同。但是，这并不意味着本研究使用了验证性因子分析。出现此结果是因为，探索性因子分析的结果与原始资料相似。后期研究中，研究者应该使用验证性因子分析对此结构进行验证。

根据表2探索性因子分析结果，11个测量题目的因子负荷介于0.800到0.868之间。统计结果说明11个测量题目不仅能很好地测量各自维度，同时在各自维度内均具有较好的内在一致性。探索性分析结果说明，本研究使用的三个维度具均具有较好的信度。

（三）路径分析结果

为检验表2中各维度与服务目标之间的联系，在逻辑模型的指导下，本研究使用路径分析检验指标体系三个维度和服务对象项目满意度之间的因果联系。图1呈现了本研究的多变量路径分析图。

图1 多变量路径分析图

根据图1的路径分析图，本研究得出表3所示的多变量路径分析结果。

表3 多变量路径分析结果（标准化回归系数）

根据表3的统计结果，“项目成员管理和培训”、“项目方案设计”、“项目过程跟踪与评估”三者对服务满意度具有显著正向作用（p值分别为0.05，0.007，0.001）。这说明本研究提出研究假设1a、假设1b、假设2a均成立。统计结果说明本研究使用的三个维度能够有效促进项目目标之实现。由此说明，本研究以实现项目效果为导向的管理指标体系具有可行性。

首先，“项目成员管理和培训”。这个维度主要针对项目成员（尤其指项目执行者）。从其测量内容可知，良好的管理制度、合理的岗位安排、完善的培训等，对于实现项目目标具有重要作用。因此，项目管理人员应该根据项目的特殊性制定具有针对性的管理和培训制度。各测量题目的均值已经说明，诸多社会服务项目均能在该维度上做出较好的表现。

其次，“项目方案设计”。这个维度指向项目实施的具体计划。该维度体现出项目设计较高的专业性特征。主要表现为：项目方案必须源自需求评估；方案目标、内容等清晰且具有可操作性；项目实施技术合理且具有针对性。因此，项目管理人员应该充分重视项目方案具体设计，严格根据项目方案设计的要求制定服务方案。

再次，“项目过程跟踪与评估”。与前两个维度不同，这一维度的意义在于应对项目运作的动态性和变异性。通过项目运作过程的监测和评估，一方面可以对偏离目标的情况进行矫正，另一方面可以根据现实情况修订项目方案，以更加有效地实现项目目标。因此，项目管理人员应当充分尊重项目运作过程中的变异性特征，使用科学的监测和评估方法及时修订项目，以便于实现项目目标。

总之，根据研究结果，以实现项目效果为导向的项目管理策略，需将项目静态投入与项目执行的动态过程同时纳入分析，从静态投入和动态监测、评估等角度对项目进行精细管理。

五、结论与讨论

（一）结论

为获得以实现项目目标为导向的项目管理指标，本研究在逻辑模型的指导下，以上海市J区128个残疾人服务项目作为对象展开分析，通过使用探索性因子分析和路径分析，确定了以“项目成员管理和培训”、“项目方案设计”、“项目过程跟踪与评估”为主要维度的指标体系。路径分析结果显示，“项目成员管理和培训”、“项目方案设计”、“项目过程追踪与评估”与项目目标（本研究为项目满意度）均起到显著正向作用（假设1a,1b,2a成立）。这说明在该指标体系的指导下，能够有效实现项目目标。其中，“项目成员管理和培训”关注工作人员的质素和能力。“项目方案设计”关注项目方案的专业性。“服务过程跟踪与评估”关注项目运作的动态性和变异性。这一指标体系不仅体现了逻辑模型强调的项目输入（工作人员质素和能力、项目方案）的部分内容，同时也体现了逻辑模型对项目情境性和变异性的要求（服务过程跟踪与评估）。由于该指标各维度测量内容清楚地说明了项目成员管理、项目方案设计、项目跟踪与评估所呈现的具体内容和特征，因此，项目管理者可以将其作为社会服务项目建设的内容，也可以将其作为检验社会服务项目运作的标准。

根据前文的描述统计结果（各测量题目均值），128个社会服务面临的问题是，规范性的管理和培训做的较好，而专业性较强的项目设计、监测和评估做的相对较差。同时,鉴于“项目方案设计”和“服务过程跟踪与评估”的作用强于“项目成员管理和培训”（标准化路径系数为0.389,0.308 ＞ 0.218），本研究认为社会服务项目管理应该在更具专业性的“项目方案设计”和“服务过程跟踪与评估”这两个维度上做深度建设。项目管理者尤其应该重视使用过程监测、阶段评估等技术手段对项目的执行过程进行即时性管理，以便于项目在执行过程中针对情境特征或项目阶段性特征而进行有效调试。

（二）讨论

与以往研究相同的是，本研究充分利用逻辑模型线性发展逻辑以指导研究假设及统计模型的建立。不同之处有两点：其一，在指标设置上，本研究以当前社会组织普遍使用的评估指标为主，充分尊重评估场域中的现实评估状况而展开研究（主要体现为指标源自评估机构，而非研究者根据文献提前设置）。其二，在项目假设上，本研究充分考虑社会服务项目运作的情境性和变异性特征，并将“服务过程的跟踪与评估”作为与情境性和变异性匹配的评估维度。这提醒项目管理者（或执行者）应该意识到项目的运作不可能与项目计划完全一致，而要根据项目所处情境之特征及项目发展的实际状况，做出一定的调整。由此，传统的以第三方评估机构（者）为主导而开展的检查式评估就需要改进，以便于适应项目的变异性特征。具体而言，机构在进行项目自我监督（或第三方评估）时，尽量避免使用在项目运作之前设置的指标体系对项目运作情况进行一对一检查。反而应该根据项目“当时当地”运作的实际状况做出即时性评估和总结，以便为项目后续开展提供有效经验。

虽然通过严格的研究过程获得了一定的研究结果，但是本研究在研究对象、研究内容，以及研究方法等三个方面值得深入讨论。

首先，研究对象方面。项目目标群体的单一性（只涉及残疾人及其相关人群），对研究结果的概化和推论起到了一定的限制作用。基于此，建议在后期的研究中，研究者应该收集针对不同目标群体的，且在内容和目标上具有较强异质性的社会服务项目进行研究，进而使得研究结果的普遍适用性提高。

其次，内容方面。根据逻辑模型，项目输入是社会服务项目得以运作的前提。一个社会服务项目的输入应该包括人力、物力、财力、制度等多样化内容。受研究对象及研究资料的限制，本研究形成的指标体系只对“项目成员管理和培训”、“项目方案设计”、“服务过跟踪与评估”这三个方面做了规定。由于这三个维度并不能完全代表实现项目目标的所有可能性要素，因此，在后期的研究中应该继续添加不同维度和测量内容，以丰富和完善指标（但尽量保持指标的简洁性）。

再次，方法方面。在方法上，本研究整体上遵从指标体系开发的步骤，并充分利用定性和定量两种方法收集和处理资料。在具体研究过程中，本研究在方法上进行了两个调整。其一是研究对象的调整。本研究将分析从服务对象个体转变为服务项目本身。这种转变在本质上是分析单位从个体层次转向集体层次。其二是资料收集方法的调整。由于本研究的分析单位是社会服务项目，因此，本研究改变传统方法中直接进行问卷调查的方法。本研究将资料收集过程与社会服务评估实践进行融合，要求不同评估者在评估实践中对同一社会服务项目进行打分以获取研究资料。这一方法在一定程度上保证了分析资料的信度和效度。即便如此，本研究的研究方法依然有值得改进的地方。虽然本研究使用了探索性因子分析和路径分析等技术，但是指标结构的确定没有使用验证性因子分析以对其进行检验。在后续的研究中，研究者在使用探索性因子分析得到指标的初步结构后，再选取新的样本收集资料，并使用验证性因子分析对指标体系的结构进行检验。