范斌
一、社会服务项目评估的原则与主体
项目评估原则主要有:
1.客观性原则。在社会服务项目服务过程中,评估方要始终坚持以客现事实为依据,准确反映社会服务项目在投入、运作、产出以及具体成效等方面的实际情况。在把握客观性原则时,一方面要注重对执行机构提供的项目材料、活动照片、视频音频进行准确鉴别与分析,另一方面也要把握服务对象、其他利益相关方对于项目执行过程与结果的基本态度,最大限度地尊重事实,减少评估的主观性与评估者的个人感情色彩。
2.专业性原则。评估方要注重考察社会服务项目专业性的把握,科学、合理地引入社会工作、项目管理的专业知识,特别是要加强社会工作专业价值、理论、方法与技术的实际应用。
3.系统性原则。在评估时要针对性地通过层次化结构选择合理的评估指标,进行结构化分类,要确定好不同评估指标权重得分,全面、综合地反映出服务项目的整体情况。在评估时既要注重对项目完成情况、服务满意度、项目财务做出评估,也将组织能力、组织团队、项目管理等纳入到评估内容中。
4.可操作性原则。在评估过程中要坚持定量与定性相结合,注重对项目完成指标的具体化操作,做到测量指标简单易行,统计过程与结果呈现直观、清晰,便于具体执行。
涉及到的评估主体有:
1.评估组织者。社会服务项目评估的组织者一般可为项目购买方,负责确定评估方式和评估执行方,落实评估经费,统筹评估相关事宜。
2.評估执行方。对于项目评估方的具体实施可以采取两种方式进行,一种是委托专业的评估机构,由专业评估机构按照项目购买方要求组建专业团队;另一种是由项目购买方自行组建评估团队,自行组建项目评估团队应该满足一定的评估专业要求。
二、社会服务项目评估的流程
一般情况下,社会服务项目评估流程主要包括以下几个步骤:
1.制定评估方案。项目评估执行方应该根据项目购买方要求,制定具体的项目评估方案。评估方案内容应该包括项目任务、基本方法、进行安排、人员安排、经费预算、风险预估与风险处理,明确项目指标的选用情况与选择理由。双方确认同意后签订委托评估协议书。
2.发送评估通知。评估执行方在与项目购买方协商确定好时间后,应该至少提前15个工作日,以书面的形式告知项目执行方具体的评估要求、评估标准、操作细则与安排。
3.进行自我评估。承接方可以根据评估指标与标准,逐项进行打分。有的指标,特别是定性方面的指标则需要举证,即需要给出足够的证明材料,并将证据作为附件附在评估材料中。
4.进行现场评估。一方面检查评估材料是否齐全,各项服务材料是否规范,举证是否充分,如果有不完整或者不清楚的地方,由评估执行方与项目承接方进行沟通、补充,并对项目承接方的理事、工作人员、服务对象、业务主管单位或者登记管理机关的相关工作人员进行社会评估问卷调查或者现场访谈;另一方面评估团队现场可以经过全面综合的考察评判,对评估项目中存在问题、建议反馈给项目承接方,为以后的服务项目提供借鉴与参考。
5.出具评估报告。评估执行方在对服务项目评估结束后应该及时出具评估报告,评估报告内容应该至少包括项目完成情况、服务满意率、项目财务状况、组织能力建设、人力资源配置与执行、项目综合服务效能、评估结论及建议。
6.购买方可成立综合评估小组对部分项目进行抽查。由相关利益群体与专家组成一个综合的评估小组,成员要涉及到不同的执行方,可以包括购买方、审计方、实务工作者及高校专家等。综合评估小组对一些重要的、承接的项目金额比较大或者承接方之前有过不良记录的、有公众举报的承接者进行现场检查,也可以采取随机抽查的方式进行重点检查。
7.将具体的评估结果告知项目的承接方,并设立专门渠道接受承接方的申诉。
8.正式发布评估结果。有时评估结果也会作为信息公开的重要内容。
三、社会服务项目评估方法
目前运用得比较多的评估方法有:
1.资料分析法。(1)组织材料分析。包括但不限于组织的基本信息,如组织章程、年度总结报告;项目有关的组织制度文本,如项目财务管理制度、人事管理制度等,以及组织日常工作记录,如董事会或理事会会议记录。(2)项目材料分析。包括但不限于项目计划,如项目标书、项目服务方案;项目服务档案,如服务记录、总结材料;项目人员档案,如项目人员、志愿者档案;项目财务信息,如项目预算、决算表,以及与项目相关的各类管理制度档案,如项目行政管理、专业规范性管理、项目进度管理、服务质量控制、风险管理。(3)其他资料分析。包括但不限于项目测评工具,如服务满意度问卷;项目各类统计文本,如服务满意度调查结果统计,以及项目各类工作报告,如项目中期报告、总结报告。
2.访谈法。(1)通过焦点小组访谈法与项目的合作方代表,主要特指项目的资助人与围绕着项目有合作关系的主体,涉及到监管部门、企业与其他社会服务机构,评估方就项目运作过程中各合作方与项目执行组织展开的合作内容,各合作方对目前项目运作情况的满意程度等方面进行交流,从组织外部了解相关项目执行情况。(2)应用座谈会法与项目的服务对象及开展项目服务的相关人员,主要特指项目的实际受益群体或特定对象,实际的项目执行人员,就服务满意率、服务成效以及对项目服务的具体意见开展进一步座谈,以期可以全面把握项目的执行情况,反映出项目投入过程与实际产出的比重权衡。(3)通过结构式访谈,与组织负责人、项目负责人及工作人员、项目需求方和项目出资方进行面谈。
现场访谈工作人员应从以下几个方面入手:(1)向组织负责人重点了解组织在运作项目过程中,在项目监管、资源整合等方面所采取的措施,运作该项目给组织带来的影响,以及目前项目运作中面临的困难等。(2)向组织项目负责人和工作人员重点了解项目的实际运作情况,其中包括项目服务完成情况、项目资金使用情况、项目人力资源培养情况、项目日常管理措施等。(3)向项目购买方重点了解项目需求、项目立项过程,需求方对项目的具体要求、需求方对项目的日常监管措施、需求方对项目运作情况的满意程度等。(4)向项目购买方重点了解资助标准、资助金额、项目资助方对项目资金使用和财务管理的监管措施、资助方对项目运作情况的满意程度等。
3.观察法。(1)为了解项目的具体服务过程,现场工作人员应对每个项目的日常服务或活动过程进行现场观察。观察内容包括:服务环境、服务内容、服务方法以及服务人员与服务对象的互动等。(2)对于已经结束的服务项目,现场工作人员可通过观察该组织与评估项目同类的日常服务和活动,从侧面了解项目的服务过程。
4.问卷法。在项目评估过程中,现场评估工作人员可利用问卷调查收集项目服务对象满意率和项目服务成效等信息。问卷调查按以下要求抽样:若实际服务对象在100人以内的项目,进行全面调查;若实际服务对象在100-1000人之间的项目,按照1:2-1:15的抽樣比例进行简单随机抽样;若实际服务对象在1000人以上的项目,先按照1:3-1:5的抽样比例进行区域抽样,确定开展问卷调查的社区;在已经选定开展问卷调查的社区,再按照1:7-1:10的抽样比例进行简单随机抽样,确定问卷调查的服务对象,并对其进行问卷调查。
四、社会服务项目评估结果的运用
评估结果的运用直接关系到评估目的的实现,可以从以下几个方面进行:
1.通过评估建立社会服务项目信息库。由于评估需要花费大量的时间、财力、物力,需要大量的深入且详细的材料,因此政府部门可以充分利用这些信息,建立社会服务项目信息库,为政府决策服务提供条件。在建立过程中可以按照项目类别、项目服务对象、项目评估结论等信息将服务项目分为基础性项目与发展性项目,并对于基础性项目加以重点投入,可以采取减少评审流程等方式加强对基础性项目的保障,并适度支持发展性项目,减轻政府部门下一年度的评审压力,提高政府行政效率。
2.利用评估结果奖优罚劣。(1)在奖励方面,可以运用评估结果对那些在项目评估中表现好的组织给予适当的奖励。奖励可以包括物质与精神两个方面,物质方面的奖励可以是资金,也可以是通过评估的结果引导公众参与到社会服务项目过程。另外,在以后的政府购买社会服务项目时,还应当以评估结果作为主要的依据。精神方面的奖励既可以是荣誉,也可总结项目先进经验,并进行宣传推广。(2)在惩罚方面,可以运用评估结果对于那些在项目评估中表现差的组织给予适当惩罚。可以适度减少向购买方向组织购买项目的数量或者适度降低资助资金额度。但是在运作评估结果进行惩罚时,需要慎重对待,把握好评估压力的适度性,给组织再次发展的空间。
3.利用评估结果树立典型,进一步完善项目的监督管理机制。例如可以将评估结果良好或者优秀的组织优先纳入到政府购买服务支持组织目录,也可以连续承接政府项目或者延长项目实施周期,还可以减少抽查监管的次数。而对于那些评估结果较差的项目可以适度增加评估次数,包括加强项目实施的过程监测,增加其向承接方定期报告项目进展的情况,强化过程监管。