马焕英
(广州大学 公共管理学院,广东广州 510006)
广州社会工作服务评估困境与对策
——以L社工机构为例
马焕英
(广州大学公共管理学院,广东广州510006)
近年来,社会工作服务评估因在项目交流促进及服务质量提升方面扮演着重要角色而受到广泛重视。通过个案访谈的方法收集资料,研究广州市L机构社会服务项目被评估的状况,发现广州社会工作评估机制存在的困境有:评估主体易受委托方、购买方、评估者等主观价值影响;评估指标不适用、指标重管理轻服务、指标操作难度大;评估结果运用效果不明显;评估效度与信度不高等。在此基础上,提出完善评估标准,健全评估反馈机制,提高评估人员专业性等对策以促进评估机制科学化、专业化。
评估机制;社会工作服务;社工机构
近年来,随着政府的大力推进,广州的社会服务项目也如雨后春笋般发展,如备受关注的家庭综合服务中心项目,以及专项服务如青年地带、社区矫正等。为了回应来自各利益相关方的关注,社会工作服务评估也日益受到重视。至今为止,广州发展了不少于9家评估机构,而每家机构都有自己的评估标准及体系。那么,这些评估真的能够筛选出真正优质的服务项目吗?能够促进机构有质量保证的可持续发展吗?这些正是本文尝试研究的问题。
本文进行案例研究,采用历史数据、档案材料、访谈、观察、等方法收集数据。本案例研究主要是深度访谈,具体访谈有以下几类人:(1)评估专家;(2)社工项目负责人;(3)一线社工;(2)项目部长。如表1。访谈的内容包括:(1)评估对服务产生的作用;(2)您认为评估易受哪些方面影响;(3)您觉得目前的评估指标存在哪些问题;(4)您如何看待评估结果;(5)您对广州的评估体系有何建议。在对每位被访谈者进行访谈时,以访谈大纲为基础,灵活地采用多种提问方式和提问顺序,在倾听的过程中不断追问,使研究对象的回答更具体化。本文的研究对象是L机构,L社工机构成立于2009年,在广州市拥有8个家庭综合服务项目,3个50万以内的专项及公益创投服务项目,每年需接受不同项目的评估,可以说拥有丰富的被评估经验。
表1 深度访谈对象基本情况
(一)社会工作评估的内容
综合广州各个社会工作评估机构,评估的内容主要是评估社会工作服务的质与量,其中以《广州市家庭综合服务中心评估指标体系》2015版最完善,基本能包含广州评估的范畴,主要有:第一,评估服务质量。包括需求评估、服务目标、服务计划、服务推进、服务成效及服务产出。第二,评估运营管理。包括中心人力资源情况、中心运营、中心权益保障以及沟通机制。第三,购买方满意度、服务满意度。通过问卷的形式对服务对象进行访问,了解服务情况。第四,财务评价。对财务支出比例、使用合理性等方面进行评价。[1]
(二)社会工作评估的意义
社会工作评估是用科学的研究方法对社会工作服务项目的设计、策划、实施和效果等方面进行的测度、诊断和评价的活动[2]。评估的作用表现在:第一,提高服务质量,使社会工作服务项目良好运作。第二,监督检查,通过评估检查服务是否符合预期要求。第三,生产知识,评估结果的发布为新的服务评估积累经验和知识。[3]广州市社会工作协会曾对全市家庭综合(下称家综)服务中心项目评估做过统计,家综服务的表现得到肯定,末期评估等级日益提高。通过比较2012—2013年度和2013—2014年度这两年的末期评估等级可以看出,家综服务水平正在不断进步。例如,在广州市社会工作协会评估的越秀区、白云区、黄埔区、增城市中,获得“优秀”和“良好”等级的家综从2012—2013年度的45%上升到2013—2014年度的78%。在广州市荔湾区馨源社会工作服务中心负责的荔湾区中,获得“优秀”和“良好”等级的家综也从2012—2013年度的78%增加到2013—2014年度的95%。从这些数据可以看出,评估确实能促进服务建设,提升服务质量。
访谈(L机构项目b主任):我认为评估最大的作用在于:(1)自从第一年评估以来,机构开始重视中心人员配备,增加社工服务人数,为防止人员流失,机构提高了工资以及关注管理人性化。(2)我们开始更重视服务质量,努力促使服务对象及购买方满意。(3)优化项目管理,开始学习更多项目逻辑框架的知识。(4)努力按照评估指标,完善各项工作。
以上资料显示,社会工作评估在一定程度能为服务项目搭建及时、定期的探讨和交流促进机制,持续提升服务质量,使服务持续健康发展。
引用第三方评估机构对社会工作机构进行评估,也是一种新的尝试,还没有形成相对规范和科学的制度。故此,服务评估存在较多的问题,主要表现在:
(一)评估易受各方主观因素影响
1.评估委托方的影响。在评估过程中,评估机构需要考虑政府各级行政部门的指导意见及评估结果对领导人政绩的影响。委托方购买评估机构的服务,出资委托评估机构进行评估,比如,一个评估项目是由政府某个部门发起,那么该政府部门所委托的评估机构则召集零散评估团队开展评估。从评估项目的来源来看,尽管评估机构说明在评估过程中客观中立,但是,评估机构出于现实的考虑,易受到各利益相关方的影响,特别是资助方实际表现的价值观影响[4]。
访谈(评估专家9):事实上,因为政府出资委托评估方对社会服务进行评估,所以,评估指标的制定以及评估结果都受评估委托方影响,评估机构有时需要综合考虑利益相关方的需求,较难保持价值中立。
2.购买方的影响。服务机构与购买方的关系非常重要,因为在很多评估体系里都会评估“与购买方沟通情况”且有较重的评分比例。如果社工机构与购买方沟通情况良好,购买方了解机构的服务内容、成效以及工作实际困难后,更容易对社工机构产生认同。相反,如果机构与购买方之间缺乏沟通,那么双方容易误解甚至相互抵触,服务机构难以链接更多的资源提供服务,但在这种情况下,社工机构的评估往往得分不高。
访谈(L机构代表):有时评估会特别关注购买方的意见,在我们机构也曾出现这样一种情况:购买方A与项目A工作人员沟通情况较好,能积极为项目联系场地等资源,评估时给项目A打了较高的评分99分,而购买方B与项目B的服务主任缺乏沟通,评估时只打了70分,评估结果相差较大。而事实上,在我的角度看来,项目B的服务质量比A稍微会好点。
访谈(评估专家10):如果购买方对评估项目综合打分较高,各方面给予较高的认同,我们对项目的印象会好一些。
3.评估者的主观因素。由于价值观的差异,每位评委在评估前看完服务机构的评估报告后对被评估机构都有预定的印象。不同的评委评估风格也各不相同,有的评委习惯翻阅服务资料作为评价的依据,有的评委则更倾向于聆听社工的讲解作为评估依据。评估者自身的服务工作经历也会影响评估结果,例如高校老师的评委非常注重需求调研的科学性,而一直从事社工实务的评委则可能知道科学的需求调研不是易事,对需求调研要求没那么高,在评估时更多地给予鼓励和希望。
访谈(项目部长):在中期评估时,一名评委觉得我的调研没太大问题。但末期评估时,有一位高校的评委老师一直批判我们部门的需求调研方法不科学合理,不能甄别社区的服务需求。
(二)评估指标设计存在问题
1.部分评估指标不适用。在评估过程中,如果评估者机械地按照设定的评估指标和程序对服务机构所提供的服务进行评估,则容易被指标绑架。有些服务项目创新性高且质量好却因区域环境等原因无法按照评估标准推行服务,如果完全按照评估标准,那么该服务项目很难获得一个理想的分数,但如果评分低又不合适且违背评估的本意。所以,评估指标制定前,最好对广州市不同区域的项目点进行调研摸查,针对特殊区域制定合适的评估标准,否则部分评估指标较难进行客观公正的评估。
访谈(L机构代表):我觉得评估标准应具体问题具体分析,我们机构有一个专项,在服务外来工欠薪问题非常有特色且获得很多来访参观者的高度评价,但在评估标准里却没有针对特殊服务项目给予加分,很可惜。某个社区服务项目,评估标准对体育娱乐设施占较高的评分,A社区因为是高档小区本身开发商配有设施,但B社区因为是老城区无空置地方建设体育设施,结果A社区比B社区在设施方面评价获得更高得分。其实两个项目都无关注设施投入,但此项评估得分却不同。我觉得评估不一定是看物品有或无,而是被评估者在该方面做过哪些努力。还有,有些评估标准在是否获奖以及是否有发表研究报告占较高的评分比例,我觉得是不合理的,我认为机构应重服务而不是过分强调科研。
2.评估指标重管理轻服务。广州很多评估指标较关注行政及管理方面,实践中对服务关注不足。在中国的国情下,为了凸显公共问责性,预防和纠正“行业乱象”成为评估的主要目的。这种决心和力度使得“行政管理”取代“专业服务”成为评估的主要内容。很多项目评估过多关注项目基础设施、项目管理思路、服务设计、人力资源,而对服务的内容及质量评分占比不高,这就存在重管理轻服务的现象。
访谈(L机构督导):我在同一个机构担任不同项目的督导,项目A主任擅长沟通,对于管理及服务思路能清晰表达,该社工项目获得较高的评估等级。项目B主任可能不擅长汇报,但是B项目的服务质量更高,有很多个案、小组、活动开展较成功,社工也十分用心,但评估结果却不如项目A理想。
访谈(一线社工8):整份评估报告,较多描述行政管理方面的结果,但对我们实际服务的个案、小组较少给予有实际意义上的有效评价,我觉得有点伤心,感觉所作的这么多努力作用不大。
3.评估指标操作难度大。通过对评估指标的分析发现,有些指标内容设置比较宽泛,可操作性不强。项目指标操作难度大主要表现在以下方面:一是项目指标设置简单,如某项个案服务成效评估指标中写到“服务对象达到增能,评估分值5分”,那么做到什么程度才算增能呢?在什么情况下给3分,什么情况下给5分呢?评估者难以拿捏分数。二是评估指标僵化,未能对具体的特殊情况作出调整及应对,故此,部分指标不适用于评估某些服务项目。
访谈(项目部长):有些评估指标较宽泛,例如关于项目服务计划的评估,在评估指标体系中仅仅只有一个分值的体现,而更为具体的测量指标却没有,比如什么样的计划才是合适有效,针对这项评分,都没有明确的、可衡量的具体细则。
(三)评估结果未得到有效运用
第三方评估机构对社会工作进行评估,真正的目的是希望通过评估提高社会工作的服务质量,使服务项目更完善。但通常大家更加关注的是自己机构的得分如何,以及议论对于得分的满意与否,而对于服务存在的问题与不足较少商讨改进策略,就评估价值与功能而言,并没有得到有效发挥。事实上,第三方评估机构投入了大量的时间、人力、物力、财力开展评估,但是从评估结果的应用情况来看,效果不是很好。
访谈(一线社工):有时候,我们对于评估结果不认同,我觉得这个结论是不真实客观的,如何整改?还有一种情况就是,评估报告的结论是一句非常宽泛的评语,每个人的解读都不一样,我们不明白如何整改。我认为评估专家应该指出服务存在的具体问题,最好给出整改建议。
(四)评估的效度与信度不足
在评估前,机构气氛紧张,社工加班加点快速完成各种指标,补齐各种文书,并整理归档。事实上,很多机构在评估前一个月都忙于应付评估而无暇顾及服务。而评估机构一般都是抽取一天或半天的时间,通过访谈和查阅资料的方式评价服务项目的质量。凭一天或半天的时间翻阅评估资料就能判定机构服务的优劣吗?社工对于评估的效度与信度还是比较怀疑的。当然,很多评估方也会调查服务对象的满意度,但出于中国的“人情考虑”,服务对象普遍都回答非常满意,更有服务对象不理解评估者问的问题,例如“什么是申诉权?”,故而难以回答评估者的问题。再者,关于服务对象满意度的调查也缺乏一个科学的抽样方法,一般情况下,由评估组的工作人员随意找几名服务对象咨询满意度,而这些对象不一定能代表整体服务水平。
访谈(项目主任):我觉得评估仅是看服务资料很难辨别服务优劣,因为有些时候,服务资料中的文字表述不足以反映服务全面情况。有些项目负责人认真去写项目报告,这份报告质量高,项目评估分值往往会高些。
最后本文将根据收集的研究资料对重要内容进行讨论与分析,在分析的基础上综合评估主体与社工机构的特点,有针对性地提出几点探讨性对策。
(一)完善评估标准
1.建立一套可量化可操作的细化评估标准。评估细则主要是评估员用来参考的准则,由于每位评估者的经验及资历不同,对评估的标准可能会有不同的解读。建议评估机构制定一份详细的评估细则,例如评估服务对象的满意度,可以从多维度、多角度了解最真实客观的情况。例如,我们在细则里面规定评估服务对象的满意度,可从以下9个方面考虑:(1)环境(如:您觉得接受服务的地点是否方便?);(2)服务程序;(3)行政人员的支持(如:总的来说,您觉得接待人员在多大程度让您觉得友好,相处融洽?);(4)服务的类型(如:您接受到了您需要的那种服务类型了吗?有没有服务您需要,但是服务机构没有提供?);(5)直接服务人员的服务(如:当您跟直接服务人员谈话时,他们在多大程度上能倾听您的问题?);(6)服务的质量(如:对服务的质量您如何评价?);(7)服务的数量、时间的长短等(如:您对所接受的服务数量满意吗?);(8)服务的效果(如:您接受的服务对于您处理您的问题在多大程度上有效?);(9)整体的满意度(如:总体而言,您对您接受的服务的满意度如何?如果您下次还需要服务,您还会继续选择我们的服务吗?)。[5]
2.评估指标应兼顾整体与特殊性。有些服务项目由于社区的特殊原因无法按照评估指标的标准进行服务,运用同一套评估标准使形式过于僵化,没有灵活度。同一类型的社会服务项目,例如长者托老服务,有些项目由于更换服务机构,社工尚处于探索阶段,而有些项目已推行几年甚至更长的时间,有些托老服务地处市区有些地处郊区,在一周年的服务周期里,服务中期及服务末期情况也大有不同。如果评估方运用同一套标准,则有时难以做到科学、客观的评估。建议评估考虑个别化评估原则,具体问题具体分析,灵活变通评估服务。评估机构在制定评估方案时,要对整体的服务状况水平及困难有全面了解,兼顾不同项目点的需要,设立科学的评估指标。
3.促进评估指标的发展性。由于社工机构及服务项目在不断变化,每个项目第一年与第二年的服务情况都不同,建议评估应保持发展性。在评估指标方面,第一年与第二年评估则重点有所不同,中期、末期评估有所不同,例如第一年服务应注重硬性指标,如场地与设施的配备齐全、项目制度健全、服务思路设计的科学性。第二年应更注重服务的质量、成效,以及服务项目调整服务方向深化服务的能力。随着服务的推进,评估指标应保持发展性,应衡量现有的评估指标是否能应对未来服务的发展趋势,整个指标体系应具有前瞻性。
4.建立科学的评估程序。评估机构设计评估程序,必须努力提升程序的动态性和灵活性,对项目实施的各个环节进行动态监察,全面展现项目的运作过程及其成效、影响。通过整合内外部评估过程与结果评估,将过程、成果、影响评估整合到评估模式之中,做到动态掌握项目的处境分析资源,投放活动、服务成效等维度状况,从而对机构服务的能力、效率、效能、适当性等进行有效考察[6]。因此,建议评估机构制定科学合理的评估程序,评委的分工能优势利用,务求在有限的评估时间里面,收集更多的真实客观信息。
(二)健全评估反馈机制
1.完善反馈的形式。在评估反馈的过程中,评估方要将服务的优势及不足的地方向被评估者反馈,遇到双方有争议的观点,评估应解释判断的依据,而被评估者应提供资料及做好充分的沟通与澄清。澄清的目的主要是:一方面让评估者更全面了解服务情况,另一方面,让服务方清楚检视自己的问题,达到以评促建的效果。除此之外,建立评估申诉渠道十分必要,如果服务机构认为评估的结论与实际相差太大,尤其是不合格的评估结论,服务机构可以提出申诉,由评估方给予更合理的反馈。
2.保持反馈内容的有效性。由于很多评估报告的撰写是由不同的评估者分别合作写完并整合出一份报告,而这份报告有时会无法全面地展示评估中遇到的问题及提出有用的建议。建议规范评估报告的撰写,把评估的各项得分详细呈现给被评估者,让被评估者清晰了解自己在管理、服务、财务的各项得分,使被评估者更清楚自己的整改主体及整改方向。同时,建议评估者针对服务的不足之处,提出有效、具体、有操作性的建议,避免空泛地给予一句话结论。
(三)提高评估人员的专业性
第一,加大培训评估人员队伍建设。建议有关部门结合社会工作发展需求,加强社会工作项目评估人才的培养,造就一批专业的社会工作项目评估人才,从而为社会服务打下良好的基础。第二,加强评估人员的培训。评估机构对评估人员的评估技巧等方面进行专门化的培训,提高评估人员评估的有效性。在评估前深入详细讲解评估细则,以及针对评估的突发情况给予指引,务求使评估者对标准的理解保持一致,使评估更客观、真实,减少过多的评估者主观价值观的影响。第三,优化专业评估团队。评估机构应整合不同优势的评估人员参与评估并保持同一项目评估人员的稳定性。如可以安排高校老师评估服务需求调查,安排资深社工评估服务质量,安排资深项目管理者评估项目管理等。
评估会受不同区域的服务环境所影响,评估机制很难有统一、一成不变的模式,要制定绝对科学的评估体系是难以达成的。评估方法也需要根据具体情况的不同而作适当调整。正如彼得·罗西所说,评估中既有科学的成分,也有艺术的成分。良好的医生只能通过临床经历以及对每个案例的体验来塑造,而优秀的评估人员也只能从复杂多样的评估实践中产生[7]。本文以案例研究为主,对L社会工作机构评估机制进行了研究,其中采用定性的方法对L机构的日常评估实践通过资料收集及访谈的形式全面地呈现出来。我们在对评估机构存在困境分析的基础上,尝试提出了一些优化评估机制的建议。
[1]广州市社会工作协会.广州市家庭综合服务中心项目评估与监督、统筹指导服务工作手册[Z].2015:20-24.
[2]顾东辉.社会工作评估[M].北京:高等教育出版社,2009:5.
[3]Chelimsky E. The Coming Transformations in Evaluation [M]//Chelimsky E, Shadish W R. Evaluation for the 21th Century(A Handbook). Thousand Oaks, CA:Sage, 1997:26-53.
[4]顾江霞.独立与依附:社会工作服务评估的价值观反思:基于 H 市两个社会评估项目的案例研究[J].招标与投标,2014(3):42.
[5]刘芳, 吴世友, Fraser M W.案主满意度评估:一种有效的社会工作实务评估方法[J].华东理工大学学报(社会科学版),2013(4):28-35.
[6]姚进忠, 崔坤杰.绩效抑或专业: 我国社会工作评估的困境与对策[J].中州学刊,2015(1):73-78.
[7]官有桓, 陈锦棠, 陆宛萍.第三部门评估与责信[M].北京:北京大学出版社,2006.
The Dilemma and Countermeasures of Social Work Service Evaluation in Guangzhou: Taking the L Social Work Agency as an Example
MA Huan-ying
(School of Public Administration, Guangzhou University, Guangzhou 510006, China)
In recent years, social work assessment service has attracted much attention due to its role in promoting the project communication and enhancing the quality of service. Through case interview to collect data, this paper studies the situation of the social service project of Guangzhou L institutions, and finds that the social work assessment mechanism in Guangzhou has the following difficulties: evaluation subject is liable to be affected by the values of clients, buyers, and evaluators; Evaluation indicators are inapplicable and difficult to operate, showed as weighting management and lighting service; assessment effects are not obvious; validity and reliability of evaluation is not high. On this basis, the paper proposes some countermeasures in order to promote the scientific and professional evaluation mechanism in Guangzhou.
evaluation mechanism; social work services; social institutions
2016-04-07
马焕英(1985—),女,广东广州人,社会工作师,硕士生,主要从事社会工作实务研究。
D669
A
1009-0312(2016)04-0051-05