老年社会工作机构服务绩效评估指标体系研究

王晔安 陶惠婕 徐月宾 焦 健 余 璐

一、研究背景

2013年9月国务院在《关于加快发展养老服务业的若干意见》中指出，“我国已经进入人口老龄化快速发展阶段，2012年底我国60周岁以上老年人口已达1.94亿，2020年将达到2.43亿，2025年将突破3亿”。①中华人民共和国国务院，《关于加快发展养老服务业的若干意见》.http://www.gov.cn/zwgk/2013-09/13/content_2487704.htm，2013年9月6日。为了全面建成小康社会、积极应对当前人口老龄化的状况，我国养老服务业不断发展，逐步建立起以“居家为基础、社区为依托、机构为支撑”的养老服务体系，一些老人开始选择接受不同种类的养老机构服务。与此同时，国家也鼓励发展养老机构，2015年十部委联合发布了《关于鼓励民间资本参与养老服务业发展的实施意见》，在这份文件中明确提到，“鼓励社会力量举办规模化、连锁化的养老机构，支持机关、企事业单位将所属的度假村、培训中心、招待所等转型为养老机构，鼓励通过政府购买服务的方式，支持民办养老机构接收城乡特困人员或政府承担照料责任的其他老年人（张艳华，2012）”。

但是目前各类养老机构普遍缺乏一套行之有效的服务绩效评估体系，特别是缺乏对老年人的服务绩效评估体系，例如，绩效评估体系不健全，大部分没有反映养老机构的战略目标；绩效评估主体单一，当前我国大部分养老机构的绩效评估主体是政府，而没有入住老人（或家属）的参与；绩效评估公信力差，评估结果大部分缺乏应用性等（张艳华，2012），这就导致在评判养老机构是否在为老年人提供优质、完善以及个性化的服务时难以定论。因此，有必要运用德尔菲法构建一套新的老年社工机构服务绩效评估指标体系，这样在一定程度上有利于促进养老机构为老年人提供更加系统和科学的服务。

二、研究设计

（一）理论建构

理论建构的主要路径是，通过查阅国内外有关老年照顾和老年社工服务的理论及其研究成果方面的文献，据此初步建构一套以理论为基础、以国内外实践经验为依据的老年社工服务绩效评估指标体系。研究发现，国内针对老年社工服务评估指标体系的研究较少，但国外资料比较丰富，其中既包括了政府实践的相关内容，也包括了一些学者学术研究的相关内容；同时不仅有一整套指标体系的使用和评估方法，还有针对某一方面的深入研讨。

（二）实地调研

实地调研主要是为了在初步拟定的指标体系中加入中国本土化建议，主要方面如表1所示：

表1 绩效评估指标体系实地调研内容

研究者对广州和西宁两个城市的政府购买老年社工服务情况进行了实地调研，在每个城市选择了四家从事老年社工服务的机构进行走访，并与政府购买服务的官员、社工机构的工作人员进行了访谈。

（三）实务工作者咨询

根据实地调研的结果对指标体系进行调整之后，本研究对实务工作者开展了新一轮的问卷调查：选择30名国内老年社工服务管理者或一线社工进行咨询，以了解他们对每个指标相关性和可行性方面的建议。受访者需要对每个指标打分，通过问卷调查的结果再次修改评估指标体系，使得指标体系更加适用。

（四）可行性研究

通过以上三轮建构，基本形成了一套以理论为基础、以实践经验为依据的老年社工机构服务绩效评估指标体系。可行性研究的目的是对指标体系中所涵盖内容的资料的可及性进行研究，并寻找更多的数据搜集渠道，因此本研究选择了厦门和昆明的政府购买服务管理人员进行访谈，以了解其更多的方法和建议。

（五）建立指标体系框架

通过实地调研、理论建构、实务工作者咨询和可行性研究，基本建立了服务投入、服务过程、服务产出、服务质量和服务效果五个维度的指标体系框架。国际上对老年服务评估的重点是服务过程、质量和效果三个方面，对于服务投入方面的评估较少涉及，相比较于国内对服务投入和评估这两个方面的侧重，国际做法能够更直接地反应服务的效果。服务投入是取得预计效果的基本保障，虽然不能直接反映服务效果，但也是反应服务提供者能力的一个重要指标。同时，“由于我国的社会工作服务机构近年来才开始发展，所以对服务投入的评估有助于社工机构发现影响服务过程和效果的购入因素，促使其完善资源投入策略。据此，本研究初步构建的指标体系共包括五个维度，如图1所示：

图1 老年社工机构服务绩效评估指标体系框架

各维度的评估内容描述如下：

1.服务投入

服务的多样性：这是评估服务提供者能力的一个重要指标，以检测服务提供者是否提供了多样化的服务来满足老年人不同的需求。这些服务不仅可以由社工机构提供，也可以由社工机构以及合作者共同提供。

服务的可及性：服务应便于老年人及其家庭照顾者获取。该指标主要评估服务提供的地点是否遵循便民原则，设置在老年人及其家庭照顾者都容易到达的位置；服务提供的地点是否设置无障碍通道，保证交通便利。服务提供者可以通过张贴布告、电话通知或网络宣传的方式确保服务范内的居民都能知晓服务的相关内容。

工作人员：该指标主要评估社工机构设置足够的专业社会工作者和督导工作人员的比例。

2.服务过程

需求评估：该指标主要评估社工机构对辖区内全部老年人的进行包括身体、心理、社会以及经济等方面需求评估的比例。

服务计划：该指标主要评估社工机构针对每个老人不同的需求评估结果所做个性化的服务计划，同时对服务的优势、风险以及替代方案的成本等进行分析的比例。

服务递送：该指标主要评估服务递送及时、连续和协调，并且记录在案的比例。

服务监控和评估：该指标主要评估社工机构有定期的监控、评估方案和记录的比例。

申诉机制：该指标主要评估社工机构有有效的申诉和解决机制，并配有完整的记录的比例

3.服务质量

服务对象满意度：该指标主要评估接受服务的老年人对服务表示满意的程度。

老年人在服务过程中得到尊重：该指标主要评估社工在服务过程中遵循了专业价值观，同时老年人感受得到尊重的程度。

老年人及其照顾者的参与：该指标主要评估老年人及其照顾者参与了服务计划的制定的比例。

知情同意：该指标主要评估老年人及其照顾者了解相关服务内容的目的和缺陷，并参与了服务的全部过程的比例。

隐私权：该指标主要评估服务保障了老年人及其照顾者的隐私权的比例。

4.服务产出

需求评估覆盖率：该指标主要评估进行了需求评估的老人占社区全部老人的比例。

需求类型/人数：该指标主要评估有需求的老人数量和比例、老年人的需求类型和数量。

受益者人数：该指标主要评估获得服务的老年人数量和比例。

服务类型/数量：该指标主要评估老年人获得服务的类型和数量。

服务场所：该指标主要评估服务提供的场所。

5.服务效果

身体状况：该指标主要评估老年人是否有独立生活的能力，包括其健康状况、日常生活能力和娱乐能力等。主要通过能够独立居住在自家房屋的老年人比例来体现。

经济状况：该指标主要通过老年人对其经济状况的自评结果来体现，如认为自己基本需求已经得到满足的老年人比例和认为自己生活水平与周围相差不大的老年人比例等。

生活质量：该指标主要通过老年人对其生活满意度的自评结果反映。

社交需求得到满足：该指标主要评估认为自己已经获得足够社会交往的老年人的比例。

孤独感减轻：该指标主要评估表示自己孤独的感觉有减轻的老年人比例。

服务可及性增加：该指标主要评估老年人有需求时可以快速知道如何获得相关政策信息和服务的比例。

三、研究方法

（一）德尔菲法

德尔菲法（Delphi Method）也叫专家预测法，20世纪40年代由兰德公司提出。1946年兰德公司第一次使用这种方法进行预测，由于该方法便于操作、得到的结果可靠性较强，因此很快被学者广泛采用（Adler M.&Ziglio E.，1995）。具体来说，这种方法是指邀请某领域的一些专家，既有从事理论研究的专家，也有实践方面的专家，对某一问题进行预测，最后达成一致的看法。它采用函询调查，专家之间不能进行讨论，直接对所预测的问题给出意见，接着将他们的意见进行整理归纳后再匿名反馈给专家，然后再次征询专家的意见并再加以整合。通过多次征询后，专家的意见便会趋于一致，此时的意见可靠性较高。德尔菲法可以减少预测的时间成本和节约预测费用，同时可以获得各种不同具有价值的观点和意见，能够有效缓解不同利益相关方之间的价值冲突（谭元戎、孙剑平，2012）。

通过德尔菲法构建服务绩效评估指标体系，首先，可以快速了解社工机构为老年人提供服务的情况；其次，可以发现老年人的主要需求以及社工服务需要致力于解决的相关问题；再次，能够从不同利益相关方的角度分析购买服务方预设的目标与社工机构服务效果之间的间隙，对社工机构的服务效果做出评价并且提出需要进一步改进的方面；最后，能够为社工机构服务的规范化运作提供指导，引导社工机构的服务递送向效果导向的方向发展。

德尔菲法在许多学科领域都有广泛应用，但是在实践中，一些学者也提出其存在的问题，如缺乏严格的专家选择标准、预先定义问题表、专家是否中途退出不明确、停止意见征询的原因不明确、忽略研究过程中的不同意见和把德尔菲法等同于问卷调查法等问题（曾照云、程晓康，2016）。这些问题一定程度上降低了研究结果的准确性和可靠性。对此，本研究将有目的地针对这些问题，进行分析和讨论。

（二）专家的选择

采取非概率“判断抽样”来选择专家，即由研究者确定最有代表性的专家队伍（黄晓磊，2017）。本次研究共聘请专家34人（其中理论专家10人，实务工作者24人），符合德尔菲法要求的10—50人的专家数量（曾照云、程晓康，2016）。他们分布在与老年社会工作相关的各个领域，并均有多年的老年社会工作服务经验。这样的专家队伍既保证了有较强的理论研究能力，同时也有丰富的实践经验。

（三）研究工具

本研究采用自编问卷作为研究工具，问卷设计为开放式，由备选指标组成，备选指标通过重要性和可行性两个方面进行评价，采用5个等级进行评分，1分表示程度“最低”，5分表示程度“最高”。

（四）研究程序

本研究进行了三轮征询。第一轮征询在初步拟定的指标体系基础上，根据专家对每一指标打分进行取舍，并保留专家补充的指标。第二轮征询将第一轮征询结果进行分析和整理，制定新的指标，由专家对新制定的指标再次打分，根据得分情况对指标进行取舍，同时把专家补充的指标保留。第三轮征询按照第二轮征询的程序继续进行，得到最终的指标，并反馈给专家以便参考（于梅子、纪颖、唐芹、钮文异，2011）。研究程序如图2所示：

图2 老年社工机构服务绩效评估指标体系构建程序图

（五）结果的分析方法

本研究采用算数平均数、方差以及变异系数对专家意见进行集中程度和离散程度的分析。

1.专家的积极性系数

专家的积极性系数即专家咨询问卷的回收率（回收率=参与咨询的专家数/全部专家数），这一系数可以反映专家对研究的关心程度，问卷的回收率越高说明专家的积极性越大，专家的积极性系数大于70%被认为专家对研究的关心程度较高（宁丽、邵爱仙、李益民、陆骏、吴鸿珠，2016）。

2.专家意见的集中程度

3.专家意见的离散程度：

（1）方差

（2）变异系数

四、分析结果

（一）专家的代表性较好，积极程度较高

本研究邀请了34名专家，专家人数符合德尔菲法要求。咨询专家分布在与老年社会工作相关的各个领域，均从事了多年的老年社会工作服务，具有很好的代表性。专家基本情况见表2：

表2 咨询专家基本情况一览表（34人）

第一轮咨询问卷发出34份，回收33份，专家积极性系数为97.06%，问卷的有效率为100%。第二轮咨询问卷发出34份，回收32份，专家积极性系数为94.12%，有效率为100%。第三轮咨询问卷发出34份，回收25份，专家积极性系数为73.53%，有效率为100%。在第一轮回收的33份问卷中，部分专家对原有指标提出了建设性的改进意见，针对改进意见补充了一些新的指标，针对改进意见修改和补充的指标共27个。在第二轮和第三轮回收的问卷中，没有对指标提出新的意见和补充。因此，问卷的回收率、专家对指标所提出的意见和补充均表明专家参与本研究的积极性较高。

（二）评价指标的选择与修改

表3 本研究老年社工机构服务绩效评估指标一

表4到表8是通过三轮专家咨询后，最终得到的老年社工机构服务绩效评估指标，指标选取的标准是依据专家对指标打分的集中程度和离散程度，保留变异系数小于等于25%的指标。

表4 服务投入指标体系

服务投入部分将“认为在接受服务过程中不存在困难的老年人比例”指标更改为“认为在接受上门、机构、社区服务过程中不存在困难的老年人比例”；新增“有需求但是没有获得服务的老年人比例”、“知晓获得服务信息途径的比例”、“社工机构中有老年服务经验的社会工作者的比例”、以及“社工机构中督导人员的数量和比例”等四个指标。

表5 服务过程指标体系

服务过程部分将“认为自己对服务的反馈有作用的老年人比例”指标更改为“认为自己对服务的建议有作用的老年人比例”、将“认为自己提出申诉没有障碍的老年人比例”指标更改为“老年人对申诉途径的知晓率”；删去“老年人接受需求评估的相关记录”、“为老年人提供个性化针对性服务的相关记录”和“老年人按照服务计划接受服务的相关记录”等三个指标；新增“老年人需求评估的科学性、合理性，全面性”、“为老年人提供服务计划与其实际服务需求的匹配程度”和“老年人按照服务计划接受服务的动态过程评估”等三个指标。

表6 服务质量指标体系

服务质量部分将“认为自己对服务的反馈有作用的老年人比例”指标更改为“认为自己对服务的建议有作用的老年人比例”；新增“对服务表示满意的照顾者比例”、“与社会工作者共同制定计划的老年人的比例”和“老年人的资料被妥善保护未受到泄露的比例”等三个指标。

表7 服务效果指标体系

服务效果部分将“表示基本需求得到满足，生活水平与周边差别不大的比例”指标改变为“表示基本需求得到满足的比例”，将“表示生活质量得到提高的服务对象比例”指标改变为“表示总体生活质量得到提高的服务对象比例”；新增“掌握更多的自我照顾知识、技能、方法等的老年人比例”、“表示邻里帮助老年人的比例”、“参与社会活动的比例”、“表示无助感减少服务对象比例”、“表示有需求时知道如何获得相关政策信息和服务信息的照顾者比例”、以及“老年人的家庭关系得到改善的比例”等六个指标。

表8 服务产出指标体系

服务产出部分新增“获得服务的老年人在有需求的老年人群中的比例”、“机构项目对社区的影响”和“机构社会工作者的能力建设”等三个指标。

五、讨 论

（一）评估指标体系的科学性

德尔菲法不仅能够体现专家个人的知识和经验，同时也能最大限度地发挥专家们的集体智慧，是一种以专家为信息索取对象的比较科学的调查方法，具有一定的可靠性（Beretta R.，1996）。对本研究，首先，从专家的代表性看，34位专家既有从事老年社工科研工作的，也有从事老年社工临床服务的，他们在这一领域具有较长的工作年限以及较高的职称和学历，拥有丰富的理论和实践经验。其次，从专家的积极性看，三轮咨询的专家积极性系数分别为97.06%、94.12%和73.53%，均高于一般德尔菲法70%的专家积极性系数要求，并且专家对原有指标积极提出改进建议，对原有指标补充和修改的指标共计27条，表明专家参与研究的积极性较高。最后，从变异系数看，经过三轮专家咨询后，大部分的指标被保留下来，只有极少数的指标被删除，所保留指标的变异系数都小于25%，因此说明专家对于每一个指标的协调性较好。

（二）评估指标体系的全面性

本研究构建评估指标的过程中，充分考虑了中国老年社工服务的实际情况，而且也借鉴了国内外相关的理论和实践经验，最终制定出一套符合中国国情的老年社工机构服务绩效评估指标体系。这套评估指标体系包括服务投入、服务过程、服务质量、服务效果和服务产出等5个维度，共65个指标，从服务对象到服务机构都设定了全面且严格的评估框架，具有较好的全面性。

这套指标体系在具体使用时，必须按照所设定的内容进行评估，不能有所遗漏或添加，以确保评估的全面性。另需强调的是，由于中国各地区的发展状况不同，存在着比较严重的地区差距，所以对不同地区的老年社工机构服务水平的要求也有所不同，因此使用这套指标体系进行评估时，有必要对不同地区设定不同标准，例如，经济发达地区的标准是80分，经济欠发达地区的标准是60分，贫困地区是50分。只有把标准设定好，这套评估指标才会在实际应用中发挥出作用。

（三）研究局限

本研究还存在着一些缺陷。首先，经典德尔菲法的问题表是由专家给出的，研究者只能给专家提供研究主题，由专家自由发表意见，汇总意见形成咨询问卷。但由于这种方法收集的专家意见非常分散并且难以组织，因此本研究在专家咨询问卷的初期制定上仅听取了一些老年社工服务科研专家的意见，而没有听取一线服务专家的意见。这与经典德尔菲法存在一些差异，但影响有限。其次，本研究只采用变异系数来衡量专家意见的波动程度。仅依靠变异系数存在不足，因为变异系数只能说明所有专家对某一指标意见的协调程度，所以往往还需要了解全部专家对全部指标意见的协调程度，通常使用协调系数（郭秀花，2009）。从专家们的总体评价来看，全部专家对全部指标意见的差异不大，因此本研究未使用协调系数也可以被接受。

六、结 论

本研究初步建构了一套用于政府购买老年社工机构服务的绩效评估指标体系，甄选出服务投入、服务过程、服务质量、服务效果和服务产出等5项准则层、25项要求层指标和65项具体指标。这套指标体系不仅可以作为各级民政部门监控和评估购买老年社工机构服务的绩效，而且还可以供老年社工机构作为监控和评估服务过程和效果的管理工具。总之，本研究所建构老年社工机构服务绩效评估指标体系有较高的实践价值。