脱贫成效第三方机构评估中的问题及其机制优化

王莉莉,乔 微

(河北大学 管理学院,河北 保定 071002)

一、问题的提出

精准扶贫是国家实施的重大政策之一,对脱贫成效进行评估是确保政策落实的关键环节。2016年,中共中央办公厅、国务院办公厅印发《省级党委和政府扶贫开发工作成效考核办法》,要求从2016年到2020年针对精准扶贫工作成效,每年对其进行一次独立的第三方评估,评估结果均被作为扶贫开发成效考核的重要依据,由此正式确立了第三方在精准扶贫工作成效评估中的重要地位。之后,各省市陆续委托第三方机构参与脱贫成效的评估,检验脱贫数据的真实性和政策的落实情况等。除了政府的支持和引导,第三方机构评估的质量对评估结果的公信力和权威性也至关重要。地方政府引入第三方机构参与绩效评估,在肯定其评估专业性、独立性、客观性和公信力的同时,也开始关注其评估服务的质量。例如,上海于2018年出台了《上海市第三方机构财政支出绩效评价工作质量评估办法(试行)》,评价组织者对第三方机构提供的绩效评估服务及其报告的质量进行评估,即对第三方机构评估工作质量的再评估。

第三方是独立于政府及其部门的组织或个人,包括第三方机构、中介机构、专家和智库等。国内外致力于完善第三方评估机制,获得公正的结果是共同目标。美国《政府绩效与结果法案》明确第三方评估主体地位,并形成了大众点评、专业认证和评估排名等三种模式。英国形成了比较完备的绩效管理机制,使民间组织自律和公众监督相结合。而国内涉及第三方评估之现实困境,大多指向了法律制度缺失这一现状[1]。莫光辉和张菁认为评估过程缺乏开放性和相应法律保障[2]。徐双敏和陈尉认为总体上看第三方评估形式还不够规范,发展也不平衡,其中的一个重要影响因素就是制度环境[3]。汪爱武认为第三方参与机制的运行仍以自发为主,缺乏法律层面的保障[4]。尚虎平(2018)认为学术界给予第三方评估太多的赞美,但却存在第三方以专家视角说外行话,未处理好“外行评价内行”的问题[5]。为保证评估结果的可靠性,包国宪和张志栋提出要加强对第三方组织自律机制的研究[6]。

在扶贫领域绩效评估上,第三方机构评估成为一种有力的外部监督方式。第三方评估结果为政府施政提供了决策支持,学术界不断对其发展定位和机制完善进行探索。国外的社会救助政策和社会保障制度相对较完善,第三方机构开展的评估相对比较成功。美国慈善评估组织历史悠久,主要依靠收集慈善项目所有相关方的反馈意见来评价其慈善活动效果。国内学者提出需要完善第三方评估机制。汪三贵等探讨了第三方评估中各相关方的角色定位及其制定主要流程的行为规范[7]。祁中山等鉴于第三方评估存在的制约因素,提出从评估制度等角度去加以完善[8]。夏海军等认为第三方评估亟待相对系统化、制度化的保障[9]。丁先存和汪卉卉反思评估实践中的困惑,提出应推进第三方评估工作规范化、强化评估机构专业性等建议[10]。孟志华和李晓冬建议构建精准扶贫绩效第三方评估主体的多元联动机制[11]。国内外致力于完善第三方评估机制,获得公正的结果是共同目标。

习近平在党的十九届一中全会上提出“正确的决策离不开调查研究”的重要论断。除了政府(即委托方),第三方机构评估质量还需要由被考核方当事人作出评价。利用调查研究法,可以直接获取当事人意见以掌握客观情况。本文通过向河北省基层扶贫干部发放调查问卷,使其评价第三方机构的评估质量,获取一手数据,结合实践,深入分析第三方机构评估工作过程中存在的问题,更有针对性地去优化第三方机构评估机制,全面提升脱贫成效的评估质量。

二、对第三方机构工作质量评价的问卷分析

河北省扶贫部门于2016年底引入第三方机构对脱贫成效进行考核评估,地方各级政府高度重视,基层扶贫干部积极配合第三方机构展开工作。本文以河北省为例,进行调查研究。

(一)调查对象与问卷设计

问卷以接受过第三方机构评估的张家口、保定、承德和沧州等市级及其县级、乡镇的所在地扶贫干部和村干部(包括驻村干部)为主要调查对象,向被调查者发放问卷,使其对第三方机构和评估人员的工作质量进行评价。自2016年底始,河北省扶贫办引入第三方评估机构对全省贫困县、贫困村和贫困户进行脱贫成效考核,省内有四所高等院校中标,承接了考核任务。笔者作为第三方机构的评估人员连续多年、多次参与其中,与县级、乡镇的扶贫干部和村干部进行工作对接,与扶贫干部就相关实际问题进行了积极交流,为问卷设计提供了一定的思路。

问卷分为两个部分,第一个部分是被调查者对第三方机构的独立性、专业性、客观性和服务质量这四个维度的工作质量评价。第二部分是被调查者对第三方评估结果报告及其应用的意见反馈。问卷通过问卷星平台发放,问卷链接地址为https://www.wjx.cn/hj/xdmsq239eagea0qb1og.aspx。为保证问卷能得到真实意见,问卷发放避开了第三方机构实地评估和提交评估报告的期间,进行单独发放。问卷共收回446份,剔除无效问卷后为409份,有效率为91.70%。问卷通过了SPSS的信度分析,数据信度质量高。

(二)问卷数据统计分析

1.维度调查分析。问卷主要从第三方机构在评估过程中表现的独立性、专业性、客观性和服务质量等四个维度,向参与过第三方评估工作的被调查者收集意见,每个维度的题目选项等级得分是:优秀(10分)、良好(8分)、合格(6分)和不合格(0分),10分为满分。从统计结果看,总体得分均在良好以上,但是每个维度的分数差异反映了被调查者对第三方工作的意见和期望(图1)。

图1 对第三方机构工作质量维度评价得分

从图1中看出,这四个维度按平均得分从高到低依次为服务质量(8.83分)、客观性(8.67分)、独立性(8.65分)和专业性(8.64分),其中专业性评价得分最低,为8.64分,突显被调查者对其关注度最高。下面就每个维度的题目选项进行具体分析。

(1) 独立性。在独立性维度,设置了四个题目选项及其得分,详见表1。大部分被调查者对第三方独立开展评估持肯定态度,各单项平均分数均在良好以上。“评估人员对问卷作答的相关信息保密性”项得分最高,说明评估人员严格按照纪律要求保守数据信息。而在具体选项中,“评估人员避免了与干部非工作的接触”项得分最低,为8.59分,“评估人员在入户调查时让非受访者回避”项得分为8.62分,说明在问卷调查过程中仍有回避不足的现象存在,应加强评估过程的独立性,严格执行回避规定。

表1 独立性维度的题目选项及其单项平均得分

(2) 专业性。专业性在四个维度中得分最低,仅为8.64分,最受被调查者的关注。此维度设置了五个题目选项,各单项平均分数均在良好以上,详见表2。但其中“评估人员对脱贫标准的评判口径与政策的一致性”“评估人员对扶贫相关政策了解程度”和“评估人员入户访谈时间合理性”得分普遍较低,分别为8.52分、8.54分和8.57分。这三项内容集中体现在信息采集过程中评估人员对扶贫政策的了解程度还不够深入,评判口径与政策要求存在一定的偏离以及在有限时间内能否反映真实问题的质疑,说明评估的专业性亟待提升。

表2 专业性维度的题目选项及其单项平均得分

(3) 客观性。客观性是如实反映脱贫效果,以保证评估结果的可靠性。在此维度中,设置了五个题目选项,内容和单项平均分详见表3。总体上看,评估人员在信息采集过程中做到了如实反映,各单项平均分数均在良好以上,但从单项“评估人员在调查中,采集数据的准确性”得分最低,为8.53分。可见,被调查者对数据采集准确性的关注度较高,某些被调查者担心“评不准”,对评估客观性提出更高的要求。

表3 客观性维度的题目选项及其单项平均得分

(4) 服务质量。服务质量是第三方机构工作能力的重要体现,及时、高效的沟通可以推进第三方机构按时保质的完成评估工作。从表4的题目选项及其得分来看,服务质量维度在四个维度中得分最高,各选项得分也普遍高于其他维度,尤其是“评估人员对干部、群众的文明礼貌”成为所有维度中单项平均分的最高分,为8.99分。高校师生作为第三方评估组织人员,体现了较高的个人素质修养和政治觉悟。而“评估人员与干部、群众的沟通协调能力”得分最低,仅为8.68分,可能存在人员地域差别、政策理解等客观原因妨碍沟通,需要深刻反思。

表4 服务质量维度的题目选项及其单项平均得分

从上述四个维度分析中,服务质量受到扶贫干部的广泛认可,单项的平均分也相对较高,但对政策的了解程度、数据的客观准确和工作的独立性仍需要认真剖析原因,继续改进。

2.意见反馈分析。意见反馈调查主要了解被调查者对第三方评估报告的认可情况。第三方机构出具的绩效评估报告,有55.99%的被调查者是非常认可的,36.19%是一般认可,6.85%不太认可,只有0.97%完全不认可(图2)。总的来看,绝大部分的被调查者对评估结果持认可态度,但是还需要从评估过程的规范角度继续提高评估结果的公信力和效用。

图2 扶贫干部对第三方评估结果的认可度

政府委托第三方机构开展外部绩效评估,从推动本地域精准扶贫工作的作用来看,有66.5%的被调查者认为是非常有帮助的,22%是一般帮助,8.56%是不太有帮助,仅2.94%认为没有帮助,对比详见图3。说明第三方出具的评估报告对扶贫工作的帮助得到了多数被调查者的认可,能客观地发现问题,督促其工作的改进,第三方评估的作用得到真正显现。但仍有11.5%被调查者并不认同对工作的帮助,存在质疑。

图3 第三方评估推动本地域扶贫工作的帮助程度

三、脱贫成效第三方评估存在的问题

通过调查问卷,结合实践来看,第三方机构按照一定的工作流程和方法实施脱贫成效评估,其独立性、专业性、客观性和服务质量得到大部分扶贫干部的认可,但仍需要正视评估过程中存在的一些问题,主要从以下四个方面对原因进行剖析。

(一)制度规范保障不到位

有效的监督体系以及健全的制度规范是保障第三方机构评估质量的前提。中国脱贫成效第三方评估机制尚处于发展阶段,与其相关的法律与监督机制还不健全,地方政府出台的规范文件也处于积极地探索与发展中,缺乏相对系统化的保障措施。虽然《省级党委和政府扶贫开发工作成效考核办法》中明确规定了第三方评估主体、评估内容以及双方的权利和义务,但仍缺少相应的法律制度来保障第三方评估的地位,尤其是顶层制度设计。例如,第三方机构评估流程、评估指标、适用范围等未有具体的法律程序加以明确。由于缺乏系统化、制度化的保障和相应的监督机制,可能会导致第三方机构评估的随意性,甚至脱离监管,影响到其评估结果的可靠性。若将标准规范化,既能够避免第三方机构和政府工作的随意性,约束各自行为,明确职能界限,又能保障评估结果的客观性,提高绩效评估的质量。随着国家精准扶贫任务的不断推进,为了保证第三方评估的客观与公正,避免脱贫成效考核出现各种操作性问题,需要建立完善的法律与制度保障。

(二)独立性与专业性仍欠缺

评估结果质量主要依靠第三方机构在评估过程中所表现的独立性、客观性与专业性,但根据调查结果显示,第三方评估主体的独立性与专业性仍有待提升。高校或科研院所作为第三方机构,接受了政府委托并对政府重大政策或项目实施评估考核,由于事业单位属性,并由政府主管部门管理,无疑存在着一种隶属关系,可能会对评估结果产生一定的影响。且第三方评估经费一般来源于财政支出,这种资金的依赖关系也难以完全保证评估结果的客观性与准确性,可能会造成评估信息的部分失真。此外,在评估过程中,不可避免与当地扶贫干部等官方人员进行接触,交流扶贫政策及其具体开展情况,某些扶贫干部由于初次接触,对评估过程不甚了解,参与入户调查现场,影响了评估人员独立开展工作。

各地政府采取以高校学生为主体检验精准扶贫成效的第三方评估工作的合作模式[12]。在实践调研中高校学生作为评估人员,存在其专业性不强的问题。评估人员在进行入户访谈采集数据时,仅以直接或间接获取的量化指标去判断是否存在问题,得出的结论难免片面化。基层扶贫工作具有一定复杂性,有些问题不能只靠简单的计算得到,不仅需要评估人员根据实际调查访问与合理判断,寻找佐证材料将定量分析与定性分析相结合,还要依靠评估人员对基层扶贫工作和当地农户情况的熟悉度,从而全面综合地得出结论。因此,脱贫成效评估考核是一项复杂的工作,对评估人员的专业素养、社会阅历、政策理解等方面都有着较高要求。

(三)绩效评估方法相对单一

评估结果的可靠性需要科学评估方法来保障。目前,对于脱贫成效的第三方评估机制,主要是依靠定量的评估指标来衡量,例如,在评估报告中主要关注的是贫困人口的“错退率”“漏评率”以及“精准识别率”等,以定量指标来考察精准扶贫工作成效,但缺乏严谨的评估方法,缺少对具体情况的定性分析,影响到评估结果的客观性与准确性。在第三方评估考核中,应注意将定量与定性分析相结合,对于抽象化的具体指标应更加具体化与细致化,更加贴近实际情况,如果只考虑单一的定量指标去判断,可能会因方法限制导致识别不精准,影响整体的评估结果。因此,为了避免评估出现偏差,评估结果不准确,提高第三方评估的客观性,应合理确定指标分配问题,并将定量指标与定性分析相结合,建立科学的评估方法以及严谨的评估程序,保证客观、公正的评估结果。

第三方评估人员入户调查时间的合理性也受到了质疑。第三方机构评估抽样选取的入户数量较多,以2016年底在河北省内Y县引入脱贫成效第三方评估为例,评估机构组建50个评估小组(每组2人),在8天的时间里共入户2181户进行采集数据,最多时一天走访了64个村,平均入户时间较短。某些扶贫干部质疑入户时间如此短暂,能否全面客观了解贫困户收入、家庭具体情况以及扶贫干部的帮扶措施等,可能会影响到调查问卷数据采集的准确性和客观性,甚至否定多年来扶贫工作的成果。因此,应探索多维度评估方法相结合,科学合理地采集评估数据。

(四)评估信息不对称

获取真实可靠的信息是保证脱贫成效评估有效的前提,评估信息的真实性对评估结果起着关键作用。为了证明自身价值和争取后续评估工作的机会,第三方机构必须如实收集信息、反映地方政府的绩效状况[13]。但在实践中发现各级扶贫开发工作部门与第三方机构之间存在显著的信息不对称现象,表现在评估人员获取评估信息方面存在一定困难。例如,被评估对象往往为了使自己利益最大化,会隐瞒或谎报相关信息[14]。由于现场评估信息采集来源于评估现场,易受到主观性干扰[15]。某些地域扶贫开发部门对扶贫信息公开力度不够,宣传扶贫相关信息较少,且扶贫相关数据不全面,不能及时更新,这些都对第三方评估机构的工作产生一定的影响。部分政府部门出于对政绩的维护或“报喜不报忧”心理,可能只向评估人员提供有利信息,而隐瞒不利的信息,甚至为了达到考核效果而捏造虚假信息,这都将给评估工作的开展带来障碍。这种信息的不对称性不利于第三方评估获得社会的认可,降低了权威性和公信力。

在评估结果信息的利用上,第三方机构根据调查结果做出评估报告,然后上交给委托方,委托方将其作为政策调整的参考意见,对存在的问题与不足加以改进与完善。但评估过程和结果不仅不对社会公开,也没有得到广泛的应用或进行绩效问责或奖励。从问卷调查结果来看,有76.53%的扶贫干部没有因第三方的评估报告结果而受到问责或奖励,存在惩罚不力和激励不足的问题。因此,应避免让政府绩效评估工作沦为形式[16]。

四、优化脱贫成效第三方机构评估机制的思考

为了发挥监督和约束政府行为的作用,第三方机构应做出客观、公正、精准的评价结果,各个参与方协同合作,探索优化第三方机构的评估机制。

(一)加强评估机制法制化建设

为了打赢脱贫攻坚战,做好精准扶贫事业,应继续强化第三方对精准扶贫绩效的评估机制和考核力度,特别是加强精准扶贫绩效第三方机构评估机制的法制化建设。一是出台关于精准扶贫绩效第三方评估的法律法规,赋予第三方评估相应的法律地位,形成评估工作开展的制度范式以减少评估过程的随意性。二是建立健全精准扶贫绩效第三方评估工作的监督机制。为了避免第三方评估机构和政府部门利益链接,进而影响评估工作的推进,需要建立健全社会、公众、大众媒体对评估工作中第三方评估机构、政府行为的全方位监督机制,避免各种利益关系影响评估结果的公正性和精确性,提升评估结果的透明度,让第三方评估工作在阳光下运行。三是应加大财政保障力度,保障专项资金使用的规范性。在预算审批时,应考虑拨付预算单位购买第三方服务的财政专项资金,予以保证评估工作的推进,回避非工作接触和提供的便利。四是规范省际的交叉评估。目前已开展第三方机构的跨省评估工作,提升了评估的独立性,但需要规范跨省评估机制,明确各方的权利义务。通过优化制度保障,在脱贫成效考核中明确评估的具体内容,对评估的说明以及注意事项做出具体界定,从而保障评估的独立性和客观性。

(二)建立统一的领导组织体系

第三方机构不仅包括会计、评估等营利性中介机构,还包括科研院所、高校以及专家等。对此,应建立全国性的社会组织,进行统一管理。财政部的部署事业单位中,存在会计、评估协会等多家全国性的非营利性社会组织,通过制定行业协会章程,依法对中介机构组织及其人员进行自律性管理。例如,对从业人员进行继续教育、资格和职称等系列考核,始终不断学习业务知识。出台文件约束执业行为,教育引导从业人员严格遵守评估工作纪律,不得弄虚作假、徇私舞弊,自觉接受评估对象和社会的监督,保持较高的执业素养水平,同时还接受财政部的业务指导和监督管理。而科研院所、高校等是新兴的第三方评估机构,与营利性的中介机构不同,更多承担的是一种政治任务。科研院所、高校等作为第三方评估机构,受托或自行承担各类政府部门或项目绩效评估的工作量日益增多,但目前国内尚无一个统一的管理组织机构,致使评估人员的业务水平参差不齐,专业胜任能力受到质疑。短暂的集中培训难以有效指导评估实践[17]。

考虑到更好地保持组织的独立性,建议社会组织隶属于立法机关,即人大财经委,建立从国家到地方的领导组织体系。立法机关代表人民,体现人民委托的监督权力的实行,更能体现立法机构的监督职能。组织的职能主要包括对评估的评价、评价的人员资质培训和认定、组织的管理、监督和评价过程中违法违规责任的追究等。这样一来,可以提高这类第三方评估机构的独立性和专业性,提升评估结果的客观性。

(三)完善科学的绩效评估方法

科学合理的评估机制以及严谨的评估方法是保障脱贫成效第三方评估结果客观性的前提。通过建立科学合理的评估机制,确定具体有效的衡量指标,并在评估过程中将定量判断与定性分析相结合,更有利于结果的准确性。在脱贫成效评估中根据评估对象的实际情况,利用多种评估方法,从多方面考察贫困户的情况,不以定量指标为绝对标准,结合文献分析法、实地调查法等多种定性分析方法,充分考虑贫困户在扶贫方面的实际需求,对评估结果做出科学合理的判断。

在实践调查中,评估人员往往要花大量时间来计算农户收入,细节极其琐碎。如果在具体评估过程中适当结合定性分析,也就是说当某项收入(如务工收入)明显超过扶贫标准时,评估员可以结合其他信息做出定性判断。这样将大大节省时间和精力。另一方面,对于否定意见,应认真对待,追根溯源。例如,测量贫困户满意度,当贫困户表示“不满意”时,应该尽可能询问“不满意”的原因。只有原因经得起推敲,才能提高满意度测量的准确性。同样应该强调的是,扶贫评估不能只注重结果,还要注重过程,不能单纯以结果论英雄。贫困户能否脱贫,不仅取决于资源投入和干部帮扶,还与贫困户自身的能动性有直接关系,应多种方法结合使用判断问题。为提高评估过程的透明度,人大财经委定期汇总第三方评估信息,及时公布社会组织评估机构、评估方案、评估标准、评估程序等方法,自觉接受各方监督。

(四)建立信息公开和评估结果运用机制

互联网信息的数据获取和价值利用,绩效评估与现代化信息技术相结合,使得政府信息数据不断开放和共享,向公众和利益相关者展示目标完成情况,保证了绩效评价信息反馈的客观性、安全性和及时性。精准扶贫工作的推进同样离不开对扶贫信息数据的捕捉和反馈。一方面,建立健全扶贫部门信息公开机制,获取大量丰富、真实的扶贫开发工作信息是评估工作开展的前提条件。在促进第三方机构评估形成长效机制的过程中,建议国务院专门出台相关指导意见,进一步加大地方政府对政策落实的信息公开程度,通过网站、电视等途径公布相关信息,以接受社会、媒体的监督,同时为第三方评估机构获得评估信息拓宽渠道。另一方面,建立健全评估结果公开和问责激励机制。通过建立评估结果公开机制,将评估工作的流程、指标、结论公之于众,让更多部门和机构以及社会公众能够获取和共享评估结果,减轻对基层工作的负担,实现全社会对评估工作的监督。通过绩效问责,向政治领导人或公众报告、解释某项政策或计划的执行绩效情况及结果达成状况,并承担相应的责任。无论是“有过错”,还是“无作为”,都要进行问责。对完成目标任务情况得分高的组织和个人也要进行表彰奖励和晋升。

综上,无论委托方还是被考核方,关注的焦点主要集中在提升第三方机构专业性上,保障评估结果真实、可靠,即“评得准”。2020年是脱贫攻坚任务的决胜年,因此,在外部保障下,第三方机构独立开展评估工作,以专业视角客观地评估脱贫成效,继续优化第三方机构的评估机制,增强评估结果的公信力与可信度,将助力精准判断脱贫成效。