社区协商实践评价指标体系研究

2019-12-19 02:00杨守涛
陕西行政学院学报 2019年4期
关键词:信度效度评价指标

摘   要: 在社区协商建设与发展新形势下,随着社区协商实践的不断丰富和深化,有必要对社区协商实践的评价问题进行认真思考。评价工作的开展,离不开指标体系的开发。在已有研究文献的基础上,基于北京市调查数据,对已初步建构的一套评价指标体系作进一步分析。通过对上述指标体系进行信度与效度检验,借助离散程度分析、探索性因素分析、内部一致性信度分析、拟合度分析完善了指标体系。最后,将整个指标体系精炼为4个一级指标、12个二级指标、43个三级指标。同时,依托调研数据计算了各级指标的权重系数。

关键词: 社区协商; 评价指标; 信度; 效度

中图分类号: C32               文献标识码:  A             DOI:10.13411/j.cnki.sxsx.2019.04.021

引言

十八大以来,协商民主更受党和政府重视,一系列政策文件得以印发和实施。2015年7月中央还专门针对社区协商印发《关于加强城乡社区協商的意见》,各地也陆续制定了实施意见,民政部还于一年多后的2016年8月出台了《关于深入推进城乡社区协商工作的通知》。随后,很多关于基层治理、社区治理等内容的相关文件也特别强调社区协商。最有代表性的就是2017年6月中共中央、国务院发布的《关于加强和完善城乡社区治理的意见》,其中特别指出,要“推动形成既有民主又有集中、既尊重多数人意愿又保护少数人合法权益的城乡社区协商机制”[1]。另外,民政部领导同志在接受《民生周刊》专访时指出,推进城市社区治理必须建立健全诉求征集、诉求回应、主体权利行使三项机制,并且特别明确地说,建立健全这三项机制的关键“在于用好社区协商”[2]。

在这样的社区协商建设与发展新形势下,城乡社区协商活动和其他基层协商实践一样,得到迅速发展。公开报道的资料显示,在目前的城乡社区治理过程中,全国各地在坚持村(居)民代表会议制度、村(居)民会议制度等原有城乡社区基层治理制度设计的同时,积极探索村(居)民说事会、村(居)民理事会、村(居)民议事会、恳谈会等城乡社区协商实践形式。目前,公开报道过的行政村与社区协商典型案例也很多。另外,越来越多的地方在开展城乡社区协商实践的同时,也更加注重对社区协商实践的总结提炼。然而,当城乡社区协商从理论走向实践、从政治主张与政策文件走向基层治理现实时,面对全国各地实践案例的不断涌现的情况,我们究竟应该以什么样的评价指标去较为合理地评判城乡社区协商实践这一问题却未引起足够重视。而评价工作的开展,必然要求一套科学的评价指标。因此,探究城乡社区协商实践评价指标问题,就成了一个具有重大理论意义以及实践意义的课题。

笔者曾在一篇文章中阐述了协商民主实践评价及其时代意义,回顾与反思了评价协商民主实践的指标研究情况,最后结合文献述评,以城乡社区协商为对象建构了一套评价指标体系。所建构的指标体系包括4个一级指标,一级指标之下有14个二级指标,二级指标之下有55个三级指标,如表1所示[3]。在本文中笔者将结合北京市调研数据,围绕指标检验和权重系数计算,对这一套指标作进一步讨论。

一、数据基础与离散程度分析

为了检验上述初步指标体系的信度和效度,研究在将各指标转换为更便于理解的问卷题目后,通过在北京市西城区、朝阳区和怀柔区三个区,以社区工作者和党政机关事业单位工作人员为主要调查对象,回收了总计853份问卷,其中有效样本410份,有效样本率48.1%。在后续的指标检验和权重系数计算中,将依托从有效样本中随机选取与分配的样本加以分析。具体而言,随机选取200份有效样本用于探索性因素分析,210份有效样本用于验证性因素分析。有效样本结构如表2所示。

另外,为了保证指标体系的科学有效性,研究基于调查数据,使用SPSS 20.0和Mplus 7.0进行离散程度分析、探索性因素分析、内部一致性信度分析、拟合度分析与权重计算。

为了确保各指标的区辨度即离散程度,研究使用极端组比较法予以衡量。对具体指标来说,如果指标体系高分组(前27%)和指标体系低分组(后27%)均值的t检验达到显著性水平,那么该指标具有区辩度。同时,为了确保指标体系的一致性即相关性,研究使用相关系数和内部一致性信度即删除后的α值作为衡量指标。对具体指标来说,如果其与指标体系总分间存在0.3以上的相关,且达到显著性水平,那么该指标具有一致性。

各指标分析摘要表。其中,D3-3与总分间相关系数未超过0.3,且删除后的α值升高,表明该指标会影响指标体系的内部一致性。同时D3-4删除后α值升高,说明对指标体系内部一致性有影响。因此,删除D3-3和D3-4两个指标,指标体系由原来的55个减为53个。同时,在对于各指标鉴别度的考察中,高低分组的t检验均达到显著性水平(如第三列决断值所示),说明各指标具有区辨度。

二、探索性因素分析

为了保证指标体系的结构效度,研究对数据进行探索性因素分析。研究使用主轴因子分解法与最大方差法正交转轴,并固定四因子。其中各指标的因素负荷应大于0.32,同时每个指标对单一因子的贡献应与其他因子贡献相差0.05以上。如果指标未符合理论预期或同时贡献多个因子,也考虑做删除处理。

首先进行KMO量数和Bartlett球形度检验以确认取样适切性。结果显示KMO值为0.880、达到良好适合,且Bartlett的球形度检验达到显著性水平(近似卡方=11184.230,自由度为903,p<0.001)。检验摘要表如表4所示。上述检验结果说明,数据适合进行因素分析。

具体的因素分析结果显示,B3-1、B3-2、B3-3、D5-1、D5-4、D5-5由于对于多个因子的贡献相差过小,需要做删除处理。同时,D1-3由于对单一因子的贡献小于0.32,同样也需要做删除处理。另外,D5-2、B2-3和B2-4对于主要因子的负载量与理论预期不符,同样也需要做删除处理。经过删除处理后,指标体系中的具体指标再减少10个,由上一轮删除后的53个变为43个,并根据相近原则将原二级指标D5仅剩的三级指标D5-3并入二级指标D4,作为其最后一个三级指标D4-4。

经过多轮因素分析后,指标体系的累计方差贡献率达到66.61%,各指标可以较全面地解释指标体系中各因子的特征,各指标的共同性在0.434和0.867之间,表明各因子可以非常好地解释各指标。

经过探索性因素分析,将指标体系由上一轮删除后的53个删减至43个。根据理论假设,分别命名萃取出的四个一级指标为:成果落实、综合效益、实践基础和具体活动。经过分析及萃取后的结果如表5所示。

三、内部一致性信度与拟合度分析及权重系数计算

研究使用克朗巴哈阿尔法系数测量指标体系的内部一致性信度。表6展示了指标体系和各一级指标的α系数。各一级指标的系数范围在0.908至0.969之间,总体指标体系系数为0.971,表明指标体系整体信度较高。

为了进一步验证指标模型,并确定各部分指标的权重系数,使用验证性因素分析构建模型。根据上述确定的四个一级指标维度,43个指标构建城乡社区协商实践评价指标体系结构模型。将探索性因素分析之后保留下来的43个指标作为观察变量,将探索性因素分析中萃取出的四个一级指标维度作为模型的潜变量。

另外,研究使用比较拟合指数(CFI,comparative t index)、标准化残差均方根(SRMR,Standardized Root Mean Square Residual),近似误差均方根(RMSEA,the root mean square error of approximation)和卡方检验等模型拟合指标。模型修正检验发现个别指标间存在残差相关,模型修正后CFI 在0.832和0.985之间,RMSEA在0.084和0.118之间,SRMR小于0.100,说明模型拟合度较好,指标体系结构比较合理,具有较好的结构效度。表7为总体指标体系和各一级指标维度的验证性因素分析和各模型拟合指数摘要表。

根据以上拟合效果的评价,进一步计算指标体系的权重系数。假设四个潜变量的路径系数分别为γ1,γ2,γ3,γ4,指标权重计算公式为。计算之后,指标体系的权重系数如表8所示。

结语

综合全文所述,在城乡社区协商建设与发展新形势下,随着城乡社区协商实践的不斷丰富,有必要运用一套指标体系去较为客观合理地开展评价。本研究结合北京市调研数据,围绕指标检验和权重系数计算,对笔者曾建构的城乡社区协商实践指标体系作进一步讨论,最终形成一套包含4个一级指标、12个二级指标、43个三级指标的体系。

对于最终形成的这一套指标体系,还需要补充说明的是,指标建构的两个主要环节中,可能会由于一些方法上与技术性的问题影响指标的科学性。比如说,在指标体系初步建构的过程中,政策文件的把握情况、理论研究的梳理情况、调研及其数据的汇总情况中的任何一方面稍有瑕疵都可能影响指标设计及其体系建构的科学性。又比如说,在指标体系的信度和效度检验过程中,样本获取情况等方面的瑕疵也可能影响指标体系科学性,而且指标剔除的纯技术性做法,也可能对指标体系科学性造成一些影响。

当然,本套指标体系是否有足够的科学性,还有待其在城乡社区协商实践评价中的具体运用来检验。同时,在本套指标体系运用到评价实务时,还需要在指标向评价题项的转换、评价主体的选择和匹配等方面给予切合实际的认真考虑。

参考文献:

[1]中共中央,国务院.关于加强和完善城乡社区治理的意见[N].人民日报,2017-06-13(001).

[2]罗燕.让居民担当社区治理主角——专访民政部基层政权和社区建设司司长陈越良[DB/OL].民生网,(2018-06-05)[2019-09-10],http://www.msweekly.com/show.html?id=99910.

[3]杨守涛.协商民主实践评价指标的研究进展与反思[J].陕西行政学院学报,2018(4):76-80.

[责任编辑、校对:党  婷]

猜你喜欢
信度效度评价指标
校企融合背景下,思政教师在职业生涯规划教学中的效度探索
谈高效课堂下效度的提升策略
巧用模型法提高科学课堂教学的效度
大学生积极自我量表初步编制
第三方物流企业绩效评价研究综述
基于UML的高校思想政治教育工作评价系统的分析与研究
公共文化服务体系评价指标的国际经验与启示
资源型企业财务竞争力评价研究
论高职英语多元化综合评价模式的效度与信度
计算机辅助英语测试研究