吴明珠,田兴军,杨 练,王 滢,王美先
(1.成都中医药大学管理学院,四川 成都 610075;2.四川省中医药管理局,四川 成都 610016; 3.四川省疾病预防控制中心,四川 成都 610041)
四川省疾病预防控制中心土建项目建设效果评价指标体系研究
吴明珠1,田兴军2,杨 练1,王 滢3,王美先1
(1.成都中医药大学管理学院,四川 成都 610075;2.四川省中医药管理局,四川 成都 610016; 3.四川省疾病预防控制中心,四川 成都 610041)
[目的]构建一套科学高效、灵敏可靠、操作简便的土建项目建设效果评价指标体系,为四川省CDC资源优化配置提供参考。[方法]采用文献分析法和德尔菲法确定指标体系,运用层次分析法计算指标权重。[结果]经3轮专家咨询,构建由4个一级指标、12个二级指标、37个三级指标组成的指标体系。4个一级指标“房屋建设”、“职能落实”、“项目管理”、“综合效益”的权重分别为0.3218、0.2589、0.2318、0.1875,专家的平均积极系数96.43%、平均权威系数77.5%,平均协调系数0.208,平均克朗巴赫a系数0.941。[结论]专家咨询的可靠性较好,结果可取,构建的指标体系可作为四川省CDC土建项目建设效果的评价工具。
疾病控制中心;土建项目;评价指标体系;德尔菲法;层次分析法
建国以来,虽然我国始终坚持以“预防为主”的方针,但是各级医疗机构仍存在“重医轻防”的现象。随着SARS、禽流感等重大公共卫生事件的爆发,政府高度重视公共卫生体系建设,尤其投入大量资金加强疾病预防控制体系的建设。2003-2015年期间,四川省共建设了169个疾病预防控制机构,建设规模达57万m2,资金投入逾11亿,主要用于土建项目。目前四川省疾病控制中心 (CDC)土建项目已投入使用,为检验其是否达到预期建设目标,是否产生良好的社会效益,本研究拟构建一套科学、高效、简便、可靠的建设效果评价指标体系,为四川省CDC资源的优化配置提供参考。
1.1 文献分析法
首先对四川省CDC土建项目情况进行统计分析,找出CDC已建项目的特点和使用情况,随后以“CDC”、“土建项目”、“评价指标”等为关键词检索国家卫计委和四川省卫计委、CDC等官方网站以及中国知网、维普、万方、Pubmed等国内外专业数据库,收集CDC建设标准、项目管理、绩效评价等相关政策文件和相关文献,在此基础上初步构建了评价指标体系。
1.2 德尔菲法
本研究共进行3轮专家咨询。第一轮咨询主要是对各级指标的重要性和可操作性进行评判。第二轮咨询再次筛选指标,同时对指标的重要性、可操作性、敏感性进行评判。第三轮咨询主要确定各级指标的权重。
1.3 层次分析法
各级指标的权重采用层次分析法 (AHP)。层次分析法是由美国运筹学家托马斯·萨蒂 (Thoma L.Saaty)于20世纪70年代中期提出的一种定性与定量相结合的系统化、层次化分析方法[1]。其原理主要是依据各层次要素之间的逻辑关系,构建一个结构化的层次模型,对各层次内部的要素进行“两两比较”,从而确定各要素间的相对重要性,检查各层次一致性。本研究根据各级指标构建判断矩阵,结合专家填写的“两两比较”判断值,运用yaahp软件构建层次结构模型,运用群决策分析计算各指标权重。
1.4 统计分析方法
采用Excel 2007录入数据,SPSS 13.0进行统计分析。各指标的重要性、可操作性、敏感性采用均数±标准差、变异系数表示。专家咨询的可靠性采用积极系数、权威系数、协调系数3个指标检验。其中专家积极系数为参与指标评定的专家数占邀请专家数的比值;专家的权威系数由两个因素决定,一是专家对方案作出的判断的依据,用Ca表示;二是专家对问题的熟悉程度,用Cs表示。专家权威系数计算公式:Cr=(Ca+Cs)/2(Cr为专家权威系数,Ca为专家判断系数,Cs为专家熟悉系数)[2];专家意见协调程度主要用肯德尔和谐系数反映,指标体系的信度采用内部一致性检验。
2.1 文献分析结果
基于“结构—过程—结果”评价模式,并结合项目实施规律和《四川省卫生计生建设项目管理手册》(简称“管理手册”)的相关规定对四川省CDC卫生项目的结构、过程进行分析;采用具有代表性的项目管理指标反映项目的结构和实施过程,主要考虑项目决策、准备、施工、竣工、验收等过程是否规范进行评价。土建项目最直接的产出是房屋建设。评价过程中主要考虑房屋建设的成效,即房屋规模、质量、功能布局等是否合理。间接产出则包括职能落实以及土建项目对经济、社会、环境等产生间接影响,因此采用房屋建设、职能落实、综合效益3个指标体现土建项目产生结果。本研究选取了项目管理、房屋建设、职能落实、综合效益4个一级指标,初步形成了四川省CDC土建项目建设效果评价指标体系的层次结构。
2.2 专家咨询结果
课题组邀请的咨询专家主要从事疾病预防控制与行政管理、公共卫生、预防医学、流行病学与卫生管理、卫生政策研究及信息管理等7个领域,其中男性占50%,正高职称占50%,研究生以上教育程度占35.7%,在相关领域工作年限都超过10年,见表1。
第一轮专家咨询中,所有专家对一级指标没有修改意见,对二级、三级指标筛选时综合考虑专家对指标重要性和可操作性的评分和意见、CDC土建项目建设现状、评价指标和土建效果的紧密程度以及指标之间的相互替代性等因素。按照算术平均数>3.8分,同时变异系数<0.25的标准,最终删除了“人才培养”、“专业人员年人均论文发表数增加值”、“艾滋病信息报告系统建设”、“结核病信息报告系统建设”4个指标;修改了“项目发包”、“施工安装”、“危房面积所占比例”、 “实验室检验项目开展率增长率”、“职业危害因素检测项目开展率增长率”5个指标;增加了“机房和网络建设”、“办公系统和实验室系统建设”、“突发公共卫生事件信息报告系统建设”3个指标。
第二轮专家咨询中,所有专家对一级指标、二级指标均无修改意见,对三级指标进行筛选时综合考虑指标的重要性、可操作性、敏感性等,删除“职业危害因素检验项目开展增加数”,最终形成了一套由4个一级指标“项目管理” “房屋建设” “职能落实”“综合效益”、12个二级指标、37个三级指标构成的评价指标体系,见表2。
表1 专家基本情况
2.3 指标权重确定
综合前两轮专家咨询确定的指标体系,根据Saaty等提出的1-9标度法构建各层次中各要素的判断矩阵,请专家对指标的相对重要性进行两两比较。运用yaahp软件构建层次结构模型,采用群决策计算得出各级指标权重并进行一致性检验 (CR)。结果显示:所有指标的CR<0.1,判断矩阵具有满意的一致性。“房屋建设”、“职能落实”、“项目管理”、“综合效益”4个一级指标的权重分别为0.3218、0.2589、0.2318、0.1875。二级指标中“服务提供”、 “满意度”、“质量安全”、“功能布局”、“项目决策”居于前五位。“信息化建设”、“项目准备”权重值最低,都为0.0337,见表2。
2.4 专家可靠性分析
表2 四川省CDC土建项目建设效果评价指标体系权重表
2.4.1 专家积极系数
专家咨询问卷回收率达到50%就可以用来做分析和报告,70%就是很好的回收率[5]。第一轮和第二轮专家咨询问卷回收率分别为100%和92.86%,表明两轮专家咨询的积极性很好,问卷可以用来作分析。
2.4.2 专家权威系数
两轮专家咨询的专家判断系数分别为0.74和0.81,熟悉系数分别为0.69和0.83,权威系数分别为0.72和0.82。由于一般认为专家权威系数大于0.7的咨询结果可靠[3]。本研究结果表明专家的权威性较高,结果可靠。
2.4.3 专家协调系数
两轮专家咨询的Kendall's W系数分别为0.177和0.239,P<0.001。由于其值范围为0~1,越接近于0说明协调性越不好,反之,协调性越好[4]表明第二轮咨询专家意见趋于一致。
2.5 指标体系的内部一致性
采用克伦巴赫α系数 (Cronbach's α)来反映指标体系的内部一致性信度。克伦巴赫α系数在0.8以上表示内部一致性极好,0.6到0.8表示内部一致性较好,低于0.6时应对指标进行修正[6]。两轮专家咨询的克朗巴赫α系数分别为0.938和0.945,表明指标体系内部一致性信度较好。
3.1 咨询专家代表性和权威性较好
Brown.B指出“Delphi法预测成败的关键在于专家的选择”。咨询专家应与研究问题相关,并在相关领域从事10年以上技术工作的专业人员[7]。本研究咨询专家来自疾病预防控制、公共卫生、卫生行政部门、高校科研的14位专家,主要从事疾病预防控制与行政管理、流行病学与卫生管理、卫生政策研究及信息管理等工作并有10年以上工作经验,专家的代表性和权威性较好。
3.2 指标构建过程科学严谨
本研究特别注重指标体系构建的科学性和实用性。课题组首先统计四川省CDC的实际情况,分析其土建项目的特点,然后查阅CDC土建项目相关政策文件和建设标准,在此基础上提取指标,并进行专题小组讨论,以确保指标的完整性,避免指标间出现交叉。
每轮专家咨询问卷都附有详细的问卷填写说明,表格简洁、用词准确,避免专家因问卷设计而做出不准确的评价。同时问卷留有足够的空白,便于专家提出自己的意见。问卷以电子邮件形式发送给专家,对回收的问卷进行逐一审核,对漏答问卷及时与专家联系核实;对有异议的意见及时与专家沟通讨论,确保对指标的修改准确无误。
3.3 指标体系的可靠性较好
通过有目的遴选专家,对专家文化程度、职称、工作年限、研究领域进行分析,确保专家的代表性和权威性,为指标体系的质量奠定了基础。两轮专家咨询的积极系数均保持在0.90以上,专家权威系数均大于0.7,协调系数均有统计学意义,说明专家积极性、权威性和专家意见一致性较好。对指标体系的信度与效度进行分析,两轮指标体系的克朗巴赫α系数均大于0.8,信度较好。因此,本研究构建的四川省CDC土建项目建设效果评价指标体系可靠性较好。
3.4 指标体系需进一步验证和完善
本研究是对四川省CDC土建项目建设效果评价指标体系的初探,下一步还需对指标体系进行实证研究,进一步验证指标体系的科学性、可行性,并完善指标体系。
[1]胡 晓.医院补偿能力评价指标体系研究[D].安徽:安徽医科大学,2012.
[2]曾 光.现代流行病学方法与应用[M].北京:北京医科大学协和医科大学联合出版社.1994.
[3]吴华氽,黄晓光,陈美玲,等.南京市三级综合医院创新能力评价指标体系研究[J].医学与社会,2014,27(9):18-21.
[4]梁纪伟,薄 涛,张华强,等.应用Delphi法确立县级CDC应急反应能力评价指标体系[J].中国公共卫生管理,2011,27(2):120-121.
[5]叶腾飞,潘小炎.基于层次分析法的广西城市社区全科医生能力评价指标体系的构建研究[J].中国全科医学.2014.17 (7):752-755.
[6]蒋小花,沈卓之.问卷的信度和效度分析[J].现代预防医学,2010,37(3):429-431.
[7]吕雪丽.成都市乡镇卫生院基本公共卫生服务项目及绩效评价指标体系研究[D].成都:成都中医药大学,2010.
(本文编辑:张永光)
Research on evaluation index system of CDC construction effect based on analytic hierarchy process
WU Ming-zhu1,TIAN Xing-jun2,YANG Lian1,WANG Ying2,WANG Mei-xian1
(1.Management School of Chengdu TCM University,Chengdu Sichuan 610075,China; 2.Sichuan CDC,Chengdu Sichuan 610041,China; 3.Sichuan Traditional Chinese Medicine Authority,Chengdu Sichuan 610016,China)
ObjectiveTo build a set of scientific,simple,efficient,sensitive and reliable evaluation index system of construction effect construction so as to provide reference for CDC resources allocation optimization in Sichuan province.Methods Literature review and Delphi method were used to determine the indexes of evaluation index system.AHP was used to determine the index weight.ResultsAfter 3 rounds of expert consultation,constructs the evaluation system,including 4 first-level indicators,12 second-level indicators and 37 third-level indicators.4 first-level indicators were“project management,housing construction,function implementation,and efficiency”,and the weight was 0.2318,0.3218,0.2589 and 0.1875.The average positive index was 96.43%,authority index was 77.5%,cooperation index was 0.208,a index was 0.941.ConclusionsThe reliability of experts consulting is better,result is perfect,construction indicator system can be the evaluation tool of CDC construction effect.
CDC,construction,evaluation index system,Delphi method,analytic hierarchy process
R194
A
1003-2800(2016)12-0066-05
2016-08-23
10.3969/j.issn.1003-2800.2016.12.016
吴明珠 (1992-),女,四川遂宁人,在读硕士研究生,主要从事卫生管理与经济政策方面的研究。
杨 练 (1977-),女,四川德阳,博士,副教授,主要从事卫生经济学方面的研究。