拜争刚, 游 洁, 王建成, 童 峰, 邓 巍, 胡晓芳
(1.南京理工大学 公共事务学院,南京 210094;2.甘肃省循证医学与临床转化重点实验室,兰州 730000;3.甘肃省人民医院,兰州 730000;4.四川外国语大学 社会学系,重庆 400031;5.湖南省监狱管理局,长沙 410011;6.重庆大学 公共管理学院,重庆 400044)
循证管理研究中系统评价的撰写方法*
拜争刚1,2, 游 洁2, 王建成3, 童 峰4, 邓 巍5, 胡晓芳6
(1.南京理工大学 公共事务学院,南京 210094;2.甘肃省循证医学与临床转化重点实验室,兰州 730000;3.甘肃省人民医院,兰州 730000;4.四川外国语大学 社会学系,重庆 400031;5.湖南省监狱管理局,长沙 410011;6.重庆大学 公共管理学院,重庆 400044)
通过阐释撰写循证管理系统评价的几个中心环节及展示一个公共管理系统评价实例,针对国内循证管理学高质量研究证据较少的情况,提出决策管理教育者和研究者需要掌握更加专业的研究方法,并进一步尝试撰写系统评价,为我国的循证管理决策生产本土化证据。
循证管理;系统评价;方法学;决策证据
循证思想脱胎于循证医学。循证医学的创始人之一David Sackett对循证医学的定义为“慎重、准确和明智地应用当前所能获得的最佳研究证据,同时结合临床医生的个人专业技能和多年临床经验,考虑患者的价值和愿望,将三者完美结合,制定出患者的治疗措施[1]。”
循证管理学(evidence-based management)将循证思想与管理学理论、实践相结合。2006年美国学者Rousseau DM定义循证管理为使基于最佳证据的科学管理理论转化为组织管理实践[2]。通过循证管理,管理实践者的管理更加专业,他们可以在了解社会科学和组织行为研究的前提下做出组织决策,从而使专业决策从基于个人偏好和不系统的经验论转变为基于最佳科学证据。
然而在茫茫的信息海洋中,如何快速地找到证据以供决策?系统评价正是基于这样的需求产生的,旨在收集所有符合预定纳入标准的研究证据并进行整理评价来回答某一具体的研究问题。其采用明确、系统的方法降低偏倚,提供更为可靠的结果,促进决策[3-5]。为推进循证医学的发展,1993年成立的Cochrane协作网,广泛地收集临床随机对照试验研究结果,通过制作、维护和提高决策所需的系统评价证据可及性,帮助人们制定遵循证据的(知证)卫生决策[6]。
不仅在医学领域,随着循证思想在社会科学领域的发展,系统评价也开始应用于社会福利、教育学、司法犯罪、国际发展等领域。2000年国际上成立了Cochrane协作网的姊妹组织Campbell 协作网,此协作网旨在推动循证实践理念和研究方法在社会科学领域的应用,为各领域的科学决策提供高质量的研究证据。而其中Campbell 图书馆的主要工作是制作、保存、推广以上各领域的系统评价,已成为国际公认的循证决策数据库[7]。国内已有相关研究介绍循证管理的理念和发展,但没有具体介绍如何生产高质量决策依据的方法学研究。本论文重点介绍Campbell系统评价中国际发展领域系统评价撰写方法,通过阐释撰写系统评价的几个中心环节及展示一个具体的公共管理系统评价实例,旨在让国内更多的管理类学者了解并尝试撰写系统评价,为我国的循证管理决策提供本土化证据。
系统评价是一种二次研究方法,主要由以下几个重要部分构成:提出问题、检索和筛选文献、质量评价、数据分析合成、研究结果讨论等。
1.1 系统评价问题的提出与构建
1.1.1 系统评价问题的提出
管理学最初是从管理实践中总结而来的,无论管理学理论如何发展,它都不能脱离理论实践这一环节。循证管理也应当基于组织管理存在的现实问题开展研究,一方面组织管理者应及时地发现管理过程中存在的问题,寻找问题的根源,向包括循证管理系统评价员在内的多方管理研究人员咨询,并基于高质量的系统评价进行决策;另一方面循证管理系统评价研究人员也应当与组织管理者们深入地沟通,来确保其所拟定的系统评价问题具有现实意义。
1.1.2 系统评价问题的构建
系统评价问题的构建是一篇系统评价的开始,可以视其为明确系统评价研究目的的过程。问题的构建将对某个现象的研究转化为对该现象几个具体问题的研究。循证管理学与循证医学一样可以构建和纳入定量研究、定性研究、定量定性相结合的混合研究。定量研究则一般采用国际公认的PICO模型。P(Population/Problem)指患特定疾病的人群;I(Intervention/Exposure)指干预措施或者是暴露的条件;C(Comparison/Control)指对照组或是另一种可用于比较的干预措施;O(Outcome)为结局指标。若一个管理者想要解决的问题是HSE管理体系是否减少安全管理问题的发生,此时可以用PICO对问题进行构建:P——如何加强安全管理;I——HSE管理体系应用;C——不采用HSE管理体系;O——安全问题发生率。随着医学领域研究的问题类型日益增多,PICO模型不能完全显示出研究者所关心的所有与问题相关的环节,因此,有研究者在PICO模型的基础上进行一定的扩展,由此诞生的PICOS(Setting)、PICOT(Time of frame)等模型也可被循证管理研究者所借鉴。
在构建循证管理系统评价问题时,由于管理学属于一门社会科学,仅使用定量研究无法反映出管理组织中涉及的文化、背景等因素,干预措施的实行也存在是否严格执行的问题,同时存在的几个管理活动也将使由果溯因的分析碰壁,所以采用定性研究是必要的。在定性研究的问题构建方面,Wildridge 和Bell 在CLIP 的基础上构建出一个适用于医疗及社会保健管理领域的ECLIPSE模型[8]:E(Expectation)、C(Client Group)、L(Location)、I(Impact)、P(Professionals)、SE(Service)。此模型同样能够应用在除医疗管理外的其他管理问题构建上。例如一个大型企业的管理者想提高企业经营的安全管理效果,根据ECLIPSE模型可构建以下问题。E——提高企业经营的安全管理效果;C——企业员工;L——大型企业;I——安全问题减少、员工满意度上升、更好的企业安全形象;P——企业管理者、安全人员、安全设施;SE——大型企业安全保障措施。
除ECLIPSE模型外,Cooke 等在PICO 模型的基础上,构建出了一个更适用于定性研究问题的SPIDER 模型:S(Sample)、PI(Phenomenon of interest)、D(Design)、E(Evaluation)、R(Research type)[9,10];澳大利亚的循证护理中心则倡导运用SPICE模型:S(Setting)、P(Population)、I(Intervention)、C(Comparison)、E(Evaluation)进行定性研究问题的构建[11]。
在确定循证管理系统评价的核心问题后,需要明确该问题的内涵和外延、问题的范围及问题的严重性。此外,对问题的形成或促使问题结果产生改变的因素也应加入考虑当中,理清影响因素与问题的联系,可便于系统评价检索证据的分析。
1.2 证据检索
在检索之前系统评价员们应事先确定这篇系统评价的纳入排除标准,对所需要研究的合格标准作出界定,列出目标组织环境、目标干预措施及需要的研究类型,便于检索后对文献进行筛选。
对系统评价证据的检索,证据的来源及方式可以不相同,向专业人士咨询、进行社会调查、人工翻阅杂志报刊以及计算机检索得到的结果都可作为证据。但建议将计算机检索作为系统评价的证据主要来源,因为计算机检索更加便捷,检索范围也更广泛,更有可能得到最佳的证据资源。
1.2.1 确定检索词及检索策略
在使用PICO模型构建系统评价问题时,检索词一般为P和I的组合,有时会加上C作为补充。确定关键词的检索途径,并利用检索符号编写符合计算机运算逻辑的检索式进行检索。以“HSE管理体系是否减少企业安全管理问题的发生”这个问题为例,检索词可以确定为为HSE管理、安全、HSE文化、安全管理。检索式为题名或关键词:(("HSE管理") OR ("HSE文化")) AND 题名或关键词:(("安全") OR ("安全管理")) 。
1.2.2 选择合适的数据库
选择专业程度高且可信的数据库。检索时,综合性数据库的检索结果数量丰富,检索英文文献时常使用Google scholar、Web of Science等,中文文献则常用CNKI数据库,但综合数据库检索时的相关性却不能保证。故选择与管理学相关的社会科学学科数据库可节省许多时间。为保证所获得证据的可靠性,选择数据库时,也应考虑数据库的可信程度。管理学的许多问题仅凭数据库检索获得的证据并不充分,所以需要将描述性证据也纳入系统评价。故除数据库外,可从与系统评价问题相关的网站中获得描述性证据。
这里介绍两个循证管理相关的英文网站,其一为2006年由Pfeffer 和 Sutton建立的Evidence Based Management网站,旨在报告、鼓励并演示循证管理以及组织应如何实践它[12];另一个非盈利成员制组织The Center for Evidence-Based Management (CEBMa)则旨在促进管理领域的循证实践,为管理者、顾问、组织、教师、学者及其他对循证管理感兴趣并想进一步了解的人士提供支持和资源。表1列出了部分管理学检索资源,其下没有一个专门的循证管理学数据库。
1.2.3 判断检索结果
对数据库检索完成后,应对所获得的检索结果进行判断,其能否合理地解释所问的问题。若检索结果不令人满意,应分析原因,是否数据库选择不当、是否检索词和检索策略制定不合理、或是确实该问题尚无相关研究证据[3]。若检索的数据库可信度无法保证,则需要对检索结果进行严格的质量评价来确保所获得的证据质量。
表1 部分管理学检索资源介绍
1.3 纳入文献质量评价
1.3.1 为什么要进行质量评价
由两名系统评价员背对背将检索到的文献根据纳入和排除标准进行筛选后,需要对纳入的文献进行质量评价。有时由于人们阅读的主观性,总是对所研究的问题有一个预判或更加偏好的结果,更倾向于纳入贴近这个结果的证据,而对于偏离这个结果的证据抱有更加严格的评价眼光,带有偏好的评价将使证据评价过程产生偏倚,从而降低系统评价的可信度[13]。为了获得足够可靠并且有效的最佳研究证据,需要对检索到的证据进行严格的质量评价。
1.3.2 不同研究类型质量评价
不同研究类型有其关注的侧重点,应用不同类型的质量评价方法更加有针对性,可提高评价效率,此外,未经使用过的质量评价工具和量表其本身并不可靠,所以在评价纳入证据的质量时,应当使用恰当的工具、检查表,根据不同纳入研究类型所应具备的内容或可能存在的不足之处对证据进行客观且可信的评价。
(1) 定量研究较定性研究有着更加具体的评价标准,Jadad评价量表是评价随机对照试验时使用得最多的,它列出几个可能与随机对照试验质量相关的内容:与研究问题的相关程度;内部效度;外部效度;数据分析及陈述是否合理;实验伦理的评估。
(2) 定性研究质量评价则复杂得多,有时甚至是带有争议的,Popay,Rogers and Williams认为评价定性研究应当包括以下几个方面:人们给予特定经历和干预措施的主观意图;应急措施;取样策略;数据质量分析;结果得出过程阐释;普适性[14]。
(3) 评价随机对照研究及非随机对照研究的26条标准[15]。这个表格同时适用于随机对照试验和非随机对照试验质量的评价,分5个主题进行:报告(9条);外部效度(3条);偏倚(7条);疑问(6条);影响(1条)。但其在评价外部效度时的可靠性仍待加强。
(4) 定性研究的18个评价问题[10]。可作为评价定性研究质量的工具,18个评价问题主要从定性评价的4个研究方法对定性研究质量进行评价。评价内容包括:深度访谈法、焦点小组访谈法、观察法和文献分析法。
(5) 非随机对照试验偏倚风险评估工具。ROBINS-I由Cochrane偏倚方法学小组和Cochrane非随机研究方法学小组共同开发,是一种用来评估有两种或两种以上干预措施的非随机对照试验偏倚风险的工具。适用的研究类型有:队列研究、病例对照研究、中断时间序列研究、半随机研究等。
(6) Critical Appraisal Questionnaires。由CEBMa 网站设计,提供对照研究、队列研究、病例对照研究、Meta分析或系统评价和定性研究的质量评价表格。
1.3.3 质量评价工具
CASP网站:评价技能计划网站是一个非盈利机构,它提供对系统评价、随机对照试验、队列研究、病例对照研究、经济评估、定性研究等文献类型质量评价技术的训练、研讨以及研究质量评估工具等。
1.4 结果及讨论部分撰写
1.4.1 结果的合成与分析
在系统评价的结果中,单个原始研究的结果被合理地合成,所得出的结果应超过任何单个实验研究能够达到的概念和理论进展[16],并用能使其他管理研究者、决策者和利益相关者便于理解的方式表达,可进一步缩小管理者实践高质量决策证据的距离。
(1) 定量研究结果的综合。对不同的单个原始研究结果的合成和分析归根到底取决于系统评价所研究的问题,若问题探究的是一项干预措施实行之后的效果,且有一定数量的类似研究,即研究间的同质性很高,就可以使用定量整合的方式,其中Meta分析是个不错的选择,在一些软件的帮助下可以轻松地实现,使用森林图则可直观地描述出Meta分析的统计结果。对于不同类型的研究可以采用叙述性整合的方式,将单个研究的结果用表格形式呈现出来,按不同的主题分出一个或多个表格,表格里应包括所有单个研究的人群、方法和结果。叙述性整合是一个整合原始研究并对观察的差异进行描述的过程,并不是统计分析。
(2) 定性研究结果的综合。对于定性研究来说,管理者们想要更多地了解过程,但在管理领域中同时找到大量内部、外部环境类似研究的可能性很低。若管理者想要了解的是一项干预措施是如何对结果造成影响,或更加宽泛地,是某个领域的管理现状,此时需要通过特殊的方法来达到更高的分析目的并且增强定性研究的普遍性[17],可采用的定性整合方法有:主题综合(Thematic Synthesis)、Meta-人种志(Meta-ethnography)、CIS(Critical Interpretive Synthesis)[18]。在同时使用定性、定量方法的研究中,还可根据研究的不同阶段及不同情况分别对可量化的结果和可描述的结果进行定性、定量合成。
1.4.2 系统评价的讨论部分的撰写
(1) 证据的强度。系统评价操作过程中存在的局限性应当被讨论,纳入文献时是否在语言上有限制,是否考虑到灰色文献等;在文献的质量评价当中,是否采用合适的量表以及单个研究结果合成中是否根据研究类型或阶段的不同使用不同的合成方法。
(2) 系统评价结果的适用性。系统评价是假设测算的有效工具,是对现存研究结果的汇总,也评估了过去研究的一致性[19]。系统评价有其与生俱来的适用范围,当一个管理者使用系统评价时会将评价中描述的环境与其所在组织作对比,假设该项措施在组织管理中应用是否能够得到较好的结果。事实上,当评价一项证据的适用性时,不仅是关注证据适用的范围,而是在某些情况下证据为什么不适用。因此,在评价撰写过程中应当注意一些特征性问题对证据的局限作用。
组织外部环境差异:外部环境包括地区环境、政策、科学、教育、风俗等因素,若没有对所探究的组织管理相关的外部环境做出描述,可能会给使用者造成误解。
组织内部文化差异:组建于发展过程中形成的组织经济文化因素不同,对一些干预的执行程度有所不同,进而能够影响到评价结果的适用度。
(3) 其他可能影响决策的因素。如应就干预实施的费用、干预持续的时间对研究造成的影响给予适当说明,还应说明研究的预见性,是否在将来也有意义。
流浪儿童和年轻人在全球范围内的估计值大约在1亿人,但这个数字被广泛地质疑,确切的数据并不被了解,并且由于政治原因,估计值存在差异。流浪儿童和年轻人面对的风险有对他们身体、心理和性关系上的利用,暴力、金钱利用,社会排斥,无技能雇佣,物质滥用,广泛成瘾和艾滋病。
目前有许多针对改善流浪儿现状的干预措施,但如果干预忽视了这些流浪儿的心声,或干预的规划和管理过程中并没有流浪儿参与,这些干预能否成功仍存在争议。
本系统评价旨在总结促进流浪儿童和年轻人被包容重返社会并减少伤害的干预措施的有效性,探索干预成功措施的实施过程和干预模型在这一领域的改变,并了解干预在不同的环境中是如何产生不同效果的。
2.1 系统评价问题的构建
此处采用PICO模型对系统评价问题进行构建。P(Population/Problem):流浪儿童、年轻人;I(Intervention/Exposure):不同国家实施的,使流浪儿童及年轻人重返社会、减少有害行为及生活方式的措施;C(Comparison/Control):不针对流浪儿童及年轻人进行干预、仅仅给予他们一般社会服务、采取所提到措施之外的不同干预措施;O(Outcome):流浪儿童及年轻人融入社会水平、流浪儿童及年轻人的健康,幸福,教育和职业成就水平、措施实施过程水平。
2.2 检索策略
本文检索了数据库和众多相关的非政府和组织的网站,包括Cochrane Central Register of Controlled Trials (CENTRAL)、MEDLINE、EMBASE、CINAHL、PsycINFO等数据库从成立最初到2012年的所有文献。还通过System for Grey literature in Europe (OpenGrey) 检索了灰色文献。
2.3 纳入文献质量评价
两名系统评价员背对背提取文献信息,评估纳入文献的偏倚风险。信息提取内容包括:干预措施交付、干预环境、过程中影响因素、干预的公平性和干预结果。根据是否对社会心理指标、危险的性行为、药物滥用进行测量,将结局指标分组。一些结果的合成采用了Meta分析,但由于研究间存在差异,无法表现出所有结果,故描述性地评估了其他结果。
2.4 结果合成与分析
纳入的11个研究评估了12个来自高收入国家的干预措施。尽管在中、低收入国家(LMICs) 中存在许多相关计划,但没有发现任何值得评估的已实施的措施。研究质量总体在中、低层次,研究间用来观测的方法也各不相同,使得比较起来很困难。参与者居无定所使他们参与研究的时间并不固定。
研究收集了许多测量值,但在一系列相关的结局指标:社会心理健康、物质滥用和危险的性行为中并没有发现一致的结果。
没有研究明确地针对流浪儿童及年轻人融入社会水平。纳入研究间的分析并没有发现新干预措施较一般服务能为流浪儿童和年轻人提供更持续而显著的好处,然而,这些近年来的干预措施没有经过严谨的评估,尤其是处于中、低收入的干预环境中的干预措施。严谨评估这些干预措施或许能促进更好的服务。未来的研究中还需要纳入中、低收入国家中由于城市化、战争或移民原因出现的流浪儿童,他们可能处于非法交易的风险当中。
系统评价作为循证管理理念的核心和最佳证据来源,虽已在国际上流行起来,但在我国管理领域应用力度仍不大。循证管理系统评价根据其研究问题可采用定量研究、定性研究等方法,在提出问题、实施检索、质量评价、资料综合等环节,结合管理问题的特质展开具体问题的研究。随着政府购买服务决策的科学化,越来越多的决策需要基于证据,因此决策管理教育者和研究者需要掌握更加专业的研究方法。笔者同国际Campbell协作网建立了长期的合作关系,有能力开展高质量的循证实践理念和系统评价撰写方法培训。
[1] SACKETT D,STRAUS S E,RICHARDSON W S.Evidence-Based Medicine:How to Practice and Teach EBM[M].London:Churchill Livingstone,2000
[2] ROUSSEAU DENISE M.Is There Such a Thing as “Evidence-based Management”?[J].Academy of Management Review,2006,31(2):256-269
[3] 王家良.循证医学[M].北京:人民卫生出版社,2001
WANG J L.Evidence-based Medicine[M].Beijing:People's Medical Publishing House,2001
[4] OXMAN A D,GUYATT G H.The Science of Reviewing Research[J].Annals of the New York Academy of Sciences,1993,703:125-133[5] ANTMAN E M,LAU J,WKUPELNICK B,et al.A Comparison of Results of Meta-analyses of Randomized Control Trials and Recommendations of Clinical Experts:Treatments for Myocardial Infarction[J].JAMA,1992,268:240-248
[6] JULIAN P T HIGGINS,SALLY G.Cochrane Handbook for Systematic Reviews of Interventions[EB/OL].[2016-5-13].http://handbook.cochrane.org/
[7] 赵坤,郭君钰.Campbell图书馆简介[J].中国循证医学杂志,2015,15(1):120-124
ZHAO K,GUO J Y.A Introduction to Campbell Library[J].Chinese Journal of Evidence-Based Medicine,2015,15(1):120-124
[8] WILDRIDGE V,BELL L.How CLIP Became ECLIPSE:a Mnemonic to Assist in Searching for Health Policy/Management Information[J].Health Information & Libraries Journal,2002,19(2):113-115
[9] 孙皓,时景璞.循证医学中PICO模型的扩展及其在定性研究中的应用[J].中国循证医学杂志,2014,14(5):505-508
SUN H,SHI J P.Expansion of PICO Model in Evidence-based Medicine and Its Application in Qualitative Research[J].Chinese Journal of Evidence-Based Medicine,2014,14(5):505-508
[10] COOKE A,SMITH D,BOOTH A.Beyond PICO:the SPIDER Tool for Qualitative Evidence Synthesis[J].Qual Health Res,2012,22(10):1435-1443
[11] BOOTH A.Clear and Present Questions:Formulating Questions for Evidence Based Practice[J].Library Hi Tech,2006,24(3):355-368
[12] JEFFREY P,ROBERT I.Sutton.About the Site[EB/OL].[2016-5-12].http://evidence-basedmanagement.com/
[13] Petticrew M,Roberts H.Systematic Reviews in the Social Sciences:A Practical Guide[M].Blackwell Publishing,2006
[14] POPAY J A,ROGERS,WILLIAMS G.Rationale and Standards for the Systematic Review of Qualitative Literature in Health Services Research[J].Qualitative Health Research,1998,8 (3):341-351
[15] DOWNS S,BLACK N.The Feasibility of Creating a Checklist for the Assessment of the Methodological Quality of Both Randomised and Non-randomised Studies of Healthcare Interventions[J].Journal of Epidemiology and Community Health,1998,52:377-384
[16] CAMPBELL R.Evaluating Meta-ethnography:A Synthesis of Qualitative Research on Lay Experiences of Diabetes and Diabetes Care[J].Social Science and Medicine,2003,56,671-684
[17] SANDELOWSKI M,DOCHERTY S,EMDEN C.Qualitative Meta-synthesis:Issues and Techniques[J].Research in Nursing and Health,1997,20 (4):365-371
[18] 黄崇斐,拜争刚,吴淑婷,等.定性系统评价的撰写方法介绍[J].中国循证医学杂志,2015,15(9):1106-1111
HUANG C F,BAI Z G,WU S T,et al.How to Write the Qualitative Systematic Review:An Introduction[J].Chinese Journal of Evidence-Based Medicine,2015,15(9):1106-1111
[19] DENYER B,ROUSSEAU.Evidence-Based Management:Concept Cleanup Time?[J].Exchange,2009,23 (4):19-31
[20] COREN E,HOSSAIN R,PARDO H,et al.Interventions for Promoting Reintegration and Reducing Harmful Behaviour and Lifestyles in Street-connected Children and Young People:A Systematic Review[EB/OL].[2016-5-12].http://www.campbellcollaboration.org/lib/project/206/
责任编辑:罗姗姗
Writing Methods for Systematic Review in Evidence-based Management
BAI Zheng-gang1,2, YOU Jie2, WANG Jian-cheng3, TONG Feng4, DENG Wei5, HU Xiao-fang6
(1. School of Public Affairs, Nanjing University of Science and Technology, Nanjing 210094; 2. Key Laboratory of Evidence-based Medicine and Knowledge Translation of Gansu Province, Lanzhou 730000, China; 3.Gansu Provincial Hospital, Lanzhou 730000;4. Department of Sociology, Sichuan International Studies University, Chongqing 400031, China; 5. Hunan Prison Administrative Bureau, Changsha 410011, China; 6. School of Public Affairs, Chongqing University, Chongqing 400044, China)
By illuminating several central links for writing systematic review in evidence-based management system, by demonstrating a review example of public management system, according to the situation that there are few high quality research evidences in domestic evidence-based management, this paper proposes that the educators and researchers of decision-making management need to master more professional research methods and need to further try to write systematic review so as to find the localized evidence for decision-making management in China.
evidence-based management; systematic review; methodology; decision-making evidence
2016-06-07;
2016-07-05.
国家自然科学基金项目(81301177);甘肃省留学回国人员科技活动项目择优资助(20410404).
拜争刚(1981-),男,甘肃庆阳人,副教授,博士研究生,从事老年健康循证医学/卫生体系研.E-mail:baizhenggang@126.com.
10.16055/j.issn.1672-058X.2017.0002.016
C93
A
1672-058X(2017)02-0077-07