动物疫病监测系统评价概述

杨宏琳,弋 英,李金花,李 印,张 毅,王幼明,康京丽,金秋实,黄保续,沈朝建

(1.中国动物卫生与流行病学中心,山东青岛 266032;2.青岛市疾病预防控制中心,山东青岛 266033;3.东北农业大学,黑龙江哈尔滨 150030)

动物疫病监测系统评价概述

杨宏琳1,弋 英2,李金花1,李 印1,张 毅1,王幼明1,康京丽1,金秋实3,黄保续1,沈朝建1

(1.中国动物卫生与流行病学中心,山东青岛 266032;2.青岛市疾病预防控制中心,山东青岛 266033;3.东北农业大学,黑龙江哈尔滨 150030)

动物疫病监测系统是预防和控制动物疫病的有效手段.为了改进监测方法,优化资源配置,更好地实现监测目的,本文对动物疫病监测系统的评价进行了概述.系统评价包括:评价的常用指标,如覆盖率、时效性、代表性与偏倚、敏感性与特异性、预测值、简单性、灵活性、稳定性、可接受性、数据质量、成本-效益、交流和数据管理等;评价步骤与内容包括,如界定评价的目的和范围、描述所评价监测系统的特征、确定监测系统评价的研究设计、实施评估、报告与交流等;另外还有评价方法.但目前国内还没有统一、全面的监测系统评价方法.

动物疫病;监测系统;评价

动物疫病防控实践中,为了进行科学、有效决策,需要了解疫病的发生水平、分布状况,评价防控措施实施效果,尽早发现新发病、外来病或证明无疫;需要系统、重复或不间断地收集、整理和分析与动物疫病有关的信息,并及时传递给需要的人或单位,以便其决策并采取相应的行动,这就是动物疫病监测[1].根据动物疫病监测的定义,实践中很多活动产生的数据与动物疫病有关,如养殖场户疫病报告、产地检疫、屠宰检疫、实验室检测、疫苗免疫等.一种活动就是一种监测数据的来源,所有的活动构成了监测系统.动物疫病监测系统(以下简称监测系统)评价,是用一系列指标对监测活动的功能、相关性、过程、效率、有效性和影响因素等进行评价[2-3],为监测系统的设计、改进、优化提供决策支持.在公共卫生领域,为了高效利用有限的资源,许多国家应用相对标准化[4]的评估方法,对公共卫生监测系统进行评价,以此提升监测水平,节约资源,优化系统,从而提高疫病预防和控制能力.在动物疫病领域,部分国家也开展了针对特定疫病的监测系统评价.但这些评价多数是针对单个或少数特定属性进行的.本文在充分理解监测系统评价属性、步骤与内容的基础上,综合分析各评价指标,以期为监测系统评价标准的建立和完善、实际评价工作的开展提供参考.

1 评价监测系统的常用指标

1.1 覆盖率(Coverage)

是指监测系统或监测活动覆盖的群体在目标群中所占的比例.如,屠宰检疫作为羊病的一种监测活动,其所覆盖的动物主要为成年动物,屠宰检疫动物数量在当地该动物饲养量中所占比例,即为屠宰检疫这一监测活动的覆盖率.覆盖率越大,监测系统的代表性越好,偏倚越小,但成本可能会相应提高.

1.2 时效性(Timeline)

反映的是从获得信息到采取行动的速度.这关系到通过该系统是否能及时预防疫病的传播和扩散[5].不同目的监测系统的时效性要求不一样.比如,早期发现疫病,需要立即采取行动,对时效性的要求较为严格;而常规报告,则允许根据要求有一定的延迟.评价监测系统的时效性,需要系统分析不同步骤之间的速度,可用第一例病例发现日期到诊断日期、诊断日期和通报日期等间隔天数的中位数和四分位间距来表示,然后对间隔时间进行分组,分别计算整个监测阶段各组所占的百分比[5-7].可通过对数据采集、实验室检测等相关人员进行持续性审查[8]或电子报告系统等途径提高时效性,但应考虑成本、数据完整性等因素[9].

1.3 代表性与偏倚(Representativeness and bias)

代表性是指由监测系统获得的数据反映目标群特征的程度[10];而偏倚是指监测系统所产生的结果偏离真实值的程度.估计疫病流行率或分布时,具有代表性的监测系统能准确描述感染或疫病水平以及在目标群中的空间和群间分布.如果基于非代表性抽样,则会产生偏倚,此时可使用quot;捕获-再捕获quot;[11]方法估计流行率.如果是发现疫病或证明无疫,则可以选择基于风险的监测来提高效率.

1.4 敏感性与特异性(Sensitivity and specificity)

二者是确定监测系统准确性的指标.监测系统敏感性包含两层含义[12-13]:一是监测系统发现的病例在实际存在病种中所占的比例;二是某病在群体中存在时,通过监测系统发现该病的可能性.在发现疫病或证明无疫时,敏感性是评价监测系统质量的关键指标.敏感性与调查动物的数量、检测试验的特性和预设流行率等因素有关,可以通过主动监测、追踪可疑病例等途径来提高.特异性是指实际无病的群体被监测系统正确判为无病的可能性.系统准确性依赖于监测对象的特性、诊断试验的选择、阳性结果的判断标准等[14].

1.5 预测值(Predictive value)

反映监测结果真实性的指标包括阳性预测值(Positive predictive value,PPV)与阴性预测值(Negative predictive value,NPV).阳性预测值是指监测系统根据病例定义,在群体中发现quot;病例quot;时群体中疫病确实存在的可能性.阴性预测值是指监测系统根据病例定义,没有发现quot;病例quot;时群体中确实无疫的可能性.预测值与抽样数量、检测方法准确性、流行率有关.

1.6 简单性(Simplicity)

是指监测系统的结构设计简单和容易操作,包括数据易于收集、存储、分析,系统维护费时少,病例定义简单等.简单的监测系统往往灵活,容易被接受.

1.7 灵活性(Flexibility)

是指信息要求或操作条件改变时,花费少量时间、人力或费用即可适应这种改变的能力.灵活的系统能够很容易地适应病例定义、技术、资金资源等的变化,使用标准数据格式的监测系统很容易与其他系统整合,这也是灵活性高的体现.监测系统运行过程中,如果没有病例定义、数据要求、新技术等因素的改变,很难评价监测系统的灵活性.

1.8 稳定性(Stability)

包括可靠性、可获得性和可持续性.可靠性,也称可重复性,是指在相同条件下,某监测系统重复监测同一动物个体或群体获得相同结果的能力,主要依赖于病例定义的可靠性[15].病例定义越复杂,可靠性就越低.近年来,常用Kappa来分析评价监测系统的可重复性.可获得性是指监测系统可根据需要随时运行的能力.这需要人员、交通工具、实验室设备、数据管理设备、交流系统等多方面资源保障.可持续性是指系统可长期运行的能力,其受资金支持的可持续、公众认知和参与意愿等因素影响.

1.9 可接受性(Acceptance)

是指个人和组织参与、使用监测系统的意愿,是系统内部操作人员与外部使用系者的自发积极性,是相对主观的指标,会影响监测系统的敏感性和时效性.评价可接受性可采用参与式调查方法进行[16],通过报告表格的完成情况、参与率、报告率、访谈完成率、问题拒答率、数据报送时限等指标进行定量评价.

1.10 数据质量(Data quality)

是指监测系统所收集数据的完整性和有效性,即数据的可信度,是最重要的评价指标.数据质量的高低可影响到监测系统的可接受性和代表性.质量较高的系统更容易被接受,代表性更好.数据质量受诊断试验特性、表格清晰度、数据填报人员培训、数据管理及系统时效性[17]等因素影响.

1.11 成本-效益(Cost-benefit)[18]

成本是指监测系统建立和运行时所涉及的各个方面,包括时间、技术人员、资金、标准和指南、设施设备等.效益是指监测系统所产生的直接或间接收益,不仅仅局限于钱,也包括监测系统运行所避免的损失,如资源的优化使用、动物生产和公共卫生的提升、疫病认知的提升或贸易量的增加等.效果(Effectiveness)是效益的一部分.成本-效果在监测系统中反映的是每年每监测到一个病例的平均成本和每个监测单元每年的运行成本[19],可通过成本-效果决定树模型[20]、马尔可夫模型[21-22],比较某病在监测与未监测条件下的成本和结果(产量与存活率提高、发病率降低、疫病负担减小等)是否存在差异及其大小.

1.12 交流(Communication)

是指监测系统的数据提供者、分析者和使用者之间的信息交换.评价这一指标主要关注信息交换的方法和容易程度,包括所提供的信息、时效性、输出类型及传递信息的措施等.有效的交流渠道和策略可以提高参与者对动物疫病的认识、参与意愿和系统的时效性.研究表明,口头交流(直接交谈、收听广播或参与会议)比书面交流更为有效[23].

1.13 数据管理

是指数据录入、存储、分析和共享等多个方面.评价监测所产生的数据是否得到有效管理,通常包括数据库结构是否合理、数据储存是否予以有效说明和易于理解、数据质量和安全是否有标准等方面的内容.成熟的数据管理系统包括数据管理指南和数据管理组件.数据管理指南中要详细说明数据来源、格式、收集方法、数据分析和解释、人员培训等内容,且数据管理系统可根据监测目的、疫病类型等进行调整[24].

2 评价步骤与内容

监测系统评价步骤一般包括界定评价的范围、描述所评价监测系统的特征、确定监测系统评价的研究设计、实施评估、报告与交流.具体步骤与内容如下.

2.1 界定评价目的和范围

界定监测系统评价目的和范围,首先要在描述开展评估原因和所要解决问题的基础上,确定评估目的.一般情况下,评价目的包括评价监测目的是否实现,监测系统的成本与效果、可操作性、效率、可信度等.

2.2 描述所评价监测系统的特征

2.2.1 界定和描述监测系统的目标和组成.需要界定的目标是指具体的目标,如发现新发病、外来疫病或确定疫病发生水平、分布状况等.描述监测系统组成是从不同数据源或根据不同的行为来说明监测系统的结构.如果仅评价监测系统的一个组成,还要说明监测系统的其他组成及相互间的关系.

2.2.2 描述监测系统对应动物群体的卫生状况.每种监测系统或组成都有其特定的监测对象.在掌握该种动物群体基本价值链的基础上,描述监测系统或监测活动所覆盖群体的特征,包括区域分布、规模化程度、调运等,以及这些特征近期变化情况,以此判断或定量计算监测系统某些属性.

2.2.3 描述监测系统的结构和存在的问题.从数据收集、管理和分析结果发布3个方面进行.描述数据收集需要具体说明谁提供数据、谁收集数据、在何地收集数据、如何收集和记录数据、数据种类、是否有数据收集标准、数据收集人员是否接受相关培训、病例定义是什么等内容.描述数据管理需要说明数据如何记录、储存,如何管理,是否有质量保证程序、数据处理标准和数据验证程序等.分析结果发布包括数据分析与结果发布.数据分析要说明分析方法,是否有相应指标及其计算过程;信息传递要说明人员相互间交换信息的方法、频率及采取的行动等.通过对监测系统结构的描述,找出监测中存在的问题及其成因.

2.2.4 确定与监测系统有关的所有人员.确定监测系统运行付费方,数据提供、分析与结果使用人员,根据结果采取行动时的受益、付费和遭受损失的人员等.这些人员是评价某些属性所需数据的来源.

2.3 确定监测系统评价的研究设计

2.3.1 确定评价指标.根据评价目的,选择评价监测系统属性的指标,如敏感性、特异性、代表性、数据类型与完整性等.

2.3.2 确定评价内容和所需数据.根据所确定的评价指标,确定所收集的数据与获取方式.

2.3.3 说明经济学评估类型.由于动物疫病控制主要关注经济问题,所以评价时此部分不可缺少,即根据所收集的数据,选择定性、半定量或定量等具体方法进行成本效益或效果分析.

2.3.4 确定数据收集、分析方法和所用的工具.

2.4 实施评估

按照评价的研究设计,收集、分析所需要的数据,评估所选择的属性.

2.5 报告与交流

确定受众,选择相应的交流媒介,说明所评估监测系统的优缺点、结果的不确定性并提出建议.

3 评价方法

鉴于监测系统评价的复杂性,目前还没有统一、全面的监测系统评价方法[25].当前针对监测系统的评价,均是根据特定目的,选择相应的指标进行评价.针对不同指标,既有定性的、又有定量的评价方法.动物卫生领域评价监测系统的方法中,定量方法远远超过定性方法.最常用的定量方法是测量所报告真实病例的比例,相互比较评估不同监测系统之间的相对敏感性(监测系统发现的病例在群体中的比例),也有应用高级统计学方法计算监测系统的敏感性与阴性预测值、估计群体中病例所占比例等,如在随机情景树模型[26]、捕获-再捕获技术[27-28]等方法.定性方法一般依据专家观点或主观赋分进行评估,主要用于人类公共卫生监测系统评价[29-30].实际工作中,监测系统评价通常会同时采用多种方法,如用定量方法评价监测系统数据的完整性的同时,用定性的方法评价系统的可接受性和实用性[31-32].成熟的监测评价系统应将定性评估和定量评价结合起来,不断整合新信息,并根据监测目的和疫病类型的变化适时调整.

4 小结

监测系统的评价涉及监测的全过程和系统的各方面.详细了解疫病监测系统的组成和运行,明确评价步骤和内容,是疫病监测系统评价的基础.目前还没有全面的监测系统评价方法,但针对不同的监测目的,选择相应的关键指标进行详细评价是常用的做法.现有评价方法和评价工具主要针对系统属性或组分,即使可以对整个监测系统进行评价,也只在有限范围内得到应用.评价的最终目标是对监测系统不断优化,使之更好发挥作用.因此,评价工作也应该是不断重复的过程,为了保证统一性,应建立一套评价监测系统的标准.

[1] OIE. Terrestrial Animal Health Code[M]. Paris:OIE,2017.

[2] RAKOTOARISOA A,RANDRIANASOLO L,TEMPIA S,et al.Evaluation of the influenza sentinel surveillance system in Madagascar,2009-2014[J]. Bull world health organ,2017,95(5):375-381.

[3] JEFFREE S M,MIHAT O,LUKMAN K A,et al.Surveillance evaluation of the national cancer registry in Sabah,Malaysia[J]. Asian pacific journal of cancer prevention apjcp,2016,17(7):3123-3129.

[4] BUEHLER J W,HOPKINS R S,OVERHAGE J M,et al.Framework for evaluating public health surveillance systems for early detection of outbreaks:recommendations from the CDC Working Group[J]. Mmwr morbidity amp; mortality weekly report,2004,53(5):1-11.

[5] BRAZ R M,TAUIL P L,SANTELLI A C,et al.Evaluation of the completeness and timeliness of malaria reporting in the Brazilian Amazon,2003-2012[J].Epidemiologia e serviços de saúde,2016,25(1):21-32.

[6] RIERAMONTES M,VELICKO I. The Chlamydia surveillance system in Sweden delivers relevant and accurate data:results from the system evaluation,1997-2008[J].Eurosurveilliance,2011,16(27).

[7] ADOKIYA M N,AWOONORWILLIAMS J K,BEIERSMANN C,et al. Evaluation of the reporting completeness and timeliness of the integrated disease surveillance and response system in northern Ghana[J]. Ghana medicine journal,2016,50(1):3-8.

[8] HUAMAN M A,ARAUJOCASTILLO R V,SOTO G,et al.Impact of two interventions on timeliness and data quality of an electronic disease surveillance system in a resource limited setting(Peru):a prospective evaluation[J]. BMC medical informatics amp; decision making,2009(9):16.

[9] JOHNSON M G,WILLIAMS J,LEE A,et al.Completeness and timeliness of electronic vs. conventional laboratory reporting for communicable disease surveillance-Oklahoma,2011[J]. Public health reports,2014,129(3):261-266.

[10] LYNN T,GRANNIS J,WILLIAMS M,et al. An evaluation of scrapie surveillance in the United States[J].Preventive veterinary medicine,2007,81(1):70-79.

[11] 张毅,王幼明,康京丽,等. 捕获再捕获方法的原理及其在兽医流行病学中的应用[J]. 中国动物检疫,2017,34(5):77-80.

[12] KNIGHTJONES T J,HAUSER R,MATTHES D,et al.Evaluation of effectiveness and efficiency of wild bird surveillance for avian influenza[J]. Veterinary research,2010,41(4):50.

[13] KLEINMAN K P,ABRAMS A M. Assessing the utility of public health surveillance using specificity,sensitivity,and lives saved[J]. Statistics in medicine,2008,27(20):4057-4068.

[14] ABEL U,WOLLERMANN C. Methodological aspects of the evaluation of postoperative cancer surveillance. Part I:Validity[J]. Clinical laboratory,2003,49(7/8):367-377.

[15] KRAUSE G,BRODHUN B,ALTMANN D,et al.Reliability of case definitions for public health surveillance assessed by Round-Robin test methodology[J]. BMC public health,2006(6):129.

[16] SCHULZ K,CALBA C,PEYRE M,et al. Hunters'acceptability of the surveillance system and alternative surveillance strategies for classical swine fever in wild boar - a participatory approach[J]. BMC veterinary research,2016,12(1):187.

[17] SHARMA A,NDISHA M,NGARI F,et al. A review of data quality of an electronic tuberculosis surveillance system for case-based reporting in Kenya[J]. European journal of public health,2015,25(6):1095-1097.

[18] SCHULZ K,PEYRE M,STAUBACH C,et al.Surveillance strategies for Classical Swine Fever in wild boar - a comprehensive evaluation study to ensure powerful surveillance[J]. Scientific reports,2017(7):43871.

[19] DING Y,SAUERBORN R,XU B,et al. A costeffectiveness analysis of three components of a syndromic surveillance system for the early warning of epidemics in rural China[J]. BMC public health,2015,15:1127.

[20] YANG Y,CHEN H N,WANG R,et al. Cost-Effectiveness Analysis on Endoscopic Surveillance Among Western Patients With Barrett's Esophagus for Esophageal Adenocarcinoma Screening[J]. Medicine(baltimore),2015,94(39):e1105.

[21] HO K W,NG W T,YOU J H S. Cost-Effectiveness of Active surveillance of carbapenem-resistant enterobacteriaceae in intensive care units in Hong Kong[J]. Value health,2015,18(7):585.

[22] NGUYEN K H,SMITH A C,ARMFIELD N R,et al.Cost-effectiveness analysis of a mobile ear screening and surveillance service versus an outreach screening,surveillance and surgical service for indigenous children in australia[J]. Plos one,2015,10(9):e138369.

[23] BROOKES V J,KENNEDY E,DHAGAPAN P,et al. Qualitative research to design sustainable community-based surveillance for rabies in northern Australia and Papua New Guinea[J]. Frontiers in veterinary science,2017,4(4):19.

[24] POY A,MINKOULOU E,SHABA K,et al. Polio eradication initiative contribution in strengthening immunization and integrated disease surveillance data management in WHO african region,2014[J]. Vaccine,2016,34(43):5181-5186.

[25] CALBA C,GOUTARD F L,HOINVILLE L,et al.Surveillance systems evaluation:a systematic review of the existing approaches[J]. BMC public health,2015(15):448.

[26] KNIGHTJONES TJD. Evaluation of effectiveness and efficiency of wild bird surveillance for avian influenza[J].Veterinary research,2010(41):50.

[27] BARAT L M,BARNETT B J,SMOLINSKI M S,et al.Evaluation of malaria surveillance using retrospective,laboratory-based active case detection in four southwestern states,1995[J]. American journal of tropical medicine and hygiene,1999(60):910-914.

[28] CHADEE D D. Evaluation of malaria surveillance in Trinidad (1988-1998)[J]. Annals of tropical medicine and parasitology,2000(94):403-406.

[29] HE S W,ZURYNSKI Y A,ELLIOTT E J. Evaluation of a national resource to identify and study rare diseases:The Australian paediatric surveillance unit[J]. Journal of paediatrics and child health,2009(45):498-504.

[30] IHEKWEAZU C,MAXWELL N,ORGAN S,et al.Is STI surveillance in England meeting the requirements of the 21st century:An evaluation of data from the south west region[J]. Euro surveillance,2007(12):111-116.

[31] JEFFERSON H,DUPUY B,CHAUDET H,et al.Evaluation of a syndromic surveillance for the early detection of outbreaks among military personnel in a tropical country[J].Journal of public health,2008(30):375-83.

[32] MILLER M,ROCHE P,SPENCER J,et al. Evaluation of Australia's national notifiable disease surveillance system[J].Communicable diseases intelligence,2004(28):311-323.

(责任编辑:杜宪)

Overview on Evaluation for Animal Disease Surveillance System

Yang Honglin1,Yi Ying2,Li Jinhua1,Li Yin1,Zhang Yi1,Wang Youming1,Kang Jingli1,Jin Qiushi3,Huang Baoxu1,Shen Chaojian1
(1. China Animal Health and Epidemiology Center,Qingdao,Shandong 266032;2. Qingdao Disease Prevention and Control Center,Qingdao,Shandong 266033;3. Northeast Agricultural University,Harbin,Heilongjiang 150030)

Animal disease surveillance is an effective method for preventing and controlling disease. In order to improve surveillance method,optimize resource allocation,and to better implement surveillance objective,the evaluation of animal disease surveillance system was overviewd in this paper,including the common indicators,basic steps and contents and evaluation methods. Evaluation indicators included coverage,timeline,representativeness and bias,sensitivity and specificity,predictive value,simplicity,flexibility,stability,acceptance,data quality,cost-benefit,communication and data management. Evaluation steps and contents mainly included defining the objective and range,describing the characteristics of surveillance system,determining the research design,implementing the evaluation and making reports and communication. Up till now,there is no uniform and comprehensive approach for evaluating the surveilliance system in China.

animal disease;surveillance system;evaluation

S851

A

1005-944X(2017)12-0065-06

10.3969/j.issn.1005-944X.2017.12.019

国家重点研发计划项目(2016YFD0501500、2017YFC1200500)

并列第一作者:杨宏琳、弋 英、李金花

沈朝建