《加拿大急性呼吸道疾病和流感量表》中文版本的修订与信度效度检验

2014-01-24 05:37徐田华胡思源钟成梁
中国循证儿科杂志 2014年1期
关键词:内容效度中文版效度

徐田华 胡思源 晋 黎 钟成梁

·论著·

《加拿大急性呼吸道疾病和流感量表》中文版本的修订与信度效度检验

徐田华1胡思源2晋 黎2钟成梁2

目的 对《加拿大急性呼吸道疾病和流感量表》(CARIFS)行跨文化调适,检验其中文版本的信度、效度和反应度。方法 ①对CARIFS进行翻译、回译,语言、儿科临床和量表专家组成的专家委员会对CARIFS翻译版本进行讨论、修改后,形成中文CARIFS预试验版。②约请20名儿科临床专家和40名急性上呼吸道感染患儿监护人分别填写中文CARIFS预试验版,行初步内容效度和表面效度检验,形成中文版CARIFS。③依据纳入和排除标准对有发热的急性上呼吸道感染患儿家长采用相关系数法、克朗巴赫系数法等检验中文版CARIFS的信度,并行正式内容效度和反应度检验。结果 中文CARIFS预试验版将“不爱玩耍”和“对任何事情都提不起兴趣”2个条目删除形成中文版CARIFS;中文版CARIFS初步内容效度指数为0.890 6,内容效度良好;40名急性上呼吸道感染患儿监护人均认为中文版CARIFS条目清楚易懂,完成时间均在15 min以内,表面效度良好。纳入193例急性上呼吸道感染患儿行中文版CARIFS信度和正式内容效度检验,①分半信度为0.851,总克朗巴赫系数为0.812,信度较好;②正式内容效度:功能维度、影响父母维度和症状维度,与中文版CARIFS总分的相关系数分别为0.848、 0.700和0.632;对每个维度拟合所建立的不同维度模型(模型1:功能维度,模型2:功能+症状维度,模型3:功能+症状+影响父母维度)与中文版CARIFS总分行逐步回归分析并行拟合优度检验,上述模型均有统计学意义,其中模型3高度显著,3个维度得分对总分均有贡献;③间隔3 d来院复诊142例、电话随访51例,功能、症状、影响父母3个维度评分及总分经配对t检验第1次和3 d后差异均有统计学意义(P均为0.000),反应度很好。结论 中文版CARIFS信度、效度和反应度均良好,适用于中国有发热的儿童急性上呼吸道感染病情严重程度评估。

急性上呼吸道感染; 量表; 儿科; 信度; 效度; 反应度

《加拿大急性呼吸道疾病和流感量表》(CARIFS)是一个适用于评估患有急性呼吸道感染疾病(包括流感)儿童疾病严重程度的测量工具,由加拿大学者1999年研制。目前,CARIFS在加拿大(急性上呼吸道感染和流感)、英国(下呼吸道感染)等英语语系国家进行了普适性研究,结果显示其内容覆盖全面,语言简单易懂,临床操作简单,依从性高,内部一致性良好,对健康情况改善的反应灵敏,是一个很有价值的临床评价工具[1~3]。CARIFS被广泛应用于临床评价疾病的病情,临床药物、天然保健品的疗效[4~10]。Norman等[6]用CARIFS评价儿童急性上呼吸道感染病情严重程度,发现高热、病情加重是促使家长咨询医生的主要因素;Masters等[10]用CARIFS和咳嗽日记评价慢性咳嗽患儿病情加重与支气管软化病灶的关系。

目前,国内尚缺乏评价儿童急性上呼吸道感染的科学测量工具。2013年5月,本课题组联系了CARIFS研制者并取得了其授权,引进CARIFS行中国本土化调适,并进行信度、效度和反应度检验。

1 方法

1.1 加拿大CARIFS概况 CARIFS包含了症状、功能和影响父母3个维度,通过文献检索、咨询临床医生和呼吸道感染患儿家长最终确定21个条目, 其中18个条目采用4点有序等距赋分,3个条目(药物治疗、上学、咨询医生)以“是”或“否”作答。3个是与否作答条目作为附加问题不进入考评。本文引进了18个4点有序评分条目。

1.2 CARIFS翻译 ①翻译:1名临床医生和1名英语专业教授分别独立对CARIFS翻译,对产生的2个翻译稿进行讨论和综合后产生中文CARIFS初稿。②回译:另外的2名英语专业教授将中文CARIFS初稿翻译为英文,并与CARIFS比较。③专家共识:重新召集翻译和回译的专家并邀请1名量表学专家,对所有翻译的CARIFS再次讨论和修改,形成中文CARIFS预试验版。

1.3 纳入标准 上呼吸道感染诊断标准参照全国防治感冒科研协作座谈会标准[11]。①发热必备:腋温≥37.3℃且在24 h以内[11];②至少有以下1个局部症状:鼻塞流涕、咳嗽和咽痛;或有以下2个全身症状:食欲不振、睡眠不好、烦躁易怒挑剔、全身不适、精神差易疲劳、肌肉酸痛、头痛、呕吐;③年龄0~12岁;④家长和(或)患儿了解研究目的并自愿参与。

1.4 排除标准 ①伴有化脓性扁桃体炎、疱疹性咽峡炎、鼻窦炎、中耳炎、毛细支气管炎、肺炎、EB病毒感染、慢性鼻炎和急性过敏性鼻炎等急性或慢性疾病。②重度营养不良,严重心、肝和肾等系统原发病。③父母为文盲或看不懂量表。

1.5 样本量计算 根据跨文化调试量表指南[12]规定,评价引进量表的信度、效度和反应度样本量应该为量表条目数的10倍,考虑3 d内5%的失访拟纳入190例。

1.6 中文版CARIFS反应度检测填写的要求 ①每个条目行4点有序赋分:无为0分、轻为1分、中为2分、重为3分;②头痛、喉咙痛和肌肉酸痛3个条目在小年龄儿童中无法清楚和准确表达,≤2岁儿童不赋分。③选择天津中医药大学第一附属医院(我院)6位儿科主任医师参与本研究,在充分理解本研究目的前提下,根据纳入和排除标准选择其门诊病例入组;④为上述6位主任医师各配备1名研究生作为调查员,对入组病例行人口学信息的采集、知情同意告知和量表漏填或误填监督,但不对量表条目做解释;⑤反应度测量,要求入组病例第1次量表填写后3 d来我院复诊并再次填写量表,对不能来我院复诊的病例由调查员电话回访,患儿家长对量表条目逐项选择,调查员客观记录。

1.7 干预方案 行中西医常规对症处理,嘱其多喝水和休息,但不给抗生素治疗。

1.8 内容效度检验 效度是评价实际测量结果与理论值、真值或金标准的一致程度。分为内容效度、结构效度、实证效度和表面效度,本文重点报道内容效度和表面效度。

1.8.1 初步内容效度检验 采用专家咨询法,邀请20名5年以上主治医师资质的儿科医生对中文CARIFS预试验版条目与CARIFS条目的吻合程度(相关性)作出判断,非常不相关为1分、需修改否则不相关为2分、尚可但仍需修改为3分、非常相关为4分。①条目水平的内容效度指数(I-CVI),对各个条目的内容效度作出评价,就每一条目赋3或4分的专家人数除以参评的专家人数即为相应的 I-CVI,为避免专家对选项进行随机选择(即选项不代表专家意见),采用随机一致性概率 (PC)进行校正,计算调整后的kappa 值 (K*)。K*<0.59 为一般,~0.74为良好,>0.74为优秀。K*为一般的条目被摒弃。②全体一致量表水平的内容效度指数(S-CVI/UA)[13],即被所有专家均赋3或4分的条目数占全部条目的百分比。

1.8.2 表面效度检验 在门诊任意选取40名急性上呼吸道感染患儿的监护人,在没有解释的前提下,自主对中文CARIFS预试验版进行实验性填写,即从题目表面是否容易看出量表设计者的意向,统计是否有需要解释的条目和完成时间。

1.8.3 正式内容效度检验 评价中文版CARIFS每个条目的得分与其所属维度得分的相关性。相关系数无统计学意义, 表示该条目与该维度关系不大;如有统计学意义,对每个维度拟合所建立的不同维度模型(模型1:功能维度,模型2:功能+症状维度,模型3:功能+症状+影响父母维度)与中文版CARIFS总分行逐步回归分析并行拟合优度检验进一步评价内容效度。

1.9 信度检验 信度是指量表测量结果的精密度、稳定性和一致性的程度,即测量过程中随机误差造成测定值变异程度的大小[14]。采用克朗巴赫系数评价量表的同质信度;将中文版CARIFS按奇数条目为一组,偶数条目为一组,计算两组的相关性,检验量表的分半信度。

1.10 反应度检验 是指量表能测出同一对象在不同时间目标特征变化的能力。第1次和3 d后对中文版CARIFS各条目选择按0分(无)、1分(轻度)、2分(中度)和3分(重度)赋分,不同维度和总分未回答者若<10%,以缺失值处理。行配对t检验以评价反应度。

1.11 统计学分析 数据录入采用Access 2003软件,由专人对数据进行双次录入并核对保存,采用SPSS 19.0软件对数据进行统计学处理与分析。

2 结果

2.1 初步内容效度检验 经翻译、回译和专家共识所得到的中文CARIFS预试验版I-CVI如表1所示,症状维度7个条目K*均为优秀,功能维度对任何事情提不起兴趣、不爱玩耍2个条目K*为一般,余5个条目K*均为良好以上,影响父母维度4个条目K*均为良好以上。功能维度K*<0.59条目(对任何事情提不起兴趣,不爱玩耍)与病情相关性不佳删除,中文版CARIFS保留16个条目。中文CARIFS预试验版(18个条目)S-CVI/UA为0.791 7,中文版CARIFS(16个条目)S-CVI/UA为0.890 6,后者较前者表现出更好的内容效度。

2.2 表面效度检验 40名急性上呼吸道感染患儿的监护人在我院儿科门诊当场填写中文CARIFS预试验版,均无需对量表条目进行解释,量表填写完整,完成时间<15 min,反映量表条目表达清楚,易于理解。

2.3 纳入病例的一般情况 2013年5月11日至6月28日在我院儿科门诊符合纳入标准的急性上呼吸道感染病例203例,其中10例因误诊或合并其他疾病(幼儿急疹、疱疹性咽峡炎、化脓性扁桃体炎)被排除,193例进入本文分析。男98例,女95例;0~2岁51例,~6岁112例,~12岁30例,平均年龄(4.1±2.4)岁;父母文化程度:高中以下29例,中专、大专和大学149例,硕士和博士15例;体温37.3~38℃ 66例,~39℃ 97例,>39℃ 30例,平均体温(38.4±0.6)℃。

表1 20位专家中文CARIFS预试验版内容效度评价及指数

Tab 1 Content validity and content validity index of CARIFS of expert evaluation

注 I-CVI:内容效度指数;Pc:一致性概率;K*(调整后的kappa 值)的评价标准是:<0.59 为一般,~0.74为良好,>0.74为优秀

2.4 信度检验 中文版CARIFS克朗巴赫系数为0.812,其中症状、功能和影响父母维度克朗巴赫系数分别为0.456、0.770和0.823。奇数和偶数条目克朗巴赫系数分别为0.700和0.633,相关系数0.740,分半信度0.851。中文版CARIFS的内部一致性较好。

2.5 正式内容效度检验 症状、功能和影响父母3个维度与中文版CARIFS总分的相关性分别为0.632、0.848和0.700(P均<0.01),说明3个维度与中文版CARIFS总分内容效度很好;表2显示,条目与所属维度的相关性均有统计学意义,相比较而言,发热、咳嗽、鼻塞流涕、呕吐4个条目与症状维度的相关系数较低。

表3显示,用3个维度得分与中文版CARIFS总分行逐步回归分析,结果显示复相关系数R=1.000,表明模型3高度显著,所有维度均进入回归方程。方差分析显示,各模型均有统计学意义;模型3的各个系数的检验结果显示3个维度得分对总分均有贡献(P均为0.000)。

注 上述条目相关系数的P均<0.05

注 模型1:功能维度;模型2:功能+症状维度;模型3:功能+症状+影响父母维度

2.6 反应度检验 142例上呼吸道感染患儿家长3 d后来我院复诊时完成了中文版CARIFS评分,51例超过预定时间未来我院复查,调查员电话回访完成中文版CARIFS评分。表4显示2个时点的中文版CARIFS各条目回答频率,第1次未回答者占7.3%(225/3 088),3 d后未回答者占7.0%(217/3 088),所有条目3 d后均较第1次回答频率均向好,符合上呼吸道感染的自限性过程。

症状维度第1次和3 d后赋分分别为5.48±2.60和1.78±2.29(t=13.112);功能维度第1次和3 d后赋分分别为4.53±3.14和1.86±2.65 (t=8.958);影响父母维度第1次和3 d后赋分分别为2.27±2.24和0.77±1.36(t=8.191);总分第1次和3d后赋分分别为12.28±6.29和4.42±5.53(t=12.030),前后比较差异均有统计学意义(P均<0.00);3个维度赋分与中文版CARIFS总赋分差异有统计学意义,说明中文版CARIFS反应度非常灵敏。

表4 193例第1次/3 d后中文版CARIFS各条目的回答频率

Tab 4 Answer frequency for each item of the first visit (the first time/after 3 days)

3 讨论

中文版CARIFS在CARIFS原版的基础上对各条目进行了严格的翻译和回译,并召集翻译和回译专家、量表学专家,对中文CARIFS预试验版进行讨论和修改,基本做到了与CARIFS原版达成概念对等性、语义对等性和内容对等性[15]。

初步内容效度检验中,以专家咨询法邀请了20名儿科临床专家对中文CARIFS预试验版条目行赋分筛选,I-CVI评价结果显示,功能维度“对任何事情提不起兴趣”、“不爱玩耍”2个条目K*为一般。中文CARIFS预试验版中“精神差、易疲劳”条目可导致“不爱玩耍”,而且表现内容互相重叠,“不爱玩耍”条目K*0.464明显低于“精神差、易疲劳”K*0.799,故予删除;“对任何事情都不感兴趣”不仅与上呼吸道感染相关,可能还与其他非自限性严重疾病,或与精神心理性疾病相关,而且临床很难以“对任何事情都不感兴趣”来反映上呼吸道感染病情,K*仅为0.393,予以删除。睡眠不好,烦躁、易怒、挑剔,比平时爱哭,卧床条目虽然表述清楚,但K*0.60~0.74为良好,说明这些条目在儿童上呼吸道感染中较少受到关注。

40名上呼吸道感染患儿家属行中文版CARIFS表面效度检验显示,中文版CARIFS表面效度较好,一方面说明量表的普适性好,另一方面也与本研究排除了文盲家长,受到较为完善系统教育(中专以上学历)患儿父母达到77.7%(150/193)有关。

本研究结果显示,中文版CARIFS的分半信度值为0.851,内部一致性信度为0.812,体现了较好的内部一致性。本研究未对重测信度进行检验。重测信度是指用同一量表前后2次测量同一批被访者得分的简单相关系数r,一般要求>0.7。适于研究某些比较稳定的特征,且要求以稳定的人口为前提。重测间隔时间最短可1 h,一般为14 d左右。加拿大一项CARIFS重测信度研究时间相隔12 h[1],英国一项CARIFS重测信度研究时间相隔8 h[3]。重复测量存在以下局限,①研究对象的特征可能随时间发生变化,2次测量的差异不单纯由误差引起;上呼吸道感染病程短,症状多样,多以舒适程度来表现,在中国由于科普知识普及程度不深入和广泛,儿童上呼吸道感染初期,患儿家长常积极自行给药,影响自然病情的演变规律。②重测一定程度上会受“记忆效应”影响,另外重测者态度是否认真同样影响重测结果。基于以上原因本研究未做重测信度检验。

中文版CARIFS正式内容效度各维度与量表总分的相关性分别为0.848(功能)、0.700(影响父母)、0.632(症状);发热、咳嗽、鼻塞流涕、呕吐与症状维度的相关性较低,其他均在0.4以上。量表的3个维度组成的模型3得分与总分的逐步回归分析复相关系数R=1.000,表明该模型高度显著,所有维度均可进入回归方程,3个维度得分对总分均有贡献。

症状维度与中文版CARIFS总分相关性较低则与上呼吸道感染病情多样,病情变化快有关。如服用退热药,填表时发热程度由重到轻,相关性就会受到影响;咳嗽多在上呼吸道感染中后期出现;而鼻塞流涕是上呼吸道感染最早出现的症状,症状比较轻微,或不在意、或用药以免病情加重。到医院就诊的患儿,起病多比较严重,主要症状多为发热、咽痛等;呕吐是上呼吸道感染中较发热、鼻塞流涕、咳嗽等出现较少的症状,所以相关性不高。

影响父母维度与量表总分相关性较低可能与中国的国情、社会文化有关。在中国,很多孩子由退休的隔代人看护,对看护人的生活和工作影响不突出。

对193例患儿第1次就诊后的CARIFS测量和间隔3 d再1次测量的两次评分结果进行配对t检验,各维度及量表总分差异均具有显著性统计学意义,反应度非常灵敏,适用于临床评价。

CARIFS虽然区分了症状、功能和影响父母3个维度,但对于呼吸道局部常见症状描述不全,如喷嚏、流泪、声嘶等并未体现,对于上呼吸道感染最重要的体征咽部充血水肿未列入;对于患儿由于夜间咳嗽导致父母睡眠质量受影响也并未考虑。

本研究结果的局限性:①病例来源于中国北方的单中心,样本代表具有局限性;②由于东西方文化的差异,中外儿童的体质、生活环境、饮食习惯及对疾病感受的表达习惯等情况的不同,可能对量表的考核有一定影响。③CARIFS是急性呼吸道感染病情程度的评价量表,是否适用于流感和下呼吸道感染,有待进一步拓展。

[1] Jacobs B, Young NL, Dick PT, et al.Canadian Acute Respiratory Illness and Flu Scale (CARIFS): development of a valid measure for childhood respiratory infections.J Clin Epidemiol, 2000,53(8):793-799

[2] Jacobs B,Young N,Dick PT, et al. CARIFS: The Canadian Acute Respiratory Illness and Flu Scale. Pediatr Res,1999,45:130A

[3] Shepperd S, Perera R, Bates S, et al.A children's acute respiratory illness scale (CARIFS) predicted functional severity and family burden.J Clin Epidemiol,2004,57(8):809-814

[4] Whitley RJ, Hayden FG, Reisinger KS, et al.Oral oseltamivir treatment of influenza in children.Pediatr Infect Dis J, 2001,20(2):127-133

[5] Butler CC, Robling M, Prout H, et al.Management of suspected acute viral upper respiratory tract infection in children with intranasal sodium cromoglicate: a randomised controlled trial.Lancet,2002,359(9324):2153-2158

[6] Saunders NR, Tennis O, Jacobson S, et al.Parents' responses to symptoms of respiratory tract infection in their children.CMAJ,2003,168(1):25-30

[7] Butler CC, Kinnersley P, Hood K, et al.Clinical course of acute infection of the upper respiratory tract in children: cohort study.BMJ, 2003,327(7423):1088-1089

[8] Vohra S, Johnston BC, Laycock KL, et al.Safety and tolerability of North American ginseng extract in the treatment of pediatric upper respiratory tract infection: a phase II randomized, controlled trial of 2 dosing schedules.Pediatrics, 2008,122(2):e402-410

[9] Ahmed N, Sutcliffe A, Tipper C.Feasibility study: honey for treatment of cough in children.Pediatr Rep, 2013,5(2):31-34

[10] Masters IB, Zimmerman PV, Chang AB.Longitudinal quantification of growth and changes in primary tracheobronchomalacia sites in children.Pediatr Pulmonol, 2007, 42(10):906-913

[11] Wang Y(王艺),Wan CM.Guidelines for the diagnosis and treatment of acute fever without source in children 0 to 5 years of age in China(standard version).Chin J Evid Based Pediatr(中国循证儿科杂志),2008,3(6):449-457

[12] 贝政平,李毅,主编.儿科疾病诊断标准.第2版.北京:科学出版社.2007.126

[13] Shi JC(史静琤),Mo XK,Sun ZQ.Content validity index in scale development.J Cent South Univ(Med Sci)[中南大学学报(医学版)],2012,37(2):152-155

[14] Sousa VD, Rojjanasrirat W. Translation, adaptation and validation of instruments or scales for use in cross-cultural health care research: a clear and user-friendly guideline.J Eval Clin Pract, 2011,17(2): 268-274

[15] Guo JY(郭金玉), Li Z.量表引进的过程及评价标准. Chin J Nurs(中华护理杂志),2012,47(3):283-285

(本文编辑:丁俊杰)

Revision and evaluation of the reliability and validity of the Chinese version of Canadian Acute Respiratory Illness and Flu Scale

XU Tian-hua1, HU Si-yuan2, JIN Li2, ZHONG Cheng-liang2

( 1 Graduate School of Tianjin University of Traditional Chinese Medicine,Tianjin 300000;2 Department of Pediatrics of the First Affiliated Hospital of Tianjin University of Traditional Chinese Medicine,Tianjin 300193, China)

HU Si-yuan,E-mail:yfyjdb@163.com

ObjectiveTo revise the Canadian Acute Respiratory Illness and Flu Scale (CARIFS) for cross-cultural adaptation and evaluate its reliability,validity and responsiveness, to make it suitable for use in China, providing scientific measurement to evaluate the clinical effect of the acute upper respiratory tract infection of children.MethodsPretesting-version of CARIFS was introduced into China through translating, back translating and synthesizing, then each version was discussed and modified, and developed by the expert committee. Twenty pediatric clinical experts and guardians of 40 children with acute upper respiratory infection and fever were recruited to fill in the CARIFS scale Chinese pre-testing version, to evaluate the validity, reliability and responsiveness with relational coefficient, Cronbach coefficient and etc..ResultsExpert evaluation results showed, after deleting items "not playing well" and " not interested in what's going on",the S-CVI/UA of the scale was 0.890 6, content validity was good;40 children guardians considered that the scale items clearly understood, completed filling in the scale within 15 minutes, the face validity was good. Reliability and validity were evaluated in 193 children with acute upper respiratory infection and showed: ①The split-half reliability was 0.851, the Cronbach coefficient scale factor was 0.812, both of them were over 0.8 indicating good reliability. ② In content validity, the correlation between chinese scale with physical function dimension, symptom and parent was 0.848, 0.700 and 0.632, respectively, all of which were over 0.4 and showing relatively high correlation. The stepwise multiple regression analysis between these three dimensions and the total scores showed that all dimensions could be calculated by regression equation with statistical significance. These 3 dimension scores all contributed to the total score.③There were significant differences in 3 dimensions and the total scores in reactivity of the first visit and return visit after 3 days, which suggested the reactivity was very good(allP=0.000).ConclusionEvaluation of the Chinese version of CARIFS(16 items) shows that the validity,reliability and reactivity are relatively good. It can be applied to evaluate the illness severity of Chinese children with acute upper respiratory tract infection who have a fever.

Acute upper respiratory tract infection; Scale; Pediatrics; Reliability; Validity; Responsiveness

国家科技重大专项十二五“重大新药创制”:2011ZX09302-006-03

1 天津中医药大学研究生院 天津,300000;2 天津中医药大学第一附属医院儿科 天津,300193

胡思源,E-mail: yfyjdb@163.com

10.3969/j.issn.1673-5501.2014.01.001

2014-01-03

2014-01-25)

猜你喜欢
内容效度中文版效度
《数学年刊A辑》(中文版)征稿简则
《数学年刊A辑》(中文版)征稿简则
效度验证模式系统整合与效度研究发展策略
《广东地区儿童中医体质辨识量表》的信度和效度研究
COSMIN方法介绍:评价患者报告结局测量工具内容效度的评分系统
国际眼科杂志中文版(IES)近5年影响因子趋势图
谈高效课堂下效度的提升策略
英语专八阅读理解部分内容效度的历时对比研究(2009—2017年)
沉思反应问卷中文版在大学生中的信效度检验
大学英语新四级阅读理解内容效度研究