周历活动规划中文版在大学生执行功能评测中的信度

2020-03-27 05:32怀宝玉王翠黄真高雅
中国康复理论与实践 2020年3期
关键词:信度准确度受试者

怀宝玉,王翠,黄真,高雅

北京大学第一医院康复医学科,北京市 100034

人们在日常生活中需要规划管理,学习和应对复杂、有挑战性的任务,需要执行功能主导完成。执行功能是一系列高级认知功能的总称,包括复杂的目标导向行为,如决策、抽象思维、计划、实施计划、心理灵活性,以及在合适的场合决定适当的行为[1],是在认知、社会和其他领域支持或控制个人行为的一组认知能力[2];通常与大脑的前额叶皮层相关联,负责调节人类认知和行动,是影响社会参与的重要认知功能之一[3],与日常生活活动能力、心理健康、认知发展、获得成功等相关[4-5],并可以预测生活质量和学业成就[6-7],是认知功能中的高层次能力。

目前常用的执行功能评估方法包括神经心理学测验、评估量表等。经典的神经心理学测试通常具有很强的心理学测量特性,可以较好反映认知和执行功能部分成分,但此类方法通常不能预测受试者在真实世界中完成复杂任务时的表现和功能[8-10],缺乏生态学效度。评估量表主要以自评或他评方式完成,评估通常具有主观性,自我评分易因认知功能下降和缺乏洞察力而低估执行功能障碍[11-14],而他评易因照顾者负担、抑郁症状、报告者与患者相处的时间有限或只关注患者在行为上的表现而产生偏差[15]。

周历活动规划(Weekly Calendar Planning Activity,WCPA)由Joan Toglia编写,正式形成于2009年,适用于12~94岁青少年、成年人和老年人的执行功能评定,有助于早期识别轻度认知功能障碍[16]。WCPA 是一种基于观察的评测方法,主要用于评估人们计划和组织一周日常生活活动的能力。有效利用时间在当代社会中越来越重要,工作、社交、独立生活等都需要时间管理技能。WCPA 操作简便、方便携带、能体现时间管理能力,具有良好的生态学效度和临床实用性[17]。我们将WCPA汉化,并探讨周历活动规划中文版(Chinese version of Weekly Calendar Planning Activity,WCPA-C)在大学生群体中的重测信度和评估者间信度。

1 对象与方法

1.1 对象

2019年8月至11月,通过张贴海报,在北京大学医学部、北京体育大学共招募在校大学生志愿者55例。其中女性43例,男性12例;年龄18~30岁,平均(21.9±2.19)岁。本科生32例,硕、博士研究生23例。

纳入标准:①能独立书写语句;②能集中注意力超过10 min。

排除标准:①有神经系统疾病或脑损伤;②有学习障碍;③曾因精神疾病住院治疗;④有书写障碍;⑤有听视觉障碍。

剔除和脱落标准:完成任务超过40 min 予以剔除,未能完成随访为脱落。

本研究已经北京大学第一医院伦理委员会批准〔(No.2019[197]〕,所有受试者签署知情同意书。

1.2 工具

WCPA经原作者授权,可免费在中国使用。

接受WCPA 测评专业培训的研究者将WCPA 从英文译成中文,两位硕士研究生进行回译,之后交原作者审查通过;再进行预实验并调整部分项目,最终由一位美国作业治疗学专业精通中英文的博士生进行校对,并经原作者认可,形成WCPA-C。

WCPA 是一种纸笔式的、基于观察的评估工具,旨在研究如何合理有效地规划安排一周中的事务。受试者将看到一个以随机顺序呈现的17项安排列表,他们需要将这些安排填写到一个纸质的空白周历(图1)中并自行计时。其中有些事项需安排固定时间或指定时间,其他事项安排时间可变;部分事项时间相互冲突,受试者要识别并解决时间冲突。受试者需遵守5项规则:①周三或周二不填任何安排;②安排一旦填写不能随意改动;③任务开始后7 min 告知评估者;④不回答评估者提出的干扰性问题;⑤完成后告知评估者。

主要评分指标包括准确度(准确填入的安排数)、安排填写数(填入周历中的安排数)、遵守规则数、策略使用(如标记关键词、打草稿等)数、总时间(完成任务时间,需≤40 min)、计划时间(从开始到填入第一个安排的时间)、错误数(安排错误数)、加权准确度(由准确度得分转换而来)、效率(总时间/加权准确度)、遗漏数(未填入的安排数)。

原版WCPA 有3 个难度等级,为便于重测,每个等级设有A、B 两个版本,本研究采用了应用最广的第Ⅱ等级进行评估[16]。

1.3 程序

评估前,评估者经美国南加州大学作业治疗学专业有经验的教师培训并通过考核。

评估在一个安静不被打扰的环境中逐人完成,除评估者外无其他人在场。评估开始前,评估者介绍所需材料和评估步骤;随后受试者完成周历表填写,评估者对其表现进行观察并在特定时间提出指定干扰性问题;评估结束后进行任务后访谈,调查策略使用情况和自我认知能力。访谈获得的策略数加评估者观察到的策略数构成策略使用数。

所有受试者由同一评估者评估2 次,间隔2 周。受试者分为2 组,一组第一次用版本A、第二次用版本B,另一组选用的版本顺序相反。初测时,其中31例受试者由两名评估者同时进行测试,一名评估者发出规定指令,两名评估者共同进行观察、评判。

1.4 统计学分析

采用SPSS 21.0 软件进行统计学分析。计量资料采用Kolmogorov-Smirnov法进行正态性检验,不服从正态分布,用M(QL,QH) 表示,采用配对秩和检验。计算组内相关系数(intraclass correlation coefficient,ICC),ICC >0.80 为信度高,>0.60~0.80 为信度好,0.40~0.60为信度中等,<0.40为信度较差。

2 结果

2.1 重测信度

剔除2 例,最终有效数据53 例。除错误数外,各指标ICC 为0.45~0.89。两次评定在准确度、效率、遵守规则数、总时间、错误数方面均有显著性差异(P<0.05),重测优于初测。见表1。

2.2 评估者间信度

剔除2 例,最终有效数据29 例。各指标ICC 为0.84~1.00。见表2。

3 讨论

WCPA 的独特之处在于它基于真实、有意义的日常事务分析计划和组织方式,准确和标准化评价执行功能,全面深入反映执行功能能力和技巧使用能力。WCPA 用于筛查轻度认知功能障碍,了解规划能力表现的内在问题,并提供与作业治疗有关的信息。除观察受试者如何完成具体任务外,WCPA 还为深入分析提供了合适的情景:一个人如何计划和应对一个复杂、具有认知挑战性的活动[16]。

图1 WCPA-C安排列表示例和空白周历

表1 两次WCPA测评评分(n=53)

表2 两名评估者WCPA-C评测结果(n=29)

WCPA 具有良好的生态学效度和临床应用价值[18-19]。Zlotnik 等[20]对健康青少年使用WCPA 和执行功能行为评估量表家长版进行评估,结果表明更高的自我意识与更好的执行功能表现相关。Kaizerman-Dinerman 等[21]对精神分裂症患者采用WCPA、执行功能行为评估量表成人版、加拿大作业表现评估等对干预效果进行研究,结果表明干预后受试者WCPA 的策略使用、效率和准确度等均有增加。Goverover等[22]将多发性硬化患者与健康对照采用WCPA、Delis-Kaplan执行功能系统和增强现实进行测试,结果表明,有认知障碍的多发性硬化患者各方面执行功能表现更差。Zlotnik 等[23]采用WCPA 和执行功能行为评估量表家长版评估遗传性全身性癫痫患者与健康同龄青少年,结果表明,遗传性全身性癫痫青少年患者WCPA 准确度、效率和使用策略方面表现较差。Lahav 等[19]使用WCPA 学生版评测有无注意力缺陷多动障碍(attentiondeficit hyperactivity disorder,ADHD)的学生和不同性别的学生,发现ADHD学生WCPA准确度、总时间、遗漏数和使用策略方面表现较差,女生准确度、遗漏数、策略使用数方面优于男生,WCPA 可以用于预测学生的学业表现。

Jarrett[24]对大学生在实验室环境下完成ADHD、焦虑和执行功能的自我报告,结果显示焦虑症状与大学生自我报告的执行功能缺陷有关,与ADHD 症状无关。Snyder 等[25]对本科生采用宾州忧虑问卷、贝克抑郁量表和语言选择能力任务进行评估,结果显示执行功能缺陷可能预示抑郁症状风险增加。Alexandra等[26]将本科生随机分配完成为期6 周的技能应对或认知训练项目,干预后参与者报告社会压力、执行功能困难和焦虑症状降低。Toglia 等[27]对375 例美国和433 例以色列健康成年人使用WCPA 进行研究,发现青年学生有独特的职业需求,这些需求受执行功能影响。Hayashia 等[28]发现,执行功能水平与学生危险驾驶行为(开车时发短信、未系安全带、醉酒驾驶、超速等)有关,执行功能较低的学生更易发生危险驾驶行为。

本研究探讨WCPA-C 在健康大学生中的信度。原作者的研究显示[18],WCPA 准确度评分评估者间ICC为0.99,本研究为0.95,其余指标ICC 在0.84~1.00 之间,提示WCPA-C 与原创具有一致性,易于学习和使用。

重测信度除错误数外,其他指标信度处于中等到高之间,与Lahav 等[19]ICC 为0.60~0.85 的结果相似。参与者的第二次表现优于第一次,提示评测存在学习效应。执行功能在很大程度上是处理新的和未预料的情况。而在WCPA-C 测试环境中,第一次测试是全新的,第二次可从之前测试获取一定经验,间隔2 周没有完全忘却,导致第二次测试表现有所改进;大学生群体学习能力较强,完成空白周历表后他们会对自己的表现进行修正,使得这种学习效应更为明显。更长间隔是否能避免学习效应,有待进一步研究。

Holmqvist 等[17]的重测信度研究纳入24 例成年受试者,患有精神疾病、神经发育异常或轻度智力障碍,以及执行功能障碍,接受3 次瑞典版WCPA 评估,两次间隔两周。结果第一次和第二次测试间所有指标信度较弱,ICC 为0.42~0.66,第二次的准确度得分和安排填写数明显优于第一次;第二次和第三次间信度良好,ICC 为0.65~0.91。作者认为WCPA 可以作为识别和筛查轻度执行功能障碍的工具在临床中应用,但如将其作为效果度量或测量执行功能变化时,建议将前两次评测结果均作为基线参考。

综上所述,WCPA-C 适用于我国在校大学生的执行功能评测,评估者间信度良好,重测信度可能存在学习效应。

猜你喜欢
信度准确度受试者
涉及人的生物医学研究应遵循的伦理原则
涉及人的生物医学研究应遵循的伦理原则
影响重力式自动装料衡器准确度的因素分析
《广东地区儿童中医体质辨识量表》的信度和效度研究
作为数学教育研究质量分析的信度
涉及人的生物医学研究应遵循的伦理原则
Phosphatidylinositol-3,4,5-trisphosphate dependent Rac exchange factor 1 is a diagnostic and prognostic biomarker for hepatocellular carcinoma
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
涉及人的生物医学研究应遵循的伦理原则
论提高装备故障预测准确度的方法途径