DOPS 在临床护理培训中应用效果的Meta 分析

郭迎坤，李 灵，温 慧，马 帅，宗可敬，范清美，邵珠燕，乔建红

（1.潍坊医学院护理学院，山东 潍坊 261053；2.山东第一医科大学/山东省医学科学院护理学院，山东 济南 250024；3.山东中医药大学护理学院，山东 济南 250355；4.山东大学护理与康复学院，山东 济南 250014；5.山东第一医科大学第一附属医院/山东省千佛山医院，山东 济南 250014）

《“健康中国2030”规划纲要》中提出要加强对各学科护理人员培养和实践培训，《全国护理事业发展规划（2021—2025年）》也提到要加强护士培养培训，临床护理培训是护士获取各方面知识和技能的重要手段，而科学、有效的考核方法是临床护理培训的关键[1]。传统的考核方法存在形式单一、非客观标准化、缺乏有效反馈、只注重最终考试成绩等局限性[2]，不符合护理人员综合能力、胜任力的培养要求[3]。因此，需要一种简单有效、全面客观、多维度的考核评价方法。操作技能直接观察评估（Direct Observation of Procedural Skills，DOPS）是在真实的临床工作场景中，由考核者直接观察学生技能操作的表现，及时给予建设性的反馈和评价，是一种具有教学和考核功能的临床技能评价方法[1]。DOPS 在国外护理领域中的研究早且较为成熟[4]。近年来，国内将DOPS 应用于临床护理考核培训中的研究越来越多，但应用效果目前是存在争议的[5]，缺乏可靠的循证研究依据。因此，本研究通过Meta 分析，探讨DOPS 在临床护理培训中的应用效果，为开展临床护理人员的培训提供循证依据。

1 资料与方法

1.1 文献纳入与排除标准

1.1.1 纳入标准（1）研究类型：随机对照试验（RCT）。（2）研究对象：护理专业学生或护士。（3）干预措施：试验组采用DOPS进行培训考核，即采用编制的DOPS 考核量表中的评分细则进行培训考核。对照组则采用传统考核方法，即采用传统技能考核量表中的评分细则进行培训考核。（4）结局指标：最终操作考试成绩、最终理论考试成绩、学生满意度及考核教师满意度等。

1.1.2 排除标准（1）未对相关的结局指标进行评价。（2）重复发表、无法获取全文、非中英文的文献。（3）综述、Meta 分析类文献。（4）非同期对照研究类文献。

1.2 文献检索策略

计算机检索PubMed、EMbase、Web of Science、EBSCO、The Cochrane Library、中国知网（CNKI）、维普（VIP）、万方数据库（WangFang Date）和CBM 中关于DOPS 应用于护士或护生临床护理培训中的随机对照研究，检索时限为建库至2021 年11月，同时，纳入文献的参考文献也进行进一步筛查，尽可能保证查全率。中文检索词为“护士/护生/护理人员/护理”“DOPS/操作技能直接观察”。英文检索词为"Nursing staff/Staff，Nursing/Staffs，Nursing/Nursing Staffs" "Students，Nursing/Pupil Nurses/Student，Nursing/Nurses，Pupil/Nurse，Pupil/Pupil Nurse/Nursing Student/Nursing Students" "Nurses/Nurse/Personnel， Nursing/Nursing Personnel/Registered Nurses/Nurse，Registered/Nurses，Registered/Registered Nurse" "Nursing/Nursings" "Direct Observation of Procedural Skills/DOPS"。

1.3 文献筛选与资料提取

将检索到的文献导入EndNoteX9 进行去重，由2 名研究者依据纳入和排除标准独立阅读题目及摘要后进行初筛，然后阅读全文复筛，筛选出符合条件的文献，同时提取数据资料，并进行交叉核对，最后用Excel 建立资料提取表，主要包括文献发表年份、第一作者、研究类型、研究对象、样本量、干预措施、性别、年龄、结局指标，如果2 名研究者遇到分歧，则通过协商或者与第3 名研究者商议解决。

1.4 文献质量评价

根据Cochrane5.1.0 手册推荐的偏倚风险评价标准[6]，由2名研究者对纳入文献的质量进行独立评价，如果出现意见分歧，则通过讨论或与第3 名研究者商议解决。该手册主要包括随机序列产生、盲法的使用、结局指标数据的完整性、选择性报告研究结果及其他偏倚。纳入的研究若完全符合上述标准，则质量等级为A 级，偏倚风险低；若部分符合，则为B 级，偏倚风险中等；若完全不符合上述标准，则为C 级，偏倚风险高。

1.5 统计学分析

本次研究采用RevMan5.4 和Stata14.0 软件进行Meta 分析。通过χ2检验结合I2判断统计学异质性，若P＞0.1，I2＜50%，说明异质性不明显，则采用固定效应模型，若P≤0.1 或I2≥50%，说明异质性较大，则进行亚组分析或敏感性分析进一步探讨。若仍找不到异质性来源，则采用随机效应模型。由于本研究所涉及的结局指标均是连续性计量资料且纳入的各研究度量单位不同，所以采用标化均数差（SMD）及95%CI 表示。用Eggers'test 检验对发表偏倚进行分析评估，P＜0.05 为存在偏移，反之不存在。

2 结果

2.1 文献检索结果

初步检索得到相关文献338 篇，其中英文文献98 篇，中文文献240 篇。进行逐层筛选后，最终有11 篇文献纳入，文献筛选流程及结果见图1。

图1 文献筛选流程及结果Figure 1 Literature screening process and results

2.2 纳入文献的基本特征

纳入文献的发表年限为2013—2021 年，共11 篇，英文文献3 篇，中文文献8 篇。所有纳入的文献均为随机对照研究，纳入文献的基本特征见表1。

表1 纳入文献的基本特征Table 1 Basic characteristics of included literature

2.3 纳入文献的方法学质量评价

11 篇文献的方法学质量较好，均为B 级，有2 项研究[10-11]的随机分组方法是随机数字表法，1 项研究[13]使用抽签法，1 项研究[15]使用抛硬币法，1 项研究[8]是按实习时间进行非随机分组，其余研究仅仅提到了“随机”，但没有说明随机分组方法。有2 项研究[10，17]提到了对结果测量者实施了盲法，1 项研究[16]提到了对干预者实施盲法，1 项研究中未使用盲法[15]，其研究过程中将分组情况告知了护生，其余文献均未详细说明是否使用盲法。均无选择性报告研究结果以及其他偏倚来源。纳入文献的质量评价结果详见表2。

表2 纳入文献的方法学质量评价Table 2 Methodological quality evaluation of included literature

2.4 Meta 分析结果

2.4.1 DOPS 考核法对护生/护士理论成绩的影响 纳入的11篇文献中，有3 项研究[12-14]将护生/护士理论成绩作为DOPS 考核法培训效果的结局指标（试验组155 人，对照组156 人，共311 人）。经过异质性检验，P=0.89，I2=0%，提示各研究间异质性不明显，采用固定效应模型。结果显示，与对照组相比，试验组理论成绩得分更高，差异有统计学意义[SMD=0.80，95%CI（0.57～1.03），P＜0.000 01]，详见图2。

图2 DOPS 考核法对护生/护士理论成绩的影响Figure 2 Effectiveness of DOPS evaluation method on theoretical achievement of nursing students / nurses

2.4.2 DOPS 考核法对护生/ 护士护理技能操作考试成绩的影响 有9 项研究[7，9-14，16-17]评价了DOPS 考核法对护士及护生操作考试成绩的影响（试验组371 人，对照组367 人，共738 人）。经过异质性检验，P＜0.000 01，I2=93%，提示文献之间存在较大的统计学异质性，经过敏感性分析和亚组分析未发现异质性来源，故采用随机效应模型。结果显示，试验组操作考试成绩得分高于对照组，两组差异有统计学意义[SMD=2.11，95%CI（1.39～2.83），P＜0.000 01]，详见图3。此外，有两项研究类型[3，18]为自身前后对照的研究，未纳入Meta 分析，其研究结果表示DOPS 对技能考核成绩的影响与传统考核法相比没有统计学差异（P＞0.05）。

图3 DOPS 考核法对护生/护士护理技能操作考试成绩的影响Figure 3 Effectiveness of DOPS evaluation method on nursing students /nurses’ nursing skill operation test scores

2.4.3 DOPS 考核法对护生/护士满意度的影响 有6 项研究[7-11，15]评价了护士及护生对DOPS 考核法的满意度（试验组356 人，对照组349 人，共705 人）。经异质性检验，P=0.51，I2=88%，提示各研究间有较大的异质性，敏感性分析发现异质性来源为冯莉娟等[7]和田君叶等[10]的研究，剔除这2 项研究后各研究间不存在异质性（P=0.51，I2=0%），经分析，异质性来源可能与考核评价的频率有关，这2 项研究考核评价的间隔时间为3～4天，而其他研究均为一周以上。剔除冯莉娟等[7]和田君叶等[10]研究后采用固定效应模型。结果显示，采用DOPS 考核法的护生/护士满意度更高，两组差异有统计学意义[SMD=1.10，95%CI（0.93～1.28），P＜0.000 01]，详见图4。

图4 DOPS 考核法对护生/护士满意度的影响Figure 4 Effectiveness of DOPS evaluation method on nursing students /nurses’ satisfaction

2.4.4 DOPS 考核法对考核教师满意度的影响 有4 项研究[7-9，11]评价了考核教师对DOPS 考核法的满意度（试验组301人，对照组297 人，共598 人）。经异质性检验，P=0.26，I2=25%，提示各研究间异质性不明显，采用固定效应模型。结果显示，试验组能有效提高考核教师满意度，两组差异有统计学意义[SMD=1.32，95%CI（1.14～1.49），P＜0.000 01]，详见图5。

图5 DOPS 考核法对考核教师满意度的影响Figure 5 The influence of DOPS evaluation method on the satisfaction of teachers

2.5 发表偏倚分析

为避免出现研究结果发表偏倚的风险，用Egger's 检验分析发表偏倚情况，分析结果显示理论考试成绩、技能操作考试成绩、学生满意度、考核教师满意度4 个结局指标均无明显发表偏倚（P＞0.05），即纳入的文献具有较好的代表性，详见表3。

表3 发表偏倚风险评估Table 3 Publication bias risk assessment

3 讨论

3.1 纳入研究的方法学质量

本研究纳入的11 篇文献均是随机对照实验，减少了混杂因素的影响。11 篇文献中有8 篇文献[9，10-16]将年龄、婚姻状况等基线资料进行了比较，均具有良好的可比性，且所纳入的研究均采用了同期对照的研究类型。所纳入文献的结局数据都是完整的，选择性报告结果的可能性小。有10 篇文献[7，9-17]提到了随机分组，但只有4 篇[10-11，13，15]文献提及随机分组方法，仅有3 篇文献[10，16-17]提到了使用盲法，可能对研究造成一定的影响。本次纳入文献的整体质量均处于中等水平，均是B 级。

3.2 DOPS 考核法提高了学生的理论成绩

本次研究结果显示，与传统考核方法相比，使用DOPS 考核方法的护生/护士理论成绩得分更高。相比评估内容单一的传统考核方法，DOPS 的考核内容全面，包括了相关知识、临床操作技能以及一些软性能力比如护患沟通、应变能力等，重要的是DOPS 考核包含了对操作中的相关理论知识进行评价，因为DOPS 考核表中的一些考核项目需要相关的理论知识，所以通过相应技能的考核反过来促进理论知识的掌握，并针对没有掌握的知识进行及时复习，真正实现了以考促教。卢玉仙等[13]的研究表明，DOPS 已经被试验组的一部分护生当作一种评价方法来判断理论知识的掌握是否达到要求。纳入的研究中仅有3 项研究将理论考试成绩作为结局指标，文献较少，今后可加入此指标进行评价。

3.3 DOPS 考核法提高了护生/ 护士的临床护理技能操作成绩

熟练的护理技能操作能够在一定程度上控制护理不良事件的发生，所以对护理技能操作的考核评价方式至关重要。本次Meta 分析的研究结果显示，与传统考核方法相比，DOPS 考核法有效提高了护生/护士护理技能操作水平，Hengameh 等[4]也发现了一样的研究结果。原因可能是传统技能操作的考核方式存在非标准化、主观性强、片面等缺点，无法进行全面客观的评价，不利于临床护士胜任力的培养[3]，而DOPS 是专门用来考核操作技能的方法，其具有考核环境真实[19]、多维度、标准个性化、反馈及时恰当及多阶段考核[5]等优点，可以考查护生/护士对临床护理工作中各种突发状况的反应。此外，该方法注重过程考核，在几个阶段进行考核测试，每个阶段都给予反馈，有多次进行改进的机会，实现了评价反馈改进再评价，有效地诠释了发展性评估的特点，Weijs 等[20]的一项研究也指出，重复用DOPS进行考核评价可以让学生有机会跟踪自己临床技能的提高，并专注于自己的临床表现。但本次Meta 分析中以护理技能操作成绩为结局指标的各研究之间存在较大异质性，使统计意义无法完全解释或反映实际培训效果，限制了结果的准确性，异质性较大的原因可能与各研究之间考核设计、考核的护理技能、考核次数的不同以及缺乏统一量表有关，因此今后需要研究设计出统一的标准化DOPS 考核方案对其效果进行进一步探讨。

3.4 DOPS 考核法提高了护生/护士满意度

本次Meta 分析结果显示，相比传统考核方法，护士及护生对使用DOPS 考核法更加满意，这与Hoseini 等[21]在伊朗对助产专业学生的研究结果一致。有学者研究指出[22]，护士及护生对教育活动的满意度对教育质量的影响很大。传统考核法缺乏反馈，过于看重考试分数，而DOPS 更加注重考核的过程，考核教师会针对学生在操作中出现的问题和优点进行个体化总结和分析，并对此提出建议及改善方法，从而避免学生形成惯性错误[23]，对学生优点进行肯定后可以增强学生的自信心，提高学习积极性。李恒等[24]的研究指出，有据可循的实践考核能够提高双方对考核的满意度，DOPS 考核量表中每个操作步骤都有具体的实施细则，使考核有据可循，有利于增加学生对自身不足的接受度。纳入的研究显示存在较大异质性，其原因可能与考核评价的频率有关，并且满意度是一种主观指标，会受到主观判断的影响，建议以后减少考核的间隔时间并尽量使用统一的DOPS 满意度评估量表。

3.5 DOPS 考核法提高了考核教师满意度

Meta 分析结果显示，相较传统考核方法，考核教师对基于DOPS 的考核满意度更高。一项将DOPS 用于护生临床胜任力培养的研究结果[25]也显示，大多数考核教师都对DOPS 这一考核方法感到满意。江淀淀等[26]研究结果也显示，试验组的考核教师表示自身的教学能力、综合能力都得到了提高，真正实现了以评促教，推动教师对自身教学质量的改进，原因主要是DOPS对考核教师的理论知识和专业技能水平要求较高，考核的过程也是教师再学习和提高的过程。考核教师通过观察学生考核中的表现可以直观地了解教学情况，为今后教学内容以及教学方式的调整提供参考。此外，DOPS 考核量表中，学生对教师的反馈可以为教师今后的教学提供经验及指导，达到了教学相长的目的。但在纳入分析的文献中仅有4 篇文献将考核教师的满意度作为结局指标，未来需要更多高质量、大样本的随机对照试验对本研究结论予以论证。

3.6 局限性与启示

（1）只纳入中英文文献，缺少无法获取全文的文献和灰色文献，可能会存在文献纳入不全的问题。（2）在方法学质量方面，11 篇文献中仅有4 篇文献详细描述了随机序列产生的方法，较少有文献对盲法和分配隐藏进行介绍，可能会存在一定的影响。（3）部分存在争议的文献由于研究类型不符及质量低等原因未纳入本次Meta 分析，可能会影响结果。

综上所述，DOPS 对护理技能的培训有积极的意义，可有效提升护生/护士的理论及操作成绩，同时得到了护生/护士和教师的认可，值得在临床护理培训中推广。但缺少将患者的满意度作为结局指标来验证DOPS 应用效果的研究，并且国内缺少权威的统一评分标准。因此，在今后的研究中可以将患者满意度作为评价DOPS 效果的一项结局指标，将DOPS 考核方案、评分标准统一化。除此之外，DOPS 在临床护理培训中的应用推广还需要大样本、高质量、多中心的研究进一步完善和改进，以提供更高级别的循证依据，助力“健康中国”目标的实现。