模拟教育评价工具在护理教学中的应用研究进展

王宪，桂莉，刘晶晶，张兵

(第二军医大学 护理学院，上海 200433)

·技术与方法·

模拟教育评价工具在护理教学中的应用研究进展

王宪，桂莉，刘晶晶，张兵

(第二军医大学 护理学院，上海 200433)

医学模拟教育旨在培养医学生的临床思维、实践操作能力及综合分析能力[1]， 近年来其以操作安全、可反复练习、对患者无危害等优点成为医学教育的主要训练方式，在国内已具备一定规模[2]。模拟教育在护理教学中的应用有助于护理课程中理论教学与临床实践之间的转化[3]，其独特的优势为护理教学开辟了新的领域。美国国家护理局联合委员会(National Council of State Boards of Nursing ,NCSBN)在全国范围内开展了三阶段的研究以评价护理模拟训练中的临床教学效果[4-5]，国内护理教育的各领域也对模拟教学有了多种形式的应用,评价被用于确定个体的专业能力[6]，基于模拟教育的重要性，有效的模拟教育评价不可或缺。对模拟教育进行评价时需要信效度良好的评价工具量化学生在模拟环境中的学习效果并根据反馈持续改进教学内容及方法。然而，目前我国缺乏对模拟教育的公认评价方法及工具[7]，这对教学成果的评价造成了困难，也阻碍了模拟教育在护理学科中的发展。国外模拟教育研究开始较早，迄今为止已开发出多种评价工具可供参考。因此，本文就近年来国内外模拟教育评价工具在护理教学中的应用现状作如下综述。

1 模拟教育评价的分类框架

柯式模型，即培训评价四层模型，由Kirkpatrick于1959年提出[8]。该模型最初应用于公司训练项目评价，后被学术界和临床教育广泛用于发展项目及指导评价，它是有效指导模拟训练评价策略的理论框架，已被多项研究使用[9-10]。美国训练和发展学会强调柯式模型是40多年来在评价方法中应用最广泛的模型，它由反应、学习、行为和结果等四个层次构成，层次一为反应，即学习者对培训项目的反应，包括满意度；层次二为学习，可再分为情感、认知及精神运动，情感包括态度、自信心等，认知包括了理解所学的概念、原则和技术，精神运动包括发展及(或)提高技能；层次三为行为，即培训后学习者在实际情境中的行为；层次四为结果，即培训后行为改变引起的效果。反应和学习是较容易实现的目标，行为和结果层次较高，较难测量，却是培训的最终目的。

2 模拟教育的评价工具

2.1 反应评价工具 模拟教育最初的学习效果聚焦于容易实现的目标即层次-反应中，如“学习者对培训的满意度”及“他们是否认为培训是成功的”等，这也是国内外学者在评价模拟教育效果时最常关注的。

2.1.1 美国护理联盟模拟设计量表、学生满意度和自信心量表 美国护理联盟(National League for Nursing,NLN)于2003-2006年开展的多站点模拟训练项目中设计了美国护理联盟模拟设计量表、学生满意度和自信心量表[the national league for nursing’s simulation design scale(SDS)and student satisfaction and self-confidence in learning scale(SCLS)]。以上3个工具属于柯式模型中的层次一、二，即反应和学习中的情感范围，由于三者常被共同使用，故在此一并提出。SDS依据Jeffrie模拟理论[12]开发，共有20个条目，分别属于模拟教育的5个设计特征，包括目标/信息、支持、问题解决、反馈和仿真度。工具分为两个部分，第1部分评价该模拟训练中实现以上5个特征的程度，第2部分测量这些特征对学习者的重要度。评分表的形式为李克特式5级评分量表。学生满意度和自信心量表共有13个条目，其中5个条目测量学生对模拟训练的满意度，8个条目测量学生对在模拟训练中自身的实践技能和知识的自信程度。量表最初用于成人患者术后护理的模拟训练，使用对象为护理本科或大专学生，经检验信效度良好，SDS和SCLS的Cronbach’s α系数均在0.87～0.94之间[13]。此后，量表又被用于护理本科学生或医护人员对糖尿病患者胰岛素管理、感染控制和隔离、伤口护理、外科无菌操作、外科病房急症护理及跨专业等模拟训练中[14-17]中，但其中只有第一项研究报告了新的信度。2014年Franklin等[18]在护理本科生的模拟训练中重新测量，并证明SDS和SCLS仍然具备有效的信效度，但并未报告具体的模拟训练内容。

2.1.2 国内评价工具 目前国内在进行模拟训练效果评价时常对学生的反应进行评价，评价工具多由研究者根据各自训练特点自行设计，但鲜有信效度报道。彭美娣等[19]在使用生理驱动型仿真模型开展创伤性休克护理模拟训练中自行设计“实验教学调查表”，其Cronbach α为0.84，内部一致性较好。周玲君等[20]在国防生中开展综合模拟训练并自行设计调查问卷，内容包括对教学内容、安排及教学总体满意度的评价，其内容效度良好，Cronbach α系数为0.8。

2.2 认知、精神运动和情感评价工具 理想的模拟教育评价工具应该对学生的认知、精神运动和情感均能够测量[21]。目前国际上满足此条件的评估工具有拉萨特临床判断标准(the Lasater clinical judgment rubric,LCJR©)[22]、克莱顿模拟评价工具(Creighton-simulation evaluation instrument,C-SET©)[23]、客观结构化临床考试(objective structured clinical examination,OSCE)，以及Radhakrishnan的临床模拟评价工具(clinical simulation evaluation tool，CSET)[24]、Herm的技能核对表形式的评价标准[25]和Cordi的模拟效力工具(simulation effectiveness tool，SET)[26]等。我国尚缺乏此类评价工具。以下以拉萨特临床判断标准、克莱顿模拟评价工具、客观结构化临床考试为例作具体介绍。

2.2.1 拉萨特临床判断标准 拉萨特临床判断标准由Lasater[22]开发，提供了模拟训练中的期望表现，可用于评价模拟训练对学生的临床判断能力，即态度、经验和自信及技能的影响。Lasater借用Tanner的临床判断模型作为LCJR©的概念框架[27]，创造了包括11个维度的4阶段LCJR©，每个维度具有4个评价水平及相应的得分。阶段和维度分别为注意有效性(观察的聚焦性、识别预期模式的偏差、信息寻找能力)、解释有效性(数据主次排列能力、对数据的理解力)、反应有效性(平静、自信的态度、清楚的交流、计划好的干预/灵活性、技能的熟练度)及反思有效性(评价/自我分析、改进的承诺)。前三个阶段可被总结为从思考到行为的技能展示过程，最后一阶段是对行为产生结果的反思。4个评价水平及相应得分分别为初期，1分；发展中，2分；熟练，3分；典范，4分；LCJR©总体得分范围是11～44分[22]。LCJR©作为评价工具已在多个研究中被验证或使用，如被用于测量模拟训练中专家角色示范对学生临床判断能力的影响，也被用作评价结构化任务报告效果的指标工具或改编为评估技术性技能，如静脉插管的技能评价工具[28-30]。Adamson 等[31]则总结了在高仿真模拟训练中对LCJR©开展的三种信效度检验方法和结果，对LCJR©的心理测量特性和合理使用提供了丰富的信息。此外，Shin等[32]根据原版LCJR©开发出适合于韩国人使用的版本并进行了信效度检验。

2.2.2 克莱顿模拟评价工具 克莱顿模拟评价工具是由五位关注模拟教育的护理教育学家，以美国护理学院协会(American Association of Colleges of Nursing，AACN)本科护理教育概要框架中的“合理评估患者”、“有效交流”、“应用评判性思维”和“技术性技能”四个方面为依据设计模拟训练评价量表。量表共有22个条目，通过对学生执行技术性技能的能力(比如插尿管)、对患者评估结果的解释合理性、与患者、家属及跨学科医疗团队沟通的有效性、对每个场景发展护理计划是否合适等方面的综合评价，评定在以团队形式展开的模拟训练中小组的表现。在对每个条目进行评分时，“1分”和“0分”分别表示小组在行为中表现出了(没有表现出)该能力。该工具在发展初期即判定了内容效度及评判者间信度(84.4%～89.1%)[23]。随后，由Hayden等[11]进行了广泛的信效度评估并运用于美国国家护理局联合委员会的模拟研究中。C-SET©可应用于从胸痛到糖尿病酮症酸中毒的多种情景，从儿童到成人的多种患者，从初始水平的模拟(聚焦于识别患者和技能获得)到复杂的高级模拟的多种形式。但使用该工具对学生进行评定也存在一定的困难，如怎样决定哪个或者哪些因素的联合对能力的解释是必要的。更有观点认为：护理在本质上具有整体性，需要比C-SET©该类能力核对表更广泛的能力评估类型，比如客观结构化临床考试[33]。

2.2.3 客观结构化临床考试 客观结构化临床考试于1975年由Harden等[34]开发，是用一系列基于表现的情景，观察学生的临床行为。使用OSCE方法评价临床表现的主要目标是评估学生把教室和实验室的学习经验转化成模拟临床实践的能力[35]。OSCE需在一系列模拟不同临床情境的工作站进行，这些工作站内设置了标准化患者(sandardized patients,SPs)、人体模型、基于电子屏幕的模拟及角色扮演等。学生在每个站点中进行轮转，老师将依据考核清单或标准化评定量表，对学生是否在每个情境中完成了应实施的行为进行评价[36]。OSCE的优点包括可以被用作一个形成性评价和(或)总结性评价的过程，在可控的环境中帮助识别和评估各种临床能力。另外，OSCE可以包含及时的反馈，这种评价形式在不同层次的医学教育和训练中都是可靠和敏感的[37]。

近20年来，OSCE已被发展为医学教育领域评价医学和护理学临床能力的公认模式[38]。加拿大、新西兰、澳大利亚及美国等诸多国家的护理教师将其用于精神卫生、助产学、儿科等多个护理学领域，客观评价护理学生的临床能力[39-41]。在我国，OSCE也广受欢迎。哈尔滨医科大学护理学院在护理程序教学过程中，以OSCE法评价学生处理模拟临床案例的能力[42]。牛桂芳[43]则使用OSCE法，对即将实习的护理本科生的高仿真模拟教学效果进行评估。然而，以往OSCE研究的小样本和对心理特性测量的缺失限制了OSCE在护理学领域的普遍应用[37]。只有少数研究详细报道了信效度，如埃及学者Selim等[44]开发的精神病学护理OSCE,确保了11个站点的内容效度和信度，以及每站所使用评分工具的评判者间信度。

3 小结

具有诸多优点的模拟教育势必将成为培养护理学生临床能力的主要教学手段之一。有效的模拟教育效果评价对体现学生的训练效果及后期教学改进具有重要意义，但国内外的护理模拟教育在评价内容的范围选择以及评价工具标准化上存在不同程度的问题。首先，国内外的护理模拟训练评价中，绝大部分处于柯式模型中的较低层次。模拟训练评价者常选择反应和学习这类较易实现的评价内容，并未搜索到有文献涉及后期行为及结果的相关测量。有效的行为测量具有挑战性，评价间隔首次培训时间长，且行为是否改变会与外界条件、政策相关；结果的评价耗费时间和财力，难点在于识别哪个结局或利益是与训练紧密相联的及找出长期测量这些结果的有效方法。因此，不难解释以上现象，但这些低水平的评价不能很好反映模拟训练的最终效果，即培训最重要的利益相关者—患者的结局。其次，国内缺少标准化评价工具的设计及使用，目前大多为自行开发的调查问卷且缺少信效度检验。国外已经具备有版权保护或相对成熟的多种工具，但目前为止无公认、标准化的工具。

基于以上论述，建议国内学者在进行模拟训练学习效果评价时应结合我国护理模拟教育自身特点，对国外使用广泛、信效度高的评价工具进行本土化验证并考虑更高层次的评价，致力于从最初的模拟训练本身效果追踪到临床实践表现甚至患者结局，从而达到最终的培训目的。

模拟教育；评价工具；研究进展

[1] 李剑.医学模拟教育与医学教育革命[J].中国医院，2004，8(7):73-74.

[2] 罗泰来，李檬，牛振.我国医务人员医学模拟教育现状调查研究[J].海军医学杂志，2014，35(5):408-409.

[3] 吴丽萍，张建军.应用综合模拟人进行急诊急救技能训练的实践与认识[J].中华医学教育杂志，2007，27(2):96-97.

[4] Hayden J.A national survey of simulation prevalence and use as clinical replacement:Results from phase i of the NCSBN simulation study[J].Clin Simul Nurs，2011，7(6):254.

[5] Hayden J，Jeffries P，Kardong-Edgren S.Integrating community health simulation scenarios:Experiences from the NCSBN national simulation study[J].Clin Simul Nurs，2012，8(8):407.

[6] Boulet J R，Jeffries P R，Hatala R A，et al.Research regarding methods of assessing learning outcomes.[J].Simul Healthc，2011，8(6):48-51.

[7] 郭红霞，陈红.仿真模拟教学在我国护理教育中的应用现状[J].护理研究，2013，27(26):2939-2941.

[8] Kirkpatrick D L.Evaluating training programs:The four levels[M].San Francisco:Bernett-Koehler，1994：5-24.

[9] Tian Y，Liu H，Yin J，et al.Evaluation of simulation-based training for aircraft carrier marshalling with learning cubic and Kirkpatrick’s models[J].China J Aeronaut，2015，28(1):152-163.

[10]Sharma B，Boet S，Bould D，et al.Kirkpatrick evaluation of interprofessional simulation-based education for peroperative crisis resource management[J].J Am Coll Surgeons，2011，213(3):129.

[11]Adamson K A，Kardong-Edgren S，Willhaus J.An updated review of published simulation evaluation instruments[J].Clin Simul Nurs，2013，9(9):393-400.

[12]Jeffries P R.A framework for designing,implementing,and evaluating simulations used as teaching strategies in nursing[J].Nurs Educ Perspect，2005，26(2):96-103.

[13]Jeffries P R，Rizzolo M A.Designing and implementing models for the innovative use of simulation to teach nursing care of ill adults and children[DB/OL].[2014-12-12].http://www.citeulike.org/group/1736/article/4061690.

[14]Dobbs C，Sweitzer V，Jeffries P.Testing simulation design features using an insulin management simulation in nursing education[J].Clin Simul Nurs，2006，2(1):17-22.

[15]Kardong-Edgren S E，Starkweather A R，Ward L D.The integration of simulation into a clinical foundations of nursing course:Student and faculty perspectives[J].Int J Nurs Educ Scholarsh，2008，5(1):26.

[16]Prentice D，Taplay K，Horsley E，et al.Interprofessional simulation:an effective training experience for health care professionals working in community hospitals[J].Clin Simul Nurs，2011，7(2):61-67.

[17]Swenty C F，Eggleston B M.The evaluation of simulation in a baccalaureate nursing program[J].Clin Simul Nurs，2011，7(5):181-187.

[18]Franklin A E，Burns P，Lee C S.Psychometric testing on the NLN student satisfaction and self-confidence in learning,simulation design scale,and educational practices questionnaire using a sample of pre-licensure novice nurses[J].Nurs Educ Today，2014，34(10):1298-1304.

[19]彭美娣，崔秋霞，陈宏林，等.生理驱动型仿真模型在创伤性休克护理综合性实验中的应用[J].中华护理教育，2011，8(1):4-6.

[20]周玲君，顾申，张静，等.综合模拟训练在国防生《野战护理学》实践教学中的应用[J].中华现代护理杂志，2013，19(23):2850-2852.

[21]Kardong-Edgren S，Adamson K A，Fitzgerald C.A Review of currently published evaluation instruments for human patient simulation[J].Clin Simul Nurs，2010，6(1):25-35.

[22]Lasater K.Clinical judgment development:Using simulation to create an assessment rubric[J].J Nurs Educ，2007，46(11):496-503.

[23]Todd M，Manz J A，Hawkins K S，et al.The development of a quantitative evaluation tool for simulations in nursing education[J].Int J Nurs Educ Scholarsh，2008，5(1):41-46.

[24]Radhakrishnan K，Roche J P，Cunningham H.Measuring clinical practice parameters with human patient simulation:A pilot study[J].Int J Nurs Educ Scholarsh，2007，4(1):8-12.

[25]Herm S M，Scott K A，Copley D M.“Sim”sational Revelations[J].Clin Simul Nurs，2007，3(1):25-30.

[26]Elfrink C，Leighton K，Ryan-Wenger N，et al.History and development of the simulation effectiveness tool (SET)[J].Clin Simul Nurs，2012，8(6):199-210.

[27]Tanner C A.Thinking like a nurse:A research-based model of clinical judgment in nursing[J].J Nurs Educ，2006，45(6):204-211.

[28]Mariani B，Cantrell M A，Meakim C，et al.Structured debriefing and students’ clinical judgment abilities in simulation[J].Clin Simul Nurs，2013，9(5):147-155.

[29]Reinhardt A C，Mullins I L，DeBlieck C，et al.IV insertion simulation:confidence,skill,and performance[J].Clin Simul Nurs，2012，8(5):157-167.

[30]Johnson E A，Lasater K，Hodson-Carlton K，et al.Geriatrics in simulation:Role modeling and clinical judgment effect[J].Nurs Educ Perspect，2012，33(3):176-180.

[31]Adamson K A，Gubrud P，Sideras S，et al.Assessing the reliability,validity,and use of the lasater clinical judgment rubric:Three approaches[J].J Nurs Educ，2012，51(2):66-73.

[32]Shin H，Gi P C，Shim K.The korean version of the lasater clinical judgment rubric:a validation study[J].Nurs Educ Today，2015，35(1):68-72.

[33]Manz J A，Hercinger M，Todd M，et al.Improving consistency of assessment of student performance during simulated experiences[J].Clin Simul Nurs，2013，9(7):229-233.

[34]Redfern S，Norman I，Calman L，et al.Assessing competence to practice in nursing:A review of the literature[J].Res Pap Educ，2002，17(1):51-77.

[35]Mcwilliam P，Botwinski C.Developing a successful nursing objective structured clinical examination[J].J Nurs Educ，2010，49(1):36-41.

[36]Martin I G，Stark P，Jolly B.Benefiting from clinical experience:the influence of learning style and clinical experience on performance in an undergraduate objective structured clinical examination[J].Med Educ，2000，34(7):530-534.

[37]Walsh M，Bailey P H，Koren I.Objective structured clinical evaluation of clinical competence:An integrative review[J].J Adv Nurs，2009，65(8):1584-1595.

[38]Alinier G.Nursing students’ and lecturers’ perspectives of objective structured clinical examination incorporating simulation[J].Nurs Educ Today，2003，23(6):419-426.

[39]Cazzell M，Howe C.Using objective structured clinical evaluation for simulation evaluation:checklist considerations for interrater reliability[J].Clin Simul Nurs，2012，8(6):219-225.

[40]Anderson M，Stickley T.Finding reality:the use of objective structured clinical examination (OSCE) in the assessment of mental health nursing students interpersonal skills[J].Nurs Educ Pract，2002，2(3):160-168.

[41]Smith V，Muldoon K，Biesty L.The objective structured clinical examination (OSCE) as a strategy for assessing clinical competence in midwifery education in Ireland:A critical review[J].Nurs Educ Pract，2012，12(5):242-247.

[42]隋树杰，仰曙芬，朱雪梅.护理临床模拟教学系统应用效果分析[J].护理学杂志，2009，24(4):79-80.

[43]牛桂芳.高仿真模拟教学在护理本科生实习前培训中的应用[D].太原：山西医科大学，2011.

[44]Selim A A，Ramadan F H，El-Gueneidy M M，et al.Using objective structured clinical examination (OSCE) in undergraduate psychiatric nursing education:Is it reliable and valid?[J].Nurs Educ Today，2012，32(3):283-288.

(本文编辑：陈晓英)

2015-01-19

2015-07-10

第二军医大学军事医学课题(2014JS24)，第二军医大学任职教育教学研究重点项目(RZJYA201402)

王宪，硕士在读，从事急危重症护理研究

桂莉，E-mail:guili2000@foxmail.com

10.3969/j.issn.1008-9993.2015.21.012

R47

A

1008-9993(2015)21-0047-04