临床教师培训项目效果评价指标体系的构建研究

孙 涛,张玉洁,张家亮, 林思宇

(首都医科大学附属北京同仁医院教育处，北京 100730)

临床教学是医学教育的关键阶段，是由以理论学习为主的医学生向以临床实践工作为主的医生转变的主要环节[1]。医学院校的教育教学任务有相当一部分是在附属医院结合临床实践完成的，医院承担教学任务的医务人员即为临床教师[2]。附属医院的临床带教教师大多毕业于医学院校，未能接受系统的教育心理学、教育学专业知识学习，专业教育教学技能和能力普遍不足[3-4]。目前全国各附属医院都在探索附属医院临床教师培训项目效果评价方法，现阶段较为常见的评价附属医院临床教师培训项目效果的方法，是使用受训人员满意度或训后考试成绩来测评，该评价方法过于简单、评价维度不够广，大多数的效果评价也都仅限于第一和第二层级的评估，并未开展深入的、反映学员行为转变和组织绩效变化的第三和第四层级的评估。为此，本研究以Kirkpatrick理论为指导，参考教育学、教育心理学的普适性要求，针对附属医院临床教师教育教学的不足，有针对性地构建临床教师培训项目效果评价指标体系，为提高临床教师的教学能力和加强师资队伍的建设提供参考。

1 研究方法与步骤

1.1 研究方法

1.1.1 柯氏评估模型 柯氏评估模型由美国Kirkpatrick提出，是世界上应用最广泛、操作性最强的培训评估工具，被称为培训评估领域的经典[5]，其将培训效果分为4个递进层次[6]：反应层评估(一级)，主要是了解学员对培训项目的满意度；学习层评估(二级)，主要是用来了解学员培训前后知识层面的变化；行为层评估(三级)，主要是测定学员是否能将培训所学知识和技能运用于日常工作中；成果层评估(四级)，主要用来判断培训对机构和学员可能带来的变化[7]。这种层级的划分依据行为学的研究结果，由表及里，由观念到行为，直至最终结果的变化，评估循序渐进，从个人素质能力提高的评估上升到组织绩效的改善评估[8]。

1.1.2 层次分析法 层次分析法(Analytical Hierarchy Process，AHP)是一种将定性与定量分析相结合的系统分析方法[9]，其基本思想是把复杂问题条理化、数学化、模型化。就每一层次的相对重要性作为定量判断，然后综合相关人员判断结果，确定权重。目前AHP法被广泛运用于社会学、经济学、管理学等诸多方面。

1.1.3 统计学处理 采用EpiData3.1、SPSS20.0、Yaahp10.0软件进行数据的录入及统计处理。采用均数、标准差、变异系数等进行描述；计算专家权威系数、肯德尔和谐系数。

1.2 研究步骤

1.2.1 成立研究小组 本研究小组包括6名成员，为本院科研、教学管理人员及骨干，均接受过省级及以上临床教学师资培训，其中高级职称2名，中级职称2名，统计专家1名，研究生1名。

1.2.2 初步拟就指标体系草案 专题小组成员经讨论初步形成培训指标评价指标体系草案，共包含一级指标、二级指标和三级指标，分别为4、10和48个。

1.2.3 专家咨询 ① 专家纳入标准及概况。专家纳入标准为：从事临床、医学教育、医院管理领域的专家；具有10年以上相关工作经验；本科及以上学历；副高及以上职称；有临床教学管理经验的优先。此次研究按要求选取25名专家进行专家咨询。

② 发放咨询表，回收意见。根据评价指标体系草案设计专家咨询评价表，进行专家咨询，采用亲自发放及信件的方式咨询，研究采用Likert评分法，每项指标分别分为很重要、重要、一般、不重要、很不重要5个级别，并相应赋予5、4、3、2、1分，专家对每项指标的重要性进行评价，同时可对每项指标做出修改和删除的意见，也可对专题小组成员未考虑到的项目进行增设的建议。最后，计算各指标权重，获得一套标准、科学的培训效果评价指标体系。

2 研究结果

2.1 专家意见协调程度和谐系数代表专家指标意见的一致程度，使用W来表示，W值越大说明一致程度越高[10]，本研究2轮专家咨询、3级指标体系经统计检验P均<0.05。变异系数表示专家对某一指标入选及权重的意见不一致的程度，使用CV来表示。本研究中，第1轮、第2轮专家咨询变异系数(CV)大于0.1的指标分别有28个、35个，分别占所有指标的45.16%、60.34%，表明本研究变异系数较小，专家意见较一致(表1)。

2.2 专家的权威系数和积极程度专家权威系数是表示专家在特定学科研究领域权威程度指标，使用Cr来表示，通常认为Cr大于等于0.70为专家权威程度较高[11]，本研究中，2轮专家咨询的权威系数分别为0.763、0.825，专家权威程度较高。专家积极程度通过问卷回收率来计算，专家积极程度大约等于50%为积极程度较高[12]，本研究的2轮专家咨询问卷回收率分别为100.00%和、92.00%。

表1 专家意见协调程度

2.3 专家意见集中程度专家意见集中程度用专家满分率、标准差和评分均值来表示。满分率和评分均数越大、标准差越小则专家意见越集中。在本研究的第1轮专家咨询中，满分率、评分均数、标准差分别为0～99%、3.13～5.00、0～0.97，而在第2轮专家咨询中，满分率、评分均数、标准差分别为4%～100%、3.35～5.00、0～0.87，专家意见集中程度较高。

2.4 构建指标体系、计算权重使用层次分析法构建指标体系框架，指标体系包括一级指标4个、二级指标11个、三级指标43个，并计算各指标权重值(表2、表3)。

表2 一级、二级指标权重及一致性检验

3 讨 论

3.1 柯式四级评估体现了行为和结果的重要性从一级指标的权重看，一级指标中行为层、结果层比较重要，对行为层、结果层评估的目的在于评判附属医院临床教师培训项目能否给医学教育和临床带教带来贡献，临床教师个人是否受益，这个层面的评估内容也是组织培训的最终目的。这进一步体现了柯式四级评估的重要性，体现了开展深层次评估的重要性[13]。

表3 附属医院临床教师培训项目的效果评价指标体系及权重

3.2 重视附属医院临床教师在培训中的个人受益普遍认为，附属医院临床教师在培训可能最希望提高的是教育教学能力，但本研究发现，二级指标中个人受益与教学活动都是专家咨询认为非常重要的项目。本研究中，专家把附属医院临床教师个人受益推荐为重要指标之一，表明附属医院临床教师和其他专业教育工作者有所不同，其不仅希望提高自己的教育教学技能，还希望提高个人综合能力与素质。当然，临床教师培训项目对附属医院临床教师提高教学质量也非常重视，在二级指标中教学活动的权重也比较高，表明专家一致认为附属医院临床教师项目要重视教师独立进行教学活动能力和带教技能的培养。

3.3 三级指标对改善教学活动有指导意义本研究构建的43个三级指标对教学活动有指导意义。三级指标中，结业考试成绩、教德教风端正、日常考核成绩、促进个人发展、专业理论知识学习、基础理论知识学习等6项指标的权重最高，这就要求附属医院临床教师培训项目的组织者要针对这些指标，改进课程设置和授课重点，提高临床教师上述领域的能力；相反，三级指标中，带教老师与学员的比例设置、实行导师制管理、学员的档案管理、患者与病种资源丰富、学员工资福利待遇、图书资料及信息网络建设等6项权重最低，提示附属医院临床教师培训项目中可以适当弱化上述项目，将更多的资源向权重高的倾斜，以提高资源的使用效率。

3.4 指标体系具有较强的可操作性和实用性由于缺乏可操作性、实用性强的效果评价指标体系，既往附属医院临床教师培训工作的效果难以科学地评价和衡量，本研究以KirkPatrick理论模型为指导，使用多轮Delphi专家咨询法建立了附属医院临床教师培训项目评价指标体系，该指标体系更加关注临床教师培训工作的连续性和长期性，具有较强的可操作性和实用性。当然，由于附属医院临床教师培训效果评价还处于探索阶段，专家咨询的数量和代表性仍有改善的空间，所以本研究构建的指标体系仍待实践工作的验证，并在运用过程中不断完善，从而促进附属医院临床教师培训水平的进一步提高。