客观结构化临床考试测评的能力维度研究

于惊涛,陈 力

(哈尔滨医科大学,黑龙江哈尔滨150086)

客观结构化临床考试测评的能力维度研究

于惊涛,陈 力3

(哈尔滨医科大学,黑龙江哈尔滨150086)

客观结构化临床考试是一种较好的临床能力评价形势,分析其所测评的能力维度具有重要意义。采用探索性因素分析抽取各考站组的主要因素,以验证性因素分析对所抽取的主要因素进行拟合检验,通过专家咨询法界定测评能力维度的内涵。结果显示,客观结构化临床考试主要测评了三个能力维度。

测评维度;验证性因素分析;客观结构化临床考试

客观结构化临床考试(Objective Structured Clinical Exami2 nation,OSCE)是近年来医学教育领域中应用较为广泛的临床能力考核形式[1],通常由多个考站组合而成,用以评估考生的临床能力。以往研究中,对OSCE所测评的能力维度多为定性描述,量化研究和实证数据较为缺乏。有研究者采用探索性因素分析(Exploratory Factor Analysis,EFA)方法进行了尝试,但由于这种方法自身存在较多不足,所得结果的证明效力也不高[2]。

我们在EFA基础上,又采用验证性因素分析(Confirmato2 ry Factor Analysis,CFA)方法进行拟合检验,以进一步明确OSCE所测评的能力维度。

一、材料和方法

(一)研究材料。

以某医学院校临床医学专业本科共386名毕业生参加OSCE考试成绩数据为研究材料。该OSCE包括临床理论考试、临床思维与技能考站、临床资料与病例考站等三组考站,各组考站情况如下:

1.临床理论考试。采用客观选择题笔试形式,共150题,每题1分。

2.临床思维与技能考站。包括标准化病人(SP)考站、临床操作考站,共220个评分条目。

3.临床资料与病例考站。采用计算机局域网形式进行考试,共30个评分条目。

(二)研究方法。

采用SPSS15.0进行EFA分析,采用LISREL8.5进行CFA分析。

二、结果和讨论

(一)临床理论考试所测评的能力维度。

1.探索性因素分析。以特征值大于1为标准(Kaiser法),共抽取出27个因子,其对方差的总解释率为84.99%。进一步观察发现,27个因子中的前三个因子对方差的总解释率为58.66%,这三个因子是影响方差的主要因素。因素分析碎石图(附图)显示,临床理论考试共测量了3个主要因素。

附图 临床理论考试因素分析碎石图

结合Kaiser法和碎石法,临床理论考试共探索出三个主要测评维度(主因子)。

2.验证性因素分析。验证性因素分析各项拟合指数见表1。

表1 临床理论考试验证性因素分析拟合情况

表1中,χ2/df是卡方与自由度比值,其数值在2.0到5.0之间时,表示模型可接受,但该指标易受样本容量的影响,通常仅作参考。RMSEA是近似误差均方根,数值小于0.08表示模型可接受,小于0.05表示模型拟合较好。NFI是规范拟合指数,NNFI是非范拟合指数,CFI是相对拟合指数、IFI是递增拟合指数,GFI是拟合优度指数、AGFI是调整后的拟合优度指数,通常前述各项指标大于0.9时,表示模型拟合较好[3]。

从表1可见,χ2/df为2.89,模型拟合情况可以接受。RMSEA为0.031,低于0.08,也表示该模型达到可接受水平。NFI、NNFI、CFI、GFI、AGFI、IFI等指标均超过0.9。因此可认为,临床理论考试验证性因素分析达到可接受水平。

3.所测评的能力维度。临床理论考试的三因素模型得到CFA和EFA的支持,该部分考试主要测评了三个能力维度。

(二)临床思维与操作考站所测评的能力维度。

1.探索性因素分析。以特征根大于1为标准共提取出3个主要因子,其对方差的总解释率为79.19%。也就是说,在该考站中探索出三个主要的测评能力维度。

2.验证性因素分析。验证性因素分析各项拟合指数见表2。

表2 临床思维与技能考站验证性因素分析结果

从表2可见,临床思维与技能考站的/df为4.87,介于2.0到5.0之间,虽然略高,但该模型还是可接受的。RMSEA为0.073,小于0.08,也表示该模型达到可接受水平。NFI、NNFI、CFI、GFI、AGFI等指数均大于0.9,只有IFI为0.897,低于0.9。总体上,临床思维与技能考试的验证性因素分析结果达到可接受水平。

3.所测评的能力维度。临床思维与技能考站的三因素模型得到CFA和EFA的支持,该部分考站主要测评了三个能力维度。

(三)临床资料与病例考站所测评的能力维度。

1.探索性因素分析。以特征根大于1为标准共提取出3个主要因子,其对方差的总解释率为80.28%。也就是说,在该考站中探索出三个主要的测评能力维度。

2.验证性因素分析。验证性因素分析各项拟合指数见表3。

表3 临床资料与病例考站验证性因素分析结果

从表3可见,在临床资料与病例考站的验证性因素分析拟合指数中,χ2/df为2.31,介于2.0到5.0之间且较小,表示该模型拟合较好。RMSEA为0.057,小于0.08,也表示该模型拟合可接受。NFI、NNFI、CFI、IFI、GFI等指数均大于0.9,只有AGFI为0.827,低于0.9。总体上,临床资料与病例考站的模型拟合情况是可接受的。

3.所测评的能力维度。临床资料与病例考站的三因素模型得到CFA和EFA的支持,该部分考站主要测评了三个能力维度。

(四)客观结构化临床考试总体所测评的能力维度

该OSCE考试包括临床理论考试、临床思维与操作考站、临床资料与病例考站三个考站组,EFA和CFA分析均支持了三个能力维度的存在,但仍需证明这三个能力维度是一致或大体一致的,且贯穿整个OSCE。

我们采用专家咨询法,组织了5位医学教育和医学考试专家,参考因子载荷及题目信息,对各考站组内的全部题目进行相应归类,以确认能力维度的目标、内涵和界定。通过讨论并达成一致意见,共有17个评分条目因归类不清而删除,其余均进行了有效归类。

专家们分析后认为,各考站内所测评的能力维度,在考站间也是基本一致的。也就是说,在整个OSCE考试中,前述三种能力维度均不同程度被各考站组所测评。专家们对这三个能力维度分别进行了概念界定和内容描述,简述如下:

1.医学知识。主要指医学生所了解和掌握的医学基本概念、理论等知识性内容;

2.操作能力。主要指医学生在临床情境内的操作能力和技巧;

3.临床思维。主要指医学生面对临床信息作出分析和诊疗决策的能力。

三、结 论

(一)该OSCE共测评了考生三种能力维度。

该OSCE共测评了医学知识、操作能力、临床思维等三种能力维度,这些能力维度是探索性因素分析所抽取出的主因子,经过验证性因素分析的模型拟合检验,得到了定量研究的支持。

(二)该OSCE所测评的三种能力维度贯穿整个OSCE。

三种能力维度在不同考站间表现出一致性,每个考站都不同程度的测评出考生不同的临床能力维度,这也为客观结构化临床考试的结构效度提供了证明资料[4]。

[1]Barman A.Critiques on the objective structured clinical examination[J]. Ann Acad Med Singapore,2005,34(8):4782482.

[2]孙晓军,周宗奎.探索性因子分析及其在应用中存在的主要问题[J].心理科学,2005,28(6):144021442.

[3]侯杰泰,温忠麟,成子娟.结构方程模型及其应用[M].北京:教育科学出版社,2004.1252133.

[4]张敏强.教育测量学[M].北京:人民教育出版社,1998.1182134.

Study on assessment dimensions of objective structured clinical examination

Y U Jing2tao,CHEN Li
(Harbin Medical University,Harbin150086,Heilongjiang,China)

Objective:T o analyze the assessment dimensions of objective structured clinical examination(OSCE).Methods:The exploratory factor analysis(EFA)and the confirmatory factor analysis(CFA)were applied,and expert consultation methods were applied.Result and conclusion:The OSCE is assessing 3 dimensions of clinical skills.

OSCE;assessment dimensions;EFA

G424.74

A

100221701(2012)0620089203

2011208

于惊涛,男,博士研究生,研究方向:医学教育评价、医学考试。

10.3969/j.issn.100221701.2012.06.045