基于CIPP模型的军队医学院校教学评价指标的构建

2014-09-22 07:48:48黄继东赵先柱
重庆医学 2014年22期
关键词:咨询专家程度

黄继东,赵先柱

(第三军医大学训练部,重庆 400038)

美国评价学者斯塔弗尔比姆于20世纪60年代首先提出了CIPP评价模式,他认为评价不应局限在评定目标的达到程度,而应该是为课程决策提供有用信息的过程[1]。评价的目的是为管理者提供参考意见和信息服务,以便他们作出科学决策,评价者在这一过程中则通过提供信息实现为教育服务。CIPP 由 背 景 (context)、输 入 (input evaluation)、过 程(process)、结果(product)的首个英文字母构成,通常被称为“以决策为导向”或者“以改良为导向”的评价模式[2]。

1 CIPP模型构成

CIPP模型包括4种评价类型——背景评价、输入评价、过程评价和结果评价。背景评价是在特殊条件下评定其需要、问题、资源和机会,其价值取向在于确定目标方案与方案之间的差距,属于诊断性评价的范畴;输入评价是以背景评价为基础,对达到目标所需要的环境、资源以及各种方案之间的优点进行的评价,其实质是判断方案的可行性和有效性;过程评价是对方案实施过程的评价,在过程中对其检查、监督和反馈,其目的在于改进和调整实施过程,其实质是形成性评价;结果评价是对方案目标达成度的评价,可以综合运用判断、测量和解释等方法,以评测方案是否满足人们的需要,其实质是终结性评价[3]。

这4类评价与教育决策有着紧密而不可分割的关系。通过其内涵比较,分别对应不同阶段的决策:背景评价——计划决策;输入评价——组织决策;过程评价——实施决策;结果评价——管理决策。可见,这种教育评价不是以目标为导向而是以决策为导向,能够为管理和决策者提供决策依据。

2 CIPP模型特点

2.1 注重以决策为导向 斯塔弗尔比姆认为不应该将评价局限于既定目标的达成程度,而是为管理者和决策者的教育决策提供有用信息。斯塔弗尔比姆将整个教育决策的过程分为计划决策、组织决策、实施决策和管理决策,充分体现了教育评价作为教育决策信息来源的渠道的功能。由此得出CIPP最为显著的特点是以教育决策为导向,而非教育目标为导向。

2.2 注重评价的改进作用 CIPP评价模型的另一个重要特点是不单纯去寻找问题和发现问题,而是更加强调问题的解决、教育的改进。在评价实施中通过过程评价的开展,对方案实施进行检测,通过有效信息的及时反馈,达到对整个教育过程的合理控制。另外,通过背景评价和输入评价明确目标,指导方案,发挥其改进作用。成果评价不仅仅得出最终的评价报告,它还要求按方案实施的阶段进行阶段性总结,发现问题及时解决。

2.3 注重诊断性、形成性、终结性评价三者的有机结合CIPP模型比较重视形成性评价,但并没有忽视诊断性评价和终结性评价的效用,尝试将这3种评价形式综合运用到评价实践中,使其发挥不同行的效用。这些方法的灵活、综合运用使CIPP模型适用范围广泛、形式灵活,评价者可以根据需要,既可以在方案实施之前使用也可以在方案实施中使用。

3 基于CIPP模型军队医学院校教学评价指标的确立

本研究在查阅大量文献和专家咨询的基础上,以CIPP模型为原型,遵循医学教育教学规律和构建原则,依照医学院校的教育目标和影响教育目标实现的因素,初步构建了军队医学院校教学评价指标。该评价指标涵盖教学活动各要素、教学支持系统、结果等等,而且依据CIPP模型对评价类型的划分(背景评价、输入评价、过程评价、结果评价)对指标进行了分类、分级、分解。4种评价类型分别对应不同的一级指标:背景评价——办学定位与设计;输入评价——教学条件与水平;过程评价——管理机制与落实、质量保障与措施、教学评估与反馈;结果评价——教学质量与成效。对一级指标进行逐层分解,得出二级指标,以此类推得出指标群进而初步构建出评价指标。

3.1 研究方法 采用德尔菲专家咨询法(Delphi Method)确立军队医学院校教学评价指标[4]。根据初步构建的指标形成了专家咨询问卷,对32名专家进行了4轮咨询。

3.2 研究结果

3.2.1 专家权威性调查 专家权威程度有2个决定因素:一是专家的判断依据,一般用Ca来表示,二是专家对指标的熟悉程度,一般用Cs来表示[5]。专家的权威程度(Cr)是判断依据(Ca)和熟悉程度(Cs)的算术平均值,计算公式如下:Cr=(Ca+Cs)/2。

本研究将熟悉程度等级分为:很熟悉、熟悉、一般、不熟悉,分别赋值1分、0.8分、0.6分、0.1分。判断依据Ca的等级分为:直觉、同行了解、理论分析、实践经验,分别赋值0.2分、0.4分、0.6分、0.8分。根据专家的熟悉程度和判断依据并运用上述计算公式得出专家的权威程度为0.782和0.821,第2、4轮专家权威程度明显高于第1、3轮。

3.2.2 专家咨询协调系数 当多个变量值以登记次序表示,可以用肯德尔和谐系数计算几个变量之间的一致性程度。计算公式为:

肯德尔和谐系数的取值范围为0~1之间,值越大表示协调度越高[6]。从表1的结果可以看出,各级指标和主要观测点的认同度较高,都在0.8以上。运用一致性检验对各级指标和主要观测点进行显著性检验,得到P值均小于0.01,差异有统计学意义。可见专家认同程度非常高,结果可靠。

表1 各级指标的和谐系数

3.2.3 专家赋值结果 前3轮专家赋值变异系数在0.100~0.350之间,存在0.30以上高变异系数,需要进行第4轮专家咨询。第4轮专家咨询的权重参考以第1轮专家咨询结果为依据,得到第4轮专家咨询的变异系数在0.000~0.157之间,信度较高(表2)。

表2 军队学历教育院校教学评价指标及权重

续表2 军队学历教育院校教学评价指标及权重

[1]毛乃佳,林凤.基于CIPP模型和柯式模型构建教师培训评估体系[J].北京教育学院学报,2010,24(4):15-17.

[2]Stufflebeam DL.The CIPP model for program evaluation.In Madaus GF,Scriven M,Stufflebeam DL,evaluation models:viewpoints on educational and human services evaluation[M].Boston:Kluwer Nijhof,1983.

[3]张建伟,阳盛益,刘国翰.基于CIPP模式的公共就业培训绩效评估指标分析[J].广西大学学报:哲学社会科学版,2011,33(3):121-124.

[4]陈英耀,倪明,胡献之,等.公立医疗机构公益性评价指标筛选——基于德尔菲专家咨询法[J].中国卫生政策研究,2012,5(1):6-10.

[5]顾媛媛,毕越英,张岚,等.运用Delphi法构建军队非现役文职护士职业成熟度的研究[J].护理管理杂志,2010,10(12):842-844.

[6]谈立峰,郝东平,孙樨陵,等.Delphi法在评价区域性大型活动公共卫生突发事件风险发生的可能性及后果中的应用[J].职业与健康,2012,28(10):1160-1164.

猜你喜欢
咨询专家程度
致谢审稿专家
计算机应用(2022年2期)2022-03-01 12:35:06
男女身高受欢迎程度表
意林(2021年2期)2021-02-08 08:32:47
咨询联盟大有可为
请叫我专家
专家面对面
断裂对油气富集程度的控制作用
断块油气田(2014年6期)2014-03-11 15:33:53
幸福的程度
环球时报(2012-03-21)2012-03-21 14:05:51
专家答疑
家庭医学(2009年2期)2009-02-25 03:13:10
健康咨询
祝您健康(1987年2期)1987-12-30 09:52:28
健康咨询
祝您健康(1986年4期)1986-12-30 09:52:18