张金虎 何亚萍 朱敏佳 聂莉 岳利民
(四川大学华西基础医学与法医学院生理学教研室,四川 成都 610041)
生理学是医药专业的公共基础课,课程教学质量直接关系到相关专业学生的培养,必须重视其试题质量,做好题库建设。人民卫生出版社组织编写了一个面向全国的医学教育题库[1],为检测其生理学试题质量,题库方指定了60道生理学A型选择题用于四川大学2017秋季期末考试(客观题部分)。
试卷质量指标包括信度和效度,试题分析则有难度和区分度指标。A型选择题在题库中所占比例很大,其试题质量要求也高,并且有专门的选项分析,即通过统计备选答案实际频数,筛查出存在选项异常的试题。如某干扰选项频数接近0时,说明此选项迷惑性差;某干扰选项频数接近或高于参考答案时,提示题干描述不清晰导致可以双选、或者是相应知识点讲授存在问题。这些需进一步查看原题,分析具体原因[2]。
为此,就上述试题考试结果进行分析,为今后题库的建设、维护,以及课堂教学的改进提供参考。
考试对象为2016级基础医学、临床医学(五年制)和口腔医学专业的学生,共计474人。五选一的A型选择题,每题1分。机读答题卡并人工校对,输出个人总分和每个小题实际选项的Excel表。
采用Excel2010,将机读结果用逻辑函数自动转换为0/1计分。采用KR21公式计算库-李信度[2]。用分类计数函数统计各题备选答案的频数及高分组和低分组分布,对于备选答案频数异常的试题,查看原题后再作相应处理。
套用函数“=IF(ISERROR(FIND(“Y”,Z)),0,1)”,在Excel中可将答案自动转换为相应得分。其中Y为某题正确答案序号,Z为考生所在单元格代码。
Excel中求出总成绩及各小题平均分、标准差,发现3名学生总分与机读后人工核对的成绩相差±1分,经查看答题卡确认更改,由此完成了分数核查。
由于均为0/1计分题,其平均分实为通过率(即难度)0.828,高于题库方预估难度0.600,本套A型选择题对于这部分学生来说难度不大。
这3个专业2013~2016年度四选一的A型选择题平均难度0.788。由于选项数不相同,需要预先作难度校正后再比较[2]。经校正,本次试题难度为0.785,前4年平均难度校正值为0.718。
Excel中可直接将总成绩的平均分和标准差代入KR21公式,计算出库-李信度值为0.863,与SPSS得出的Cronbach′s α值0.860非常接近。各小题得分一致性好,测验的信度较高,考试结果可靠。
用COUNTIF函数、并使用通配符“*”可便捷地统计出各题备选答案频数。结果有8道题选项设计合理(各干扰项比例为2%~22%,正确选项比例50%~70%),试题制作质量优良。另有9道题仅某一干扰选项频率在1%~2%,试题质量较好。
第19、21、28、40题等共计12道题存在某些干扰选项频数为0的情况,其中第40题全部干扰项均不足1%。第58题比较特殊,除干扰选项E频数为0外,参考答案A和干扰项D的频数比为221:211,在高分组相差稍大(75:44)。这12道题需查看原题,再给出参考意见。
经查看原题,第28题考察阈刺激知识,备选项中仅正确答案出现关键字“阈”;第21题与之类似。这类题可适当增大干扰选项的迷惑性。第19题正确选项的描述超过20字,而各干扰项用词均不足10个字,不排除对作答者产生了一定的暗示,需要降低两者句式的差异程度。
第58题题干为“平原地区的正常人到高原后呼吸运动增强的原因”,正确答案A为“低氧血症”,干扰选项D为“低氧血症合并高碳酸血症”。此试题题干和选项均无问题,而不少学生未能选择正确答案,暴露其相关知识点掌握不好的问题,今后在相关章节的教学中应着重讲解。
第40题等其余9道题是因为相关知识点属大纲重点要求内容,学生普遍掌握较好致正确率偏高。这类题不能轻易删减,但也不宜大量出现在同一套试题中,否则对试卷难度和区分度影响较大[3]。
选项分析要比较高分组与低分组差异,实际上就分析了区分度。区分度为0.273,区分能力一般。
本科课程考试属于标准参照考试,应具备较高的内容效度(对教学大纲的覆盖程度)和信度;主要考察学生是否达到教学大纲的要求,对难度和区分度要求不高,难度0.5~0.8,区分度>0.2即可[4]。
题库方在选择试题时已按掌握、熟悉和了解3档要求对各章节全面覆盖以确保内容效度。信度反映测验的可靠程度,全国性题库通常要求信度>0.8;由于客观题可猜测答案致信度变小,其信度要求会适当降低[2]。本次信度为0.860,试题整体可靠性好。
通过选项分析筛查,并进一步对照试题题干描述和选项设置,绝大部分试题都符合要求,仅有3道题在备选答案设计上待改进,这样也可提升难度和区分度。总体上,该套A型选择题制作质量较高。
本次考试反映出这部分学生的生理学知识普遍掌握较好,课堂教学质量较高;分析结果也有望为今后该题库在维护和组题时提供参考[5]。另外,通过选项分析也发现学生在个别知识点存在普遍的错误认识,今后应重点强化。当然,根据以往的教学经验,这3个专业的学生成绩整体上要好于其它专业,若此套A型选择题用于检测其它专业学生,试题质量指标(尤其是难度和区分度)会有一定变化。
SPSS在试卷分析使用较广泛,如连续计分题的α信度分析等[6]。而以全或无方式计分的客观题采用KR21公式计算信度,仅需总分的平均值和标准差,计算非常便捷。本例中读卡输出的选项结果超过2.8万个,SPSS无法自动将选项转换为试题得分,不支持库-李公式,也不能使用通配符处理单元格字符前后存在的空格,例如机读输出的“C”和“C”(表示空格)将被SPSS当成两种情况来计数,实用性不好。采用Excel对A型选择题机读结果进行得分转换并作选项分析,方法简便、实用。