八年制学生医学统计学考试试卷质量测评

徐　涛　姜晶梅　韩少梅　薛　芳　韩　伟

中国医学科学院基础医学研究所/北京协和医学院基础学院流行病及统计学系(100005)

医学统计学是现代医学科学教育课程体系中的重要组成部分。但是统计学的理论和方法大都建立在较为抽象的科学假设之上,计算量较大,与其他医学专业课程的理论体系差异较大[1],而且现代统计学的教学与计算机知识的关系密切,导致该门课程较难学也难教。为了增强学习的实用性,保证学生能在科研实践中能灵活地运用统计学知识,在经过数轮的教学改革后,现在的北京协和医学院的八年制学生在第五学年的第一学期学习医学统计学。医学统计学总学时为36学时,包括理论课28学时,统计软件实习6学时,考试2学时。课堂以理论讲授为主,采用多媒体教学,结合实用案例讨论和统计软件实习等多种教学方式。课程考试是对课堂教学进行测量和评价的重要手段[2],对考卷和考试效果进行评价和分析,可以发现试题本身的不足之处,也可以对教师的教学质量进行系统的评估,以利于促进教学改革。

本研究旨在运用教育测量学理论和教育统计学方法对北京协和医学院69名八年制医学生的医学统计学考试卷进行评价分析,以期总结课堂教学和考卷设计等方面的问题,为评定教学效果和教学质量奠定理论依据。

对象与方法

1.资料来源

本研究分析的试卷是北京协和医学院2011级八年制学生的《医学统计学》[3]期末考试试卷。试卷包括选择题、填空题、判断题、案例分析题和计算题。其中选择题为单选题,每题2分,共20分;填空题每空2分,共20分;判断题要求判断正误并对判断的理由进行合理的解释,每题3分,共21分;案例分析题共1题,9分;计算题共3题,每题10分,共30分。

2.试卷分析方法

采用EP l3.02软件建立数据库,进行数据录入与管理。为保证数据的准确性,由两个数据管理员独立进行双份录入并校对。录入完成后,按调查内容分类组织专人对数据进行再核查,根据统一的核查原则,将发现的可疑记录反馈,与原始表格核对。所有统计计算用SAS 9.2统计分析软件进行,统计检验用双侧检验,以P<0.05作为差异有统计学意义。定量资料以均数和标准差表示,分类变量用例数和百分数进行描述。用难度系数、区分度、信度(Cronbachα系数)和覆盖度等进行试卷质量分析。

结　　果

1.试卷基本情况和试卷成绩分析

(1)成绩分析

69名八年制学生参加医学统计学考试,平均成绩为80.4±8.4分,最低分60分,最高分93分,没有不及格的学生,总体成绩偏高。总分在60～69分者有9人,占13.0%;70～79分者有20人,占29.0%;80～89分者有30人,占43.5%;90分及以上者10人,占14.5%。

(2)失分情况分析

每位考生各题被扣分数分别相加,除以总人数,得出人均失分数,再将此数除以该题满分数,即为人均失分率[4]。统计表明,试题选择题平均失分3.0分,失分率为15.0%;填空题平均失分5.2分,失分率为26.0%;判断题平均失分5.4分,失分率为25.7%;案例分析题平均失分1.9分,失分率为20.7%;计算题平均失分4.2分,失分率为14.0%。总体来说,各类考题的失分率差别不大,填空题和判断题失分率略高,选择题和计算题失分率最低。

2.试卷质量分析

(1)试卷难度

难度系数(P)用来评价一份试卷的难易程度,是评价试卷质量的重要指标之一。一般用某题全部考生的平均得分率来衡量该题的难度,计算公式为:

一般认为,P<0.6为难题,0.6≤P<0.7为较难题,0.7≤P<0.8为中等难度题,0.8≤P<0.9为较易题,0.9≤P<1.0为易题[5-8]。

本试卷各类型题目的难度系数分布见表1,其中,难题占19.4%,较难题占3.2%,中等题占9.7%,较易题占25.8%,易题占41.9%。考卷的总体平均难度为0.80,说明本考题总体难度适中。考卷中有4个选择题的难度系数为1.0;难度系数最大的是1道填空题,达到0.17,全班只有12名同学得出了正确答案。

表1　试卷题型难度分析(道)

(2)试卷区分度

区分度(D)表明考卷对考生成绩的鉴别程度,是区分成绩好的学生和成绩差的学生的一种能力。区分度是反映学生掌握知识能力的重要指标。一般用高低分组法计算各题目的区分度,高分组在某题目上的得分率与低分组在该题目上的得分率之差作为区分度的指标,(高分组人数和低分组人数各占总人数的27%)[5-8],计算公式如下:

本文各类型题目的区分度分布情况见表2。31道考题中有17道考题(54.8%)的区分度优秀,另有19.3%的考题的区分度良好或尚可。

表2　试卷题型区分度分析(道)

有8道考题的区分度较差。总分的区分度为0.21,区分度尚可,表明该试卷基本满足试卷命题的要求。

(3)试卷信度

试卷的信度用于说明试卷的可靠性和稳定性,说明试卷测试结果是否代表考生的真实水平。常用Cronbach α系数来反映试卷的信度,一般认为信度系数小于0.7,可靠性偏低,信度系数在0.7以上时可靠性较好[9]。本试卷的Cronbach α系数为0.73,说明该试卷的信度较好,整体考试结果可以信赖,能够反映学生的真实能力。

4.试卷覆盖度

覆盖度是基于试卷的全面覆盖程度,通常用试卷中各题目的相关系数矩阵来表示,相关系数矩阵中各题目之间的相关系数数值越小,则各题目之间的交叉相关性越小,试卷覆盖的内容越全面,反之相关系数越大,则说明各题目反映的内容相关性越大,覆盖面越窄。一般来说,各相关系数都小于0.2为最好[10]。该试卷中选择题的4个题和填空题的1个题与多个其他题目的相关系数大于0.2,相关程度较高,其他26个题目的相关系数都小于0.2,表明该考卷的内容覆盖较全面,试卷有效性较高。

讨　　论

1.考试成绩分析和教学中可能存在的问题

69名八年制学生参加医学统计学考试,总体成绩较高。这与八年制的学生在大学一年级预科学习阶段的数理统计学学习中打下了一定的统计学理论基础有一定关系,使得其在选择题和计算题的失分率很低,当然也可能因为考题难度较小,考卷中没有涉及多元统计相关知识和统计软件操作。其实八年制学生虽然第一学年有过概率统计基础理论的学习,但是这些知识的理论性较强,实用性不足,而我们的应用性的医学统计学的学时数又较少,不足以教授学生更多应用性更强的知识。医学统计学学习不能只靠死记硬背,所以应该略增加一些学时,在学生学好基础理论以后,继续加强统计学软件教学,教授学生更多实用的多元统计分析方法和软件操作知识,以满足医学生能够灵活应用统计学软件来解决科研问题的需求,这样当他们在第七、八学年进行实际的科学研究时就能更加得心应手用统计学软件来解释医学实际问题。

2.试卷质量分析和试卷改善建议

难度和区分度是最重要的两个评价考卷质量的指标。本试卷的总体平均难度为0.80,说明总体难度适中。总分的区分度为0.21,区分度尚可。有研究认为,总体平均难度达到0.5以上,且总体区分度达到0.15以上的考卷,即为难度适中、区分度良好的考题[11],本考卷基本达到了这一要求。此外,这份考卷的信度和总体覆盖度都达到较好的水平。

但是从试卷的各个小题的难度、区分度和覆盖度分析结果来看,易题和较易题的比例较高,这可能和选择题难度太小有关系,而且选择题中有几个太容易的考题,几乎所有学生都能答对,导致这些考题的区分度偏低,这一方面说明八年制的学生的整体素质偏高,成绩较好,而且选择题有备选答案,学生在答题时难度往往较小,所以导致选择题的整体难度和区分度较差,但是总体来说,还是应该考虑学生的学习情况和对考试重点难点的掌握程度,适当增大中等难度考题所占的比例来进一步调整考卷的难度。

总之,这份考卷具有较好的区分度、信度和总体覆盖度,平均难度也适中,适于八年制医学生进行期末测评,当然其中也有部分考题的选择欠妥当,应进一步的调整。