线上线下不同教学模式下医学统计学考试的测评分析

徐 涛，姜晶梅，薛 芳，王子兴，韩 伟

中国医学科学院基础医学研究所 北京协和医学院基础学院 流行病与卫生统计学系，北京 100005

2020年春季学期开始时，国内正处于新型冠状病毒肺炎疫情的防控期间，而且国外疫情从4月份开始呈暴发态势，外来输入型病例对国内疫情防控造成很大威胁，为阻断疫情向校园蔓延，确保师生生命安全和身体健康，多数高校开展了网络线上教学模式[1-3]。北京协和医学院在整个2020年春季学期都开展了全面的线上教学模式，医学统计学课程的期末考试采用了线上开放式考试模式；2020年秋季学期采用了线上线下混合教学，医学统计学期末考试仍然采用了线上开放式考试模式；2021年春季学期采用了线下教学和线下闭卷考试模式。本研究旨在运用教育测量学理论和教育统计学方法，对3次连续学期的医学统计学考试进行区分度和难度评价分析，以发现和解决课程安排、线上线下教学模式和考题设计、测评方法等方面的问题，为评定教学效果和教学质量提供依据，也为不同教学模式和测评方法的合理应用提供支持。

对象和方法

对象北京协和医学院2020年春季学期、秋季学期和2021年春季学期选修医学统计学课程的研究生。

教学实施2020年春季学期采用线上教学和线上开放式考试模式。期末考试采用完全开放式测评，考试时间为2.5 h，考卷包括7个综合应用题和1个实验设计题，综合应用题要求学生对具体数据进行分析，分别测试其用SPSS软件对统计描述、t检验、卡方检验、置信区间、秩和检验、相关分析等基本分析方法的灵活应用，实验设计题要求学生对一个具体科研假设进行统计学设计。该学期共有98名学生选修统计学，包括基础班41名，临床班57名。

2020年秋季学期采用线上线下混合教学和线上开放式考试模式。期末考试仍采用完全开放式测评，但考试时间为2 h，考卷包括5个综合应用题和1个实验设计题，综合应用题要求学生对具体数据进行分析，分别测试其用SPSS软件对卡方检验、置信区间、秩和检验、相关分析等基本分析方法的灵活应用，实验设计题要求学生对一个具体科研假设进行统计学设计。该学期共有129名学生选修统计学，包括基础班64名，临床班65名。

2021年春季学期采用线下教学和线下考试模式。期末考试包括闭卷笔试和开卷软件操作考试两部分，笔试试卷包括选择题、填空题、案例分析题(20分)和计算题，软件操作考试为实例数据的SPSS软件分析，满分共100分。该学期共有86名学生选修统计学，包括基础班33名，临床班53名。

数据管理与分析采用EP 13.1软件编制数据录入程序，进行数据录入与管理。由2名数据管理员独立录入并校对。采用SAS 9.4软件进行统计分析，计量资料以均数±标准差表示，分类资料以例数表示。基础班和临床班平均成绩的比较采用t检验，3个学期平均成绩的比较采用方差分析，并用Student-Newman-Keuls(SNK)检验进行多重比较。统计检验用双侧检验，P<0.05为差异有统计学意义。

结 果

试卷成绩比较2020年春季学期、秋季学期和2021年春季学期期末考试的平均成绩分别为78.76±12.73、82.61±10.08、73.67±14.50，3个连续学期的平均成绩比较差异有统计学意义(F=13.731，P<0.001)。2020年春季学期、秋季学期基础班和临床班平均成绩比较差异无统计学意义(t=0.336，P=0.738；t=1.070，P=0.287)，而2021年春季学期基础班的平均成绩高于临床班，差异有统计学意义(t=2.400，P=0.019)(表1)。

表1 3次考试平均成绩比较

区分度分析2020年春季学期的线上教学和线上开放式考试的区分度分析结果显示，8道考题中有7道考题(87.5%)的区分度优秀(D均≥0.4)，只有应用3(t检验)的区分度一般尚可(D=0.26)，没有区分度差的考题。总分的区分度为0.38，总体区分度良好(表2)。

表2 线上教学和线上开放式考试的区分度分析

2020年秋季学期的线上线下混合教学和线上开放式考试的区分度分析结果显示，6道考题中只有3道考题(50%)的区分度优秀(D均≥0.4)，应用1(均数差的置信区间)的区分度良好(D=0.33)，应用5(率差的置信区间)的区分度一般尚可(D=0.26)，应用4(卡方检验)的区分度差(D=0.17)。总分的区分度为0.26，总体区分度一般(表3)。

表3 线上线下混合教学和线上开放式考试的区分度分析

2021年春季学期的线下教学和线下闭卷考试的区分度分析结果显示，填空题、案例分析题和综合应用题的区分度优秀(D均≥0.4)，计算题以及基础理论汇总的区分度良好(D=0.38；D=0.37)，选择题的区分度一般尚可(D=0.26)，没有区分度差的考题。总分的区分度为0.33，总体区分度良好(表4)。

表4 线下教学和线下考试的区分度分析

难度分析2020年春季学期的线上教学和线上开放式考试的难度系数分析结果显示，难题和较难题3道，中等难度题1道，较易题和易题共4道(50%)。考卷的总分难度系数为0.79，总体难度适中(表5)。

表5 线上教学和线上开放式考试的难度系数分析

2021年秋季学期的线上线下混合教学和线上开放式考试的难度系数分析结果显示，难题1道，中等难度题1道，较易题和易题共4道(66.7%)。考卷的总分难度系数为0.83，总体难度较容易(表6)。

表6 线上线下混合教学和线上开放式考试的难度系数分析

2021年春季学期的线下教学和线下考试的难度系数分析结果显示，案例分析为难题，填空题、综合应用题以及基础理论汇总为中等难度，计算题为较易题，选择题为易题。考卷的总分难度系数为0.74，总体难度适中(表7)。

表7 线下教学和线下考试的难度系数分析

讨 论

对2020年春季学期的线上教学和线上开放式考试模式、秋季学期的线上线下混合教学和线上开放式考试模式和2021年春季学期的线下教学和线下闭卷考试模式的3次医学统计学考试成绩进行分析发现，2020年秋季学期的基础班和临床班的平均成绩都略高于其他2个学期，2020年春季学期和2020年秋季学期2次开放式考试中，基础班和临床班的平均成绩差异无统计学意义。但是2021年春季学期线下考试，临床班的平均成绩显著低于基础班，可能原因有2个，首先，基础班成绩都在60分以上，而临床班有3名学生的考试成绩在40分以下；其次，2021年春季学期，疫情得到有效控制，各临床医院基本恢复了正常运行，临床专业研究生开始进行临床轮转，对于其基础理论课学习有一定影响。

对3个学期不同教学模式和不同测评方法进行区分度和难度分析发现，2020年春季学期第1次进行线上教学和线上开放式考试的总体区分度良好，各类考题中除t检验应用的区分度一般，其他题目的区分度都达到优秀，而且没有区分度差的考题。但是2020年秋季学期第2次进行线上开放式考试的总体区分度一般，只有50%考题的区分度优秀(D≥0.4)，有1/3考题的区分度一般或较差。分析原因可能是以下几个方面，首先，2020年春季学期是第1次进行开放式考试，虽然是开卷考试，但是同学们都是居家考试且有明确的时间限制，相互间不容易进行交流沟通；其次，这种考试方式在本校是首次采用，同学们无法提前从上几届同学处获得有效提示，所以此次考试的区分度比较好。2020年秋季学期进行线上线下混合教学，部分学生在教室上课，另一部分在线上同步直播，线上的同学只能看到PPT不能看到教室的黑板。同时，实施开放式考试时，同学们在学校宿舍、实验室等场所聚集在一起，可以一边考试一边进行沟通交流；而且由于是第2次进行开放式考试，很多同学在考试前已经从上一届同学处了解很多考试技巧甚至上次的考题，所以此次考试虽然去掉了第1次开放式考试中区分度最低的t检验应用和得分率最高的统计描述，但整体区分度仍然不高。从难度分析可见，第2次开放式考试整体难度偏易，除灵活多变的实验设计题外，其他综合应用题都偏容易。2021年春季学期线下考试的总体区分度良好，除选择题的区分度一般外，其他类型考题的区分度都优秀或良好，而且没有区分度差的考题；难度分析也可见，此次考试的整体难度适中，多数题型都是中等难度，难度太大和太容易的题目都较少，这可能与闭卷考试中对基础理论的考查更全面且对基础理论的掌握程度要求较高有关系。

作为线下常规教学的一种补充，线上教学模式也可以在医学统计学教学中发挥很好的辅助作用[10-12]。在线上教学模式逐步发展成常规教学形式的情况下，线上考试也将成为一种新型的考试模式。线上考试可分为闭卷考试和开放式考试两种。线上闭卷考试和线下闭卷考试在试题设计方面基本类似，只是电子试卷和纸质试卷的区别，但是线上闭卷考试只能在学校机房进行，或者在各自的独立考场利用双机位进行监场，执行难度较大。线上开放性考试由于其开放的性质，对于试题设计、考查内容和综合应用题的数据库都有较高要求，必须做到新颖独到，以保证同学们无法从上几届同学处获取考题相关信息。而且开放性考试也要尽量保证学生们能够做到独立答题，尽量控制好考题量和考试时间的衔接，使学生们没有多余时间交流答题甚至相互抄袭。

综上，本研究结果显示，线下闭卷考试区分度较好，可以很好地区分学习良好和略差的学生。两次线上考试的区分度差异较大，第1次线上开放式考试的区分度优于线下考试，但第2次线上开放式考试的区分度明显较差，说明在线上进行开放式考试测评时，需要对考试内容和考核方式进行更深入的调整，使之能够更好地反映学生们的学习状况。如果设计得当，线上考试也可达到难度适中而且区分度良好的效果。此外，需要进一步加强医学生对统计学软件综合应用的能力，使学生能灵活运用统计学知识解决医学科研中的实际问题。