临床课堂教学评估系统的有效性

赵峻#，徐源，潘慧，罗林枝*

(中国医学科学院 北京协和医学院 北京协和医院 1.教育处；2.胸外科，北京 100730)

教学评估(teaching evaluation)是持续改进并不断提高教学质量的必要手段[1]，它对于评估医学生对教学的感受、兴趣和要求，优化教学模式和理念[2]，提出改善方向具有重要的作用。在传统上，学生或教学管理部门对于课堂教学的质量评估多通过学期结束后的抽样问卷进行，在时效和准确度上都存在较多不足[3]。

为了改善传统的课堂教学评估体系，北京协和医院于2017年引入课堂教学评估系统，通过基于“浏览器/服务器”模式(Browser/Server, B/S)架构的评估系统，实现学生对老师的背对背评估，这种计算机评估系统与传统评估方式相比，在准确性与效率性上都有了实质性的提高。北京协和医学院也借助该系统实现对部分临床课程课堂质量的系统化监督。

在系统运行一年多之后，有必要对该系统的适用性和可靠性进行评估，可以保证课堂质量监督系统的可靠运行，对于评估系统中存在的问题及时进行调整，有助于及时发现问题，并进行改善。因此，本次所进行的研究与评估实际是对评估系统的检验，其目的在于确保评估系统的有效性。

1 课堂教学评估量表

为了对课堂教学质量进行监督，北京协和医院设计完成“北京协和医院课堂教学质量学生评估表”，该评估表分4个主要评估类别，即教学态度、教学内容、教学方法和教学效果，每个评估类别由若干条评估指标组成(表1)。

表1 北京协和医学院课堂教学质量学生评估表

通过对课堂教学进行上述结构化评估，协和医院初步建立了对课堂教学的质量监督体系。通过该评估系统，教学管理机构对各课程、任课教师的课堂授课质量实现了较为系统化的监督。在系统运行一年多的时间内，也积累了大量的课堂评估数据，对课堂授课改善提出了方向。

2 课堂评估系统的有效性检验

对于一个管理类信息系统而言，检验其有效性大致可从3个角度进行，分别是评估内容适用性、评估系统外因素以及评估结果应用。这3个角度都对评估系统的有效性产生重要影响(表2)。

表2 评估系统的有效性检验因素

在对评估系统可靠性的衡量上，基于表2中设计的有效性检验因素，设计相应的问卷，可以对系统有效性有一个较为全面和客观的评估。

3 课堂评估系统的有效性调查设计

根据北京协和医学院的实际情况，按照表2内容的指导，设计出一份针对课堂评估系统有效性的调查计划，这份调查由调查表、抽样调查、调查结果以及调查结论等所构成。

3.1 调查表

根据课堂评估系统的实际检验需求，设计的调查表如表3所示，从评估内容适用性、评估系统外因素、评估结果应用3个角度收集调查资料。

表3 课堂评估系统调查问卷设计构思及调查结果

3.2 抽样调查

选择实际使用过课堂评估系统的医学生发放问卷，并采用随机发放问卷形式。共发放问卷84份，回收有效问卷62份，问卷回收率73.9%，其中24份来自男生，38份来自女生。进一步分析表明，收回的有效问卷在随机发放的问卷中，其分布符合抽样调查的要求，能够代表受调查学生群体对于课堂评估系统的评估和认知。

3.3 调查结果

3.3.1 评估内容适用性: 大部分同学认为评价内容的数量偏多，可能会有一些不必要的问题，如对于中医课，几乎用不到英文教学，或者问题累赘冗长，或者问题的设置有重复。

大部分同学都认为课堂评估中，教学效果最重要，少数关注教学方法、教学内容、教学态度。

在评价指标上，近半的同学认为目前的评价指标基本能够全面反映不同课程授课老师的教学水平，也有相当一部分同学认为不太能够概括或者不够全面。

在对评价指标的理解上，大部分同学都基本能够理解或者完全理解每个评价指标对应的教学行为，但也有一小部分同学不太能够理解。

3.3.2 评估系统外因素: 在评教的影响上，绝大部分同学受到题目的影响，认为问题数目太多，大部分同学认为评教老师与授课老师经常不一致、老师对不上号。

当老师的某一优点较为突出时，一定数量的同学表示一定会忽略其他不足给老师高分，大部分同学表示有时候会忽略其他不足，而当老师的某一缺点较为突出时，只有少数同学认为一定会忽略其他优点给低分，大部分同学表示有时候会忽略其他优点。

在教学态度影响因素上，大部分同学表示完全不受任课老师要求严厉或宽松的影响。

3.3.3 评估结果应用:在对老师的影响方面，绝大部分同学反映老师对评教毫不在意，对评教结果毫无改变，但也有极少数的老师会采取一定的措施，或者改变考试难度、调整分数，或者降低课程考试要求，或者直接在课前课后谈评教，并示意学生打高分。

在对学生的影响方面中，学校规定未完成网上评教的同学不能查阅成绩，极大数量的同学表示不赞同这一规定，其中有小部分同学表示还会认真评教。

3.4 调查结论

3.4.1 课堂评估系统基本有效:学生群体对系统大多持正面态度，并能够认真对待课堂评估，在课堂评估的客观性态度上，也较为令人满意。

3.4.2 权重有待优化：课堂评估系统的权重设计中，教学效果权重占有16%，而学生群体则对其有约56%的重要性认知，这表明了在评估系统中，需要进行相应的调整，增加教学效果的评估。

3.4.3 管理待加强：在评估系统的使用中，问题数量与教师辨别是学生目前面临的主要问题，这也需要通过管理和技术的方法进行改善，例如优化评估问题本身，增加教师图片或者典型视频等。

3.4.4 配套待跟上：教师对课堂评估的重视程度不够，这是由于习惯，管理措施不到位，或是由于评估系统对教师能够提供的有价值信息偏少。但实际上，课堂评估能够给教师提供准确且客观的反馈，因此针对这一部分，还需要进一步的观察和改善。

4 结论

为了提高现有课堂评估系统的有效性，对其进行定期的检验评估是必要的。通过协和医学院本次的系统有效性检验评估，如调查结论所述，研究者发现了不少问题，而这些问题，在缺少有效性检验的情况下，很容易被忽视。

研究表明，对评估系统的有效性检验可以从评估内容适用性、评估系统外因素的影响以及评估结果应用3个角度进行，这3个角度可以反映出评估系统本身的有效性，并能够实际上改善评估系统的应用效果。现有评估系统基本有效，但在评估类别的权重设计以及评估内容的可辨别性上也有需要进行改善之处。

当然，调查研究也存在一些不足，例如未能全部采取结构化的量表，使得对评估系统的有效性调查未能获得最终的绝对值，因而不利于从纵向角度对评估系统进行跟踪式的质量管理，这也是在未来的定期检验中需要改善的地方。