段茗玉 陈燕敏 夏嘉阳 周 栩 刘 玮
教育评估作为教育质量控制的重要方式,是一个复杂的多目标评价问题,这种复杂的评估活动需要建立多层次的科学合理的评估指标体系。指标体系设定方法中较为常见的是专家咨询法(Delphi法)。在前期研究中,笔者收集了12位专家意见,已经基本修订了原有指标,形成了7个一级指标和23个二级指标。前期研究中也发现[1],现有指标权重凭借经验主观设置,缺乏科学依据,导致部分关键指标并没有在权重上体现出来,对教学评估引导作用不足。因此,本研究采用科学方法重新计算各指标权重。确定指标权重的方法有很多种,例如层次分析法、相关系数法、因子分析法、权值因子判断表法等[2]。权值因子判断表法是用于在企业绩效考核评价中计算关键考核指标权重的方法,在绩效考核权重测算也已经有一些研究[3-5],本研究认为教学评估可以采用此方法进行测算权重。
本研究邀请了15位专家,分别来自上海交通大学医学院、上海交通大学医学院附属临床医院、南京医科大学的教学管理专家、教学督导专家和临床科室主任,回收有效问卷11份。根据权值因子判断表法的计算原则,计算每项指标11位专家的总得分、每项指标总得分占所有指标总分的百分比例,经过四舍五入校正权重。为方便与医院之前的考评体系分制一致,最后将百分制调整为150分制。
权值因子判断表法指由评价人员组成评价的专家组,由专家组制定和填写权值因子判断表,然后对各位专家所填权值因子判断表来确定权重值的方法。
一级指标包括本科教学、研究生教学、住院(专科)医师规范化培训、继续医学教育、教学成果、教学管理、教学特色。校正后,本科教学、住院(专科)医师规范化培训、教学管理、教学特色分别占15%,其次是研究生教学和教学成果各占14%,再次是继续医学教育占12%。详见表1。
2.2.1 本科教学指标权重测算。本科教学指标包含师资、平台、学生成绩、教学工作量,指标测算如表2,最重要的指标为师资,其次是教学工作量、学生成绩、平台。
2.2.2 研究生教学指标权重测算。该指标中最重要的是导师学术水平,其次是导师培养学生质量,再次是导师培养学生数量,相对而言,导师数量考核比重最低。详见表3。
表1 教学评估一级指标权重测算结果
表2 本科教学评估指标权重测算结果
表3 研究生教学评估指标权重测算结果
2.2.3 住院(专科)医师规范化培训指标权重测算。规范化培训指标考核基地资质、基地规模、过程管理和培训效果,培训效果考核比重最大,其次是过程管理、基地资质,基地规模比重最低。详见表4。
表4 住院(专科)医师规范化培训教学评估指标权重测算结果
2.2.4 继续医学教育指标权重测算。继续医学教育工作考核内容包括培养进修学员数、验分达标率、国家级学习班数量,其中国家级学习班数量考核比重最大,培养进修学员数考核比重最小。详见表5。
表5 继续医学教育教学评估指标权重测算结果
2.2.5 教学成果指标权重测算。教学成果考核内容包括教学改革和课程、教学课题、教学论文和教学荣誉,4者考核指标权重相当,差异不大。详见表6。
表6 教学成果评估指标权重测算结果
2.2.6 教学管理指标权重测算。教学管理指标考核过程管理,包括教学文档、定期组织教学会议、教学督导和评教、信息化平台建设,教学督导和评教考核比重最大,其次为信息化平台建设、定期组织教学会议,教学文档考核比重最小。详见表7。
表7 教学成果评估指标权重测算结果
表8 高校附属公立医院教学评价指标体系(150分制)
综合以上计算,将所有指标权重转换为150分制,经过测算得到结果(表8),即新的教学指标体系。通过权重测算可以看到,教学评估关键一级指标为:本科教学、规范化培训、教学管理和教学特色。本科教学二级指标中关键指标为师资,研究生教学关键指标为导师学术水平,住院(专科)医师规范化培训关键指标为培训效果,继续医学教育关键指标是主办国家级继续教育学习班数量,教学管理考核中教学督导和评教是关键考评指标。