黄纯美,方煕茹,廖雅琪,申啸笑,杨铭昊,朱娅君
(广州中医药大学: A.第一临床医学院,广东 广州 510405;B.广东中医药博物馆,广东 广州 510006)
研究生导师在师生关系中的主导地位和培养模式中的主导作用,决定了其在研究生教育中的独特优势和作用。导师的学术素养、视野和高度,对研究生培养的责任感、方式与方法,则决定研究生开展教育教学、科学研究、职业实践活动的成效以及成果的质量。研究生导师指导的问题一直是研究生教育理论与实践中常谈常新的话题。
绩效,从人力资源管理学角度,是指责任者在一定的资源、条件和环境下,完成工作任务的成绩和效率,是对预期目标实现程度及达成效率的衡量与反馈。只要有目标就有绩效管理。博士生导师的指导绩效,是指博士生在导师指导下,在攻读学位期间所取得的各项成果的总和,包括客观绩效和主观绩效。客观绩效指成果中可被量化、可客观评价的部分;主观绩效则是博士生所表现出的学习兴趣、职业素养、创新精神与能力的综合体现。因此,博士生导师的指导绩效水平实际上体现的是博士生培养质量的高低。评价博士生导师的指导绩效,是对导师的指导能力、教育质量和指导对象博士生的培养质量的双重评价,也是博士生教育与管理发展的必然趋势。
目前,学者对研究生导师指导绩效的系统研究非常之少。以“研究生导师”“绩效评价”为关键词在万方数据平台检索中仅获得2条符合条件的结果。且该研究[1-2]仅探索了指标体系的构建方法,并未有对运用该指标体系进行实际、具体的评价操作的实践报道。由于人才培养的目标定位受到研究生学位层次、学科水平、专业特点等因素的影响,导师指导的绩效评价在指标体系的构建与实施评价存在比较大的差异性,这也是导师指导绩效评价难以推广、落实绩效管理的原因之一。
因此,为进一步增强医学博士生导师指导的责任感、促使导师履行岗位职责、对导师指导的投入程度和产出质量做动态的管理和监控,本文试图以博士生培养质量为导向,以广州中医药大学第一临床医学院博士生导师指导绩效指标体系的构建和实施为例,探讨在医学院校开展博士生导师指导绩效评价的可行路径,并对绩效管理过程可能出现的若干问题提出了解决的思路。
(1)确定指标条目:文献整理与专家咨询
研究须建立在充分的文献整理基础上,通过文献梳理,凝炼博士生导师指导绩效的目标条目。检索工具为中国知网(CNKI),检索时间截点为2018年12月。检索将“研究生导师/绩效”设为“关键词”,符合条件的文献条目数为0;设为“主题词”,则获得相关文献132条,按相关度高低筛选出文献41篇。考虑本绩效评价是以医学博士人才培养质量为导向,对博士生导师指导绩效的评价可从导师自身学术水平、学科条件等转为评价其指导对象——博士生的培养质量上,因此又设置关键词“医学/博士生/培养质量”“博士生/培养/绩效评价”进行检索,分别获得7和10条相关文献,因此研究最终共纳入研究文献58条。对检索获得相关研究性论文进行阅读后列出对导师指导绩效、博士生培养质量评价的相关指标条目。
运用德尔菲法(Delphi Method)进行专家咨询。德尔菲法具有主观、定性的特点,可用于指标体系中条目的设立甚至指标权重的确定。主要实施程序为调查人员就某个主题向调查对象(专家)发出若干轮问卷调查,获取专家的意见乃至最大限度的达成共识。调查过程中专家均为匿名发表意见,保证了各专家意见的独立性,避免了集体决策时可能发生的权威控制的缺陷。
研究可选取专家若干人,专家人数的估算应以该研究所涉及的研究对象类型、研究专业范畴、研究所预期达到的深度和覆盖面为依据,一般不超过20人。本研究拟聘请咨询专家10人,涵括高等教育研究学者、资深研究生教育管理者、博士生导师代表。
集合专家意见后采用1~9比例标度法分别对每一级评价指标的相对重要性进行定性描述和量化评分,归纳并统一专家意见,确定评价指标条目。
(2)确定指标权重:层次分析法及问卷调查
层次分析法(analytical hierarchy process,AHP)来自系统工程学领域。该方法能有效处理复杂的决策问题,特别在处理存在不确定性和主观信息的情况时能综合运用定量与定性分析,评价事物的
系统性、层次性、逻辑性和准确性。层次分析法实施的具体过程包括构建层次结构模型、构建判断矩形、计算指标权重并进行一致性检验。
本研究在确定指标条目的基础上,运用层次分析法来计算确定一、二级指标的权重,三级指标的权重则基于问卷调查数据。
设计《关于构建博士生导师指导绩效评价指标体系的调查问卷》,问卷所设立的问题则基于专家咨询的结果,通过书面问卷、微信问卷、访谈笔记等方式对在岗博士生导师、在读全日制博士生及近3年毕业全日制博士生、博士生管理工作者做问卷调查,以获取各群体的意见,用于判定指标的重要性、一致性、合理性问题。按照各群体对各三级指标的重要性程度,采用Likert 李克特5级尺度法设定其权重,计算公式为:指标权重=该指标选择的人次*分值/所有指标总得分。调查发出问卷共180份,回收有效问卷151份,回收率为84%。
(3)构建绩效评价指标体系
在调查问卷基础上构建了医学博士生导师指导绩效指标体系,见表1。体系以医学博士生培养质量为导向,从全方位培养、全过程培养两个维度着手构建,包括A1~A5 5个一级指标,B1~B15 15个二级指标和C1~148 48个三级指标。其中,一、二级指标是导师评价的依据,三级指标是具体的数据采集点,根据问卷计算分值和权重来确定最终得分。
表1 医学博士生导师指导绩效指标体系
续表1
一级指标二级指标三级指标及权重博士生培养质量A50.26学位论文 B12 0.24学术成果B13 0.34社会满意度B14 0.28就业与发展B15 0.141.双盲评阅评价结果 C36 0.332.优秀博士学位论文培育项目资助或奖励情况 C37 0.313.相关学术不端情况 C38 0.361.发表SCI收录学术论文情况 C39 0.172.发表核心学术论文数量 C40 0.173.参与论著编写情况 C41 0.164.参与科研项目贡献度 C42 0.185.获得专利的级别和数量 C43 0.166.学术竞赛、学术会议获奖 C44 0.161.社会荣誉或表彰 C45 0.482.毕业后用人单位评价 C46 0.521.就业情况 C47 0.552.做博士后人数 C48 0.45
广州中医药大学是全国首批拥有博士学位授权点的高校,学位与研究生教育规模与质量同行领先,是广东省“211工程”重点建设高校和高水平大学重点学科建设单位,2017年入选国家首批“一流学科”建设高校。广州中医药大学第一临床医学院博士生教育规模在学校16个二级学院中首屈一指,承担了重要的博士学位点建设和博士生培养任务,目前建设有医学类博士学位授权二级学科专业19个,涵括大学全部的中医博士专业学位授权专业和57.89%的医学博士学位授权专业。在岗专职博士生导师57人,占全校的32.80%;近三年医学类毕业全日制博士生人数共147人,占当年全校的30.20%;目前在读医学类全日制博士生140人,占全校的28.75%。以上数据充分说明,本研究绩效评价对象的选取具有较好的代表性。以下是基于评价指标体系开展绩效评价的实施情况介绍。
(1)绩效评价标准操作流程
制定标准化操作流程(Standard Operation Procedure,SOP)用于指导和规范绩效评价的执行过程,对关键节点进行量化和细化,达到质量控制的目的。主要SOP包括确定评价实施目的、对象、频率、管理组织架构、实施过程中的通知动员、评价指标解读、评价流程介绍、数据采集途径与方法、定性与定量指标的标准化处理原则、评价意见反馈及处理流程等。
(2)纵横比较、“由点及面”延展评价模式
基于现有不同学科专业的学术平台、师资底蕴、培养条件等可比性差异以及不同学位类型博士生培养特点和诉求的差异,评价从纵向和横向两方面实施比较,即以各学科专业导师团队为对象的学科内纵向比较,和以各学科导师评价得分平均数为参数的学科间横向比较,从而实现“由点及面”的导师个人水平和学科导师团队水平评价。
(3)指标数据的标准化处理原则
评价体系的可操作性建立在各指标的可比较性基础之上,即要求各指标在相同的条件下可进行比较,这就需要明确各指标的标准化处理原则。体系中涵括了定性指标和定量指标,主观指标和客观指标。定性指标诸如“有无违纪或病人投诉情况”“有无学术不端情况”这类属于规范性的评价指标,其处理标准为“无”计满分,“有”计零分;主观指标诸如“学生感知效果”中下属3个三级指标“能力提升”则以“非常明显、明显、较明显、不明显”四级程度分别赋值;具备绝对水平评价条件的“教学或科研获奖”“学术兼职”“项目级别”“专利级别”等则按照院级、校级、市级、厅局级、省级、国家级分层级赋值;定量指标、客观指标则先根据数据获得学科导师团队的平均水平,以该平均水平为参照来考察各导师所能达到的水平高低。
(4)评价过程举析与结果
具体评价对象为中医临床基础、中医内科学、中医骨伤科学、中医妇科学、中医儿科学、中医五官科学、针灸推拿学、中西医结合临床、中药学共9个学科的在岗博士生导师,采集数据时间窗为2016年1月至2018年12月近3年。
学科内部导师纵向比较。纵向评价结果结合各类数据的标准化处理原则,以某学科专业导师评价情况举析说明。该学科专业博士生导师数6名,分别用a、b、c、d、e、f标记,以采集三级指标定性指标C2“有无违纪或投诉情况”、定量指标同时是相对水平评价指标的C9“学术论文发表情况”、绝对水平评价条件指标C10“教学或科研获奖”举析评价的过程,见图1和图2。
图1 某学科专业6名导师三级指标C2、C10评价情况 注:C2 “有”计0分,“无”计100分;C10院级-校级-厅局级-省级-国家级分别计60-70-80-90-100分。
图2 某学科专业6名导师发表学术论文、专著情况比较
如图1,C2、C10指标已标准量化,获得数据可直接纳入二级、一级指标计算。图2中C9指标经处理后已可以较为直观地比较得出与平均水平参照的相对水平情况,为使数据可计算则须进一步分级别赋值,即持平于平均水平为合格60分,高于平均水平按超出的百分比赋值,每超出10%加10分,上不封顶;低于平均水平则按不足的百分比赋值,每低于10%减10分。以此类推,逐层递进,按照一、二级指标权重计算获得最后得分。
学科间横向比较。横向比较以B13“学术成果”为例,横坐标为9个参评的学科专业,主纵坐标轴为各学科导师绩效评价的平均得分(按100分计),次纵坐标轴为各学科参评导师人数。如图所示,中医骨伤科学、中医内科学、中西医结合临床学科团队得分、参评人数均形成了3个数峰,体现三个学科导师团队平均绩效成绩较为优秀,学科导师队伍人员力量也较为雄厚;而中药学学科在人员力量薄弱的情况下,平均绩效反处在中等(第5)水平。由此,各学科绩效相对水平评价情况得以直观展现。
需要说明注意的是,为方便直观比较,图中将二级指标B13按总分100分计算,而该指标在评价体系中实际仅占0.23权重,因此,得分需要进一步纳入体系按权重再次计算。
图3 各学科专业绩效评价人数与平均得分情况
(1)诊断帮助式评价促进导师指导水平提升
从博士生导师方面来看,绩效评价体系系统地梳理了医学博士生培养环节,为导师的日常培养工作实施提供明确的抓手和靶点,帮助导师清楚了解到自身在本学科培养水平情况、培养存在的不足和问题,有助于导师针对性地改进指导方式、增强指导能力、提高指导水平。对于管理部门,则在明确绩效评价“诊断、帮助”目的的基础上,考察导师能否履行导师职责、教书育人,能否达到指导的基本要求而实施问责;考察了解导师个体情况和总体情况,准确把握和判断博士生培养的质量现状和影响因素,发现共性问题从而建章立制,激励优秀形成示范效应。两者作用形成系统性拉力强化导师队伍建设、促进导师指导水平提升。
(2)数据驱动实现跨行政部门合作的管理调控
博士生导师在身份上是教学医院的职工,其本职工作除了指导博士生进行课堂教学、临床教学(跟诊指导、查房指导、病例讨论等)、学术活动(学术讲座和报告、组内文献阅读和学术讨论等)、学位论文工作指导(学位论文开题、答辩等),还应参加门诊出诊和病房临床实践、学术会议和对外交流、科学研究以及各类申报和评比活动,其日常管理上涉及教育管理、人事、科研、医务等多部门。因此,在绩效评价的驱动下,推进了多部门的数据整理和资源整合,有利于全方位构建本单位研究生导师队伍建设和学科发展的大数据资源体系,更好地发挥研究生管理部门宏观调控和引导的作用。
(3)制度建设完善推动导师岗位的动态管理
绩效评价制度对导师考核管理制度、导师指导制度的完善和改进均有着重要的现实指导意义,极有益地补充了现行导师管理制度在遴选与培训、招生与资格认定、考核与淘汰、评价与激励等导师岗位动态管理中的缺陷和不足,有利于实现研究生教育主体对导师指导的过程管理和质量监控,有利于进一步增强导师指导的责任感,促使导师履行岗位职责。
(1)明确绩效管理的目标
惩罚、“扣分”绝不应是博士生导师指导绩效评价的目标,区分博士生导师指导水平差异也不是绩效管理的功能。本评价活动的目标是为了发现、确定影响指导绩效的障碍并找出克服的方法。对管理者与博士生导师而言,绩效管理应视为是一种改进博士生培养成效的工具,使得双方从中达成共识并共同努力提高博士生的培养质量。
(2)评价指标的选择
绩效评价不同于评优考核。由于博士生的指导具有个性化特点,不同性格、不同素质、不同水平的博士生其培养的难度、方式、质量目标不同,各导师培养博士生的过程中可能面临的问题、难题,需要解决的问题不同,导师指导的投入和努力未必能如实在学位论文、学术成果中得以体现,因此指导绩效的评价不能仅考虑博士生的学术水平,绝对的计分量化式评价也是不合适的。本研究采取定性与定量、主观与客观、绝对水平与相对水平多种指标有机结合的评价方式,通过指标的标准化、可比性处理,从而实现科学、合理的绩效评价。
(3)管理者的沟通与指导在绩效评价中的作用
绩效管理需要高绩效文化的支持,而其执行者则是管理者本身。梳理绩效评价的开展过程不难发现,博士生管理工作者不仅是评价的主体之一,更是整个评价工作的组织决策者、管理监督者。评价活动的顺利开展建立在一致的目标(博士生培养质量)和一致的利益(博士生培养成果)基础上,因此,组织管理者应做好与博士生导师的充分沟通、明确指导工作,以争取博士生导师的高度信任与理解。
(4)可能出现的偏倚及如何控制
对于研究可能出现的偏倚,比如研究对象因先入为主或思维定势等主观因素对信息准确性的影响、调查人员因专业领域、知识结构等客观因素对指标条目解读产生差异等,可采用以下方法来控制:
注意研究对象的代表性:本研究以在岗博士生导师、在读全日制博士生、博士生管理工作者为问卷调查研究对象,以在岗博士生导师为绩效评价对象,以“点”带“面”,涵括了绩效评价制度的研究者、实施者和被施加者,增强了研究的对象维度。
保证资料收集的客观性:在文献检索、专家咨询、问卷调查等资料收集的过程中,尽量收集客观指标,运用尽可能多的资料收集手段,尽可能地扩大调查范围。本研究根据检索工具客观收集和整理指标条目,运用德尔菲法如实集合专家意见,设计问卷调查时采用封闭式问题获取资料,采用书面问卷、微信问卷、访谈笔记等多种方式进行调查问卷,最大限度的保证获取资料的客观性。
保持严谨的科学态度:管理者应秉持公开、公正、如实、客观的态度来实施管理。包括设计科学的研究方案和技术路线,设计科学合理、逻辑统一的调查问卷,并对调查人员进行必要的技能培训和指标解读,统一调查标准与方法。
(5)绩效评价结果的处理与运用
应积极处理绩效评价的结果,比如以博士生培养质量为导向,进行教学资源的分配、学科发展规划,或用于指导开展研究生培养、管理模式和方法的研究。对于评价过程中反馈的指标体系存在的问题,则应如实记录并寻求改进和完善的方法。