国内外医学科研机构能力评估研究现状综述

2015-03-22 02:00,,,,
中华医学图书情报杂志 2015年4期
关键词:科研机构定量指标体系

,,,,

科研评估是科技管理的重要手段之一,近年来受到学术界和政府科技管理部门以及科研机构的广泛关注。但如何评价科研机构的科研能力,进而为科研优化布局、科研计划制定和科研项目选择等决策提供重要依据,仍然是长期困扰科技主管部门的一道难题。系统梳理国内外医学科研机构能力评估研究的历史与现状,对我国医学科研机构能力评估乃至医学科研事业的发展具有重要的启示和借鉴意义。

1 国外科研机构能力评估研究现状

科研评估是评估机构不断发展和评估制度不断完善的过程。19世纪的法国就已经有了评估雏形,20世纪20年代的美国也有过评估尝试,不过真正有规模的评估始于20世纪60年代的美国,在其带动下,许多发达国家兴起了评估的热潮[1]。

1.1 美国[2]

美国是对科研单位和大学开展科研能力评估较早的国家,它利用民间团体进行评估,主要方法包括以下6种。一是通过著作、专利及其被引情况评估,通常认为被引频次越高,价值越大;二是通过经济回报率评估,这种方法为衡量研究成果的价值提供了标准,但存在很多难题;三是专家评议,专家评议主观性较强,通常可采用适当的方式转化为量化标准进行评估;四是案例分析,了解制度、组织和技术因素对研究过程的作用,确定研究过程的重要成果;五是追溯性分析,一般由专家组或研究组进行;六是基准确定,由特定领域和相关领域的国际和国内学术和行业专家组根据可获得的定量和定性数据进行。

前两者属于定量方法,专家评议和案例分析属于定性方法,后两者属于半定量方法。近年来,评估活动以同行评议为主,然后是非定量的案例研究,纯定量方法使用较少。对基础性研究的评估通常进行同行评议,对一些大规模、有多种评估对象和目标的评估方案则需要综合运用多种评估工具和手段。

1.2 德国[3]

德国建立了比较完整的科学评估组织体系,包括联邦层面的科学顾问委员会、科研教育资助机构和大学与研究机构等。评估委员会一般根据科研机构研究工作的内容和性质,从以下5个方面评估其科研能力和水平。

一是对科研活动计划的定性评估。评估内容包括该机构科研计划的相关性及其重点是否明确、科研工作是否具有创新能力、科研计划中远期规划是否符合研究机构发展方向、与国内外同行科研能力比较是否有差距等。

二是对发表的论文与著作、组织会议、专利等科研产出进行量化评估。对从事不同学科的科研机构,评估侧重点不同。如对从事自然科学和医学研究的科研机构,着重评估其在学术杂志上发表的论文数量;对从事工程科学研究的科研机构,除评估其专业论文的数量外,还注重其申报专利的数量和工业产出的具体例子。

三是对科研活动的质量进行定性评估。评估内容包括该机构是否经常性地进行自查和外查、是否存在走过场现象、管理和监督机制是否完善、科研人员的素质和培养情况如何、科研人员在科研机构中的流动程度。此外,科研人员应邀到重要的国际学术会议上作学术报告以及举办重要的国内和国际学术会议也是重要的评估内容。

四是对科技合作活动进行评估。评估内容包括该机构与国内外高校或科研机构的合作情况、科研人员参与高校的教学和企业合作的程度、该机构派往或为其他高校和单位选派或受聘的教授或领导的情况、科研人员在国外科研机构学术逗留情况、科研人员在重要学术团体或国际组织任职状况等。

五是对科研成果应用进行评估,主要是针对基础研究或应用基础研究机构。评估内容包括科研成果和技术转让的能力、申请知识产权保护和专利的状况、创建独立的创新企业、通过委托研究或合同研究项目所获取的科研经费比例、“独立门户”创业人员的状况。

1.3 英国[4]

英国没有国家科学院,大学是主要科研机构。1986-2001年英格兰高等教育拨款委员会、苏格兰高等教育拨款委员会、威尔士高等教育拨款委员会和北爱尔兰教育部联合组织,对高等学校进行了5次科研评估。

在评估中,划分出学科领域,对某一学科的评估方式完全由该学科评估专家组确定,建立明确的指标体系和定量计算公式,也可能制定原则性的评估标准,具体得分则由评估组专家审查,集体讨论决定。具体指标包括研究人员的详细情况、本学科研究成果状况(艺术与人文学科6年间有代表性的研究成果;其他学科4年间有代表性的研究成果(一般必须不少于4项))、参与科研活动的研究生人数和授予学位人数、享受科研奖学金的人数、得到的政府研究资助额度和合同研究收入情况。

1.4 日本[5]

日本20世纪90年代成立了针对医院科研能力的第三方评估机构。日本医疗机构评估工作旨在从学术的、中立的立场对医疗机构的科研能力进行多方面、具体、定量的评估,并根据评价结果,接受相应机构的咨询,给予指导。评估指标包括研究机构历年的研究经费、研究机构研究经费的分项支出、研究机构不同类别的经费、研究机构历年的研究人数、研究机构各类专业研究人员数。

2 我国医学科研机构能力评估研究发展历程

2.1 医学科研机构评估探索阶段

1981年,程少民等[6]提出了应加强研究所的科技统计工作,主要内容包括承担科研课题情况、科研计划执行情况、科研成果情况、人员情况、科技人员培训情况、经费统计、科研物资统计、学术活动与国内外学术交流情况、图书情报及刊物出版情况、所属工厂情况和基本建设情况,并设计了详细的统计表。这可以看作是我国科研机构评估的雏形,为科研机构的评估实践迈出了开创性的一步。

1983年,徐荣成[7]首次探讨了科学研究机构绩效的综合评价理论和方法,提出对科研单位的管理,特别是应用研究与发展研究机构的管理,首先应对其科研活动的成绩与效率有一个定量的评价方法,才能通过纵横的比较,促进科研机构加强计划、提高效率、推动科技事业的发展。

1986年,陈文荣等[8]提出了“用定性与定量相结合,以定量为主”的方法对研究所地进行考核评价,并采用以贡献为主、有内在联系的多因素综合评价指标体系与权重分配相结合的计算方法。该评价体系包括课题、成果、效益及效率、人才4个一级指标,16个二级指标(表1),并对沈阳、大连、鞍山三地18个不同规模和不同类型的研究所1983-1984年科研活动的绩效进行了模拟评估,将具体指标值转化为当量数,从而在原则上满足了可比性的要求,达到了当时较高的水平。

表1 1986年研究所科研活动绩效评估二级指标体系

2.2 医学科研机构评估起步阶段

1986年,中国协和医科大学[9]结合医药卫生科学的特点,提出了医药卫生科学研究所的评价指标体系,包括科研能力、科研成果、人才、科研管理水平4个一级指标和21个二级指标(表2)。

1991年,中华医学会[10]在全国范围内进行了较大规模的评估研究,采用投入——活动——产出评估模型,建立了三级指标体系,共72项操作指标,对全国505个省级以上医学科研机构进行了科研能力综合评估,明确了开展医学科研机构能力评估的基本思路和方法,是机构评估理论在医学领域的一次成功实践。此后,有关医学机构科研能力评估的论著不断出现,逐步形成了一定体系。

1998年,中国医科大学[11]运用上述评估模型和指标体系,从72项指标中筛选出30项指标,对146个全国直属(包括中国医学科学院和中国预防医学科学院)以及省直属独立性医学科研机构的科研能力进行了综合评估(表3)。该简化指标体系能较全面地反映原指标体系的信息,便于质量控制、追踪观察,其自身回代符合率达100%。

表2 医药卫生科学研究所能力评估二级指标体系

表3 全国独立性医学科研机构科研能力评估二级指标体系

2.3 医学科研机构评估发展阶段

2000年,济南军区军事医学研究所[12]通过对山东省全部(40个)独立医学科研机构1991-1998年度的科技活动进行问卷调查,评估科研机构的科技实力。运用投入——活动——产出评估模型,建立了三级指标体系(表4)。

表4 山东省独立性医学科研机构科研能力评估二级指标体系

2000年,兰州医学高等专科学校[13]进行军队卫生机构科研实力评估,构建了军队卫生机构科研实力评估三级指标体系。

该指标体系将卫生机构科研实力划分为科研管理、科研成果、科技人才、科研环境4个方面,构建了22项二级指标和88项三级指标(表5)。

表5 军队卫生机构科研实力评估指标体系(三级指标略)

注:括号内的数字为三级指标项数

2006年,上海交通大学附属第六人民医院[14]运用投入——产出模型,建立了二级指标体系(表6),评估本院2个研究所和14个研究室的工作绩效。

表6 综合性医院研究机构工作绩效评估二级指标体系

2013年,广东省医学学术交流中心[15]构建了医疗卫生行业(包括医院、卫生防疫机构、药企、科研机构等)科技创新能力评价指标体系,包括6个一级指标,22个二级指标和41个三级指标及相应的权重系数(表7)。

表7 医疗卫生行业科技创新评价指标体系(三级指标略)

注:括号内的数字为三级指标项数

2014年,四川省医学情报研究所[16]构建了四川省医院科技能力评价指标体系(表8),并对54家医院进行了实证研究。

表8 四川省医院科技能力评价指标体系(三级指标略)

注:括号内的数字为三级指标项数

3 启示与思考

3.1 国内外科研机构能力评估特点分析

国外科研机构能力评估起步早,评估方法多样,秉承定性与定量评估相结合的理念,定性评估以同行评议为主,重视同行专家的意见,更强调以认可标准为基本尺度。他们认为科研机构的经费获得能力很大程度上代表了该机构的科研能力,采用20-30个指标进行评估会使全部或大部分信息得不到良好反馈[8]。因此,通常选取6-8个指标,以经费获取、人力状况和科研成果为核心指标。

我国科研机构能力评估起步晚、发展快,在借鉴国外评估经验做法的基础上,形成了定性与定量相结合、以定量为主的评估理念,在系统论的指导下把科研机构视为一个黑箱,然后从系统的输入与输出来评估其功能和效率。创立了经典的投入——活动——产出评估模型,构建了三级有内在联系的多因素综合评估指标体系,采用了指标体系与权重分配相结合的计算方法。指标选择系统全面,除考虑经费、人才和成果外,还考虑科研条件、基础设施等,通常数量较多,少则20-30个,多则80-90个。

3.2 我国医学科研机构能力评估现状

近些年,我国医学科研机构的能力评估在科研机构能力评估的实践基础上,更多地考虑到医学机构种类的复杂性和学科的多样性,越来越多地侧重于科技创新能力的评价,形成了独具医学机构特色的评估方法和理念。

在指标体系构建上,通常以投入——活动——产出评估模型为核心建立三级指标体系,并综合运用层次分析法(AHP)、熵权法等定量方法设置权重,同时针对医学机构的特点进行分级分类评估,使之更具科学性和可比性。

在指标设置上,科研产出相关的论文和专著情况涉及指标多且权重系数相对较高。

杨春华等[17]对生物医学著作学术影响力进行了实证研究,肯定了学术专著的社会效益和学术价值;杨兆弘[18]探讨了学术论文与科研评价的关系,提出了应打破单纯追求论文数量的学术评价机制。2013年底,PubMed/MEDLINE推出一个类似论坛的新功能PubMed Commons,实名会员可对PubMed收录的出版物进行开放评论,打破了以往同行评议的局限,达到了学术共同体共同对学术论文进行评价的效果,引发了同行评议的革命[19]。

3.3 对医学科研机构能力评估的启示

评估医学科研机构在量上的差异,首先要考虑它们质的一致性,因此指标选择必须反映评估对象的共同属性;其次要考虑差异性,指标选择又必须体现评估对象的个性特征。从各机构本身的性质和任务看,不仅有以从事基础研究为主的专职机构,还有兼职机构,如医学教学机构、临床机构、疾病预防控制机构等;从所涉学科看,更是从基础医学到临床医学再到预防医学、康复医学,包罗万象、千差万别。不过差别是永远存在的,评估必须以承认差别为前提,而且评估的目的就是要评出差别,对差别进行分析,区别对待,分类指导,有的放矢才能百发百中。

猜你喜欢
科研机构定量指标体系
2022城市商业魅力指标体系
吉林省加快发展新型科研机构的综合思考
多重荧光定量PCR法同时定量检测4种混合熟肉种源
显微定量法鉴别林下山参和园参
逆行者的武汉
网络空间攻防对联合作战体系支援度评估指标体系构建
当归和欧当归的定性与定量鉴别
10 种中药制剂中柴胡的定量测定
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探