基于国际经验的科技智库评价体系建设研究

2020-07-03 10:27王子丹
科技管理研究 2020年12期
关键词:智库专家评估

王子丹,袁 永

(广东省科技创新监测研究中心,广东广州 510033)

1 研究背景

科技智库是从事科技政策或科技创新相关问题研究,为政府、企业等提供科技决策咨询服务,影响科技创新政策制定的研究机构[1-3]。2015 年发布的《关于加强中国特色新型智库建设的意见》提出要把中国特色新型智库建设作为一项重大而紧迫的任务,大力加强智库建设。中国科技智库建设发展起步较晚,在党中央的支持下近几年得到快速发展,但总体实力仍较为薄弱。《全球智库报告2018》统计显示(如表1),在全球顶尖科技智库排行榜中,中国科技智库仅有4 家,比2017 年增加1 家,而美国有20 家、印度有7 家[4]。

表1 《全球智库报告》中部分国家全球顶尖科技智库数量

智库评价是对智库影响力、运行管理等情况进行定性和定量衡量,通过纵向和横向比较研究评估智库的发展状态。智库评价对智库的建设发展具有十分重要的意义:第一,智库评价能够促使智库进行自我审视和自主评价,了解自身发展存在的问题和局限,促进其不断调整和提高智库研究水平;第二,智库评价能够提升智库的关注度,帮助智库产品用户了解智库,使智库产品用户更容易找到符合自身需求的智库;第三,智库评价能够帮助智库资助者了解智库运营情况,智库作为非营利组织,其运行资金主要来自政府或社会捐赠,运营状况受资助者关注[5-7]。目前中国科技智库总体水平不高,加强科技智库评价有助于发现科技智库发展存在的问题,促进科技智库高质量发展。

2 国际科技智库评价模式及经验

多元化、多层次、多维度的评价指标是目前国际科技智库评价体系建设的普遍标准,但鉴于世界各国科技智库不同的发展背景,科技智库评价的发展状况也不尽相同。目前,国际科技智库评价主要包括以市场为主导、以政府为主导和以第三方为主导的评价模式(见表2)。

表2 国际科技智库评价主要模式

2.1 市场主导的科技智库评价模式——以美国为例

完善的市场经济体制是形成以市场为主导的智库评价体系的前提条件,这类评价模式更具有经济性,大部分注重智库排名,为政府和企业等决策者提供市场选择参考。美国智库评价体系是其中典型代表,市场对智库的判断是美国智库成功与否的关键,符合市场需求的智库更容易获得企业和政府部门的投资资金,进而扩大智库规模和影响力。在这种评价模式中,智库为了满足市场需求,会不断进行变革和创新[8]。其中知名度最高的是由美国宾夕法尼亚大学“智库与公民社会项目”(TTCSP)发布的《全球智库报告》[9]。TTCSP 设立于1989 年,致力于研究全球智库发展趋势及其对各国政府政策制定的影响力,自2007 年起开始持续发布《全球智库报告》,对全球智库进行排名、评选全球优秀智库,其中包括全球顶尖科技智库排行榜单。

(1)评价流程简介。《全球智库报告》采用定性分析法中的专家评议法,专家根据主观感觉和印象对科技智库进行评价,包括资源、产出、效应、影响力等4 个评价指标。在开展智库评价之前,TTCSP 先对全球智库进行调查研究,更新智库数据;随后,向个人或组织发送智库评价指标体系,希望得到改进建议;接着,由大约60 名暑期实习生参与数据更新,以确保本次调查包含所有提名智库。在确定了评价内容和主体之后,TTCSP 向全球专家发放问卷调查,这些专家既包括政府政策制定者、公共和私人智库捐助者、智库专家、大学教师,也包括行政管理人员和相关领域记者等[3]。TTCSP 对回收的有效调查问卷进行处理,根据专家的评价结果就全球智库进行分区域、分类排名,并发布评价报告。具体评价流程如图1 所示。

图1 《全球智库报告》智库评价流程

(2)评价特征分析。第一,重视影响力评价。美国的智库评价主要面向市场,智库影响力是其考评重点。《全球智库报告》特别设置“影响力指标”,以全球排名榜单形式呈现。第二,评价覆盖面广。《全球智库报告2017》对全球7 815 家智库进行评价,覆盖全球近200 个国家和地区。第三,专家来自各个领域,但未说明专家身份。TTCSP 称《全球智库报告2017》向全球超过6 500 家智库和7 500 位记者、公共和私人捐助者、政府政策制定者发放问卷调查,调查人数多、专业领域广,但并未说明这些专家的身份、组成比例和国家(地区)数量。第四,评价指标多为定性指标,主观偏见影响大,降低智库影响力测度准确性。《全球智库报告2017》评价体系包含两级评价指标,第二级指标均为定性指标,专家评价全凭自己的主观认识,容易受专家个人、地区、意识形态和学科偏见的影响。

2.2 政府主导的评价模式——以韩国为例

以政府为主导的评价模式是指由政府设立的智库评价机构开展对智库的评价工作。这类评价模式在亚洲国家比较常见,韩国智库评价即是典型的以政府为主导的评价模式。韩国智库以政府智库为主,由韩国经济·人文社会研究会(NRCS)统一协调管理和评估。

(1)评价体系和流程简介。韩国政府十分重视智库评价工作,法律明确规定了NRCS 智库评价工作的法定程序、评估制度、组织原则及评估的各项指标等。如图2 所示,韩国智库评价机构由国会、国务总理、企划财务部、NRCS 组成。NRCS 负责对智库进行评价,主要开展研究成果和经营状况两方面评估,其中智库解决政府应急对策研究能力和与政府部门的协作程度等是重要评估内容[10]。NRCS评估完成后将评价结果报送给国务总理和企划财务部:国务总理根据评价结果提出智库经营改革方案,并将评价结果报送国会,国会根据评价结果制定智库相关扶持和管理政策;企划财务部则将NRCS 报送的智库评价结果作为第二年预算审查和经营改革的依据[11]。作为智库评价工作的执行机构,NRCS设有企划评估委员会,专门负责评估计划的制定和评价结果的分析。评估分科委员会是企划评估委员会的内部常设机构,帮助理事会更好地开展智库评价工作。NCRS 在评估期间成立评估基准(制度)改进组和评估团等临时组织,对上一年度评估出现的问题进行改进,根据理事会意见确定评估标准,开展评估活动。

图2 韩国智库评价机构体系

智库评价工作分为评估准备阶段、评估阶段、报告修正阶段、报告提交阶段等4 个阶段,具体评价流程如图3 所示。在评估准备阶段,一般先由企划评估委员会制定智库评估计划,然后召开智库研讨会对评估计划进行说明,帮助智库理解智库报告书的编写要领。之后,需召开评估委员选拔会,选拔和确定评估委员。在确定了评估委员之后,召开评估团研讨会,帮助评估委员理解评估指标。最后,NRCS 向智库发送评估材料,并接收智库发送回的报告。进入评估阶段后,召开第一次评估团全体会议,商讨评估相关事项,之后便开始实际评估工作;形成评价结果后,召开第二次评估团全体会议进行讨论,最后形成评价结果报告书草案。报告修正阶段主要进行评价结果报告书的讨论和修改,并召开第三次评估团全体会议,确定智库评价结果。企划评估委员会理事会和评估分科委员会经讨论和审议后确定最终评价结果,并提交给国务总理和企划财务部。

图3 韩国智库评价流程

(2)评价体系特征分析。韩国智库评价体系主要有以下几方面特征:首先,研究成果和经营状况评价并重。NRCS 在开展智库评价的过程中,不仅关注智库研究成果的质量,参与政府政策制定的情况,还考察智库的经营领域和经营目标。第二,重视从选题到成果转化的全方位评价。韩国智库评价体系重视智库选题与政府政策需求的结合度,同时注重考察研究成果的政策转化率。第三,注重评价指标的标准化和统一化。NRCS 会根据需要设立协同创新课题,在开展评价工作时则采用同一标准对各个研究院的研究成果进行认定和评价,促进协同研究效果最大化。第四,注重国际化程度考核。韩国在智库评价时注重考察智库成果中国际合作成果所占比重,考核智库国际合作情况。

2.3 第三方主导的评价模式——以德国为例

以第三方为主导的评价模式主要表现为一些民间第三方机构发布的智库评价报告。与以市场为主导的评价模式不同的是,第三方机构多受政府委托,对智库开展监督和评价,为政府资助提供决策参考。德国智库的资金大部分来自政府,受到政府资助的智库需接受监督和评估,政府一般委托第三方机构对智库开展评价。如莱布尼茨协会是德国智库联合协会,拥有完善的评估标准体系和科学的评估流程,根据德国法律要求,政府授权莱布尼茨协会对获得国家资助的智库进行监督和评估[7]。德国智库评价多采取同行专家评审的方式,评价体系具有评价信息公开透明、定量评估和定性评估相结合、专家评估与决策表态相分离、通过评价促进智库发展等特点。

(1)评价信息公开透明。评价信息公开透明是德国智库评价的一大特色。公共财政资金资助是德国智库的重要资金来源,资助方和公众有权了解智库的运营情况,因此绝大多数智库及评估机构的官方网站提供智库评估细则、评估组成员组成、评估报告和建议等方面信息的查询。例如,德国科学委员会官方网站“出版物”一栏提供自1980 年至今该机构负责的智库评价详细资料查询;阿登纳基金会官方网站设有专门的“成效监督”栏目,对如何开展智库工作的成效监督进行详细介绍。

(2)定量和定性评估相结合。德国主要采取定量评估和定性评估相结合的原则开展智库评价工作,其中定性评估细则会根据不同的评估对象进行调整并定期更新。以莱布尼茨学会对德国全球及区域研究中心(GIGA)开展的智库评价工作为例,首先,GIGA 根据规定的格式上交书面评估材料;然后,专家委员会到访GIGA,开展为期两天的现场评估,与智库领导和工作人员展开座谈、听取智库合作方代表意见;接着,专家委员会综合各项指标拟定专家评估报告,评估指标既包括定量指标,如合作大学数量、发表的论文、专著、横向项目资金等,也包括定性分析,如该智库下属的4 家研究所的研究重点,与政府机构、国际组织和媒体的交流合作情况,主办杂志的学术影响力,人才培养等情况[12];最后,莱布尼茨理事会根据专家评估报告书作出智库评价结果的决策表态。见图4 所示。

图4 德国莱布尼茨学会智库评价流程

(3)专家评估与评审委员会决策相分离。德国智库评价遵循专家评估与决策表态相分离的原则。以德国科学委员会的评价体系为例,同行专家组成的评估小组不从决策角度对智库进行评价或对其未来发展进行表态,并且在专家评估结果公布之后,不能在接下去的评估过程中对评估结果进行修改。评估委员会在专家评估报告的基础上,结合评估委托方的建议进行最终决策。智库在评估委员会决策结果公布前,若对专家评估报告有疑义,可以提交申诉报告;如果专家评估与最终决策结果相背离,则需提前进行较大力度的论证。

(4)通过评价促进智库发展。德国不仅仅将智库评价当作是联邦财政制度要求的监督手段,更将评价作为战略决策的助推器,因此德国智库评价机构在公布评价报告的同时,会对智库的改革发展提出建议,并跟踪智库采取和实施建议的情况,使智库评价的过程成为促进智库良性发展的过程。为了强化智库评价的这一辅助性特征,阿登纳基金会评估部定期举办评估培训,可从其官方网站上获取“从评估中学习”的相关报告。

3 智库评价特点分析

3.1 智库评价模式与本国智库发展相适应

促进智库发展是开展智库评价的主要目的,世界各国开展智库评价注重与本国智库发展模式相适应:智库产品在美国属于流通产品,因而智库评价以市场为主导,评价结果为市场提供参考;韩国智库多为官方智库,运行的经费大部分来自政府,智库主要发挥为政府提供决策咨询的作用,自然而然形成以政府为主导的智库评价模式;日本智库与政府的关系十分紧密,智库评价以政府为主导,对于主要开展政府决策研究的智库,政府内部人员直接参与评价,行政色彩浓厚;德国和英国等国家的智库虽然有大量经费来自政府,但是坚持自主运营、以市场为导向,为与智库群体多元化发展相适应,同时确保智库评价的独立性和客观性,因此采取第三方为主导的评价模式。

3.2 主要采用专家评议的评价方法

大部分国际智库评价的指标体系既包含论文数量、专利数量、研究人员构成等定量指标,也包含智库影响力、声望等定性指标,定性指标难以量化评价,专家评议法是定性评价的优选办法,也是目前国际智库评价主要采用的方法。英国是最早采用专家评议法进行智库评价的国家,《前景》杂志主办的智库评价活动即采取专家评议的方法。德国马普学会、朗霍夫学会、赫尔姆霍兹协会、莱布尼茨协会等采用同行评议的方法对其下属智库开展评估工作,聘用的外部专家通过阅读数据报告材料和开展实地考察等方式对智库作出评价。《全球智库报告》面向全球专家发放调查问卷,根据专家的评价结果对智库进行排名。日本智库内设的评价委员会组成成员包括学术界专家。

3.3 定期组织开展智库评价

美国TTCSP 自2007 年起基本以每年1 期的频率对全球智库进行评选并发布《全球智库报告》。韩国NRCS 每年对其下属智库开展定期评价工作。德国马普学会对其下属智库进行每两年1 次的定期评价,在第2 次两年度评价时开展1 次同领域评价,即每6 年开展1 次同领域评价,国家系统评估则每5 年对马普学会整体开展评价[13]。定期组织开展智库评价能够督促智库出成果,但过于频繁的评价工作反倒会影响智库工作,使智库人员疲于应付评价。德国莱布尼茨协会采取较为灵活的智库评价周期,对其下属所有智库开展7 年定期评价,评价结果为优秀的,7 年后再评价,合格的,3 年后再评价,不合格的直接关闭。

4 对中国科技智库评价体系建设的启示建议

科技智库是智库的一个分支,具有独立性、非盈利性、主要提供决策咨询服务等智库共性特征,也具有专业性强、多学科化等特性。智库评价有助于资助方全面了解智库运营情况,同时能够帮助智库更清晰地了解自身发展问题,促进智库创新发展,而科学的智库评价体系是确保智库评价结果准确有效的前提条件。中国开展科技智库评价,需在借鉴国际智库评价的基础上,结合科技智库发展实际情况,建设符合中国科技智库发展需求的科技智库评价体系。

4.1 符合中国科技智库发展的评价模式

世界各国根据本国智库的发展情况形成了具有本国特色的评价模式。中国科技智库包括政府智库、高校智库和民间智库,大部分智库的经费来自政府资助,因此建议建立以第三方为主导的科技智库评价模式,以政府授权第三方机构开展科技智库评估的方式监督和促进科技智库发展,提高科技智库的资金有效利用率和研究成果的政策转化率,为政府财政拨款提供依据;同时,将以市场为主导的评价模式作为辅助发展模式,持续发布具有国际影响力的科技智库评价报告,为政府开展科技决策咨询工作提供选择参考,强化科技智库的竞争意识,促进其不断改革发展。

4.2 采用定量和定性相结合的评价方法

为更加科学、客观地反映科技智库的发展情况,科技智库评价指标的设定应坚持定量分析和定性分析相结合的原则:对于智库研究成果方面,选择可量化的评价指标,如论文发表数量、智库成果被批示的次数等;对于影响力等无法量化评价的方面,则采用定性评价的方法。如德国智库评价采取定量和定性评估相结合的方法,并根据不同的情况制定定性评价细则,建议借鉴德国经验,对于定性评价制定明确的评价细则、统一评价标准,使评价结果更具参考性。

4.3 建立综合评价指标体系

科技智库评价应充分考虑机构、团队、产品等多方面因素,建立包含基本指标、学术影响力指标、社会影响力指标的综合评价指标体系(如表3)。其中,基本指标包括智库机构组成、人才队伍构成、经费、承担科研项目、拥有的宣传平台情况等能够直接、简要地反映智库运营情况的指标。根据科技智库专业性强、多学科化的特性,在人才队伍构成上,应将智库人员的学科背景纳入考核评价指标。具备足够的理论研究基础是科技智库开展科学决策咨询服务工作的前提,因此,学术影响力是考核科技智库的重要指标;学术影响力指标除了对论文、专著等学术指标的考核,还应包括智库人员在大型科技政策研讨会上作报告或发言情况。科技智库的主要工作是影响科技决策,因此社会影响力是智库评价的重要内容。社会影响力最重要的内容是科技智库对科技政策制定和执行的影响力,包括智库成果被批示和采纳的情况、参与政府科技决策相关研究课题数量等;同时,社会影响力也包括同行对其认知和认可情况、接受媒体的采访情况等。

表3 中国科技智库评价指标体系

4.4 注重评价的科学性和透明性

我国科技智库的规模差异较大、种类层次繁多,既有专门从事科技政策研究工作的各级党政机关政策研究部门,也有中国科学技术发展战略研究院、中国科学院科技战略咨询研究院等科研院所智库,还有一些具有学科优势的高校智库,及阿里研究院、腾讯研究院等企业科技智库,这些科技智库的规模存在差异、研究侧重点也不同。以各级党政机关科技政策研究部门为例,中央科技智库和地方科技智库的规模、成果和影响力都不在一个层次上,难以进行比较。因此,在开展科技智库评价时,应避免将不同层次的科技智库放在同一标准下进行排名比较。此外,在选定评估组成员时,要合理布局专家结构,使评估专家涵盖政府科技政策制定者、科技智库专家、高校学者、科技创新人才等,并说明评估专家的权威性和分布的合理性;在评价结束后,应提供便捷的评价信息查询渠道,如在相关网站提供评价指标体系、评价细则、专家组成员构成、评价报告等信息查询。

4.5 将智库评价作为促进智库发展的重要手段

德国等发达国家的智库评价除了考察智库研究成果和运营情况,对政府资助资金进行有效监管之外,还将智库评价作为促进智库创新发展的重要手段,建议中国注重通过科技智库评价促进科技智库不断改革发展。一方面,将科技智库研究成果政策转化率作为科技智库评价的重要考核指标,促进科技智库研究紧跟国际科技前沿,为社会创新发展提供方向指引,提高科技智库研究成果质量和完成政府紧急任务的能力;另一方面,在发布科技智库评价报告的同时提出科技智库改革发展建议,并进行后期跟踪,了解科技智库的改革发展落实情况,促进科技智库改革发展。

猜你喜欢
智库专家评估
不同评估方法在T2DM心血管病风险评估中的应用
致谢审稿专家
第四代评估理论对我国学科评估的启示
民居智库
中政智库“五朵云”
中政智库“五朵云”
请叫我专家
专家面对面
智库能为我们做什么?
立法后评估:且行且尽善