科普图书类项目评价指标体系及应用研究

王 新，王海芸，陶晓丽

北京决策咨询中心，北京 100089

科普图书类项目评价指标体系及应用研究

王 新，王海芸，陶晓丽

北京决策咨询中心，北京 100089

本文立足于科普图书类项目实施情况评估工作，提出科普图书类项目评价指标的构建原则、方法，评价标准设定的原则与方法，以及评价指标设置的权重问题等。通过对北京地区某社会征集科普图书类资助项目的实施情况进行总结性评估研究，发现科普图书类资助项目实施情况整体较好，但也存在部分资助项目实施较差现象，特别是资助方向上存在重引进翻译、重市场等情况，针对这些评估结果和发现，就如何进一步提升科普图书类资助项目的实施效果提出对策建议。

科普图书；项目评价；指标体系

对科普工作进行公正客观的评价是科普工作的重要环节，是增强科普工作效果的重要方法，是进一步开展科普工作的重要依据。科普项目监测与评估具有重要的评价功能、激励功能、导向作用和指导作用[1]，通过评估总结，不仅可以让组织者、实施者能够客观的看到存在的不足和问题，引导并指导他们在将来组织开展科普实践活动中改进工作，提高科普活动项目的组织效率和科普效果，同时也是科学评价财政支出绩效，提高财政资金使用效益的有效途径[2]。

目前，我国多个省市开展了科普图书社会征集类专项资助工作，但由于缺乏一套较好的评价指标体系，组织者、实施者以及社会公众对于科普图书社会征集专项的具体实施情况并不清楚。本文立足于科普图书类项目实施情况评估工作，建立一套针对科普图书类项目的评价指标体系，通过对北京地区某社会征集科普图书类资助项目实施情况进行评估研究，提出科普图书类资助项目存在的问题和对策建议，为进一步提升社会征集科普资助专项的科普效果提供参考借鉴。

1 科普图书类项目评价指标构建的原则和方法

科学设计科普项目评估的指标体系是科普活动评估工作极为关键的一环，也是一项科学性极强的研究性工作。科普图书类项目作为科普活动项目的一种，评估指标的选择同样需要遵循可测性、完备性、可行性和导向性等一些基本原则和标准[3]。但是，由于科普实践活动项目的功效具有发散性，评估角度的多样性，科普目标人群不固定，以及受益对象获益来源的多方位等因素[4]，指标选取还要采取定量分析与定性分析相结合的原则，定性分析中尤其重视专家的作用，需要多方面的专家进行合作评估才能使结果更趋合理。

具体方法是先通过文献检索，收集相关数据，并根据数据可获得的情况和获得数据以后的指标相关性分析，删除那些数据不易获得和存在强相关的指标，设立初步的评估指标体系。然后，通过专家座谈、研讨、函询、实地调查等方式修改、优化和调整一些具体的指标，最终确定选用哪些评估指标。

2 科普图书类项目评价指标的具体分类

依据上述指标体系设立的原则和方法，以及科普图书社会征集类项目的现状和特点，同时参考了已有的相关研究文献，我们设计出了“科普图书类项目评价指标体系”（见表1）。本指标体系一共包含一级指标4个，分别按照项目基础、项目管理、项目产出、项目绩效四个方面进行设计。

一是项目基础指标。项目基础指标反映的是项目承担人员和承担单位保障项目研究顺利开展的基础条件。二级指标重点针对项目承担人员和承担单位进行考察，主要包括承担人员、承担单位是否具有一定的科普创作或编译的能力和经验，以及单位提供相关配套资金的能力。

二是项目管理指标。项目管理指标反映的是项目开展的必要性和开展过程中管理的有效性[5]。二级指标主要针对项目组织研究过程中管理是否规范、目标完成程度是否符合预期进行考察。具体内容包括项目是否按照计划实施，无变更备案申请；管理过程科学规范，经费使用无问题；按时进行中期评估和结题验收；项目完成进度和质量达到预期考核要求。

三是项目产出指标。项目产出指标反映的是项目本身开展研究的直接价值体现，由于此类项目产出形式是科普图书，鉴于本次评估侧重效果评估，项目产出的指标以产出质量为主要评价内容。借鉴科技部“2014年全国优秀科普作品”推选标准，二级指标主要按照科普作品的科学性、创新性、可读性三个方面进行考察，具体内容包括作品具备普及科学技术知识、倡导科学方法、传播科学思想、弘扬科学精神的内涵[6]；作品的图文内容有一定的突破和创新，作品的观点或者传达科学内容的方式有一定的创新；作品形式活泼、内容丰富，为公众喜闻乐见，作品内容对生产和生活具有一定的实用性；兼顾不同读者群，具有广泛的代表性，科普作品比较畅销，再版数量及销售量较高。

表1 科普图书类项目评价指标体系

表2 科普图书类项目实施情况评估测评表

四是项目效益指标。项目效益指标反映的是项目开展的实践活动及成果产生的经济、社会影响。二级指标重点考察经济效益、社会效益和示范作用，具体内容包括提高了承担单位（特别是企业）的知名度，形成了科普品牌；带动了社会资本投入，产生了一定的经济盈利；吸引更多人参与科普，培养了一定数量的人才；作品填补了科普研究领域空白或推动科普理论发展；对其他科普图书类项目具有示范作用；项目获得了较高的社会满意度。

3 评价指标权重的设置

权重是衡量指标重要性程度的主要标志，权重系数甚至会直接影响综合评价的结果。合理设置指标权重，综合评价结果会更加科学[7]。本次评估指标的权重按照德尔菲法（专家意见法）进行设置，根据指标对评价结果的影响程度以及科普图书资助专项的功能定位，由相关研究领域专家根据自身研究经验给予每个指标进行赋值权重。为了尽量减少专家偏好带来的主观性误差，采用算数平均法将所有专家意见进行算数平均，得出指标的最终的权重系数。

由于本次科普图书类项目评估属于事后总结性评价[8]，评估内容将侧重科普效果评估。综合专家意见，经过讨论将一级指标项目产出和项目效益的权重给予较高赋值，各自占40%，而项目基础和项目管理各占10%。一级指标确定后，二级指标也按专家意见逐个进行赋值。权重具体设置情况详见表2。

4 科普图书类项目评价指标的应用

利用上述评价指标和测评方法，针对北京地区某社会征集科普图书类项目进行测评应用。经本文作者初步整理和筛选，共有23个项目可以进行有效测评。参与评估的23个项目的承担单位大多来自企业，平均资助额度14.2万元，详见表3。

表3 北京地区某社会征集科普图书类项目基本信息统计表

评估过程中，首先由本文作者将所有项目预评估之后，分类别、分等级交由专家团队对科普项目进行集中比较和评价，按照评估指标设置的分值进行打分，再根据权重进行综合相加，得出每个项目的最终分值。

绩效评估结果实施百分制和四级分类标准，满分100分，通过专家打分法，在A、B、C、D四等级判定。其中分数在90-100分之间，则该项目评估结果为优秀；若分数在75-89分之间，则为良好；若分数在60-74分，则为一般；若分数在59分以下，则该项目被认定为较差。

根据专家的打分，评估结果与发现如下：

1）项目实施情况整体较好，但也存在部分项目不合格现象。社会征集科普图书类项目实施情况整体较好，项目绩效评估结果为良好及以上的占比83%，其中优秀率占61%。但仍然存在部分项目实施情况较差的现象，项目绩效评估结果不达标的占比达13%（见表4）。

表4 评估结果按不同等级统计

2）翻译引进国外科普作品的项目普遍较优。翻译引进国外的项目为7个，评估结果全部为A；国内创作的项目数为16个，评估结果为A的仅占44%，国内创作的科普作品质量有待进一步提升（见表5）

3）承担单位多为出版传媒机构。从项目承担单位来看，被评的23个项目中，承担单位来自出版传媒的有16个，占比达70%。而相关领域内的专业院所或者科研机构较少（见表6）。

表6 项目承担单位评估结果对比

4）图书受众群体较为宽泛。图书受众群体年龄段较为宽泛，包括中老年、青少年和幼儿三大群体，其中青少年群体较多，占了74%，婴幼儿受众群体占比22%（见表7）。

表7 图书受众群体评估结果对比

5 科普图书类项目评估建议

针对评估发现的主要问题，就如何更好开展科普图书社会征集类项目的实施，提高科普专项资助效果，提出如下建议。

1）建立专家审查委员会，严格把控项目出版关口。

表5 翻译引进与国内创作评估结果对比

目前，出版行业市场化、企业化带来的低标准，让行业规定的执行力度也越来越小。建议科普征集专项主管部门建立专家审查委员会，严格把控项目验收关口，加大社会征集科普图书项目出版审查力度。对项目成果的内容和形式进行全面审查，杜绝劣质科普图书流向市场，误导读者。

2）重点向具有科普创作潜力的单位或人员倾斜。从项目承担单位来看，出版传媒机构占了较大比例，科普基地和专业机构占比较少。建议在资助方向上，应向具有科普创作发展潜力的专业机构或专业科普人士倾斜。加大吸引力度，撬动一批专业研究机构开展科普创作，扶植一批具有科普原创能力的专业人才。

3）适当降低引进翻译作品的资助数量。适当减少对翻译引进作品类项目的资助数量，针对不同类别的国外科普作品进行区别资助。对于市场效果本身就好的翻译引进类科普作品的项目不建议支持；而对于难度较大，确实具有一定科普价值的作品可予以立项。

4）重点关注市场前景不好、专业实用的科普作品。对于一些市场前景不好、专业实用的科普作品，建议给予重点关注和支持。而对于主要面向幼儿群体、内容简单、科普价值较低的绘本类图书项目，应适当降低资助比例。

总之，社会征集类科普图书项目应明确自身功能定位，运用社会征集的牵动能力，聚集多方力量，发掘出一批具有科普创作潜力而又亟需经费资助的科普人才和优秀作品，充分发挥“雪中送炭”而非“锦上添花”的资助作用。

[1]任福君，翟杰全.科技传播与普及概论[M].北京：中国科学技术出版社，2012：299-300.

[2]陈学安.建立我国财政支出绩效评价体系研究[J].财政研究，2004（8）：18-20.

[3]中国科普研究所.科普效果评估理论和方法[M].社会科学文献出版社，2003: 65-68.

[4]郑念，张平淡.科普项目的管理与评估[M].北京：科学普及出版社，2008:180-181.

[5]余学慧.科普项目支出绩效评价体系研究[J].科技通报，2012（5）：212-213.

[6]科技部.2014年全国优秀科普作品公示通知[EB/OL]. [2014-11-13]. http://www.most.gov.cn/tztg/201411/ t20141113_116579.htm。

[7]周文泳，钟灿涛，尤建新.科学研究质量改进理论与方法[M].化学工业出版社，2012：81-82.

[8]张义芳.科普评估理论初探与案例指南[M].科学技术文献出版社，2004：40-48.

G315

A

1674-6708（2015）142-0096-03

王新，硕士，助理研究员，工作单位：北京决策咨询中心，研究方向：科技政策与评估、中国现代科学史

王海芸，博士，副研究员，工作单位：北京决策咨询中心，研究方向：创新政策、技术创新

陶晓丽，硕士，助理研究员，工作单位：北京决策咨询中心，研究方向：区域发展与区域规划