基于评价指标体系的科技报告竞争力评价系统

毛 刚, 陈晓玲, 全志薇, 王戴尊

(吉林省科学技术信息研究所 科技报告管理中心, 长春 130033)

0 引 言

科技报告是对科研成果和科研过程的总结, 是重要的国家战略性资源[1]。全国已经完成科技报告服务平台的建设, 推动科技成果的完整保存、持续积累、开放共享和转化应用。但在科研项目管理过程中, 缺少对科技报告评价这一重要环节, 不同类别、学科、机构及技术领域的科研项目提交的科技报告的数量和质量都不相同, 缺乏统一标准化的评价体系。尤其科技领域的主管部门, 在科研管理过程中, 科技项目管理信息系统能更好地服务绩效的需求； 对项目执行情况和完成情况的了解； 今后项目的支持、倾斜、侧重的决策。不仅需要掌握项目“完成了什么”, 更重要的是“科研水平如何”、“科技含量如何”、“与国际国内其他地区相比处于一个什么样的水平”, 这些需求既重要, 又很难获取。通过目前建成的科技报告平台, 相关主管部门能随时了解项目当前的执行情况、完成进度、科研成果等信息； 如果能进一步建立科技报告评价平台, 可为科研管理部门提供决策参考依据, 掌握我省目前的科研水平和科研能力, 科学合理地制定科技项目指南[2-4]。

为解决上述问题, 笔者借鉴已有的科技报告质量评价研究, 运用科学的方法构建一套系统的科技报告竞争力评价体系, 并建立数学模型, 利用计算机设计与实现了科技报告竞争力评价系统, 从而为科技报告的理论与实践建设提供决策参考。科技报告竞争力评价是对科研活动产生的科技报告, 采用科学的方法对科研活动及其投入产出情况进行价值判断, 以对科研活动进行衡量, 并为决策提供依据的一种认识活动[5]。客观的评价可以提高科研活动的活力，促进科学进步，科技报告评价是科研管理的重要组成部分，与评价相关的研究也是今后工作的重点内容和方向[6]。

1 评价指标体系模型建立

根据评价对象的不同属性、特点确定相应的评价程序、标准和方法, 对评价对象进行正确的类别划分能最大限度地使评价对象具有可比性, 从而保证评价结果的科学性。只要不涉及保密内容, 评价标准、方法和过程都尽量公开, 保证公开、公平、公正原则[7-8], 评价指标如下。

1) 指标选取： 科技报告数量、发表论文数量、申请专利数量、培养人才数量、资金支持数量。

2) 定量评价： 科技报告数量、页数、图表数量、结构规范性、格式规范性等方面。

3) 定性评价： 科技报告的前沿性、创新性、知识含量、科技成果(论文、专利、新产品、新技术、成果、标准和奖项)等方面, 以及国内外影响力, 对科技报告的学术水平、经济效益和社会影响的评价。

1.1 评价指标体系

吉林省科技报告评价指标体系一： 主要从科技报告本身的格式质量、技术含量、支持力量和科研诚信的角度进行设计, 分为二级指标(见表1)[9-11]。

表1 科技报告评价指标体系一

吉林省科技报告评价指标体系二: 主要从科技报告的外在的创新性评价, 包括报告在该领域内的学术影响力、申请专利数量、发表论文数量、培育人才情况和成果转化情况， 同样分为二级指标(见表2)。

表2 科技报告评价指标体系二

1.2 竞争力评价指标的选取

确定科技报告竞争力评价指标的方向、层级、分数, 形成全面、客观、标准化的科技报告竞争力评价指标模型。根据系统性、代表性、简明科学性和易操作性的原则对竞争力评价指标进行确定, 结合科技报告创新性评价的实践特点, 突出简明科学与易操作的原则, 最终确定了4个评价指标[12]。这4个指标从报告辑要页、中英文摘要、报告正文、报告参考文献的引用情况、报告的经济价值等进行客观提取, 同时依靠领域专家的智慧和经验, 运用专家调查法, 选取情报学领域内有影响力的专家作为咨询对象, 通过制作指标权重调查问卷, 依据专家反馈的调查问卷结果, 将竞争力评价指标确定为科技报告资金、培养人才、发表论文、获得专利数量这4个指标。

1) 科技报告资金数量。目前, 我省科技发展计划项目在立项时, 科研管理部门会根据该科技报告研究的难度、重要性、科技含量等综合因素, 予以资金支持, 因此科技报告获得的资金数量是评价科技报告竞争力的一项重要指标。

2) 科技报告培养人才数量。科研过程往往伴随着一个科研团队从组建到成熟, 成为行业权威或领军, 这一过程中, 通过科技报告的完成, 能培养出相关的人才。因此培养的人才数量是衡量科技报告竞争力的一项重要指标。

3) 发表的论文数量。论文是非常直观的衡量一个科技报告水平的指标。

4) 获得的专利数量。专利同样也是直观的衡量科技报告水平的指标。

1.3 竞争力评价指标权重的确定

经过多次组织专家组讨论和商议最终确定科技报告的资金、培养人才、发表论文、获得专利数量的4项指标的权重如表3所示。

表3 科技报告竞争力评价指标权重

考虑到系统中如果直接使用资金, 假设一个项目450 000元, 另一个项目500 000元, 资金支持相差不多, 重要性在资金这一项上可能也相差不多, 但由于基数较大, 乘上权重后的结果可能会相差很大, 所以做了一个映射, 即10万元以下对应1分, 10～20万对应2分, 20万～50万对应3分, 50万～100万对应5分。根据对应的分数, 乘以权重, 是资金这一项最后的得分。

数据来源： 4个评价指标的数据, 通过项目组提交科技报告, 在科技报告中提取出资金、培养人才、发表论文、获得专利数量。

评价公式： 最后得分=资金(映射到对应的分数段)×0.15+人才数×0.25+专利数×0.3+论文数×0.3, 即

A=0.15F+0.25R+0.3P+0.3C

2 科技报告竞争力评价系统设计

在科技报告竞争力评价指标的基础上, 建立科技报告及科研竞争力评价的系统, 以吉林省科技报告为数据源, 集成的评价指标模型系统框架, 实现科技报告竞争力嵌入和可组装计算分析系统。建立先进的定量分析和定性分析评价指标, 融合基础的核心指标和适情拓展性的变量指标, 构建可定制的适应多种评价任务需求的科技报告竞争力评价创新指标体系, 经过专业评价专家进行打分评定[13]。评价分析计算, 获取可视化的评价报告, 实现科技报告竞争力评价分析的规范化、流程化、效率化、标准化和精准化。

首先, 吉林省科技报告共享服务系统作为吉林省科技报告竞争力评价系统的数据源, 竞争力评价系统主要针对呈交的公开权限的科技报告(非延期公开报告)进行评价； 其次, 通过导入待评价报告数据, 依据评价指标体系, 同时在专家库中选取相关领域专家进行报告评价, 最终形成报告的评价结果(见图1)。

系统的评价结果形成的数据库和共享服务系统的数据库相互整合, 产生基于科技报告大数据分析和评价的知识服务, 一是科技报告的信息服务转变成知识服务, 二是隐性知识进行显性化处理。系统的评价结果对科研项目管理产生一定的创新性作用, 一是从项目承担单位和相关科研人员角度, 协同科研人员共同提高科研能力, 优化科研环境, 培育优良科研素养, 端正科研态度； 二是从吉林省科技计划项目指南角度, 每年项目立项的后续滚动支持的重要依据, 项目申请的重要参考依据； 三是从政府部门角度, 提供制定政策的参考、科技决策的依据、评奖评优选拔人才的依据； 四是从社会公众角度, 使公众进一步了解国家财政支持项目的相关情况, 增加透明度, 自觉接受群众监督。

图1 科技报告竞争力评价平台的功能设计Fig.1 The functional design of the evaluation platform for the competitiveness of scientific and technological reports

2.1 数据导入设计

该系统元数据结构保持与国家科技报告服务系统、吉林省科技报告共享服务系统的一致, 依托吉林省科技报告共享服务系统对外发布的科技报告, 从后台数据库中提取基础数据信息, 实现数据的批量导入功能, 也能定期自动导入或人工导入。

2.2 多类别的数据统计设计

系统提供统计所有类别报告数量、提交报告数量、承担单位和作者的统计功能, 按报告的承担单位、作者进行数量统计, 揭示某机构或某机构的某作者提交报告数量、某一类别的报告数量。

2.3 组合条件的数据检索设计

系统提供按报告的承担单位和作者的检索功能, 可对所有类别的科技报告按报告类型进行竞争力评价分类统计, 也可以对评价结果进行排序, 按资金、人才、专利、论文和总分等升序或降序进行排序, 如按资金进行降序排序, 能否揭示项目的资金数额越高, 人才培养越多、专利和论文的产出越多, 对科研管理部门提供项目的财政投入是否与科研成果产出成呈正比例。

3 科技报告竞争力评价系统实现

根据科技报告评价指标体系和计算模型的建立, 实现了科技报告竞争力评价系统的功能开发, 下面具体详细阐述评价功能模块。

3.1 评分制的单篇科技报告评价

图2 数据对比分析参数设置Fig.2 Data comparison and analysis parameter settings

根据系统中事先准备好的竞争力评价指标和权重, 提取某一篇科技报告的资金、培养人才、发表论文、获得专利数量的数值(见图2), 在现有专家库基础上, 建立科技报告评价专家库。建立专家联络机制和联系网络, 邀请专家库中的相关专家, 按照科技报告竞争力评价指标体系对吉林省科技报告进行评价和打分, 对该篇科技报告的竞争力进行评价并计算得分数。

3.2 可视化的多篇科技报告对比评价

系统还具有实现两篇或两篇以上(最多8篇)科技报告之间的比较, 根据最终评价结果形成柱状图和数据表进行可视化展示(见图3), 系统提供评价结果的导出数据功能, 评价结果导出的数据提供图表格式。

图3 数据对比分析实例Fig.3 Data comparative analysis example

根据“吉林省科技厅关于印发《落实科技部〈关于加快建立国家科技报告制度的指导意见〉工作方案》的通知”要求[14], 评价对象主要是自2015年以后的自然科学基金项目、重大科技攻关项目、重大科技成果转化项目。长期的科技报告竞争力评价指标数据的积累, 对科技报告的竞争力评价结果汇总, 形成科技报告竞争力评价数据库, 从而客观的评价科技成果的层次、水平、质量, 同时从科技报告评价库中, 找到高质量、高水平的科技报告, 为科技政策制定提供参考咨询[15]。

4 结 论

1) 该套系统的建成, 能极大地促进我省科技项目管理工作深入开展, 有效提升科研管理绩效, 提升项目组提交科技报告的意识、水平、质量, 进而有助于全面提升我省科研和创新能力, 以便更好地对科技成果进行真实性和创新性检验, 希望能被国家和其他省份参考和利用。

2) 该系统的实践, 有助于更客观的评价科研工作, 寻找出干实事、有能力、有水平的科研队伍, 更好地在项目立项、执行和验收阶段提供判断依据, 更好地丰富科研管理手段, 有利于促进我省各种科技评价工作的开展。

3) 科技报告评价工作是新开展的工作, 绝大多数工作都还在探索中, 今后应继续在这方面深入开展, 使评价工作更加准确、合理、客观。

4) 科技报告评价体系的构建也是今后发展的必然, 在某种程度上会引导相关科技机构和科技工作者更好地开展科技报告信息服务和知识服务, 提高服务质量, 从而为我国科技报告资源体系的建设实践作出贡献。