烟草企业科技评价问题与改革思路探索

摘要 科技评价是烟草企业科研管理的核心环节，科技评价方法是实现科技评价改革目标的关键。通过对烟草企业科技评价存在的科技评价导向作用发挥不够充分、科技成果评价体系有待完善、科技评价方法整合不到位等问题进行剖析，提出以科学计量学为核心，以客观、公正的评价过程为保障，探索多维度的科技评价模式、构建科技分类评价体系、采用科学计量学与同行评议相结合的科技评价方法等改革思路及应用，以期推动科研质量的提升，为烟草企业科技评价以及人才队伍建设提供科学的决策支持。

关键词 烟草企业；科技评价；科学计量学；评价方法

中图分类号 S-9;F222.1 文献标识码 A 文章编号 0517-6611（2024）13-0215-04

doi：10.3969/j.issn.0517-6611.2024.13.050

开放科学（资源服务）标识码（OSID）：

Exploration of Scientific and Technological Evaluation Problems and Reform Ideas in the Tobacco Enterprises

MEI Yun-peng，CHEN Chao，TAN Jia-qi et al

（Shaanxi Provincial Company of CNTC，Xi’an，Shaanxi 710061）

Abstract Scientific and technological evaluation is the core link of scientific research management in the tobacco industry，and the method of scientific and technological evaluation is the key to realize the goal of scientific and technological evaluation reform.Through some problems in the science and technology evaluation at present have been analyzed，which are insufficient role of science and technology evaluation guidance，the need to improve evaluation system for scientific and technological achievements，and inadequate integration of scientific and technological evaluation methods in the tobacco industry.Reform ideas and applications of scientific and technological evaluation have been proposed，which anhm8aEvPKf0n3fdNO4J4N3tpD7HcZr9H1o+QKINK5+A=re taking scientometrics as the core with an objective and impartial evaluation process as the guarantee，exploring a multi-dimensional model of scientific and technological evaluation，constructing a scientific and technological categorization evaluation system，and adopting a scientific and technological evaluation method that combines scientometrics with peer reviews，in order to promote the quality of scientific research and provide scientific decision-making support for the scientific and technological evaluation of the tobacco industry as well as the construction of the talent team.

Key words Tobacco enterprises;Scientific and technical evaluation;Scientometrics;Evaluation methods

基金项目 中国烟草总公司陕西省公司科研项目（KJ-2022-12）。

作者简介 梅运鹏（1970—），男，浙江杭州人，经济师，从事科技管理研究。*通信作者，从事科技管理研究。

收稿日期 2023-11-13；修回日期 2023-12-15

科研管理是烟草行业科技管理的重点工作之一，也是推动行业科技创新、促进科技成果向新质生产力转化、推进管理创新、文化创新、体制机制创新的重要保障。科技评价作为科研管理的核心内容，不仅关系到科技成果水平、科技进步贡献率，也关系到科研资源有效分配、人才成长及科技工作者个人学术成果的认同。近年来，科技评价的研究主要关注以下3个方面：一是关于科技评价导向。汪志波等［1］通过分析烟草科技重大专项的特点，建立了基于“目标-结果-效果”导向的绩效表达逻辑模型；王宗军等［2］提出建立以质量和贡献为导向的科研项目绩效评价机制。二是关于科技分类评价。例如，张富利等［3］指出基础研究、应用研究、软科学研究等不同类别的科技成果需要不同的科技评价方法，可以采用同行评议、市场评价和社会评价等；不同类别研究的学科特征不同，评价指标设置也相应存在不同侧重点。三是关于结合科学计量学的科技评价方法。姜春林等［4］认为将科学计量评价方法和基于同行评议的代表作制度相结合，建立科学、合理的学术评价制度。张积玉［5］提出建立综合化评价制度，倡导以量化为基础并以代表作为主，从而体现学术评价科学合理、公平公正以及可操作性强。董丽华［6］运用科学计量学方法，对中美两国科技实力等评价指标数据进行比较，分析中美两国的科技发展状况。俞立平等［7］指出应重视文献计量学与科学计量学，在科技评价中不仅仅关注论文数量和影响因子，还应采用特征因子、z指数、h指数家族等计量指标，使科技评价质量提高。基于此，以中共中央办公厅和国务院办公厅印发的《关于深化项目评审、人才评价、机构评估改革的意见》、国务院办公厅《关于完善科技成果评价机制的指导意见》、科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》的通知、科技部等八部门印发的《关于开展科技人才评价改革试点的工作方案》、中共中央办公厅和国务院办公厅印发的《关于进一步加强青年科技人才培养和使用的若干措施》、国家市场监督管理总局和国家标准化管理委员会发布的系列科学技术研究项目评价实施指南等作为科技评价依据，在全面分析科技评价存在问题的基础上，提出烟草企业科技评价改革思路。

1 烟草企业科技评价存在的问题

对标国家科技评价相关政策与文件等，从企业现有科技成果评价机制来看，主要存在以下问题。

1.1 科技评价导向作用发挥不够充分 科技评价导向是完善科技评价机制的前提，应当精准明确，并能反映当前烟草行业的需求。科技成果评价对科技创新、科技成果转化等具有导向作用。目前，烟草企业科技成果评价的导向不够突出，价值发现作用发挥不够充分。在科技计划项目、科技奖励和创新人才等科技评价中，过度看重论文、专利、著作、技术标准等成果数量，对标志性成果的质量、绩效和贡献不够重视，促进高质量成果的产出和激励创新主体积极性的效果仍不明显。烟草企业的技术开发类科技项目，当前重在技术开发产出成果的应用上，但多数成果中高价值专利不多。行业部分科技项目科技成果在推动企业科技进步中发挥了积极作用，但推广面较窄。

1.2 多维度、分类的科技成果评价体系有待完善 科技评价的基本前提是科技评价方法要与烟草行业科技项目类别特征、科技人才类别特征相适应。烟草企业科技项目、科技人才的类别特征主要体现在研究方法、手段、对象、过程与成果及其表现形式的特有属性、定位等方面。科技项目和科技人才的类型不同，导致在科技评价中存在质的差别［8］。采用与类别特征相适应的评价方法，能够反映类别差异，保证科技评价公平、公正。

第一，目前科技分类评价并未得到明确体现，分类评价机制仍不健全。烟草企业的科技项目在立项、成果鉴定中未进行详细分类，评奖中分为应用基础研究类、应用技术开发类、科学技术推广类、公益类等，不同类别的科技项目在专业领域、研究内容、专业特征、科研性质、产出成果及形式等方面具有明显的差异，但目前在烟草企业科技评价机制中未能体现。

第二，科技评价多维度、分类的评价指标体系不完善。科技评价指标是科研管理决策的直接依据，科技项目的立项、过程管理、验收、鉴定、后评价、评奖等一系列过程都具有特殊性，科技评价目的不同，评价标准也应该有区分。但目前烟草企业科技评价缺乏体现不同领域和类别的科技项目的差别化指标，导致在不同程度上存在指标单一化、标准定量化等问题。

1.3 科研评价方法整合不到位 科研评价方法一般可以划分为定量、定性以及综合评价，主要涉及文献计量法、同行评议法、层次分析法、TOPSIS法、因子分析法、网络计量法、模糊特尔斐法和DEMATEL法等。目前，烟草企业主要采取同行评议法，形式为专家评审会，科研评价方法缺乏有效整合，定量评价方法融合不够，科学计量指标运用不足。如，在成果鉴定中未结合量化指标，鉴定水平结果的描述多表现为国际和国内领先或先进，鉴定后项目组难以针对性进行总结；在科技立项评价中定性风险评价方法，使用数字范围顺序量表，［0，1］代表“低”，［9，10］代表“高”等，但只能划分风险高低水平，无法完成定性风险的量化计算；在评奖中通常设置10个指标，各指标分值区间较大，对于同一水平的项目无法进行质量、绩效和贡献3个方面比较。同时，单一的专家评议制度，易在评价活动中出现本位主义和人情关系等现象［9-10］，使烟草行业科技评价的客观性、科学性和公正性受到影响。

2 烟草企业科技评价改革思路

完善科技评价机制是当前烟草企业科技体制改革的重要任务之一。针对科技评价过程中存在的主要问题，遵循质量、绩效和贡献的科技评价导向，需要采取切实可行、可操作性强的具体措施。

2.1 探索多维度的科技评价模式 国务院办公厅印发《关于完善科技成果评价机制的指导意见》，围绕“评什么”“谁来评”“怎么评”“怎么用”对科技成果评价机制进行完善。其中，科技成果评价的首要问题是“评什么”，应当对科技成果的科学价值、经济价值、技术价值和社会价值等进行全面、准确的评价，进一步完善科技成果分类评价体系。烟草行业应积极探索多维度的科技评价导向，即围绕质量、绩效和贡献，将定性评价、定量评价相结合，从多维度对行业科技成果的科学价值、技术价值、经济价值、社会价值、文化价值等方面进行评价。以绿色低碳技术应用为例，科学层面应重点对新能源、新材料、新技术等要素进行评价；技术层面应关注与行业的工业、农业以及商业环节的实际需求相结合，特别是破解烟草行业的共性技术瓶颈；经济层面应重点关注工业生产、烟叶生产、物流配送、企业管理等场景的应用、推广前景；社会层面应重点关注促进烟草行业绿色发展对社会发展的作用与影响；文化层面应重点关注企业形象、科技知识普及、人才培养等软实力的促进作用。

2.2 构建科技分类评价体系 烟草企业科技分类评价体系的构建，可考虑强化分类评价导向、健全烟草行业科技分类评价标准、采用科学计量学与同行评议相结合的科技评价方法等方面。

2.2.1 强化分类评价导向。科技项目管理的评价导向应以质量、绩效和贡献为主［11］，科技人才评价应以创新价值、能力、贡献为评价导向［12］。一是对立项评审，应审核与科技项目绩效目标、结果指标、指南要求等的相符性、创新性、可行性、可考核性以及实现科技项目绩效目标的能力、条件等。二是对项目实施过程评价，应加强项目关键环节考核，项目难以达到预期绩效目标的，应当及时予以调整或取消后续支持。三是对成果评价，应更注重标志性成果的质量、贡献和绩效。四是对科技奖励评价，突出成果的质量和贡献，重点评价科技成果的先进水平、创新程度、经济效益、社会与生态效益、推广与应用价值等，不能仅仅将发表论文作为主要评价依据。五是对科技人才评价，不应将科技成果数量作为主要评价依据和考核指标，应适当提升高质量成果的考核评价指标权重；同时推行代表作考核制度，设定代表作数量上限，引导科技人才更加关注科技成果质量。

2.2.2 健全烟草企业科技分类评价标准。烟草企业科技评价主体可根据评价对象不同，采取同行评议、社会评价、用户（服务对象）评价和第三方评价等方式开展；建立分类评价指标体系，采用适合的评价方法、评价流程等，对技术开发类、软科学类、公益类、基础研究类等不同类别的科技项目及科技人才进行评价。设计评价指标时，可以参考被评价对象的发展目标。

（1）在烟草企业科技项目评价过程中，不同类型的科技项目评价重点具有一定差异性［13］。一是技术和产品开发类研究科技项目应注重评价新技术、新方法、新产品、关键部件等的创新性、成熟度、稳定性、可靠性等，以及应用解决方案、科学数据、科技报告、软件等标志性成果的质量、贡献和影响，突出成果转化应用情况及其在解决高质量发展关键问题、支撑引领烟草产业发展中发挥的作用。二是应用类科技项目评价应重点评价集成性、先进性、经济适用性、辐射带动作用及产生的经济效益。三是基础研究类科技项目评价应重点评价科技成果的新理论、新方法、新发现、新观点等，体现出科技成果的科学价值、学术水平、影响力等。

（2）对烟草企业科技创新人才评价突出科学精神、能力和业绩［12］。基础研究类科技人才应重点评价重大原创性贡献、学术影响力、科学价值、研究能力等要素；技术开发类、应用研究类科技人才应重点评价技术解决方案、高质量专利、技术标准、成果转化产业化、产学研深度融合成效等代表性成果；公益研究类科技人才重点评价服务公共管理的能力与效果。

2.2.3 采用科学计量学与同行评议相结合的科技评价方法。科学计量学是一门对科学本身进行定量研究的学科。Nalimov和Mulchenko于1969年提出科学计量学（scientometrics）的概念，指出该门新兴学科是采用定量方法寻找科学活动的内在规律和特征，从而对科学的信息交流过程和特征进行分析。

在科技评价中，应用科学计量学应加强定量方法与质量、绩效、贡献导向的兼容性，发挥同行评议与科学计量学方法在不同类型评价中协同作用［14］。烟草行业科技评价管理部门应清晰地认识到不同评价方法在科技评价中的作用、长处、局限性有明显差异。长期以来，采用同行评议是科技评价的重要方法之一，但同行评议具有明显的局限性，集中表现在其客观性难以完全保证。科学计量学方法虽在同行评议之外提供了客观评价标准，但可能存在数据来源、数据准确性、科学引文索引论文的覆盖范围以及评价指标代表性等方面的不足。

科技评价方法整合应注重烟草企业科技评价方法的适切性与评价质量的正相关性，明确定性、定量评价方法的适应域，关注二者之间的相互支撑、补充，确保行业科技评价效果。烟草企业立项、过程管理、验收、鉴定、成果奖励等评价对象都可以使用同行评议方法，科技评价管理部门需要对同行评议方法、科学计量学方法等在科技评价中的作用定位进行准确判断，采取多维度、能够发挥各自优势的评价方案，以提高科技评价质量。以立项评审为例，其评价目标主要是科技项目技术路线的先进性、合理性和可行性等，仅仅使用同行评议方法存在缺少客观数据支撑的弊端。2023年陕西省烟草公司在科技项目立项评审中的实践表明，将同行评议与科学计量学方法相结合，补充现有研究的科技项目评价指标，形成整合性的评价意见，对改善评价质量有着明显的帮助。

3 科学计量学在烟草企业科技评价中的应用

科学计量学需要运用定量分析方法，以科研活动数据为分析基础，旨在揭示科学活动规律，为科技评价提供科学依据。烟草企业应用科学计量学，依据定量指标、分析方法等，采集科学计量数据，根据评价原则、评价对象和评价目标等建立科技评价指标体系；采用适当的方法计算出各级指标的得分，并进行排序，为烟草企业科技管理制度制定提供参考。然而，科学计量数据仅作为科技评价的数据支撑，并非直接为烟草行业提供科技评价结果。《莱顿宣言》指出定量评价应支持而非取代专家的定性评价，唯论文、SCI期刊、影响因子等评价导向使科学计量学在科技评价应用中引发争议。

近年来，科学计量学在世界各国的科技评价中被广泛应用［15-16］，主要体现在3个方面：一是构建基于文献计量的科技成果评价体系，主要采用统计分析、共现分析、共词分析、专利论文引用分析、学科交叉度量等方法，得到的科学计量评价结果为同行评议专家提供重要信息参考；二是学科前沿、学科交叉、主题识别与知识发现，采用的方法有Louvain算法、技术主题识别方法、交叉学科的测度方法等；三是量化分析。利用定量分析工具进行量化，如采用图表比较分析科技实力、创新能力等；采用TOPSIS法、模糊综合评价法、熵值法、层次分析法、因子分析法、优序图法等进行综合评价等。其中，TOPSIS法能精确地反映各评价对象之间的差距，在烟草行业科技评价中可以采用该方法计算得分及排名。该研究以陕西省公司2023年度所有软科学类科技项目的报奖评价为例，运用TOPSIS法进行科技评价的具体步骤如下［17］：

第一步，确定烟草企业科技项目报奖评价原始数据矩阵。设有n个烟草企业科技项目，m个评价指标，其中X=（Xij）nm，i =（1，2，…，n），j =（1，2，…，m），Xij表示对第i个项目第j项指标的数值。Xij可以由专家个人评价和团队评价综合得出评价结果。

Xij=x11…x1m

xn1…xnm（1）

为了保护科技项目的信息，隐去各科技项目的具体名称。其中，烟草商业企业软科学类科技项目报奖评价的3个一级指标分值见表1。

第二步，构建标准化矩阵。为消除指标间量纲的影响，用向量的方式标准化，并对评价指标进行无量纲化处理。

vij=xijni=1x2ij（2）

第三步，得到标准化矩阵如下：

vij=v11…v1m

vn1…vnm（3）

第四步，构造加权规范矩阵。

zij=vij×wj（4）

其中，wj为第j项指标的权重。得到加权规范矩阵如下：

Zij=z11…z1m

zn1…znm（5）

第五步，确定正负理想解。由烟草企业科技项目报奖评价各指标的最优值和最劣值分别构成正、负理想解Z+j、Z-j。

Z+j=（z+1，z+2，…，z+m）（6）

Z-j=（z-1，z-2，…，z-m）（7）

其中，z+j=max（z1j，z2j，…，znj），z-j=min（z1j，z2j，…，znj），j=1，2，…，m。

第六步，计算烟草商业企业科技项目报奖评价结果与正负理想解的距离。

D+i=mj=1（zij-z+j）2（8）

D-i=mj=1（zij-z-j）2（9）

第七步，计算各评价单元与理想解的相对贴近度Ci，计算公式如下：

Ci=D-iD+i+D-i（10）

第八步，综合排序。综合测度陕西省烟草商业企业2023年所有软科学类科技项目的相对贴近度，得到11个软科学类科技项目报奖评价的综合排序情况，具体结果见表2。相对贴近度C越大，科技项目的综合排名越靠前，反之则越靠后。该方法同样适用于烟草商业企业科技项目立项评价、鉴定评价等。

第九步，结果分析。由表2可知，总排名第一的是“项目9”，其相对贴近度最高为0.783。主要原因在于质量指标和贡献指标得分在软科学类科技项目中排名第一，但绩效指标得分排名第二。排名最后的是“项目6”，相对贴近度为0，其质量、绩效和贡献得分在软科学类科技项目中均排名为倒数第一。“项目7”的绩效指标得分在软科学类科技项目中排名第一，但质量指标和贡献指标得分排名相对靠后，其相对贴近度为0.616，总排名第3。

4 结语

科技评价改革是科技管理改革的着力点，对烟草行业科技发展方向、科技人才成长、科技成果质量等产生显著影响。通过构建多维度分类科技评价体系，应用科学计量学与同行评议相结合的科技评价方法，实施不同层面的科技评价，有助于推动烟草企业科技评价改革，切实提升科研水平和人才培养质量。

参考文献

［1］

汪志波，郑新章，邱纪青，等.烟草行业科技重大专项项目绩效跟踪评价指标体系研究［J］.中国烟草学报，2016，22（2）：138-145.

［2］ 王宗军，张马萍，陶立祥，等.基于层次分析-熵权法的湖北省烟草商业系统科研项目绩效评价体系研究［J］.科技和产业，2022，22（6）：163-169.

［3］ 张富利，蔡跃龙.科研分类管理评价问题研究［J］.知识经济，2019（12）：88-89.

［4］ 姜春林，张立伟，张春博.科学计量方法辅助代表作评价的探讨［J］.情报资料工作，2014（3）：31-36.

［5］ 张积玉.以量化为基础以代表作为主的综合化学术评价制度构建：基于S大学的经验［J］.重庆大学学报（社会科学版），2019，25（6）：84-96.

［6］ 董丽华.基于科学计量学的中美科技实力评价指标分析［J］.甘肃科技纵横，2019，48（1）：72-75.

［7］ 俞立平，张矿伟，蒋长兵.推进代表作评价存在的问题与对策研究［J］.情报学报，2021，40（4）：345-353.

［8］ 刘梦星，张红霞.高校科研评价的问题、走向与改革策略［J］.高校教育管理，2021，15（1）：117-124.

［9］ 周玉容，沈红.大学教学同行评价：优势、困境与出路［J］.复旦教育论坛，2015，13（3）：47-52.

［10］ 袁永和.高校教师科研评价中的问题与对策［J］.广东技术师范学院学报，2011，32（11）：110-113.

［11］ 新华社.中共中央办公厅 国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》［EB/OL］.（2018-07-03）［2023-04-25］.http：//www.gov.cn/zhengce/2018-07/03/content_5303251.htm.

［12］ 科技部，教育部，工业和信息化部，等.关于开展科技人才评价改革试点的工作方案［EB/OL］.（2022-11-09）［2023-04-25］.https：//www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/qtwj/qtwj2022/202211/t202211 09_183356.html.

［13］ 国务院.国务院关于优化科研管理提升科研绩效若干措施的通知：国发〔2018〕25号［EB/OL］.（2018-07-24）［2023-04-25］.https：//www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm.

［14］ 朱军文，刘念才.高校科研评价定量方法与质量导向的偏离及治理［J］.教育研究，2014，35（8）：52-59.

［15］ 陈云伟，张志强.科学计量学迎接新挑战与新机遇：2018科学计量与科技评价天府论坛综述［J］.图书与情报，2018（5）：134-140.

［16］ 赵红州，蒋国华.科学计量学的历史和现状［J］.科学学研究，1984，2（4）：24-35.

［17］ 严梦帆，龙吉生.基于德尔菲法和TOPSIS法的垃圾焚烧发电厂综合评价方法［J］.环境工程，2023，41（7）：229-234.