“破五唯”背景下高职科研评价画像研究与实践

刘晓娟 付立军 范玥 肖斌 杨启航

摘   要：注重教师科研能力的提升与发展是高校全面推进科研高质量发展的关注点。高校將针对学校的具体情况对教师科研能力进行更全面的评价。在“五唯”的影响下，一些高校将“论文数、期刊等级”作为科研评价、职称晋升的标尺，这种片面化、绝对化的评价方式导致教师在参与科研创新时越来越功利化，失去了科研创新的初衷。文章结合某全国示范性职业技术大学的科研成果数据及科研项目评审过程，提出相关的科研评价方法，并结合用户画像技术构建教师科研画像。结果表明，该方法能够对高职科研进行评价，对学校科研发展起到一定的促进作用。

关键词：科研评价;用户画像;“破五唯”

中图分类号：TP399 文献标志码：A 文章编号：1673-8454（2021）21-0015-05

一、引言

随着科技的不断发展，提高科研人员的科研创新能力已经成为我国经济发展中面临的重要课题[1]。高校在人才成长的过程中扮演着非常重要的角色，其科研能力的发展是目前高校评价中面临的一项比较重要的难题。在2018年的全国教育大会上，习近平总书记明确提出，要坚决克服教育领域的唯分数、唯升学、唯文凭、唯论文、唯帽子的顽瘴痼疾[2-3]，不断完善相关的评价指标。在以往的科研评价中，以SCI论文数、专利数、项目和经费数量等作为科研评价的重要指标[4]，尽管这种评价方法能够达到客观评价的目的，但其存在一个严重的问题：重视数量，忽略质量。这种方法违背了科研评价最初的目的，致使教师仅仅为了增加数量而发论文，而不是真正为了科研创新、科学研究而发论文。

面对“五唯”评价带来的各种问题，2020年10月，国务院印发的《深化新时代教育评价改革总体方案》提出改进高校教师科研评价，突出质量导向，要面向不同学科、不同岗位，实行分类评价，把个人评价与团队评价相结合。这是继2018年7月国务院发布的“关于优化科研管理提升科研绩效若干措施”中，提出的完善有利于创新的评价激励制度，在科研人员评价上提出以建立创新质量和贡献为导向的绩效评价体系，破除唯论文、唯职称、唯学历的评价模式。科研评价正在走向强化科研项目综合绩效评价方向，实行科研项目绩效分类评价，实现从重数量转变为重过程、重质量、重结果导向。

面对高校科研评价这一创新转变和需求，如何形成一套高职教师科研评价体系，并通先进的评价方法，来对教师科研能力进行公平、公正、科学的评价，从而达到促进高职院校科研水平不断发展的目的，成为本研究的着眼点。

在互联网发展带来的数据快速增长时代，各种数据挖掘技术不断成熟。为了对互联网上的各类用户进行深入分析，以观测用户特征，用户画像技术应运而生。本文将基于用户画像相关技术，通过熵值法、关键词提取方法，结合高职教师科研数据，构建基于用户画像的高职科研评价模型，实现从评什么到由谁评，再到怎么评的高职科研评价体系。

二、用户画像技术研究与应用

用户画像最早由Alan Copper提出，是针对真实用户的虚拟代表[5-6]，即根据不同的数据及不同的实际需求，从不同的维度对用户进行虚拟化描述。目前用户画像已广泛应用于电子商务、医疗健康、旅游等多个行业。

关于用户画像下的科研人员评价，国内也有一些学者进行了相关研究，莫君兰等[7]对科研团队的数据进行描述，并提取相关的标签集，实现对科研团队的画像，但作者在分析团队取得的科研成果时，侧重于数量，而没有考虑质量。王英等[8]对高校科研用户进行画像分析，归纳用户特征属性，构建用户画像的模式获取框架，但作者也仅仅将各项科研成果的数量作为用户的科研数据特征，没有考虑科研产出的质量。姚占雷等[9]将用户画像应用于科研人才分级分类评价中，构建了基于用户画像的科研人才分类分级评价模型，但作者在文中只涉及论文的题录数据与正文，并没有考虑相关科研成果的质量。

上述相关研究表明，将用户画像技术应用于高职科研评价、科研分类评价中是可行的。但上述研究中没有考虑科研质量，因此本文将科研成果的质量纳入评价指标，并结合用户画像完成对教师的科研评价。

三、融合用户画像技术的高职科研评价模型构建

基于用户画像技术，从数据描述出发，提取科研用户画像的标签体系，并结合相关数据处理构建用户画像模型。

1.数据描述

本文关于教师科研评价的数据主要包含两个方面：科研成果数据与科研项目数据。除此之外，还从教师各项科研成果中提取各项科研名称。

（1）科研成果信息：包含论文信息、学术著作信息、专利信息等。每项信息有自身的属性。对于这部分信息，本文采用指标加权求和的方式进行评价。因此，科研成果信息主要包含评价指标与对应的权重，以及每项科研成果的评分信息。

（2）科研项目信息：对于教师的科研项目，首先需要学校领导根据实际情况决定项目申报需要提交的信息;然后教师在申报时提交相关材料;接着管理员配置项目评审的维度及对应的基础积分，由专家根据项目申报的具体情况以及维度的评分准则对项目进行评审，并决定是否启动该项目;如果专家同意启动，则项目依次进入开题、中期、结题阶段，教师在项目中期与结题阶段需要提交相关的报告，由专家对项目报告进行评审，评审通过后，项目才会进入下一阶段。因此，对于教师的科研项目，包含两部分：一部分是项目申报时提交的材料，以及专家评审时的维度及评分;第二部分是项目中期或结题报告，以及专家对报告的评审建议。

（3）科研成果名称信息：包含论文名称、学术著作名称、专利名称、科研项目名称。本文将采用关键词提取方法，从科研成果名称文本中提取出前N个关键词作为教师的科研关键词，为教师科研方向的选择提供参考。

2.用户画像标签构建

结合上述科研评价各项数据的描述，提取用户画像标签。本文依据教师的真实数据从三方面来构建教师的科研画像标签。

（1）基于时间维度的各项科研成果评分，即针对科研成果的各项指标与对应的权重计算各项成果的评分。

（2）教师参与的科研项目情况，包含专家评审得分，以及中期与结题的评审建议。

（3）基于时间维度的教师科研关键词画像，辅助教师选择适合自己的科研方向。

教师科研能力画像的标签如表1所示。

3.基于用户画像技术构建高职科研评价模型

（1）评价指标体系构建

对教师科研能力进行评价，不仅是考察教师获得的各项科研成果的数量，更重要的是考察科研成果的质量。对于科研成果，从其自身具有的属性出发来进行评价;对于科研项目，从投资的角度出发[10]，采用专家评审的方式进行评价，首先教师根据科研项目申报的要求提交相关信息，并由管理员和专家对项目申报的各维度进行评分，决定项目是否可行;在项目中期和结题阶段，教师提交相关报告，并由专家进行评审。

基于上述教师科研数据的描述，构建教师科研评价指标体系，如表2所示。

（2）基于熵值法的指标权重构建

熵最初是热力学中的概念，之后被引入到统计力学中。本文使用的熵的定义来源于统计学，是对随机变量不确定性的度量。熵值法根据信息的熵来对信息赋权重[11]，信息的熵越小，其包含的信息量越大，对应的权重也就越大。利用熵值法来计算某个特征指标权重的步骤包括标准化、信息熵计算、特征权重计算等三个步骤，具体如下。

①标准化

对于各项具体内容，有其对应的具体影响因素，由于各影响因素之间的性质不同，通常具有不同的数量级。当各个因素之间的影响水平相差很大时，直接使用原始的特征值进行分析，会使得原本相差很大的影响因素的影响效果相差更大。因此，为了保证结果的可靠性， 需要对各影响因素的原始特征进行标准化处理。本文采用Min-Max标准化方法[12-13]，计算方法如公式（1）所示。

假设特征集X={X1，X2，X3…，Xj，…，Xn}，Xj={X1j，X2j，X3j…，Xij，…，Xmj}表示特征集中的某一特征项，xij表示某项特征的具体值。min（Xj）和max（Xj）分别表示特征项Xj的最小值和最大值。

②信息熵

對信息进行标准化处理后，需要计算各项特征的熵值，具体计算方法为：

对于特征项Xj中某一项具体特征值xij的概率分布，具体表示的是特征值xij与特征项Xj中所有特征值之和二者的比值，计算过程如公式（2）所示。

前面提到，特征项的熵值越大，其包含的信息量越小，对应的权重也会越小。因此，上述特征权重计算公式中的（1-Ent（Xj））表示特征项Xj的重要程度，从上述公式中可以看出，特征项的权重为该特征的重要程度在所有特征项的重要权重之和中所占的比重。

采用上述方法将每项指标的权重计算出来后，采用加权求和的方式计算单个科研成果的权重，如公式（6）所示，其中W表示教师的某一项科研成果，m表示该项科研成果对应的二级指标个数。

（3）融合词权重的TextRank关键词提取

TextRank是一种用于文本的基于图的排序算法，其算法的主要思想来源于PageRank，即将文本中的每个词作为一个结点，将词与词之间的关系作为图中的有向边，文本中的所有词，以及词与词之间的关系构成一个有向图。TextRank根据公式（7）计算结点的重要程度，并进行排序，从而提取出关键词[14-16]。

本文采用了一种融合词结点自身权重的TextRank方法进行关键词提取。该方法的关键词提取步骤如下：①首先根据科研评价指标体系，采用熵值法计算每项指标的权重;②对于每项指标，融合其权重与动态配置的基础分值，采用加权求和的方法计算单个科研成果自身的权重;③将单个科研成果自身的权重作为对应科研名称及其分词后词结点的自身权重;④采用公式（8）进行词重要程度的计算。式中wi表示词的自身权重。

（4）科研用户画像模型构建

对于本文中的高职科研评价画像模型构建，主要包含四部分：

第一部分为数据来源。主要包含论文信息、专利信息、学术著作信息、科研项目信息等四方面，以及管理员配置的关于各项评价指标的基础分值。

第二部分为画像标签的构建。主要依据数据源的相关描述，构建科研成果、科研项目、科研关键词等三方面画像标签。

第三部分为教师评价部分。这一部分主要包含两个子模块：第一个子模块为科研评价。首先根据数据描述构建科研评价指标体系，然后针对每一项具体的指标采用熵值法计算其权重，并结合各项指标的基础分值，采用加权求和法对教师单个科研成果的权重进行计算，接着再对教师的每项科研成果的总权重进行评价。对于科研项目，专家根据评审维度与评分规则对项目进行评分，决定项目是否启动。在项目的中期与结题阶段，专家会对相关报告进行评审并给出相关建议。第二个子模块为关键词提取。基于教师各项科研成果的名称，结合其对应的单个科研成果评分权重，将其作为TextRank中对应词结点的自身权重，然后采用TextRank方法提取关键词，以此构建教师科研关键词画像。

第四部分为用户画像。结合用户画像的标签，实现科研成果画像、科研项目画像、科研关键词画像的展示。

高职科研评价的用户画像模型如图1所示。

四、科研评价模型的应用验证

本文选取某全国示范性职业技术大学的教师科研数据，包括论文信息、学术专著、专利、科研项目共1800余条，其中论文信息132条、专著信息42条、专利信息635条、项目信息1000余条。针对这些数据，采用上述融合熵值法并基于用户画像技术的高职科研评价模型，对教师的科研能力进行科学、合理评价，从而促进教师科研的发展，促进学校科研能力的提升。以教师A为例，对其科研信息进行分析评价与画像展示。

基于年份的时间维度，从教师的论文、专著、专利等三方面信息中（如表3所示），结合熵值法完成教师科研成果的画像。

对教师参与的各项科研项目进行画像。结合项目的基本信息、专家对项目的初步评审情况，以及项目中期、结题的完成情况，专家对中期、结题的评审情况等信息完成对教师科研项目的画像，如图2所示。

对教师科研关键词进行画像。基于教师近几年参与科研活动的项目名称，按年份维度从中提取出科研名称的关键词，从而了解教师感兴趣或擅长的领域，为教师科研方向的选择提供参考，如图3所示。

五、研究结论

本文针对“五唯”评价带来的问题，初步构建了一套科研评价体系，并构建了用户画像，将其应用于某全国示范性职业技术大学的教师科研评价中，在一定程度上促进高职科研发展。

本文主要对教师个人的科研能力进行了画像，将其应用于学校某一系部的教师科研评价中也是可行的。

在“五唯”的影响下，对科研的评价要注重过程评价，而科研的时间周期相对比较长，因此将本文方法应用于长周期的科研评价将是后续研究的一个重点。

参考文献：

[1]胡百灵，赵子琪，方芳.“双一流”背景下高校科研绩效综合评价研究[J].中国高校科技，2020（Z1）：53-56.

[2]何忠国.坚决克服“五唯”痼疾[N].学习时报，2018-09-19（1）.

[3]李一希，黄毅.价值异化：高等教育评价“五唯”问题探析[J].高等工程教育研究，2020（4）：112-117.

[4]刘颖.科研评价机制改革是一场持久战[N].学习时报，2019-03-27（6）.

[5]宋美琦，陈烨，张瑞.用户画像研究述评[J].情报科学，2019，37（4）：171-177.

[6]Alan C.交互设计之路[M].北京：电子工业出版社，2006：115-135.

[7]莫君兰，窦永香，开庆.基于多源异构数据的科研团队画像的构建[J].情报理论与实践，2020，43（9）：100-106.

[8]王英，胡振宁，杨巍，等.高校科研用户画像特征分析及案例研究[J].图书馆理论与实践，2020（4）：35-40.

[9]姚占雷，陈红伶，许鑫.科研人才分类分级评价研究[J].西南民族大学学报（人文社科版），2020，41（6）：234-240.

[10]穆飞.让科技回归探索的初心——厘清“三评”逻辑  治理“五唯”源头[J].中国高校科技，2020（9）：4-7.

[11]沈雨婷，金洪飞.中国地方政府债务风险预警体系研究——基于层次分析法与熵值法分析[J].当代财经，2019（6）：34-46.

[12]郝辑，张少杰.基于熵值法的我国省际生态数据评价研究[J].情报科学，2021，39（1）：157-162.

[13]Wan Q， Yu Y. Power load pattern recognition algorithm based on characteristic index dimension reduction and improved entropy weight method[J]. Energy Reports，2020（6）：797-806.

[14]曹洋.基于TextRank算法的單文档自动文摘研究[D].南京：南京大学，2016.

[15]杨延娇，赵国涛，袁振强，等.融合语义特征的TextRank关键词抽取方法[J].计算机工程，2021（1）：1-8.

[16]Feng，Chong，Huang，et al.Topic-related Chinese message sentiment analysis[J].Neurocomputing，2016.

（编辑：王晓明）