思想理论网络文章评价的理论与实践研究

王传奇 陈建栋 李刚

摘要：[目的/意义]在媒体融合背景下，意识形态的生产和传播方式日益多样化，传播的深度和广度大大提升，同行评议、引文指标等传统评价方法已不能完全覆盖数字环境下意识形态的评价。[方法/过程]本文系统分析了媒体融合背景下理论产品的生产规律以及思想理论文章评价所带来的变革内容，以思想理论网络文章评价系统为例，提出了符合融媒体环境传播规律的思想理论网络文章评价路径。[结果/结论]网络成果评价的实证研究尚未完全破题。构建既符合融媒体时代要求，又能被学界认可的评价体系，不能另起炉灶，应在尊重和借鉴传统同行评议方式的前提下，充分利用人工智能、机器深度学习等先进技术，将网络计量学、替代计量学等定量方法与同行评议这一“金标准”相融合。

关键词：媒体融合    思想理论    学术评价    网络文章评价    成果评价

分类号：G251

DOI： 10.19318/j.cnki.issn.2096-1634.2021.06.02

媒体融合改变了社会思潮传播的速度和广度，思想理论产品的生产和传播方式也日益多样化。由于同行评议、引文指标等传统评价方法已不能完全覆盖网络思想理论文章的评价，优秀的网络成果无法纳入成果考核体系、不被承认的现状，挫伤了理论工作者在网络上发表文章、参与舆论引导的积极性，而网络发表的思想理论成果的质量也参差不齐。因此，南京大学中国智库研究与评价中心联合光明网、光明日报智库研究与发布中心将思想政治理论文章评价体系建构和评价系统的开发作为主攻方向，研究设计了“思想理论网络文章评价系统”（ideological web articles evaluation system，以下简称iWaes），将定量评价和定性专家评价相结合，尝试弥补网络文章的评价空白，从标准和体制机制上激活网上理论传播的能量，以期在落实中央有关精神的同时，回应现实期待。

1  思想理论网络文章评价的必要性

2016年5月17日，习近平总书记在哲学社会科学工作座谈会上讲到，我国哲学社会科学领域在面对新形势、新要求仍然存在一些亟待解决的问题，强调“学术评价体系不够科学”。同年12月7日，习总书记在全国高校思想政治工作会议上强调，要加快构建中国特色哲学社会科学学科体系和教材体系，推出更多高水平教材，创新学术话语体系，建立科学权威、公开透明的哲学社会科学成果评价体系，努力构建全方位、全领域、全要素的哲学社会科学体系[1]。2017年12月4日，教育部发布的《高校思想政治工作质量提升工程实施纲要》明确指出，要建设“高校网络文化研究评价中心”，建立网络文化成果评价认证体系，推动将优秀网络文化成果纳入高校科研成果统计、列为教师职务职称评聘条件、作为师生评奖评优的依据[2]。

2014年，习近平总书记在中央网络安全和信息化领导小组第一次会议讲话中就曾指出，信息化和经济全球化相互促进，互联网已经融入社会生活的方方面面，深刻改变了人们的生产和生活方式[3]。截至2020年12月，我国网民规模达9.89亿，手机网民规模达9.86亿，构成了全球最大的数字社会[4]。大数据、云计算及人工智能技术的迅猛发展，促进了传统媒体与新媒体的深度融合，从而进一步改变了网络公共空间的结构、特征和思想理论的生产、传播。

媒体融合是报纸、电视、广播等传统媒介的“浴火重生”。以微信、微博、微视频、客户端为代表的“三微一端”，以其信息传播丰富性、互动性、即时性和自主性的优势，成为新时代信息传播的“信道”，承載传统媒体的丰富“信源”，已替代传统媒体成为首发载体。这一变化给思想理论产量的生产和传播带来了机遇和挑战。随着4G网络的成熟应用，手机、平板电脑等手持终端成为重要信息传播工具，“三微一端”等信息传播的平台，大大降低了信息传输的门槛，广大网民从被动接受者变成了主动的生产者和传播者。

一方面，媒介融合下的信息传输呈现多通道、立体化传输，其便捷性和强交互性特征拓展了思想理论产品的辐射范围，媒体融合技术把传统媒体的图文、声像等传播形式融为一体，结合H5、微视频、图解、VR/AR等传播形式，也可以极大地增强思想理论的感染力和吸引力。媒体融合的快速发展在思想理论传播和思想理论生产的过程中，已发挥了不可替代的重要作用。

另一方面，新媒体作为一种星状网格化人际传播模式，以“多点对多点”的横向无中心交互模式替代了传统媒体时代“一对多、点对面”的线性信息传播模式，舆情出现基本无法预期。微信等闭合社交媒体强大的链接聚合功能能够迅速地聚集利益诉求一致的群体，动员起强大的舆论塑造能量，危及主流意识形态安全。同时，智能算法推荐等技术所提供的个性化推送服务，使社交媒体挤压传统主流媒体传播的渠道，导致主流意识形态面临被边缘化的风险。除此以外，个别西方国家以媒介融合的网络技术优势和强大的软实力优势，推动新一轮思想文化攻势，挤压我国主流意识形态传播的空间，以西式民主、自由理论侵蚀我国民众的价值观认同，导致社会价值观碎片化。

网络公共空间成为思想理论斗争的主战场、主阵地、最前沿，互联网成为我党长期执政面临的“最大变量”。只有认清和把握媒体融合背景下意识形态的生态变化，才能占领思想理论传播的制高点，牢牢把握意识形态工作的领导权。然而，占领思想理论传播的制高点，使新时代中国特色社会主义理论成果深入人心，则必须顺应媒体融合发展大势，遵循新时代意识形态传播规律，积极推动内容创新、形式创新、方式创新、话语体系创新，提高网络理论传播的吸引力、感染力和影响力[5]。

2  人文社科成果评价的变革

融媒体时代的思想理论的生产和传播已经产生了变化，印本时代（Paper media age）对于思想理论文章评价的同行评议、以刊评文等方式，严重阻碍了新媒体形态的思想理论文章“最后一公里”的传播。浙江大学、吉林大学、辽宁石油化工大学等高校先后顺时而动，进行了创新学术评价体系的勇敢探索，发布了优秀网络文化成果认定实施办法，将优秀网络文化成果纳入学校职务（职称）评聘、评奖评优激励机制。但是这些认定方法中涉及的如10万+阅读量、重大网络传播等考核标准引发了学界的广泛质疑，认为这种单纯以数量评价的方式偏离正常的学术评价轨道，也会对意识形态引导产生不利影响。

在印本时代，同行评议是学术评价的最主要方式，来自学术共同体的专家也是学术评价的唯一主体。会议评审和通讯评审成为最常见的评价形式，这种评价方法是对评价对象进行直接分析和判断，属于定性评价范畴。20世纪60年代，美国文献学家尤金·加菲尔德（Eugene Garfield）创立了引文索引系统，并从引文角度出发，证实了布氏定律及核心期刊的存在。自此，以引文工具为基础的期刊定量评价方法被引进学术评价领域。20世纪80年代，我国进入社会转型期，国家不断加大对学术研究的投入，学术资源与日俱增加，学术评价和利益的关系越发紧密，“权力支配”“人情主导”“标准缺失”等因素导致同行评议开始“异化”。正如最早引进SCI评价体系的南京大学原校长曲钦岳教授所说，当时引进该评价体系主要基于两方面考虑：一方面，是当时正是转型期，学术界有各种不正之风，同行评议成为形式，缺乏一个客观的学术评价标准;另一个方面，是有些专业国内专家较少，请国际上专家进行同行评议也不太现。因此，在实际的评价中，难以找到统一认同的标准。为了避免纷争，唯一的选择就是以数字说话，多就是多，少就是少，而且在数字面前，人们似乎也甘愿臣服[6]。基于影响因子的定量评价方法成为我国主导的方法，SCI、SSCI和CSSCI等量化評价体系成为公认的核心指标。

随着数字出版的兴起，出版的形式日益多样化，科研成果已不再仅仅局限于期刊发表，学者开始热衷于将原创性的最新学术成果发表在开放存取的数字出版平台上，并通过学术社交网络实现多方位的信息传播与交流。学者们开始致力于探索新的基于社交媒体活动的测度方法，以弥补引文指标的不足，并反映学术成果更广泛的社会影响，因此，Altmetrics（替代指标）应运而生，并以一种崭新的视角为学术界注入了新的动力和养分。塔拉博雷利（Taraborelli）在对同行评议的前景及影响因素指标作为主要评价指标提出质疑后，倡导将社交媒体软件与分布式科学评价相结合，建立自底向上、分布式的科学评估模型[7]。随后，多位学者对使用社交网络计量指标作为论文过滤器以解决信息过载的问题开展了研究，认为在测度单篇论文影响力时，科研人员的收藏、使用数据比下载、浏览等更具有价值，并主张使用社交网络计量指标作为论文过滤器，以解决信息过载的问题[8-10]。2012年，Altmetrics被国内学者刘春丽首次引入，并重点阐述了其研究对象、研究意义、评价指标和使用工具以及与网络计量学的区别和联系[11]。自新浪微博被纳入Altmetric的数据来源列表后，多位国内学者在相关研究中发现，网络计量、替代计量方法因数据质量、指标优化与规范等原因亦存在局限性[12-15]。

当下，Web 3.0实现了网络高度虚拟化，公用显示器与个人应用终端通用网络融合的移动互联网技术的发展，开启了海量数据的生产、存储、分享和应用的媒体融合的新时代，促进了云计算、可信计算等一系列新兴数据科技的发展。海量信息的收集能力和数据挖掘新技术，使得人们对数据的认识的深度、广度大幅增加。信息计算处理技术的日新月异，也使得更多信息能够有效转化学术评价要素中需要的低密度、高价值数据源。媒体融合的技术和机制大大改善了信息转化为有效数据的指向性和局限性问题，这一变革给学术评价的全要素带来了一系列变化，如表1所示。

如上文所述，媒体融合背景下，学术评价对象更多的已不再是纸质文献的转化物，而是天生数字化文献（born digital），不再和期刊、报纸直接关联，而是和网站相关联。被刊发的网文（除OA期刊外）有两种情况：第一类，是只经过“网络编辑”简单编辑的文献，文献首发就是数字形式;第二类，是转发纸质报刊的数字化版本对应文献，例如，《光明日报》刊发的文章数字版全部进入“光明网”。无论哪种情况，同行评价文献只占较小的比重。同行评议已不能完全覆盖数字环境下学术成果的评价，而当下流行的网络计量、替代计量方法因数据质量、指标优化与规范等原因亦存在局限性，用影响因子思维也难以解决数字化、网络化给文献的价值评价和影响力评价带来的问题。媒体融合技术和机制的发展在给学术生产、传播和评价带来挑战的同时，也催生了网络文章的价值评价和影响力评价的学术评价新时代。

3  基于大数据的学术评价新模式

在参照传统学术评价的基础上，本文结合网络新媒体传播的特点，通过对党报、党刊等官方门户网站上发布的有关马克思主义、思想政治教育等一系列政治理论文章的采集、分析，采用多维度对文章进行打分，结合专家同行评价，形成对思想理论网络文章的价值评价，解决网络成果缺乏科学评价机制、无法纳入工作成果考核的问题，并利用评价结果去引导和规范思想理论网络文章的发表，打造网络理论宣传强的矩阵。通过实践，尝试在填补我国在网络成果评价工具空白的同时，创新学术评价新体系。

根据上述目标来确定相应的设计理念和设计原则，思想理论网络文章评价系统对传统学术评价进行重新理解和组合。

第一，iWaes也不可能把全部互联网中的全部文献作为评价对象，必须选定被评价对象。iWaes的评价对象主要是党报、党刊等官方门户网站上发布的有关马克思主义、思想政治教育等一系列政治理论文章。习近平总书记指出，要理直气壮地唱响网上主旋律，坚持巩固和壮大主流思想舆论，实施网络内容建设工程，发展积极向上的网络文化，改进创新网上宣传，形成网上正面舆论强势[16]。马克思、列宁都坚持“灌输论”，并认为先进理论和意识不会自发产生，只能从外面灌输进去。要想“牢牢掌握意识形态工作领导权”，党报、党刊等主流官方媒体的地位只能加强。因此，本文将iWaes的评价对象定义为：通过网络传播的有关马克思主义、思想政治教育等一系列理论文章。为了便于操作，本文把网络理论文章定义为符合主流意识形态认知的重点党报、党刊等门户网站上发布的思想政治类文章。这些文章从其首次发表的媒介上，可以分为两类：第一类，是这些理论网站原发的理论文章（定义为Ab）;第二类，是转发自其他纸质理论媒体（定义为Ap）（见图1）。

第二，坚持根据“来源”评价理论文章价值的原则。iWaes评价理念借鉴“以刊评文”的学术期刊文章评价思路，将理论文章首发的网站和纸质媒体的行政级别、学术等级作为评价的重要依据，尊重现有学术评价体系的权威性，做增量、做加法，而不做颠覆性改革，以更有效地推动思想理论网络文章评价体系的建设。

第三，网络文章有鲜明的自我属性，即传播数据可即时记录、即时监测、即时获取。阅读量、转发量、点赞数量、评论数量都是评价网络文章传播影响力的重要指标。在媒体融合背景下，思想理论文章传播和评价的方式被赋予了新的内容。一篇思想理论文章只要是在网络平台上传播，那么这个平台就会通过大数据、云计算提供其形式评价、内容评价及效用评价的所有指标，且每天都能更新相应的指标。而传统的以期刊影响因子为核心的统计只能以一年为单位提供报告。同时，广大人民群众作为思想理论文章的重要评价主体长期缺位，思想理论评价文章忽视读者的评价权，将评价限定在精英团体之内，从根本上背离了意识形态传播的使命，撇开网民认可的思想理论网络文章缺乏生命力。阅读量、转发量、点赞数量、评论数量等客观数据是广大网民对网络文章最直观、公正的评价指标。iWaes借助融媒体时代更迅速、便捷的云计算技术，挖掘思想理論文章评价的各个利益相关者的多元指标，以期将完全基于“同行评议”的单一的“因果关系评价标准”，转变为量化前置的“相关关系评价标准”，从而提高思想理论网络文章的质量和价值评估。

第四，同行毕竟是学术产品的最权威的发言人，因此，iWaes也并非另起炉灶，而是将定量评价的结果提交给同领域专家，请同行专家给予内容评价，然后，把定量和定性专家评价的结果加权计算，得出评价结果。同行评议一直是学术评价的“金标准”，2013年5月，78个科学组织和155位科学家联名签署的《关于研究评价的旧金山宣言》（San Francisco declaration on research Assessment，DORA）中，明确反对使用基于期刊的计量指标来测度单篇研究成果的质量或评价科学家个体的贡献，也不能作为决策依据，同行评议永远是最核心的评价方法，并且呼吁计量指标的数据和计算方法必须公开透明[17]。类似地，2014年，由美国佐治亚理工学院的公共政策教授Hicks等提出的七条合理使用科学评价方法的原则《莱顿宣言》（The Leiden Manifesto for research metrics），后扩充为十条发表于Nature杂志上，强调了应以量化评价的方法来辅助质化的专家评估，并考虑学科等方面的差异，制定合理的评价指标[18]。

iWaes的评价模型如图2所示，分别是来源分、传播分和专家分。

基于基本目标和评价理念，本文将评价原则确定为：①导向性原则;②数据可获得性原则;③指标和模型的可操作性原则;④传播力原则;⑤动态性原则;⑥同行评议原则;⑦以“站”评文原则。

4  融合定量和定性评价的系统功能架构

4.1  系统功能架构

iWaes的系统设计，旨在构建既符合媒体融合时代要求，又能被学界认可的评价体系，充分利用人工智能、机器深度学习等先进技术，将网络计量学、替代计量学等定量方法与同行评议相融合。为了达到这一目标，通过充分调研，本文将iWaes划分为四个子系统，分别对应实现iWaes的系统功能层级，具体如图3所示。

4.1.1  信息采集子系统    作为iWaes理论文章的来源系统，子系统通过对筛选过的理论文章站点进行自动化采集、清洗以及规则化处理，实现了重要站点理论文章的汇聚。信息采集子系统通过对采集到的文章进行主题分类，相似度匹配，为各类榜单的生成、专家评价提供了参考依据。信息采集子系统将规则化的数据索引存储，为网站、小程序等交互界面提供数据支持。主要架构及数据处理流程如图4所示。

4.1.2  后台管理子系统    后台管理子系统主要提供了系统运维的（诸如数据采集管理、专家信息管理、采集内容管理、文章排行统计等）相关配置管理功能，为信息采集系统、专家评价等提供配置支撑，具体如图5所示。

4.1.3  门户网站子系统    门户网站子系统支撑思想理论文章的门户网站，为专家提供文章评价入口，使专家账号登录网站，阅读评价思想理论文章，查看修改个人信息、积分明细，查看各类榜单。具体如图6所示。

4.1.4  微信小程序子系统    微信小程序子系统以微信小程序的形式实现专家的注册和登录、榜单文章查看、文章推荐评价、积分明细查看等，更好地实现iWaes的平台化和智能化，方便专家评审文章。

4.2  系统数据库设计

4.2.1  思想理论网络文章索引数据库    思想理论网络文章索引数据库面向用户索引和文章分类推送需求，通过机器智能学习技术，可以对思想理论网络文章进行全字段标引和抓取，是集采集、整理、检索、分析等功能的强大的独立数据库。

4.2.2  思想理论文章专家库    思想理论文章专家库面向同行评价和专家索引需求，包含专家自然概况、研究领域分类、积分管理、等级管理、激励机制和优秀评审专家定期排名等功能。

5  满足价值导向、问题导向、应用导向要求的任务流程

以强大的系统功能和数据库为支撑，基于七大评价原则，iWaes通过技术手段抓取网络文章的来源数据、传播数据与邀请专家进行同行评议的方式，分别计算文章的“基础分”“传播分”和“专家分”，最后，根据数学模型进行加权，得出综合得分，从而实现科学评价。

5.1  定量分析

评价系统首期将240余家网站和报纸纳入抓取范围，其中包括：①中央重点新闻网站，如人民网、光明网等，主要抓取的是其理论频道文章;②重点理论网站，如求是网、党建网等;③中国特色社会主义研究中心网站;④教育部重点基地中的思想政治文化类基地的门户网站;⑤985大学重点马克思主义学院的门户网站;⑥省级社科院网站;⑦省级党校门户网站;⑧思想文化类高端智库网站;⑨各省宣传部管理的地方网站。根据文章的来源网站及报纸的不同权重，文章被赋予不同的分数。

5.1.1  基础分    “基础分”是根据文章首发媒体类别，对文章赋予不同的基础分。系统分别计算分析PR值、百度权重、网站入链数，通过该三级筛选后，最终确定A、B、C、D等4类分区。同时，系统还将根据Top 100榜单等情况，定期对媒体权重进行调整，即是动态调整的过程。

5.1.2  传播分    “传播分”是文章被转发情况、点击量和互动量。文章根据被转载的次数，以及被转载网站的不同权重，被赋予相应的分数。转载次数越多，被转载网站的权重越高，文章被赋予的分数就越多。

5.2  同行评议（专家分）

定性评价即同行评议，专家数据库中专家对相关研究领域文章进行同行评议，得出“专家分”。iWaes基于多源数据的同行评议专家库建设研究，可以从根本上改变专家来源单一、信息采集不全面等微观层面的问题，从而最大限度地保证专家评议过程的公平性。系统创新性地将专家资质设定为在读博士及以上学历或中级及以上职称者。

5.2.1  主题分类    系统由光明日报社理论专家组根据党的十九大以后若干重大理论分类，结合“学科+问题”的方法，将理论文章分为12类主题：经济建设、军队国防、马克思主义基本理论、马克思主义中国化、社会建设、生态建设、外交与国际关系、文化与精神文明建设、习近平新时代中国特色社会主义思想、学习贯彻十九大精神、政治建设、中国改革的历史经验与方法论。专家注册系统时，需选取其研究领域（可多选），并且只能对其研究领域的文章进行评价。

5.2.2  評价流程    在保证领域匹配的前提下，系统随机将待评文章推送给不同的评价者，以实现文章获得评价样本的均衡性。评价专家根据文章的创新程度、完备程度、社会价值等，对收到的待评文章进行评分，且不可重复评价。专家实际的打分结果需根据专家的等级乘以权重比例计算得出。

最后，系统通过对文章的“来源分”“传播分”“专家分”按数学模型进行加权，计算出该文章的最终得分。所有文章按照得分的高低进行排序，形成TOP 100榜单。此外，设立了思想理论网络文章评价系统学术委员会，邀请理论界学术水平造诣深厚、政治素养坚定的代表性专家学者担任学术委员，全面指导和参与评价系统建设，对榜单文章从学术角度、政治角度等进行审核和把关，从而确保榜单文章既有对社会文化和社会舆论的引导性，又具有一定的学术水准，如图7所示。

5.2.3  激励机制    为了激发专家学者参与iWaes系统同行评议的热情，iWaes系统推出了一系列的激励机制，赋予专家不同积分。专家的学术水平越高，初始积分就越高;专家参评的次数越多、精准度越高，累计积分就越多。同时，对应不同等级（分为5级），享受相应特权（推荐权、重点评审权）。专家等级可以根据积分的变动实现动态调整。

国家层面的媒体融合战略的实施为创新学术评价体系提供了契机，从而为思想理论网络文章评价工具的诞生创造了机遇。iWaes的成功上线，填补了当前评价领域内对于网络成果评价理论和实践的缺失，其基于多源数据的定量评价和“同行评议”为主的定性评价相结合的理论，可为完善我国哲学社会科学成果评价体系提供直接或间接的参照依据。党的十八大以来，专家学者在网络上撰文发声的现象有明显增加，“标题党”占领互联网舆论场的现象大大减少，在很大程度上提高了网络文章的理论水平和形象，但要在网络舆论场实现“良币驱逐劣币”，唯有不断创新学术评价体系，让学术评价成长与媒体融合同步进行，方能求得在互联网时代的新生。因此，iWaes一直在不断地优化更新：一方面，在后台功能进行升级的同时，在前台突出呈现，以便激发互动性，提高用户体验;另一方面，从权威性、便捷性、可操作相结合的原则出发，推出更丰富的产品形态，新增网络文章全文库、作者库，以及iWaes系列指数等，力争促进思想理论文章引领社会思潮的同时，使其成为反映民心的“风向标”，成为党政机关把握社情民意的“传感器”和“晴雨表”。

6  结语

iWaes不仅基于大数据平台消解了同行评议偏见策略的研究结果，对于专家公开、公平以及公正地评议思想理论文章还提供了理论与方法层面的支撑，同时，简化了评价实践过程中的时间、任务复杂度，推进了思想理论文章“定性+定量”评价方法的实践进程，为解决网络文化成果长期无法认证等问题提供了解决路径。然而，目前在思想理论文章分类及精准推送、专家评分指标、机制等方面仍存在诸多问题，亟待优化改造以获得各方认可。相信随着系统不断运行和优化，该系统必将成为提升媒体融合背景下主流理论文章的传播力和引导力，完善网络文章的价值和影响力评价，促进意识形态工作宣传和理论创新的有力工具。

参考文献：

[1] 习近平在全国高校思想政治工作会议上强调： 把思想政治工作贯穿教育教学全过程 开创我国高等教育事业发展新局面[N]. 人民日报， 2016-12-09（001）.

[2] 中共教育部党组. 高校思想政治工作质量提升工程实施纲要[Z]. 中共教育部， 2017-12-04.

[3] 总体布局统筹各方创新发展 努力把我国建设成为网络强国[N]. 人民日报， 2014-02-28（001）.